Programme Hospitalier Recherche Clinique, Institut Pasteur, Inserm, French Public Health Agency.

No abstract

This paper addresses workload evaluation in the framework of a multimodal application. Two multidimensional subjective workload rating instruments are compared. The goal is to analyze the diagnostics obtained on four implementations of an applicative task. In addition, an Automatic Speech Recognition (ASR) error was introduced in one of the two trials. Eighty subjects participated in the experiment. Half of them rated their subjective workload with NASA-TLX and the other half rated it with Workload Profile (WP) enriched with two stress-related scales. Discriminant and variance analyses revealed a better sensitivity with WP. The results obtained with this instrument led to hypotheses on the cognitive activities of the subjects during interaction. Furthermore, WP permitted us to classify two strategies offered for error recovery. We conclude that WP is more informative for the task tested. WP seems to be a better diagnostic instrument in multimodal system conception.

RESUMECette recherche étudie les processus cognitifs à l'oeuvre lors des premières utilisations d'un nouveau service de recherche d'informations en langage naturel. Notre objectif est d'apporter des éléments sur l'élaboration et l'évolution de la représentation mentale de l'utilisateur. Les représentations mentales élaborées par les utilisateurs ont été appréhendées grâce à l'étude des productions verbales recueillies lors de quatre tâches en interaction avec un service vocal, ainsi que par un questionnaire portant sur les buts et sous-buts, les possibilités d'actions et les capacités du service. Cette étude exploratoire s'inscrit dans les travaux d'un laboratoire de recherche de France Telecom R&D. Le service utilisé est un prototype qui permet de rechercher des informations par simple interaction téléphonique en langage peu contraint. Nos résultats mettent en évidence que la représentation initiale que se construit l'utilisateur est fortement héritée de ses connaissances préalables en informatique. Par la suite, la représentation que l'utilisateur a du service évolue au cours des interactions grâce à l'augmentation de ses connaissances déclaratives et ses habiletés procédurales. L'ajustement de la représentation se fait pour tous les utilisateurs, cependant il est plus ou moins rapide selon la pertinence de l'analogie de départ. ABSTRACTThis research is based on the study of the cognitive processes implemented during the first use of a new information search service in natural language. Our goal is to bring together elements on the development and the evolution of user's mental representation. The mental representations shown by users were isolated following on one hand the analysis of verbal productions, collected during four interaction tasks with a dialog service, and on the other hand a questionnaire about goals and subgoals, possible actions and system capacities. This study is aligned with the work of a research laboratory from France Telecom R&D. The service used is a provider prototype using a simple telephone interaction with flexible language. Our results show that the initial representation build by the user depends on h is computer knowledge. Thereafter, the user representation evolved during the successive interactions thanks to the increasing of his declarative knowledge and his procedural abilities. The adjustment of the representation is done for every user, however i t is more or less efficient according to the relevance of the analogy chosen.

No abstract