The Corpus of Interactional Data: A Large Multimodal Annotated Resource

Abstract

Studying language in its natural context is one of the new challenges for natural language processing as well as linguistics in general. Much work have been done in the perspective of spoken language processing, even though the issues in this domain remains largely unsolved (disfluencies, ill-formedness, etc.). But the problem becomes even harder when trying to take into account all the aspects of natural communication, including pragmatics and gestures. In this case, we need to describe many different sources of information (let's call them linguistic domains) coming from the signal (prosody, phonetics), the transcription (morphology, syntax, lexical semantics), as well as the behavior of the conversation partners (gestures, attitudes, etc), the contextual background, etc. Taking into account such a rich environment means that language is seen in its multimodal dimension which necessitates a full description of each verbal or non-verbal domain as well as their interaction. Such a description is obviously a pre-requisite before the elaboration of a multimodal theory of language. It is also a basis for the development of parsing tools or annotating devices. Both goals rely on the availability of annotated resources, providing information on all the different domains and modalities. This is the goal of the project described here, that led to the development of a large annotated multimodal corpus called CID (Corpus of Interactional Data).In this article, the context of multimodality and the issues we are faced with when building multimodal resources will first be presented. The second part, we will present more precisely the organization of the project during which the CID corpus was built. The rest of the paper will describe the solutions we propose to what we consider as the main issues for multimodal annotation, namely the annotation scheme, the alignment between the different domains and the interoperability of the different sources of information. Multimodal Interaction and its AnnotationOur work aims at collecting data in natural situations, with audio and video recordings of human interaction, focusing then on language and gestures, to the exclusion of the other kinds of modalities be they natural (smell, touch) or artificial (related to human-machine interaction for example). More specifically, what we are interested in when studying such domains is the interaction that exists between the different sources of information. Indeed, we think that (1) meaning comes from the interplay of different dimensions such as prosody, lexicon, gestures,

La prosodie au Laboratoire Parole et Langage : histoire, recherches actuelles et perspectives

“…Bien qu'inspirée par la Linguistique Interactionnelle et l'Analyse Conversationnelle, l'approche adoptée au LPL se distingue par une position moins radicale notamment concernant la nature des données qui peut varier (de l'attestée à l'expérimentale) et où les primitives et constructions prosodiques développées dans le cadre d'autres analyses (de la parole oralisée ou expérimentale) ne sont pas nécessairement caduques. Les recherches que nous présentons ont été menées autour de deux axes de réflexion principaux : une recherche sur le rôle interactionnel des contours intonatifs du français sur un corpus d'interaction semi-spontané (CID, Bertrand et al, 2008 ;Blache et al, 2017) et une réflexion théorique et méthodologique sur l'applicabilité et les atouts d'une approche plus phonologique et moins paramétrique de l'intonation pour l'analyse de corpus conversationnels.…”

“…L'une des raisons de cette difficulté est liée au fait que les pauses ou les allongements syllabiques sont à la fois des indices de structuration prosodique mais également des éléments liés à l'élaboration/encodage des discours, qu'il s'agit donc de distinguer(Portes & Bertrand, 2011 ;Petrone et al, 2017a ; Prévot et al 2021).37 Dès les années 2000, le LPL s'inscrit très activement dans le mouvement de constitution, d'enrichissement et de mutualisation de données orales en interaction. Le Corpus of Interactional Data 4 -CID-(Bertrand et al, 2008 ;Blache et al, 2017) est l'un des premiers corpus créés en ce sens (voir fiche technique). d'obtenir un corpus relativement contrôlé (semi-spontané) largement fondé cependant sur les observations et résultats issus des données plus écologiques des analyses conversationnelles plus classiques.…”

Generic Question Classification for Dialogue Systems

“…A specific dataset has been created for this project, gathering two types of existing resources. A first part is made of two corpora of conversations: the Acorformed corpus [19], containing dialogues between doctors and patients, and the Corpus of Interactional Data [3] made of free conversations between relatives.…”

Principes et outils pour l’annotation des corpus

“…Au LPL, les corpus ont toujours été au coeur des recherches menées sur la parole. Mais le projet de constituer des ressources orales enrichies a réellement débuté au début des années 2000 (projet OTIM Blache et al, 2010a ;Blache et al, 2017) notamment sur le CID (Bertrand et al, 2008). L'objectif est alors de développer des corpus comportant des annotations sur les différents domaines de la linguistique (du niveau le plus fin de la phonétique jusqu'au niveau interactionnel, en passant par la prosodie, la morphologie, la syntaxe, le discours ainsi que le niveau mimo-gestuel).…”

“…Le plus souvent, les annotations sont réalisées en recourant à plusieurs annotateurs afin de rendre possible une évaluation de la consistance (accords inter-annotateurs) 1 (cf. Tellier, 2014 pour le gestuel ; Blache et al, 2017 pour les différents domaines).…”