Learning Smooth, Human-Like Turntaking in Realtime Dialogue

Jonsdottir, Gudny Ragna; Þórisson, Kristinn R.; Nivel, Eric

doi:10.1007/978-3-540-85483-8_17

Cited by 26 publications

(23 citation statements)

References 11 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Our speaking agent, Askur, performs this task by learning to appropriately adjust its silence tolerance during the dialogue (See Figure 1). The architectural framework is described in more detail in [8] and [18]; a quick review of this work will aid in understanding what follows. The architecture, which is in continuous development, currently consists of 35 interacting modules in a publish-subscribe message passing framework.…”

Section: System Architecturementioning

confidence: 99%

“…In Jonsdottir and Thórisson (2008) [8] we described the first version of the system and presented data on its learning ability when interacting with another artificial agent (a non-learning copy of itself), listening for features of the prosody of the Loquendo speech synthesizer to determine its turntaking predictions and behavior. The results, while promising, described interaction sessions between the system and a single synthesized voice, with negligible noise in the audio channel.…”

Section: Introductionmentioning

confidence: 99%

See 1 more Smart Citation

Teaching Computers to Conduct Spoken Interviews: Breaking the Realtime Barrier with Learning

Jonsdottir

Þórisson

2009

Intelligent Virtual Agents

Self Cite

View full text Add to dashboard Cite

Abstract. Several challenges remain in the effort to build software capable of conducting realtime dialogue with people. Part of the problem has been a lack of realtime flexibility, especially with regards to turntaking. We have built a system that can adapt its turntaking behavior in natural dialogue, learning to minimize unwanted interruptions and "awkward silences". The system learns this dynamically during the interaction in less than 30 turns, without special training sessions. Here we describe the system and its performance when interacting with people in the role of an interviewer. A prior evaluation of the system included 10 interactions with a single artificial agent (a non-learning version of itself); the new data consists of 10 interaction sessions with 10 different humans. Results show performance to be close to a human's in natural, polite dialogue, with 20% of the turn transitions taking place in under 300 msecs and 60% under 500 msecs. The system works in real-world settings, achieving robust learning in spite of noisy data. The modularity of the architecture gives it significant potential for extensions beyond the interview scenario described here.

show abstract

Section: System Architecturementioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

Teaching Computers to Conduct Spoken Interviews: Breaking the Realtime Barrier with Learning

Jonsdottir

Þórisson

2009

Intelligent Virtual Agents

Self Cite

View full text Add to dashboard Cite

show abstract

“…However, this means relying on (often inaccurate) speech recognition and difficult natural language understanding. Therefore, usually only prosodic information is used with end of turn detection, for example by Jonsdottir et al (2008). Unfortunately, very few papers about virtual agents with speech input explain in detail how end of turn detection was implemented.…”

Section: Turn-takingmentioning

confidence: 99%

“…They all wanted turn-taking to be as smooth as possible, with as little overlap as possible and the silences between turns as short as possible. Another clear example of this is the work of Jonsdottir et al (2008), in which the authors used machine learning techniques to have an agent learn 'proper' turn-taking behaviour. They did this by creating a classifier that uses the prosody of the other person's speech to determine how long to wait before taking the turn.…”

Section: Optimal Turn-takingmentioning

confidence: 99%

Response selection and turn-taking for a sensitive artificial listening agent

Maat¹

View full text Add to dashboard Cite

Vier jaar. Soms lijkt het een eeuwigheid, soms vliegt het voorbij, en dit heeft vooral te maken met waar je mee bezig bent (is die deadline nu alweer?). Gelukkig mocht ik werken aan een geweldig project in een geweldige vakgroep, waardoor de tijd (helaas) veel te snel ging. Het was af en toe wel moeilijk balanceren tussen werken aan Sal en 'echt' onderzoek doen, maar dat laatste is gelukt met als resultaat dit boekje.Als eerste moet ik hier toch Dirk voor bedanken. Hij heeft me de vrijheid gegeven om mijn eigen dingen te doen, en me ondertussen toch een goede richting in te sturen. Ook kon ik altijd terecht als ik met een conceptueel probleem zat, ik niet kon kiezen wat de beste methode was, of om te vragen waar de beste theewinkels in Parijs te vinden zijn. Dirk, bedankt.Switching to English for a while, I want to thank Anton, for being my promotor and for forcing me each year to think about my goals of next year. I want to thank the members of my committee as well, for taking the time to read and comment on this thesis which has an astoundingly little amount of pictures.Next, I want to thank the members of the project I have been working on: SE-MAINE. Marc, you were a great project leader, and I learned a lot from you about working on big projects. Also, I especially want to thank the other 'junior members' of the team: Michel, Hatice, Elisabetta, Florian, Martin and Sathish. Our developermeetings were not only really productive, but also a lot of fun, and I will never forget our excessive dinner in Paris.Uiteraard wil ik ook al mijn collega's bij HMI bedanken, maar een aantal in het bijzonder. Bart, wij zijn ongeveer gelijk begonnen met een onderwerp dat heel erg op elkaar lijkt, maar ook heel verschillend is. Dit heeft er voor gezorgd dat we heel wat uurtjes hebben zitten bakkeleien over beliefs over beliefs en andere conceptuele dingen, en was je de ideale betatester. En ook hebben we heel wat gezellige en ontspannende avonden gehad met z'n drien. Bart, bedankt.Een aantal artikelen heb ik samen met Khiet gemaakt, en haar neigingen om alle gaatjes perfectionistisch af te dichten heeft mij ook een heleboel geleerd. Dennis, jij hebt mij vooral geleerd om op een hoog niveau verder te denken, maar ik kon ook altijd binnenwandelen om een leuke demo te laten zien. Ronald, behalve comic relief bij HMI en onze 'vakantie' naar philadelphia kon ik ook altijd terecht voor een praktisch gesprek en voor tips over classifiers en experiment-opzetten. Iwan, ook wij hebben leuke tripjes gemaakt en hele leuke gesprekken gehad, en ik blijf erbij dat we onze anekdote-agent nog steeds een keer moeten laten maken. En Danny, bedankt vi | Acknowledgements voor het zijn van een geweldige kamergenote (als je er was), voor het uitwisselen van willekeurige nieuwsberichtjes, of om een keer te praten over mijn onderzoek met iemand uit een hele andere hoek.Uiteraard wil ik ook Lynn bedanken, voor het doorlezen en verbeteren van alle kleine puntjes in mijn proefschrift. Hopelijk is mijn dt-probleem nu opgelost. Charlotte en Alice, jullie w...

show abstract

“…Jonsdottir et al [130] contribute a talking agent that can learn fluent turntaking behavior during an interaction. Using online machine learning with prosodic features as input, the agent learns to time the start of its turn in such a way that silence between turns is minimized.…”

Section: End-of-turn Predictionmentioning

confidence: 99%

Behavior generation for interpersonal coordination with virtual humans : on specifying, scheduling and realizing multimodal virtual human behavior

Welbergen¹

View full text Add to dashboard Cite

Learning Smooth, Human-Like Turntaking in Realtime Dialogue

Cited by 26 publications

References 11 publications

Teaching Computers to Conduct Spoken Interviews: Breaking the Realtime Barrier with Learning

Teaching Computers to Conduct Spoken Interviews: Breaking the Realtime Barrier with Learning

Response selection and turn-taking for a sensitive artificial listening agent

Behavior generation for interpersonal coordination with virtual humans : on specifying, scheduling and realizing multimodal virtual human behavior

Contact Info

Product

Resources

About