Strategies of mapping between gesture data and synthesis model parameters using perceptual spaces

Arfib, Daniel; Couturier, Jean-Michel; Kessous, Loïc; Verfaille, Vincent

doi:10.1017/s1355771802002054

Cited by 54 publications

(41 citation statements)

References 14 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…The theoretical categories of parameter mapping have been widely considered (Hunt et al 2000;Arfib et al 2002). Our system described below could possibly be likened to an implicit or generative mapping mechanism in which only general mapping behaviours can be anticipated, not real output values.…”

Section: Improvisation and Emergencementioning

confidence: 99%

Self-organised music

Blackwell¹,

Young²

2004

Org. Sound

View full text Add to dashboard Cite

Self-organisation, as manifest, for example, by swarms, flocks, herds and other collectives, is a powerful natural force, capable of generating large and sustained structures. Yet the individuals who participate in these social groups may not even be aware of the structures that they are creating. Almost certainly, these structures emerge through the application of simple, local interactions. Improvised music is an uncertain activity, characterised by a lack of top-down organisation and busy, local activity between improvisers. Emerging structures may only be perceivable at a (temporal) distance. The development of higher-level musical structure arises from interactions at lower levels, and we propose here that the self-organisation of social animals provides a very suggestive analogy. This paper builds a model of interactivity based on stigmergy, the process by which social insects communicate indirectly by environment modification. The improvisational element of our model arises from the dynamics of a particle swarm. A process called interpretation extracts musical parameters from the aural environment, and uses these parameters to place attractors in the environment of the swarm, after which stigmergy can take place. The particle positions are reinterpreted as parameterised audio events. This paper describes this model and two applications, Swarm Music and Swarm Granulator.

show abstract

Section: Improvisation and Emergencementioning

confidence: 99%

Self-organised music

Blackwell¹,

Young²

2004

Org. Sound

View full text Add to dashboard Cite

show abstract

“…Such methods embed the perceptual characteristic of the instrument's timbre in the control-to-parameters mapping. Arfib et al (2002) formalized this approach in mappings that include intermediate perceptual layers, which enhances the sensitivity and efficiency of the interface, but a generic method to compute and map to synthesizer-specific perceptual spaces has not yet been proposed.…”

Section: Computing and Interacting With Synthesis Timbre Spacesmentioning

confidence: 99%

Vocal Control of Sound Synthesis Personalized by Unsupervised Machine Listening and Learning

Fasciani

Wyse

2018

Computer Music Journal

View full text Add to dashboard Cite

This article describes a user-driven adaptive method for controlling the sonic response of digital musical instruments with information extracted from the timbre of the human voice. The mapping between heterogeneous attributes of the input and output timbres is determined from data collected via machine listening techniques and then processed by unsupervised machine learning algorithms. This approach is based on a minimum-loss mapping which hides any synthesizer-specific parameters, and maps the vocal interaction directly to perceptual characteristics of the generated sound.The mapping adapts to the dynamics detected in the voice, and maximizes the timbral space covered by the sound synthesizer. The strategies for mapping vocal control to perceptual timbral features, and for automating the customization of vocal interfaces for different users and synthesizers in general, are evaluated through a variety of qualitative and quantitative methods.

show abstract

“…Les travaux de [McIntyre 1979, Chafe 1989, Rank 1999 La difficulté du contrôle de la synthèse sonore réside dans les possibilités de mise en correspondance (mapping) entre données gestuelles et sonores [Arfib 2002, Hunt 2002, Verfaille 2006. Le modèle physique de [Demoucron 2008] se concentre particulièrement sur cet aspect de "jouabilité", et la qualité du mapping entre l'espace des paramètres de contrôle du régime périodique de Helmholtz (zone Normal du diagramme de Schelleng), et les propriétés acoustiques du son synthétisé (niveau sonore et centroïde spectral).…”

Section: Le Contrôleunclassified

The influence of cellist's postural movements on their musical expressivity

Roze

Aramaki

Kronland‐Martinet

et al. 2017

The Journal of the Acoustical Society of America

View full text Add to dashboard Cite

RemerciementsAvant de présenter ce travail de thèse, je souhaiterais remercier toutes les personnes ayant contribué de près ou de loin à la réalisation de ce projet. A commencer par mes parents pour leur soutien indéfectible, qui ont toujours su garder foi en moi malgré des choix de vie différents de leurs prévisions. Merci aussi à Pascal Gobin, professeur d'électroacoustique au conservatoire de Marseille, sans qui je n'aurais jamais eu connaissance des opportunités de recherche en acoustique instrumentale. Cela faisait longtemps en effet que je nourrissais l'envie de pouvoir mettre mes compétences scientifiques au service d'un instrument de musique devenu ma passion depuis huit ans maintenant : le violoncelle. L'opportunité m'en a été donnée grâce à l'équipe très chaleureuse de chercheurs qui m'ont accueilli et fait confiance pour entreprendre ce projet de thèse : ma directrice de thèse tout d'abord, Sølvi, dont la bonne humeur et patience à mon égard ont toujours été d'un grand soutien, surtout dans les périodes initiales et finales de la thèse... Richard ensuite, dont l'expérience et la justesse de raisonnement, m'ont bien souvent laissé admiratif. Et bien sûr Mitsuko dont les capacités d'écoute réactive et les point de vue avisés m'ont énormément apporté, notamment lors de la rédaction des articles scientifiques. Merci vraiment à cette équipe de trois encadrants aux grandes qualités humaines, pour être si investis, passionnés et ouverts sur les autres. A propos de qualité humaine, j'adresse un remerciement tout particulier à Pascal Campion de l'école doctorale ED353, pour son excellente écoute, ses précieux conseils et sa compréhension des fragilités individuelles.

show abstract

Strategies of mapping between gesture data and synthesis model parameters using perceptual spaces

Abstract: International audienc

Cited by 54 publications

References 14 publications

Self-organised music

Self-organised music

Vocal Control of Sound Synthesis Personalized by Unsupervised Machine Listening and Learning

The influence of cellist's postural movements on their musical expressivity

Contact Info

Product

Resources

About