Using Faust DSL to Develop Custom, Sample Accurate DSP Code and Audio Plugins for the Web Browser

Ren, Shihong; Letz, Stéphane; Orlarey, Yann; Michon, Romain; Fober, Dominique; Buffa, Michel; Lebrun, Jérôme

doi:10.17743/jaes.2020.0014

Cited by 4 publications

(1 citation statement)

References 5 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…[2] Based on this context, our work aims to use Web technologies to transform smart devices into a brain-controlled music box. Our previous researches focused on web-based DSP techniques, sound design systems, visual programming languages for real-time audio processing and interactive music [8,9,11], and led to the design and implementation of a "patcher" web application named JSPatcher [10], a high-level visual language similar to the one of Max/MSP [4,5], that enables users to visually, interactively, construct audio graphs using the Web Audio API. For this new project, we also rely on JSPatcher.…”

Section: About the Workmentioning

confidence: 99%

Reflex-in: Generate Music on the Web with Real-time Brain Wave

Ren

Buffa

Pottier

et al. 2023

Companion Proceedings of the ACM Web Conference 2023

View full text Add to dashboard Cite

show abstract

Section: About the Workmentioning

confidence: 99%

Reflex-in: Generate Music on the Web with Real-time Brain Wave

Ren

Buffa

Pottier

et al. 2023

Companion Proceedings of the ACM Web Conference 2023

View full text Add to dashboard Cite

show abstract

Using Web Audio Modules for Immersive Audio Collaboration in the Musical Metaverse

Buffa,

Girard,

Hofr

2024

2024 IEEE 5th International Symposium on the Internet of Sounds (IS2)

View full text Add to dashboard Cite

W3C Web standards now enable online applications that were unthinkable just a few years ago. In 2020, the Web Audio Modules V2 (WAM) initiative, known as "VST for the web", revolutionized music on the web. WAMs facilitate host applications using reusable web components such as note generators, virtual instruments and audio effects. Today, the WAM ecosystem includes over 100 plugins, tutorials and host applications such as Sequencer Party, a real-time collaborative platform built entirely with WAMs, that allows multiple participants to build music installations by patching plugins together. This article adapts the concepts of Sequencer Party to the musical metaverse, reusing existing WAMs without modification and generating new 3D interfaces for VR/XR use. BabylonJS was used for 3D rendering with WebXR support, and a "Conflict-Free Replicated Data Type » (CRDT) approach was chosen for client synchronization. The software is opensource and hosted online.

show abstract

Une station de travail audio-numérique open-source pour la plate-forme Web

Buffa,

Vidal-Mazuy

2024

RFIM

View full text Add to dashboard Cite

Cet article présente WAM Studio (Figure 1), une station de travail audio numérique (DAW) en ligne open source qui tire parti de plusieurs APIs et technologies standards du W3C, telles que Web Audio, WebAssembly, Web Components, Web Midi, Media Devices, etc. WAM Studio s’appuie également sur le standard Web Audio Modules (WAM), qui a été conçu pour faciliter le développement de plugins audio inter-opérables (effets, instruments virtuels, claviers virtuels de piano comme contrôleurs, etc.) sortes de "VSTs pour le Web". Les DAWs sont des logiciels riches en fonctionnalités et donc particulièrement complexes à développer en termes de conception, d’implémentation, de performances et d’ergonomie. Aujourd’hui, la majorité des DAWs en ligne sont commerciaux alors que les seuls exemples open source manquent de fonctionnalités (pas de prise en charge de plugins par exemple) et ne tirent pas parti des possibilités récentes offertes (comme WebAssembly). WAM Studio a été conçu comme un démonstrateur technologique pour promouvoir les possibilités offertes par les innovations récentes proposées par le W3C. L’article met en évidence certaines des difficultés que nous avons rencontrées (par exemple, les limitations dues aux environnements sandboxés et contraints que sont les navigateurs Web, la compensation de latence quand on ne peut pas connaître le hardware utilisé, etc.). Une démonstration en ligne, ainsi qu’un repository GitHub pour le code source sont disponibles. Wam Studio a également donné naissance à Attune, une version spéciale adaptée pour un projet de recherche en collaboration avec l’équipe MERI du CCRMA de Stanford, pour l’étude et la facilitation de l’écoute de musique multipiste par des personnes malentendantes équipées d’implants cochléaires.

show abstract

Using Faust DSL to Develop Custom, Sample Accurate DSP Code and Audio Plugins for the Web Browser

Cited by 4 publications

References 5 publications

Reflex-in: Generate Music on the Web with Real-time Brain Wave

Reflex-in: Generate Music on the Web with Real-time Brain Wave

Using Web Audio Modules for Immersive Audio Collaboration in the Musical Metaverse

Une station de travail audio-numérique open-source pour la plate-forme Web

Contact Info

Product

Resources

About