Concatenative Speech Synthesis: A Review

Khan, Rubeena; Chitode, J. S.

doi:10.5120/ijca2016907992

Cited by 22 publications

(5 citation statements)

References 21 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Certainly, other (more complex) regularization operations are also widely used in concatenative synthesisbased text-to-speech (TTS) systems (Tabet & Boughazi, 2011;Khan & Chitode, 2016). In our experiments, the energy normalization is easy to implement and works well.…”

Section: Maximization Of P (A | X)mentioning

confidence: 88%

Basel revisited

Min

2018

Peking University Law Journal

View full text Add to dashboard Cite

We propose a unified framework for low resource automatic speech recognition tasks named meta audio concatenation (MAC). It is easy to implement and can be carried out in extremely low resource environments. Mathematically, we give a clear description of MAC framework from the perspective of bayesian sampling. In this framework, we leverage a novel concatenative synthesis text-to-speech system to boost the low resource ASR task. By the concatenative synthesis text-to-speech system, we can integrate language pronunciation rules and adjust the TTS process. Furthermore, we propose a broad notion of meta audio set to meet the modeling needs of different languages and different scenes when using the system. Extensive experiments have demonstrated the great effectiveness of MAC on low resource ASR tasks. For CTC greedy search, CTC prefix, attention, and attention rescoring decode mode in Cantonese ASR task, Taiwanese ASR task, and Japanese ASR task the MAC method can reduce the CER by more than 15%. Furthermore, in the ASR task, MAC beats wav2vec2 (with fine-tuning) on common voice datasets of Cantonese and gets really competitive results on common voice datasets of Taiwanese and Japanese. Among them, it is worth mentioning that we achieve a 10.9% character error rate (CER) on the common voice Cantonese ASR task, bringing about 30% relative improvement compared to the wav2vec2 (with fine-tuning).

show abstract

Section: Maximization Of P (A | X)mentioning

confidence: 88%

Basel revisited

Min

2018

Peking University Law Journal

View full text Add to dashboard Cite

show abstract

“…Classical DSP-based methods for speech synthesis can be broadly split into three categories: articulatory (Shadle and Damper, 2001;Birkholz, 2013), source-filter/formant (Seeviour et al, 1976), and concatenative (Khan and Chitode, 2016). This aligns with the parametric and concatentivative distinction due to Schwarz (2007), discussed in section 2.1.…”

Section: Speech Synthesismentioning

confidence: 98%

A review of differentiable digital signal processing for music and speech synthesis

Hayes,

Shier,

Fazekas

et al. 2024

Front. Signal Process.

View full text Add to dashboard Cite

The term “differentiable digital signal processing” describes a family of techniques in which loss function gradients are backpropagated through digital signal processors, facilitating their integration into neural networks. This article surveys the literature on differentiable audio signal processing, focusing on its use in music and speech synthesis. We catalogue applications to tasks including music performance rendering, sound matching, and voice transformation, discussing the motivations for and implications of the use of this methodology. This is accompanied by an overview of digital signal processing operations that have been implemented differentiably, which is further supported by a web book containing practical advice on differentiable synthesiser programming (https://intro2ddsp.github.io/). Finally, we highlight open challenges, including optimisation pathologies, robustness to real-world conditions, and design trade-offs, and discuss directions for future research.

show abstract

“…Eklemeli TTS sistemleri temel olarak konuşma bilgisinden uygun birimlerin seçilmesini, seçilen birimleri ekleyen algoritmaları ve ekleme sınırlarını yumuşatmak için sinyal işleme çalışmalarını içermektedir [9]. Formant tabanlı TTS sistemleri, ses yolu aktarım fonksiyonunun, formant frekansları ve formant genlikleri benzetilerek üretilebilmesi üzerine gerçekleştirilen çalışmalardır [10].…”

Section: Ttsunclassified

Türkçe Konuşma Sentezleme Sistemlerinin Geliştirilmesi için Dengeli Bir Veri Kümesi Hazırlama

CÜCEN,

OYUCU,

POLAT

2023

Bilişim Teknolojileri Dergisi

View full text Add to dashboard Cite

Konuşma sentezleme sistemleri insan-bilgisayar etkileşiminin önemli bir parçasıdır. Konuşma sentezleme ile bir metne karşılık gelen konuşma dalga formu üretilmektedir. Elde edilen dalga formu insanların duyabileceği bir ses verisine dönüştürülmektedir. Konuşma sentezleme sistemlerinin başarısı, geliştirme kaynaklarının yetersizliği nedeni ile farklı diller için aynı düzeyde değildir. Bir konuşma sentezleme sisteminin verimli bir şekilde eğitilmesi için ulaşılabilir, büyük bir veri kümesine ihtiyaç duyulmaktadır. Türkçe gibi kaynak yetersizliği olan diller için bu tür veri kümelerinin eksikliği, Türkçe konuşma sentezleme sistemleri geliştirmenin önündeki en büyük engellerden biridir. Büyük boyutlu bir veri kümesi hazırlama oldukça zaman alan, zorlu ve maliyetli bir görevdir. Bu çalışmada, Türkçe konuşma sentezleme sistemlerinin geliştirilmesinde kullanılacak, doğallık ve anlaşılırlık başarısını arttıran, ulaşılabilir bir veri kümesinin oluşturulma süreci ve karşılaşılan zorluklar açıklanmıştır. Veri kümesi için daha önceden derlenen metin verisi, bir erkek konuşmacı tarafından İstanbul Türkçesi kullanılarak duygudan bağımsız olarak seslendirilmiştir. Metin verisi 109826 kelime içermektedir. Seslendirilen konuşma verisi yaklaşık 12 saat 38 dakika 59 saniye uzunluğundadır ve 22050 Hz. örnekleme frekansında kaydedilmiştir. Türkçe için hazırlanan bu veri kümesi daha önce İngilizce için hazırlanmış ve başarılı sonuçlar elde edilmiş “The LJ Speech Dataset” isimli veri kümesi ile karşılaştırılmış ve gelecekteki çalışmalar için öneriler sunulmuştur. Bu veri kümesi akademik düzeyde Türkçe konuşma sentezleme çalışmalarını teşvik etmek için geliştirilmiştir. Bu sayede, Türkçe konuşma sentezleme sistemlerinin geliştirilmesinde büyük bir eksikliğin giderileceğini umuyoruz.

show abstract

Concatenative Speech Synthesis: A Review

Cited by 22 publications

References 21 publications

Basel revisited

Basel revisited

A review of differentiable digital signal processing for music and speech synthesis

Türkçe Konuşma Sentezleme Sistemlerinin Geliştirilmesi için Dengeli Bir Veri Kümesi Hazırlama

Contact Info

Product

Resources

About