CNN-Based Phonetic Segmentation Refinement with a Cross-Speaker Setup

Cuozzo, Luís Gustavo D.; Silva, Diego Augusto Santos; Neto, Mário Uliani; Simões, Flávio; Nagle, Edson Jose

doi:10.1007/978-3-319-99722-3_45

Cited by 2 publications

(2 citation statements)

References 5 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…These results are exactly of the same size of the recently developed Kaldi-based aligner for Brazilian Portuguese by [11], which required much more costly training phase with more than 170 hours of audio data. See also those developed by [10] [13]. We can see in Fig.…”

Section: Resultsmentioning

confidence: 81%

Alinha-PB: A Phonetic Aligner for Brazilian Portuguese

Kruse

Barbosa

2021

JCIS

View full text Add to dashboard Cite

Phonetic alignment is the task of finding the limits of phones and higher units in an audio file. This has been reliably done in many languages such as English, French and German, but, so far, no available Brazilian Portuguese aligner had a performance comparable with the ones used for these other languages. Thus, the main goal of this work was to implement a useful tool for forced alignment for Brazilian Portuguese. The implementation was done in two steps, the grapheme-to-phoneme conversion and the alignment itself. The Converter is responsible for receiving the input transcription in graphemes and converting it to its equivalent in phonemes and allophones, and was implemented using computational rules derived from the analysis of regular grapheme-phoneme relations in Brazilian Portuguese and an exception dictionary, for words to which no regular rules could be applied. The Aligner was responsible for aligning the phonemes/allophones of the previous module to the corresponding acoustic intervals of the audio file, called "phones". This module was implemented using hidden Markov models. Results for the Converter have an accuracy of over 99%, where the main mistakes involved mid vowels /e/ and /ɛ/ and /o/ and /ɔ/. As for the Aligner, the best model has 87% of the alignments with errors below 25 ms.

show abstract

Section: Resultsmentioning

confidence: 81%

Alinha-PB: A Phonetic Aligner for Brazilian Portuguese

Kruse

Barbosa

2021

JCIS

View full text Add to dashboard Cite

show abstract

“…Um ajuste fino foi aplicado às posições das fronteiras obtidas pela segmentação, a partir da rede neural convolucional proposta por Cuozzo et al (2018).…”

Section: Segmentação Fonéticaunclassified

Síntese de animação facial expressiva baseada em modelos ocultos de markov

Ressurreição de Jesus Filho

View full text Add to dashboard Cite

Deixo meus agradecimentos à Fundação CPqD, em especial aos pesquisadores Flávio Olmos Simões e Mário Uliani Neto, pelas preciosas contribuições ao trabalho.Agradeço ao apoio dos colegas das empresas em que trabalhei durante a realização desta pesquisa, Icaro Tech e Nubank.Aos amigos que me acompanharam ao longo desse período, Felipe, Thiago, Guilherme, Arthur e William, que me mostrou o valor da garra quando o cenário é adverso.Agradeço especialmente à minha orientadora, Profa. Dra. Paula Dornhofer Paro Costa, pela imensa dedicação e paciência, sem as quais este trabalho não seria possível. Seu exemplo me inspira a continuar trilhando a carreira acadêmica, mesmo nos tempos atuais, em que a Ciência não tem recebido o prestígio que merece. ResumoAgentes conversacionais virtuais, ou talking heads, são representações em vídeo da face de um agente virtual, que simulam a fala de um interlocutor humano. São uma poderosa ferramenta de interface computacional, com potencial para tornar interações mais naturais e atraentes. Nesse contexto, o campo de Síntese de Animação Facial lida com a geração automática de vídeos de um agente virtual, a partir de um texto arbitrário ou de áudio produzido previamente. Em sistemas de síntese de animação baseados em texto, o desafio técnico pode ser separado em duas etapas: geração de trajetórias de articulação labial e demais movimentações faciais a partir de uma sequência de fonemas, e conversão dessas trajetórias em sequências de imagens finais. Este trabalho foca na primeira etapa. Um sistema, baseado em modelos ocultos de Markov, capaz de gerar trajetórias de movimentações a partir de textos arbitrários é descrito e avaliado. A implementação é realizada para o Português do Brasil e a modelagem leva em consideração a expressividade do agente, sendo capaz de gerar trajetórias para diferentes emoções. A abordagem de modelagem de variancia do sinal é utilizada pra reduzir o efeito de sobreamortecimento.

show abstract

CNN-Based Phonetic Segmentation Refinement with a Cross-Speaker Setup

Cited by 2 publications

References 5 publications

Alinha-PB: A Phonetic Aligner for Brazilian Portuguese

Alinha-PB: A Phonetic Aligner for Brazilian Portuguese

Síntese de animação facial expressiva baseada em modelos ocultos de markov

Contact Info

Product

Resources

About