An open-source end-to-end ASR system for Brazilian Portuguese using DNNs built from newly assembled corpora

Abstract

In this work, we present a baseline end-to-end system based on deep learning for automatic speech recognition in Brazilian Portuguese. To build such a model, we employ a speech corpus containing 158 hours of annotated speech by assembling four individual datasets, three of them publicly available, and a text corpus containing 10.2 millions of sentences. We train an acoustic model based on the DeepSpeech 2 network, with two convolutional and five bidirectional recurrent layers. By adding a newly trained 15-gram language model at the character level, we achieve a character error rate of only 10.49% and a word error rate of 25.45%, which are on a par with other works in different languages using a similar amount of training data.

A single speaker is almost all you need for automatic speech recognition

“…The model trained with only 1 real speaker in the target language (TTS dataset) with data augmentation using voice conversion and TTS, achieved a WER of 33.96% and 36.59%, respectively. For comparison in pt-BR, [29] used ca. 158 hrs of speech and a nonself-supervised model without an external LM and achieved a WER of 47.41% on the test set of BRSD v2 dataset.…”

Desenvolvimento de um modelo de reconhecimento de voz para o Português Brasileiro com poucos dados utilizando o Wav2vec 2.0

“…Naárea de ASRs abertos para o Português, os trabalhos de [Quintanilha 2017] e [Quintanilha et al 2020] podem ser destacados como avanços recentes importantes. [Quintanilha 2017] propôs a elaboração de um dataset em Português Brasileiro composto pela junção de vários outros conjuntos de dados disponíveis.…”

“…O autor obteve um WER de 25,13% no conjunto de teste proposto, 11% maior que os sistemas comerciais comparados pelo trabalho. Mais recentemente, [Quintanilha et al 2020] propuseram uma versão melhorada do dataset utilizado em [Quintanilha 2017] ao adicionar o dataset CETUC [Alencar and Alcaim 2008], contendo aproximadamente 145 horas de fala, ao conjunto de dados do trabalho anterior, para o treinamento de uma topologia baseada no DeepSpeech 2. Os autores alcançaram um WER de 25,45% no conjunto de teste proposto.…”

“…O conjunto de treinamento da Common Voice não foi utilizado neste trabalho, que procurou validar a utilização do modelo XLSR-53 em situações com poucos dados rotulados. Entretanto,é provável que o ajuste do modelo com mais dados, similar a [Quintanilha et al 2020], produza resultados melhores. Os datasets utilizados são detalhados na Seção 5.1.…”

“…Segundo [Goodfellow et al 2016], a tarefa de reconhecer a fala automaticamente pode ser definida como o mapeamento de um sinal acústico contendo uma sentença falada para uma sequência correspondente de palavras escritas pretendida pelo locutor. Apesar dos grandes avanços ná area, os modelos estado-da-arte de ASR necessitam de uma grande quantidade de dados para que seja possível alcançar um desempenho aceitável [Amodei et al 2016, Quintanilha et al 2020. Isso pode ser um grande problema em idiomas como o Português Brasileiro, que apresenta poucos recursos abertos disponíveis [Neto et al 2011, Neto et al 2008.…”