Automatic disfluency removal for improving spoken language translation

Combining Punctuation and Disfluency Prediction: An Empirical Study

“…Researchers have shown that splitting input sequences into sentences and adding in punctuation symbols improve machine translation (Favre et al, 2008;Lu and Ng, 2010). Moreover, disfluencies in speech also introduce noise in downstream tasks like machine translation and information extraction (Wang et al, 2010). Thus, punctuation prediction (PU) and disfluency prediction (DF) are two important post-processing tasks for automatic speech recognition because they improve not only the readability of ASR output, but also the performance of downstream Natural Language Processing (NLP) tasks.…”

Segmentação de sentenças e detecção de disfluências em narrativas transcritas de testes neuropsicológicos

“…Já Mrozinski et al (2006) verificou que segmentar apropriadamente transcrições de fala é um passo importante para que métodos de sumarização automática tenham um bom desempenho. Seguindo a mesma linha, segundo Wang et al (2010), Hassan et al (2014) a remoção de disfluências produz resultados significativamente melhores para traduções automáticas a partir de textos transcritos automaticamente da fala.…”

“…Sendo que os modelos de HMM e RL têm como objetivo detectar o ponto de interrupção, e então um algoritmo baseado em regras pode ser usado para retornar na sequência e encontrar o ponto de início da disfluência de edição (HEEMAN; ALLEN, 1994;CORE;SCHUBERT, 1999;STOLKE, 2003;WANG et al, 2010). Já o CRF é modelado usando classes para indicar início (B), meio (I) e fora (O) de uma região de disfluência, sendo que mais duas classes são adicionadas para modelar o fato de que um ponto de interrupção pode ocorrer no início (B+IP) e no meio da região (I+IP).…”

“…Os autores informam que informações de um parser sintático pode ajudar a melhorar casos mais ambíguos e deixar as regras mais generalizáveis. Wang et al (2010) também utilizam regras baseadas em identidades e classes morfossintáticas das palavras para detectar preenchimentos, mostrando que removendo disfluências de edição e mantendo preenchimentos acarreta num melhor desempenho para um método de tradução automática baseado em CRF.…”

“…Identificar preenchimentos é considerada uma tarefa fácil na literatura, vários trabalhos os detectam usando listas de palavras e regras manuais (STOLCKE et al, 1998;LIU et al, 2005;WANG et al, 2010), por isso acreditamos que a concordância para a anotação de preenchimentos ficou dentro de uma margem razoavelmente boa (0.67 -0.84). Os valores de F 1 só foram reportados para que em nossos experimentos o desempenho humano possa ser comparado com o desempenho do método automático.…”