Vietnamese spelling detection and correction using Bi-gram, Minimum Edit Distance, SoundEx algorithms with some additional heuristics

Nguyen, Phuong Hong; Ngo, Thi-Lan; Phan, D.A.; Đình, Tư Lê; Huynh, Trung-Hai

doi:10.1109/rivf.2008.4586339

Cited by 13 publications

(9 citation statements)

References 8 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Spelling error correction is a problem that has received a lot of attention from the natural language processing community. In the Vietnamese language, there were a large number of studies approaching this problem by adopting statistical language models [12,9,14,13], such as N-gram. These traditional models learn the context by training on a large dataset.…”

Section: My Boat Is Climbing In the Dockmentioning

confidence: 99%

“…In 2008, Phuong H. Nguyen et al [12] proposed a statistical method that used POS Bigram (Part Of Speech Bigram) to detect suspected syllables. Minimum Edit Distance and SoundEx algorithms have been applied to generate suggestion candidates in the correcting phase.…”

Section: Related Workmentioning

confidence: 99%

“…We utilized syllable-level precision, recall, and F1 score which are common in the community [12,9,14]. In addition, we evaluated the accuracy of both detection and correction tasks.…”

Section: Evaluation Metricmentioning

confidence: 99%

See 2 more Smart Citations

VSEC: Transformer-based Model for Vietnamese Spelling Correction

Nguyen

Bui

et al. 2021

Preprint

View full text Add to dashboard Cite

Spelling error correction is one of topics which have a long history in natural language processing. Although previous studies have achieved remarkable results, challenges still exist. In the Vietnamese language, a state-of-the-art method for the task infers a syllable's context from its adjacent syllables. The method's accuracy can be unsatisfactory, however, because the model may lose the context if two (or more) spelling mistakes stand near each other. In this paper, we propose a novel method to correct Vietnamese spelling errors. We tackle the problems of mistyped errors and misspelled errors by using a deep learning model. The embedding layer, in particular, is powered by the byte pair encoding technique. The sequence to sequence model based on the Transformer architecture makes our approach different from the previous works on the same problem. In the experiment, we train the model with a large synthetic dataset, which is randomly introduced spelling errors. We test the performance of the proposed method using a realistic dataset. This dataset contains 11,202 human-made misspellings in 9,341 different Vietnamese sentences. The experimental results show that our method achieves encouraging performance with 86.8% errors detected and 81.5% errors corrected, which improves the state-of-the-art approach 5.6% and 2.2%, respectively.

show abstract

Section: My Boat Is Climbing In the Dockmentioning

confidence: 99%

Section: Related Workmentioning

confidence: 99%

See 1 more Smart Citation

VSEC: Transformer-based Model for Vietnamese Spelling Correction

Nguyen

Bui

et al. 2021

Preprint

View full text Add to dashboard Cite

show abstract

“…Em [13], é apresentado um experimento para correção de textos na língua vietnamita. Além de usar os tradicionais bigram e analisador morfossintático, ele utiliza o algoritmo SoundEX.…”

Section: Trabalhos Relacionadosunclassified

“…(11) (12) (13) Os resultados foram obtidos com o uso do sistema desenvolvido e posteriormente analisados por um especialista em linguística, que realizou a confirmação dos resultados verificados. A Tabela 2 exibe um resumo dos resultados obtidos, sendo que podem ser destacadas a informação da quantidade de palavras (na coluna "Palavras"), a quantidade de palavras que foram modificadas (na coluna "Mod.").…”

Section: Testes Realizadosunclassified

Certografia: um corretor ortográfico automático para português e resultados de um estudo de caso aplicado na área jurídica

Pittol

Rigo

2015

Revista Brasileira De Computação Aplicada

View full text Add to dashboard Cite

Resumo: As ferramentas desenvolvidas com recursos de Processamento de Linguagem Natural apresentam crescentes possibilidades de apoiar trabalhos em diversas áreas. Uma das atividades em que este tipo de ferramenta pode ser bastante útil é a correção ortográfica. Entretanto ainda são escassos trabalhos desse tipo voltados à língua portuguesa. Neste trabalho, é apresentado o Certografia, um sistema que permite fazer correções ortográficas automáticas em textos de língua portuguesa com o foco em textos da área jurídica. São apresentadas, ainda, as técnicas utilizadas para o seu desenvolvimento, os trabalhos relacionados que apoiaram a sua definição e também a arquitetura utilizado pelo sistema. O protótipo desenvolvido foi avaliado em testes que indicaram preliminarmente resultados bastante promissores. Palavras-chave:Corretor ortográfico, Processamento de Linguagem Natural. Abstract:The tools developed in Natural Language Processing field present increasing opportunities to support work in several areas. One of the activities in which this kind of tool can be very useful is spell checking. This work presents Certografia, a system that allows automatic spelling corrections in Portuguese texts with focus on legal area. In this article are commented techniques used for it's development, related works in several languages and system architecture. The developed prototype was evaluated in preliminary tests that showed promising results.Keywords: Spell Checker, Natural Language Processing. IntroduçãoCom os avanços na área de Processamento de Linguagem Natural (PLN), surgiu também a necessidade de ferramentas para auxiliar nas diversas atividades envolvidas no processo de entendimento da linguagem [1]. Para que uma informação textual seja processada de forma adequada é preciso que ela esteja descrita de forma correta. No caso de sistemas para PLN, tais como os sistemas de Extração de Informações ou geração de resumos, entre outros, é importante garantir que os dados recebidos estejam corretos e de acordo com a língua que está sendo considerada no processamento. Para isso, antes de fazer o processamento de um texto é de grande valia verificar em que medida ele está escrito de forma apropriada. Os sistemas de computação tratam as palavras a partir de seu armazenamento como dados em formato numérico, onde uma palavra é uma sequência de caracteres codificados em números. Em vários contextos de sistemas de computação, não é possível identificar se a palavra que está sendo processada está escrita corretamente ou não. Para resolver esse problema, é possível aplicar técnicas baseadas em métodos probabilísticos que empregam recursos adicionais, tais como léxicos e dicionários. Utilizando esses métodos é possível obter eficiência em procedimentos dedicados a identificar se uma palavra está escrita corretamente e, caso necessário, indicar qual palavra pode substituí-la.Esse trabalho possui como motivação tratar o problema de verificação da correção ortográfica em textos da língua portuguesa. Este objetivo está relacionado a um trab...

show abstract