Thai OCR error correction using token passing algorithm

Rodphon, M.; Siriboon, Kritawan; Kruatrachue, Boontee

doi:10.1109/pacrim.2001.953704

Cited by 6 publications

(2 citation statements)

References 1 publication

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…On the other hand, E2E systems for Thai TC based on token-passing algorithms rely exclusively on prebuilt dictionaries [6], [7]. Thus, these methods cannot address out-ofvocabulary tokens (i.e., names) at all.…”

Section: B Spell Checkersmentioning

confidence: 99%

Thai Spelling Correction and Word Normalization on Social Text Using a Two-Stage Pipeline With Neural Contextual Attention

2020

View full text Add to dashboard Cite

Text correction systems (e.g., spell checkers) have been used to improve the quality of computerized text by detecting and correcting errors. However, the task of performing spelling correction and word normalization (text correction) for Thai social media text has remained largely unexplored. In this paper, we investigated how current text correction systems perform on correcting errors and word variances in Thai social texts and propose a method designed for this task. We have found that currently available Thai text correction systems are insufficiently robust for correcting spelling errors and word variances, while the text correctors designed for English grammatical error correction suffer from overcorrections (text rewrites). Thus, we proposed a neural-based text corrector with a two-stage structure to alleviate issues of overcorrections while exploiting the benefits of a neural Seq2Seq corrector. Our method consists of a neuralbased error detector and a Seq2Seq neural error corrector with contextual attention. This novel architecture allows the Seq2Seq network to produce corrections based on both the erroneous text and its context without the need for an end-to-end structure. Our method outperformed all the other evaluated text correction systems. When compared to the second-best result (copy-augmented transformer), our method further reduced the word error rate (WER) from 2.51% to 2.07%, improved the generalized language evaluation understanding (GLEU) score from 0.9409 to 0.9502 on the Thai text correction task, and improved the GLEU score from 0.7409 to 0.7539 on the English spelling correction task.

show abstract

Section: B Spell Checkersmentioning

confidence: 99%

Thai Spelling Correction and Word Normalization on Social Text Using a Two-Stage Pipeline With Neural Contextual Attention

2020

View full text Add to dashboard Cite

show abstract

“…Em [16], é apresentado um corretor automático para língua tailandesa, para melhorar os resultados de reconhecimento ótico de caracteres. Uma peculiaridade dessa língua é que as palavras não são separadas por espaço, o que dificulta a separação delas no seu reconhecimento.…”

Section: Trabalhos Relacionadosunclassified

Certografia: um corretor ortográfico automático para português e resultados de um estudo de caso aplicado na área jurídica

Pittol

Rigo

2015

Revista Brasileira De Computação Aplicada

View full text Add to dashboard Cite

Resumo: As ferramentas desenvolvidas com recursos de Processamento de Linguagem Natural apresentam crescentes possibilidades de apoiar trabalhos em diversas áreas. Uma das atividades em que este tipo de ferramenta pode ser bastante útil é a correção ortográfica. Entretanto ainda são escassos trabalhos desse tipo voltados à língua portuguesa. Neste trabalho, é apresentado o Certografia, um sistema que permite fazer correções ortográficas automáticas em textos de língua portuguesa com o foco em textos da área jurídica. São apresentadas, ainda, as técnicas utilizadas para o seu desenvolvimento, os trabalhos relacionados que apoiaram a sua definição e também a arquitetura utilizado pelo sistema. O protótipo desenvolvido foi avaliado em testes que indicaram preliminarmente resultados bastante promissores. Palavras-chave:Corretor ortográfico, Processamento de Linguagem Natural. Abstract:The tools developed in Natural Language Processing field present increasing opportunities to support work in several areas. One of the activities in which this kind of tool can be very useful is spell checking. This work presents Certografia, a system that allows automatic spelling corrections in Portuguese texts with focus on legal area. In this article are commented techniques used for it's development, related works in several languages and system architecture. The developed prototype was evaluated in preliminary tests that showed promising results.Keywords: Spell Checker, Natural Language Processing. IntroduçãoCom os avanços na área de Processamento de Linguagem Natural (PLN), surgiu também a necessidade de ferramentas para auxiliar nas diversas atividades envolvidas no processo de entendimento da linguagem [1]. Para que uma informação textual seja processada de forma adequada é preciso que ela esteja descrita de forma correta. No caso de sistemas para PLN, tais como os sistemas de Extração de Informações ou geração de resumos, entre outros, é importante garantir que os dados recebidos estejam corretos e de acordo com a língua que está sendo considerada no processamento. Para isso, antes de fazer o processamento de um texto é de grande valia verificar em que medida ele está escrito de forma apropriada. Os sistemas de computação tratam as palavras a partir de seu armazenamento como dados em formato numérico, onde uma palavra é uma sequência de caracteres codificados em números. Em vários contextos de sistemas de computação, não é possível identificar se a palavra que está sendo processada está escrita corretamente ou não. Para resolver esse problema, é possível aplicar técnicas baseadas em métodos probabilísticos que empregam recursos adicionais, tais como léxicos e dicionários. Utilizando esses métodos é possível obter eficiência em procedimentos dedicados a identificar se uma palavra está escrita corretamente e, caso necessário, indicar qual palavra pode substituí-la.Esse trabalho possui como motivação tratar o problema de verificação da correção ortográfica em textos da língua portuguesa. Este objetivo está relacionado a um trab...

show abstract