Spell Checking and Error Correcting Application for Turkish

İnce, Ebru Yılmaz

doi:10.18178/ijiee.2017.7.2.663

Cited by 9 publications

(7 citation statements)

References 17 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…After these operations, text normalization is performed. To do this, natural language processing tools such as NLTK [33] and Zemberek [34] are used to convert capital letters, convert numbers to text, remove punctuation and markups, remove spaces, open abbreviations and remove unnecessary words [35]. When there are a lot of texts to process, sometimes it is necessary to decrease the amount of the texts.…”

Section: A Natural Language Processing and Latent Semantic Analysismentioning

confidence: 99%

Türkçe Sözde Algoritma Kodu için LSTM Tabanlı Kaynak Kod Üretimi

İnce

2021

Düzce Üniversitesi Bilim Ve Teknoloji Dergisi

View full text Add to dashboard Cite

Algorithmic thinking and programming abilities of students is controversial and popular issue in technological education programs in schools and universities. Students that have not best mathematical and analytical background may have difficulties in learning computer programing. Moreover, learning programming is highly difficult for a single individual to establish connection between discrete pseudo code of algorithm and source code. Another problem is required time to write a piece of program code. In order to solve this problem, there are some tools that tutor students to get analyze and realize relation between pseudo code and source code. In this study, we propose a deep learning method that is Long Short Term-Memory (LSTM) based source code generator from Turkish pseudo codes. For this purpose, we used Introduction to programming course exams in vocational high school as dataset to train LSTM. When users query a Turkish pseudo code of algorithm, C# source code is generated. In order to measure success of proposed system, generated source code and instructor's source code is analyzed with text similarity methods. Results show that proposed system is useful for students to learn fundamental programming skills.

show abstract

Section: A Natural Language Processing and Latent Semantic Analysismentioning

confidence: 99%

Türkçe Sözde Algoritma Kodu için LSTM Tabanlı Kaynak Kod Üretimi

İnce

2021

Düzce Üniversitesi Bilim Ve Teknoloji Dergisi

View full text Add to dashboard Cite

show abstract

“…Bu işlemlerden sonra metin normalizasyonu yapılır. Bunun için NLTK [48] ve Zemberek [49] gibi doğal dil işleme araçları kullanılarak büyük küçük harf dönüştürme, sayıları metne dönüştürme, noktalama ve işaretlemelerin kaldırılması, boşlukların kaldırılması, kısaltmaların açılması ve gereksiz kelimelerin kaldırılması gibi işlemler uygulanır [50].…”

Section: Doğal Di̇l İşlemeunclassified

Üstverilerin Derin Öğrenme Algoritmaları Kullanılarak Otomatik Olarak Çıkartılması ve Sınıflanması

İnce

2021

Düzce Üniversitesi Bilim Ve Teknoloji Dergisi

View full text Add to dashboard Cite

Günümüzde bilişim teknolojilerinin yaygınlaşması sebebiyle dijital içerik ihtiyacı artmıştır. Bu içeriklerin oluşturulması zaman alıcı ve maliyetli bir süreçtir. İçerik oluşturulurken öğrenme nesnelerinden faydalanılmaktadır. Bu nesnelerin bilgisayarlar tarafından keşfedilebilir ve okunabilir olması yeniden kullanılabilirlik ve paylaşılabilirlik açısından önemlidir. Bu sebeple nesneler tanımlayıcı kimlik bilgilerini içeren üstveriler ile bütünleşik olarak kullanılmaktadırlar. Bu üstveriler ne kadar düzgün oluşturulup sınıflandırılırsa nesnelerin kullanılabilirliği o derece artmış olmaktadır. Bu sebeple nesnelerden otomatik üstveri çıkartan birçok yöntem geliştirilmiştir. Bu çalışmada da Konvolüsyonel Sinir Ağları (KSA), Tekrarlayan Sinir Ağları (TSA) gibi derin öğrenme ve Doğal Dil İşleme (DDİ) yöntemleri kullanılarak öğrenme nesnelerindeki içeriklerden otomatik olarak üstveri çıkartılması ve sınıflaması yapılmıştır. Sistemin başarısı ve doğruluğu örnek öğrenme nesneleri ile test edilmiştir. Sonuçlar sistemin başarılı bir şekilde kullanılabileceğini göstermiştir.

show abstract

“…The best correction candidate is found using the Viterbi search. In Ince (2017), Zemberek is used together with an n-gram model and edit distance. Torunoglu et al (2016) uses different combinations of error/language models and edit distance for Turkish spelling correction.…”

mentioning

confidence: 99%

Learning from mistakes: Improving spelling correction performance with automatic generation of realistic misspellings

Büyük

Arslan

2021

Expert Systems

View full text Add to dashboard Cite

Sequence to sequence models (seq2seq) require a large amount of labelled training data to learn the mapping between the input and output. A large set of misspelled words together with their corrections is needed to train a seq2seq spelling correction system. Low-resource languages such as Turkish usually lack such large annotated datasets. Although misspelling-reference pairs can be synthesized with a random procedure, the generated dataset may not well match to genuine human-made misspellings. This might degrade the performance in realistic test scenarios. In this paper, we propose a novel procedure to automatically introduce human-like misspellings to legitimate words in Turkish language. Generated human-like misspellings are used to improve the performance of a seq2seq spelling correction system. The proposed system consists of two separate models; a misspelling generator and a spelling corrector.The generator is trained using a relatively small number of human-made misspellings and their manual corrections. Reference words and their misspellings are used as inputs and outputs of the generator, respectively. As a result, it is trained to add realistic spelling errors to the valid words. Training data of the spelling corrector is augmented by the generator's human-like misspellings. In the experiments, we observe that the data augmentation significantly improves the spelling correction performance. Our proposed method yields 5% absolute improvement over the state-ofthe-art Turkish spelling correction systems in a test set which contains human-made misspellings from Twitter messages.

show abstract

Spell Checking and Error Correcting Application for Turkish

Cited by 9 publications

References 17 publications

Türkçe Sözde Algoritma Kodu için LSTM Tabanlı Kaynak Kod Üretimi

Türkçe Sözde Algoritma Kodu için LSTM Tabanlı Kaynak Kod Üretimi

Üstverilerin Derin Öğrenme Algoritmaları Kullanılarak Otomatik Olarak Çıkartılması ve Sınıflanması

Learning from mistakes: Improving spelling correction performance with automatic generation of realistic misspellings

Contact Info

Product

Resources

About