Local Concurrency in Text Block Search Tasks

The work is devoted to the development of an organizational model of the machine translation system of artificial languages. The main goal is the analysis of text augmentation algorithms, which are significant elements of the developed machine translation system at the stage of improvement of new dictionaries created on the basis of already existing dictionaries. In the course of the work was developed a model of the machine translation system, created dictionaries based on texts and based on already existing dictionaries using augmentation methods such as back translation and crossover; improved dictionary based on algorithms of n-grams, Knuth-Morris-Pratt and word search in the text (such as binary search, tree search, sqrt decomposition). In addition, the work implements the possibility of using the prepared dictionary for translation. Obtained results can improve existing systems of machine translation of the text of artificial languages. Practical significance of this work is the analysis and improvement of text augmentation algorithms by changing the prefix tree type. Compared to the conventional algorithm, the improved algorithm reduced the memory usage by almost 13 times, which allows it to be used on much larger test data. This was achieved by changing the internal system of the node of the prefix tree from constant references to an expandable list.

show abstract

“…− improvement of the dictionary thanks to the algorithms of n-grams and Knuth-Morris-Pratt [8][9][10][11];…”

Section: The Problem Formulationmentioning

confidence: 99%

Analysis of Text Augmentation Algorithms in Artificial Language Machine Translation Systems

Havrashenko

Barkovska

2023

A.I.S.

View full text Add to dashboard Cite

show abstract

“…It is shown that restricting phrases to language phrases (syntactically motivated groups of words) reduces the quality of translation. [14].…”

Section: Related Workmentioning

confidence: 99%

Analysis of Word Search Algorithms in the Dictionaries of Machine Translation Systems for Artificial Languages

Barkovska,

Havrashenko

2023

CSIT

View full text Add to dashboard Cite

The paper is devoted to the development of an organizational model of the machine translation system of artificial languages. The main goal is the analysis of word search algorithms in the dictionary, which are significant elements of the developed machine translation system at the stage of improvement of new dictionaries created on the basis of already existing dictionaries. In the course of the work was developed a model of the machine translation system, created dictionaries based on texts and based on already existing dictionaries using augmentation methods such as back translation and crossover; improved dictionary based on algorithms of n-grams, Knuth-Morris-Pratt and word search in the text (such as binary search, tree search, root decomposition search). In addition, the work implements the possibility of using the prepared dictionary for translation. The obtained results can improve existing systems of machine translation of the text of artificial languages. Namely, to reduce the operating time by approximately 20 times when switching from the balanced tree algorithm to other logarithmic algorithms. The practical significance of this work is the analysis and improvement of text augmentation algorithms using algorithms of binary search, hashes, search tree, and root decomposition.

show abstract

“…2), яка являє організаційно-функціональний, технологічний і програмно-технічний комплекс для класифікації або категоризації документу за ключовими словами, які визначаються частотним словником. Запропонована узагальнена модель складається з блоків: − попередньої обробки зображення; − розпізнавання тексту; − попередньої обробки тексту [14,15]; − побудови частотного словника.…”

Section: рішення поставленої задачіunclassified

Значущість Обчислювальних Систем Із Масовим Паралелізмом При Обробці Сканованих Документів

Barkovska¹,

Kholiev²,

Polikanov³

2022

CNCS

View full text Add to dashboard Cite

У роботі запропоновано узагальнена модель системи класифікації сканованих документів, яка являє організаційно-функціональний, технологічний і програмно-технічний комплекс для класифікації або категоризації документу за ключовими словами, які визначаються частотним словником. Актуальність теми дослідження полягає у скороченні часу впорядкування нових інформаційних ресурсів, що надходять до сховища, завдяки збільшенню швидкості роботи методів покращення якості вихідного зображення безпосередньо перед обробкою та аналізом тексту. Аналіз результатів довів ефективність та доцільність використання обчислювачів із масовим паралелізмом для виконання таких задач, як шумопригнічення та зміна значення колірних каналів вихідного повнокольорового зображення, досягаючи прискорення до 53,51% у порівнянні із використанням обчислювального ресурсу центрального процесору.

show abstract

Local Concurrency in Text Block Search Tasks

Cited by 4 publications

References 6 publications

Analysis of Text Augmentation Algorithms in Artificial Language Machine Translation Systems

Analysis of Text Augmentation Algorithms in Artificial Language Machine Translation Systems

Analysis of Word Search Algorithms in the Dictionaries of Machine Translation Systems for Artificial Languages

Значущість Обчислювальних Систем Із Масовим Паралелізмом При Обробці Сканованих Документів

Contact Info

Product

Resources

About