Data Integration, Cleaning, and Deduplication: Research Versus Industrial Projects

Wrembel, Robert

doi:10.1007/978-3-031-21047-1_1

Cited by 2 publications

(2 citation statements)

References 56 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…In a programme with parallel execution, there may be multiple thread call stacks, each operating independently, but in case of an error or failure, tracing the call stack of that thread indicates the sequence of functions that caused the problem. In addition, there is the concept of a programme memory dump, which is a file that captures the state of the programme's memory at a specific moment in time (Wrembel, 2022). It can include the entire memory area the programme uses at that particular moment.…”

Section: Resultsmentioning

confidence: 99%

Untitled

2024

bcstu

View full text Add to dashboard Cite

Доктор технічних наук, професор кафедри інформаційної безпеки та комп'ютерної інженерії, проректор з науково-дослідної роботи та міжнародних зв'язків, Черкаський державний технологічний університет, Україна Національні члени редколегії: Віктор Антонюк Доктор технічних наук, професор кафедри виробництва приладів, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Україна Володимир Артемчук Доктор технічних наук, старший науковий співробітник, Інститут проблем моделювання в енергетиці ім. Г. Є. Пухова НАН України, Україна Костянтин Базіло Доктор технічних наук, професор, доцент кафедри приладобудування, мехатроніки та комп'ютеризованих технологій, Черкаський державний технологічний університет, Україна Олександр Батраченко Доктор технічних наук, доцент, доцент кафедри проектування харчових виробництв та верстатів нового покоління, Черкаський державний технологічний університет, Україна Максим Бондаренко Доктор технічних наук, професор, доцент кафедри приладобудування, мехатроніки та комп'ютеризованих технологій, Черкаський державний технологічний університет, Україна Юлія Бондаренко Кандидат технічних наук, професор, докторант кафедри приладобудування, мехатроніки та комп'ютеризованих технологій, Черкаський державний технологічний університет, Україна Віола Вамболь Доктор технічних наук, професор кафедри прикладної екології та природокористування, Національний університет "Полтавська політехніка імені Юрія Кондратюка", Україна Вячеслав Ващенко Доктор технічних наук, професор, завідувач кафедри фізики, Черкаський державний технологічний університет, Україна Тетяна Вітенько Доктор технічних наук, завідувач кафедри обладнання харчових технологій, професор, Тернопільський національний технічний університет ім. І. Пулюя, Україна Сергій Вербицький Кандидат технічних наук, Інститут продовольчих ресурсів Національна академія аграрних наук, Україна Віталій Вязовик Доктор технічних наук, доцент кафедри хімічних технологій та водоочищення, Черкаський державний технологічний університет, Україна Володимир Гальченко Доктор технічних наук, професор кафедри приладобудування, мехатроніки та комп'ютеризованих технологій, Черкаський державний технологічний університет, Україна Віктор Гевод Доктор хімічних наук, доцент, професор кафедри технології неорганічних речовин та екології, Державний вищий навчальний заклад "Український державний хімікотехнологічний університет", Україна Олександр Зайчук Доктор технічних наук, професор, професор кафедри хімічних технологій кераміки, скла та будівельних матеріалів, Державний вищий навчальний заклад "Український державний хіміко-технологічний університет", Україна Сергій Заболотній Доктор технічних наук, доцент, професор кафедри радіотехніки, телекомунікаційних і робототехнічних систем, Черкаський державний технологічний університет, Україна Ігор Коваленко Доктор технічних наук, професор, завідувач кафедри технології неорганічних речовин та екології, Державний вищий навчальний заклад "Український державний хіміко-технологічний університет", Укр...

show abstract

Section: Resultsmentioning

confidence: 99%

Untitled

2024

bcstu

View full text Add to dashboard Cite

show abstract

Section: Resultsmentioning

confidence: 99%

Deduplication of error reports in software malfunction: Algorithms for comparing call stacks

Pavlenko,

Kuliabko

2023

bcstu

View full text Add to dashboard Cite

In the software industry, the standard recognises automatic fault monitoring systems as mandatory for implementation. Considering the constant development of technologies and the high complexity of programmes, the importance of optimising processes for detecting and eliminating errors becomes a relevant task due to the need for reliability and stability of software. The purpose of this study is to conduct a detailed analysis of existing deduplication algorithms for reports from automatic systems collecting information about software failures. Among the algorithms considered were: the longest common subsequence method, Levenshtein distance, deep learning methods, Siamese neural networks, and hidden Markov models. The results obtained indicate a great potential for optimising processes of error detection and elimination in software. The developed comprehensive approach to the analysis and detection of duplicates in call stacks in failure reports allows for effectively addressing issues. The deep learning methods and hidden Markov models have demonstrated their effectiveness and feasibility for real-world applications. Effective methods for comparing key parameters of reports are identified, which contributes to the identification and grouping of recurring errors. The use of call stack comparison algorithms has proven critical for accurately identifying similar error cases in products with large audiences and high parallelism conditions. Siamese neural networks and the Scream Tracker 3 Module algorithm are used to determine the similarity of call stacks, including the application of recurrent neural networks (long short-term memory, bidirectional long short-term memory). Optimisation of report processing and clustering particularly enhances the speed and efficiency of responding to new failure cases, allowing developers to improve system stability and focus on high-priority issues. The study is useful for software developers, software development companies, system administrators, research groups, algorithm and tool development companies, cybersecurity professionals, and educational institutions

show abstract

Data Integration, Cleaning, and Deduplication: Research Versus Industrial Projects

Cited by 2 publications

References 56 publications

Untitled

Untitled

Deduplication of error reports in software malfunction: Algorithms for comparing call stacks

Contact Info

Product

Resources

About