Introduction to data deduplication approaches

Sinha, G. R.; Thwel, Tin Thein; Mohdiwale, Samrudhi; Shrivastava, Divya

doi:10.1016/b978-0-12-823395-5.00019-7

Cited by 3 publications

(2 citation statements)

References 30 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…G.R. Sinha et al (2021) and D. Feng (2022) investigated the issue of data deduplication. From the results of their study, it can be learnt that data deduplication is a data compression technology without loss that involves removing redundant data.…”

Section: Introductionmentioning

confidence: 99%

Untitled

2024

bcstu

View full text Add to dashboard Cite

Доктор технічних наук, професор кафедри інформаційної безпеки та комп'ютерної інженерії, проректор з науково-дослідної роботи та міжнародних зв'язків, Черкаський державний технологічний університет, Україна Національні члени редколегії: Віктор Антонюк Доктор технічних наук, професор кафедри виробництва приладів, Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського», Україна Володимир Артемчук Доктор технічних наук, старший науковий співробітник, Інститут проблем моделювання в енергетиці ім. Г. Є. Пухова НАН України, Україна Костянтин Базіло Доктор технічних наук, професор, доцент кафедри приладобудування, мехатроніки та комп'ютеризованих технологій, Черкаський державний технологічний університет, Україна Олександр Батраченко Доктор технічних наук, доцент, доцент кафедри проектування харчових виробництв та верстатів нового покоління, Черкаський державний технологічний університет, Україна Максим Бондаренко Доктор технічних наук, професор, доцент кафедри приладобудування, мехатроніки та комп'ютеризованих технологій, Черкаський державний технологічний університет, Україна Юлія Бондаренко Кандидат технічних наук, професор, докторант кафедри приладобудування, мехатроніки та комп'ютеризованих технологій, Черкаський державний технологічний університет, Україна Віола Вамболь Доктор технічних наук, професор кафедри прикладної екології та природокористування, Національний університет "Полтавська політехніка імені Юрія Кондратюка", Україна Вячеслав Ващенко Доктор технічних наук, професор, завідувач кафедри фізики, Черкаський державний технологічний університет, Україна Тетяна Вітенько Доктор технічних наук, завідувач кафедри обладнання харчових технологій, професор, Тернопільський національний технічний університет ім. І. Пулюя, Україна Сергій Вербицький Кандидат технічних наук, Інститут продовольчих ресурсів Національна академія аграрних наук, Україна Віталій Вязовик Доктор технічних наук, доцент кафедри хімічних технологій та водоочищення, Черкаський державний технологічний університет, Україна Володимир Гальченко Доктор технічних наук, професор кафедри приладобудування, мехатроніки та комп'ютеризованих технологій, Черкаський державний технологічний університет, Україна Віктор Гевод Доктор хімічних наук, доцент, професор кафедри технології неорганічних речовин та екології, Державний вищий навчальний заклад "Український державний хімікотехнологічний університет", Україна Олександр Зайчук Доктор технічних наук, професор, професор кафедри хімічних технологій кераміки, скла та будівельних матеріалів, Державний вищий навчальний заклад "Український державний хіміко-технологічний університет", Україна Сергій Заболотній Доктор технічних наук, доцент, професор кафедри радіотехніки, телекомунікаційних і робототехнічних систем, Черкаський державний технологічний університет, Україна Ігор Коваленко Доктор технічних наук, професор, завідувач кафедри технології неорганічних речовин та екології, Державний вищий навчальний заклад "Український державний хіміко-технологічний університет", Укр...

show abstract

Section: Introductionmentioning

confidence: 99%

Untitled

2024

bcstu

View full text Add to dashboard Cite

show abstract

Section: Introductionmentioning

confidence: 99%

Deduplication of error reports in software malfunction: Algorithms for comparing call stacks

Pavlenko,

Kuliabko

2023

bcstu

View full text Add to dashboard Cite

In the software industry, the standard recognises automatic fault monitoring systems as mandatory for implementation. Considering the constant development of technologies and the high complexity of programmes, the importance of optimising processes for detecting and eliminating errors becomes a relevant task due to the need for reliability and stability of software. The purpose of this study is to conduct a detailed analysis of existing deduplication algorithms for reports from automatic systems collecting information about software failures. Among the algorithms considered were: the longest common subsequence method, Levenshtein distance, deep learning methods, Siamese neural networks, and hidden Markov models. The results obtained indicate a great potential for optimising processes of error detection and elimination in software. The developed comprehensive approach to the analysis and detection of duplicates in call stacks in failure reports allows for effectively addressing issues. The deep learning methods and hidden Markov models have demonstrated their effectiveness and feasibility for real-world applications. Effective methods for comparing key parameters of reports are identified, which contributes to the identification and grouping of recurring errors. The use of call stack comparison algorithms has proven critical for accurately identifying similar error cases in products with large audiences and high parallelism conditions. Siamese neural networks and the Scream Tracker 3 Module algorithm are used to determine the similarity of call stacks, including the application of recurrent neural networks (long short-term memory, bidirectional long short-term memory). Optimisation of report processing and clustering particularly enhances the speed and efficiency of responding to new failure cases, allowing developers to improve system stability and focus on high-priority issues. The study is useful for software developers, software development companies, system administrators, research groups, algorithm and tool development companies, cybersecurity professionals, and educational institutions

show abstract

Comparative analysis of various deduplication approaches and a method thereof

Goel,

Prabha

2024

AIP Conference Proceedings

View full text Add to dashboard Cite

Introduction to data deduplication approaches

Cited by 3 publications

References 30 publications

Untitled

Untitled

Deduplication of error reports in software malfunction: Algorithms for comparing call stacks

Comparative analysis of various deduplication approaches and a method thereof

Contact Info

Product

Resources

About