A study of practical deduplication

Meyer, Dutch T.; Bolosky, William J.

doi:10.1145/2078861.2078864

Cited by 355 publications

(165 citation statements)

References 10 publications

Supporting

Mentioning

159

Contrasting

Unclassified

Order By: Relevance

“…The limitations of Rabin fingerprint based CDC [20] and MAXP [28] algorithms are superseded by AE algorithm. After chunking process, the cryptographically secure hash-based signature is applied on each chunk to compute its fingerprint [29]. This process is known as fingerprinting.…”

Section: Related Workmentioning

confidence: 99%

A Novel approach of data deduplication for distributed storage

Singhal¹,

Kaushik²,

Sharma³

2018

IJET

View full text Add to dashboard Cite

Due to drastic growth of digital data, data deduplication has become a standard component of modern backup systems. It reduces data redundancy, saves storage space, and simplifies the management of data chunks. This process is performed in three steps: chunking, fingerprinting, and indexing of fingerprints. In chunking, data files are divided into the chunks and the chunk boundary is decided by the value of the divisor. For each chunk, a unique identifying value is computed using a hash signature (i.e. MD-5, SHA-1, SHA-256), known as fingerprint. At last, these fingerprints are stored in the index to detect redundant chunks means chunks having the same fingerprint values. In chunking, the chunk size is an important factor that should be optimal for better performance of deduplication system. Genetic algorithm (GA) is gaining much popularity and can be applied to find the best value of the divisor. Secondly, indexing also enhances the performance of the system by reducing the search time. Binary search tree (BST) based indexing has the time complexity of (log ) which is minimum among the searching algorithm. A new model is proposed by associating GA to find the value of the divisor. It is the first attempt when GA is applied in the field of data deduplication. The second improvement in the proposed system is that BST index tree is applied to index the fingerprints. The performance of the proposed system is evaluated on VMDK, Linux, and Quanto datasets and a good improvement is achieved in deduplication ratio.

show abstract

Section: Related Workmentioning

confidence: 99%

A Novel approach of data deduplication for distributed storage

Singhal¹,

Kaushik²,

Sharma³

2018

IJET

View full text Add to dashboard Cite

show abstract

“…Hash function will be used to find duplicate files. This algorithm is a fast method with small amount of calculation so it provides high efficiency and low cost [3].…”

Section: Whole File Hashingmentioning

confidence: 99%

Partitioning for Cloud Storage Based on Space-Time Utility Maximization Model

2018

IJMTER

View full text Add to dashboard Cite

Abstract-The Data Deduplication is the important data compression technique for eliminating duplicate copies of repeating data. This is widely used in cloud storage to reduce the amount of storage space and save bandwidth. Cloud services increases now days, so the problem of redundant data is more prominent in the cloud storage systems. The Space-efficiency mainly uses data deduplication technologies, while the access-efficiency requires gathering the files with high similarity on a server. Based on the data de-duplication technologies, the Frequency and Similarity-Aware Partitioning (FSAP) algorithm for cloud storage proposed, which is more reasonable data partitioning algorithm. In this paper the Space-Time Utility Maximization Model (STUMM), is proposed, which is useful in balancing the relationship between space-efficiency and accessefficiency. The FSAP algorithm is based on the Space-Time Utility Maximization Model reaches higher compression ratio and more balanced distribution of data blocks.

show abstract

“…de-duplication) [8,9]. Он представляет собой метод сжатия информации, когда поиск копий производится по всему массиву данных, а не в пределах одного файла.…”

Section: исключение дублирования данныхunclassified

Backup with Storage in a Database

Taranin¹

2016

Model. anal. inf. sist.

View full text Add to dashboard Cite

Резервное копирование с хранением в базе данныхТаранин С. М. получена 9 сентября 2015Аннотация. В данной работе представлен обзор некоторых технологий, которые используются в современных системах резервного копирования, кратко описаны их преимущества и недостатки. Далее рас-сматривается подход к реализации системы резервного копирования с сохранением файлов в базе данных. Предлагается разбивать копируемые файлы на блоки фиксированной длины. Каждый блок представляет собой последовательность байт. Длина блока может быть адаптивной, т.е. ме-няться в зависимости от типа или размера файла. В таком виде содержимое файлов предлагается хранить в одной таблице, а информацию о них: имена, атрибуты и связи между ними -хранить в другой таблице. Сведения о сохраненных файлах и папках предлагается хранить не только в базе данных на сервере, но и на стороне клиента в некоторой иерархической структуре. Она содер-жит набор записей и представляет собой модель копируемой директории. Наличие такой модели позволяет отслеживать изменения в файловой системе клиента без выполнения дополнительных запросов к базе данных. В случае если файл изменен, в базу копируются только его изменившиеся блоки. При этом в модели на стороне клиента также обновляется информация, например дата из-менения отредактированного документа. Удаляются записи об удаленных файлах и папках. Таким образом, уменьшается нагрузка на канал передачи данных. В статье описаны алгоритмы сохране-ния и восстановления данных, а также рассмотрены факторы, влияющие на скорость их работы. Наглядно показана зависимость скорости сохранения и восстановления данных от мелкости раз-биения файлов, а также от структуры копируемой директории.Ключевые слова: файл, данные, резервное копирование, база данных, блок, модель Для цитирования: Таранин С. М., "Резервное копирование с хранением в базе данных", Моделирование и анализ информационных систем, 23:4 (2016), 479-491. Об авторах:Таранин Сергей Максимович, orcid.org/0000-0001-8117-7358, аспирант, Ярославский государственный университет им. П.Г. Демидова, ул. Советская, 14, г. Ярославль, 150003 Россия, e-mail: staranin0208@yandex.ru ВведениеНесмотря на широкое применение цифровых устройств для обработки документов, еще рано говорить о полном отказе от бумажных носителей. И если защите ин-формации, представляющей собой персональные данные или коммерческую тайну, уделяется много внимания, то защита иных форм данных -это личное дело их

show abstract

A study of practical deduplication

Cited by 355 publications

References 10 publications

A Novel approach of data deduplication for distributed storage

A Novel approach of data deduplication for distributed storage

Partitioning for Cloud Storage Based on Space-Time Utility Maximization Model

Backup with Storage in a Database

Contact Info

Product

Resources

About