Intelligent Data Placement Mechanism for Replicas Distribution in Cloud Storage Systems

Ibrahim, Ibrahim Adel; Dai, Wei; Bassiouni, Mustafa

doi:10.1109/smartcloud.2016.23

Cited by 19 publications

(9 citation statements)

References 8 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…With that, it is possible to reduce the chances that the cluster becomes imbalanced. In general, examples of this approach, like the solution presented in [7], involve the development of new replica placement policies for the HDFS that consider the data volume stored in each node as criteria for data distribution. However, in some situations, like when new nodes are added to the system, it is not possible to prevent a high discrepancy between the data held on the cluster nodes, in a way that reactive approaches become necessary.…”

Section: Related Workmentioning

confidence: 99%

The Node Status as a Prioritization Strategy for Replica Balancing in a HDFS Cluster

Fazul

Barcelos

2020

Anais Estendidos Do X Simpósio Brasileiro De Engenharia De Sistemas Computacionais (SBESC Estendido 2020)

View full text Add to dashboard Cite

Data replication is the main fault tolerance mechanism of HDFS, the Hadoop Distributed File System. Although replication is essential to ensure high availability and reliability, the replicas might not always be placed evenly among the nodes. The HDFS Balancer is an integrated solution of Apache Hadoop that performs replica balancing through the rearrangement of the data blocks stored in the file system. The Balancer, however, demands a high computational effort of the nodes during its operation. This work presents a customization for the HDFS Balancer that considers the status of the nodes as a strategy to minimize the overhead caused by the balancing operation in the cluster. To this end, metrics obtained at runtime are used as a way to prioritize the nodes during data redistribution, making it occurs primarily between nodes with low communication traffic. Also, the Balancer starts to operate aiming at a minimum balance level, reducing the number of data transfers required to even up the data stored in the cluster. The evaluation results showed that the proposed customization allows reducing the time and bandwidth needed to reach the system balance.

show abstract

Section: Related Workmentioning

confidence: 99%

The Node Status as a Prioritization Strategy for Replica Balancing in a HDFS Cluster

Fazul

Barcelos

2020

Anais Estendidos Do X Simpósio Brasileiro De Engenharia De Sistemas Computacionais (SBESC Estendido 2020)

View full text Add to dashboard Cite

show abstract

“…O balanceamento de réplicas no HDFS pode ser tratado de forma proativa ou reativa. Soluções proativas, tais como a de [Ibrahim et al 2016], atuam no momento da distribuição inicial dos blocos e envolvem a criação de novas políticas de posicionamento de réplicas para o HDFS que, preventivamente, de forma direta ou indireta, contribuem com uma distribuição de dados equilibrada. Embora estas soluções esforcem-se em manter o HDFS em um estado balanceado, nem sempreé possível impedir o desequilíbrio na distribuição de réplicas.…”

Section: Trabalhos Relacionadosunclassified

A Confiabilidade dos Racks e a Disponibilidade dos Dados como Métricas para o Balanceamento de Réplicas de um Cluster HDFS

Fazul¹,

Barcelos²

2020

Anais XXXVIII Simpósio Brasileiro De Redes De Computadores E Sistemas Distribuídos (SBRC 2020)

View full text Add to dashboard Cite

A replicação, embora vital para o bom funcionamento do HDFS, favorece o desbalanceamento do cluster. O HDFS Balancer é uma solução integrada ao Apache Hadoop voltada ao balanceamento de réplicas. O balanceador, entretanto, não é otimizado para atender possíveis demandas de tolerância a falhas e disponibilidade dos dados ao realizar a redistribuição das réplicas. Este trabalho apresenta uma customização para o HDFS Balancer que considera a propensão a falhas dos racks do sistema para definir quais nodos devem receber uma maior ou menor quantidade de dados. Em conjunto, utilizou-se uma prioridade que esforça-se em aumentar a disponibilidade geral dos dados armazenados no HDFS durante o reposicionamento das réplicas no cluster.

show abstract

“…Um aspecto a ser considerado para o balanceamentoé o volume de dados armazenado em cada DN. Neste sentido, [Ibrahim et al 2016] propõem um novo algoritmo de posicionamento com objetivo de distribuir as réplicas de uma forma totalmente equilibrada entre os nodos. Para tal, baseado em suas cargas, os DNs são marcados como livres ou ocupados.…”

Section: Soluções Preventivasunclassified

Efetividade da Política de Posicionamento de Blocos no Balanceamento de Réplicas do HDFS

Fazul

Barcelos

2019

Anais Do Workshop De Testes E Tolerância a Falhas (WTF)

View full text Add to dashboard Cite

The Hadoop Distributed File System (HDFS) is designed to store and transfer data in large scale. To ensure availability and reliability, it uses data replication as a fault tolerance mechanism. However, this strategy can significantly affect replication balancing in the cluster. This paper provides an analysis of the default data replication policy used by HDFS and measures its impacts on the system behavior, while presenting different strategies for cluster balancing and rebalancing. In order to highlight the required requirements for efficient replica placement, a comparative study of the HDFS performance has been conduct considering a variety of factors that may result in cluster imbalance.

show abstract

Intelligent Data Placement Mechanism for Replicas Distribution in Cloud Storage Systems

Cited by 19 publications

References 8 publications

The Node Status as a Prioritization Strategy for Replica Balancing in a HDFS Cluster

The Node Status as a Prioritization Strategy for Replica Balancing in a HDFS Cluster

A Confiabilidade dos Racks e a Disponibilidade dos Dados como Métricas para o Balanceamento de Réplicas de um Cluster HDFS

Efetividade da Política de Posicionamento de Blocos no Balanceamento de Réplicas do HDFS

Contact Info

Product

Resources

About