On coordinated checkpointing in distributed systems

Singhal, Mukesh

doi:10.1109/71.737697

Cited by 110 publications

(11 citation statements)

References 23 publications

(81 reference statements)

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…One way to achieve this consistency is through coordinated checkpointing [15]. In coordinated checkpointing, once the decision to checkpoint is made, the program does not progress unless all the checkpoints of all the processes are saved.…”

Section: Application-level Checkpointingmentioning

confidence: 99%

Analyzing Checkpointing Trends for Applications on the IBM Blue Gene/P System

Naik

Gupta

Beckman

2009

2009 International Conference on Parallel Processing Workshops

View full text Add to dashboard Cite

Current petascale systems have tens of thousands of hardware components and complex system software stacks, which increase the probability of faults occurring during the lifetime of a process. Checkpointing has been a popular method of providing fault tolerance in high-end systems. While considerable research has been done to optimize checkpointing, in practice the method still involves a high-cost overhead for users. In this paper, we study the checkpointing overhead seen by applications running on leadership-class machines such as the IBM Blue Gene/P at Argonne National Laboratory. We study various applications and design a methodology to assist users in understanding and choosing checkpointing frequency and reducing the overhead incurred. In particular, we study three popular applications-the Grid-Based Projector-Augmented Wave application, the Carr-Parrinello Molecular Dynamics application, and a Nek5000 computational fluid dynamics application-and analyze their memory usage and possible checkpointing trends on 32,768 processors of the Blue Gene/P system.

show abstract

Section: Application-level Checkpointingmentioning

confidence: 99%

Analyzing Checkpointing Trends for Applications on the IBM Blue Gene/P System

Naik

Gupta

Beckman

2009

2009 International Conference on Parallel Processing Workshops

View full text Add to dashboard Cite

show abstract

“…Porém, a suspensão da aplicação reduz o desempenho do sistema. Na tentativa de se obter um desempenho melhor para a aplicação, os protocolos síncronos não-bloqueantes permitem que todos os processos gravem checkpoints a cada construção consistente sem suspender as atividades da computação [9,7,8,30]. Cao e Singhal propuseram um novo tipo de checkpoint, chamado de checkpoint mutável, que é facilmente manipulado pois pode ser salvo em memória não-estável [7,8].…”

Section: Abordagens Para Checkpointgunclassified

“…Cao e Singhal introduzem o conceito de z-dependência para expressar uma relação de dependência entre processos em dois intervalos de checkpoints [9].…”

Section: Z-dependênciaunclassified

“…É possível relacionar os checkpoints de maneira equivalente ao conceito de zigzag paths por meio da relação de z-precedência [16]. O conceito de z-dependência foi proposto por Cao e Singhal para relacionar dois processos em seus respectivos intervalos de checkpoint [9]. Neste capítulo, provamos que o conceito de z-dependência está contido no conceito de z-precedência.…”

Section: Sumáriounclassified

“…O primeiro protocolo síncrono que tentou combinar a característica não-bloqueante e minimalidade no número de checkpoints foi proposto por Prakash e Singhal [30] e sua descrição se encontra na Seção C.1. Porém, Cao e Singhal mostraram que este protocolo pode resultar em inconsistências e propuseram uma correção para o protocolo de Prakash e Singhal [9] (Seção C.2). Cao e Singhal introduziram o conceito de checkpoints mutáveis e propuseram então um protocolo que relaxa a condição de minimalidade, garantindo apenas um número minimal de checkpoints salvos em memória estável [7,8].…”

Section: Protocolos Não-bloqueantesunclassified

See 2 more Smart Citations

Uma ponte entre as abordagens sincrona e quase-sincrona para checkpointing

Sakata¹

View full text Add to dashboard Cite

Protocolos de checkpointing são responsáveis pelo armazenamento de estados dos processos de um sistema distribuído em memória estável para tolerar falhas. Os protocolos síncronos minimais induzem apenas um número minimal de processos a salvarem checkpoints durante uma execução do protocolo bloqueando os processos envolvidos. Uma versão não-bloqueante desta abordagem garante a minimalidade no número de checkpoints salvos em memória estável com o uso de checkpoints mutáveis, checkpoints que podem ser salvos em memória não-estável. Porém, a complexidade deste protocolo e o fato de ele tolerar apenas a presença de uma execução de checkpointing a cada instante nos motivou a procurar soluções para estes problemas na teoria desenvolvida para os protocolos quase-síncronos.A nova abordagem nos permitiu fazer uma revisão de alguns protocolos síncronos bloqueantes existentes na literatura que até então eram considerados minimais. Nesta mesma linha, obtivemos novos resultados na análise de minimalidade dos protocolos síncronos não-bloqueantes, ao considerarmos a aplicação como um todo e também a existência de execuções concorrentes de checkpointing.Ao estabelecermos esta ponte entre as abordagens para checkpointing, conseguimos desenvolver dois novos protocolos síncronos não-bloqueantes. Ambos fazem uso de checkpoints mutáveis, permitem execuções concorrentes de checkpointing e possuem um mecanismo simples de coleta de lixo. No entanto, o fato de cada um dos protocolos derivar de classes diferentes de protocolos quase-síncronos leva a comportamentos distintos, como evidenciado por resultados de simulação. vii

show abstract

A proposal and evaluation of a coordinated checkpointing technique using incremental snapshots

Ohara

Arai

Fukumoto

et al. 2007

Electron Comm Jpn Pt III

View full text Add to dashboard Cite

SUMMARYCoordinated checkpointing techniques ensure that a consistent global state is maintained by means of coordination between processes. The approach requires that application messages temporarily cease to be exchanged but the rollback procedure when recovering from a fault is consequently simplified and the recovery costs are small. With current reductions in communications costs, the importance of coordinated techniques may be seen to be growing. However, in large-scale systems there is a possibility that performance will be seriously impaired due to the frequent halting of the exchange of messages. In this paper we propose a method whereby coordination is performed at only a subset of the checkpoint generation points that are periodically visited while at the remaining points each process independently generates an incremental snapshot. This method aims to both alleviate the performance degradation incurred from coordination and to realize relatively high-speed recovery. In evaluating the effectiveness of this method we estimate the checkpointing overheads and recovery costs using a probabilistic model and simulations and compare it with existing coordination methods. The results show that the proposed method is more effective than existing coordination methods from the perspective of both performance and reliability in environments with a relatively low frequency of messages. In addition, we perform comparisons of two different delta schemes for representing the incremental snapshots and discuss which environments they are each respectively suited to.

show abstract

On coordinated checkpointing in distributed systems

Cited by 110 publications

References 23 publications

Analyzing Checkpointing Trends for Applications on the IBM Blue Gene/P System

Analyzing Checkpointing Trends for Applications on the IBM Blue Gene/P System

Uma ponte entre as abordagens sincrona e quase-sincrona para checkpointing

A proposal and evaluation of a coordinated checkpointing technique using incremental snapshots

Contact Info

Product

Resources

About