Experience with a Concurrency Bugs Benchmark

Abstract

We describe a benchmark of publicly-available multi-threaded programs with documented bugs in them. This project was initiated a few years ago with the goal of helping research groups in the fields of concurrent testing and debugging to develop tools and algorithms that improve the quality of concurrent programs. We present a survey of usage of the benchmark, concluding that the benchmark had an impact on the research in the field of testing and debugging of concurrent programs. We also present new possible directions to foster a discussion about new goals to be set for this initiative.

<u>T</u>i<u>d</u>d<u>l</u>e

“…There has been a recent drive to create a benchmark of concurrency bugs, targeted at dynamic analyses [12,13]. Eytani et al claim that their benchmark has had an impact on the research community, and is now used by several groups.…”

Searching for Safety Violations Using Estimation of Distribution Algorithms

“…Developers building single-threaded applications have come to rely upon a sophisticated set of debugging tools. When developing multi-threaded or concurrent applications, however, tools for detecting common problems such as deadlock and data races in practical software are the subject of research [Eytani et al, 2008].…”

Uma Abordagem De Teste Baseada Em Modelo Para Sistemas Normativos Autônomos

“…O trabalho de Eytani et al (2008) apresenta algumas estratégias e abordagens desenvolvidas para testar sistemas concorrentes (Eytani et al, 2008). No entanto, os agentes têm particularidades adicionais em relação a outros sistemas concorrentes, tais como: (i) a definição dinâmica das metas que serão alcançados; (ii) a seleção apropriada dos planos aplicáveis para a realização das metas; (iii) o armazenamento das crenças no próprio agente e, (iv) a influência de normas sobre os itens mencionados.…”

“…Apesar de não abordarmos nesta pesquisa problemas relacionados à execução concorrente, o mencionado trabalho de Eytani et al (2008) apresenta abordagens que podem ser usadas para detectar falhas em sistemas concorrentes (Eytani et al, 2008). Desenvolvimento de Agentes Normativos Neste capítulo é apresentado o framework N-JAT4BDI , que permite a construção e execução de casos de teste e o NBDI4JADE , um framework para o desenvolvimento de agentes BDI normativos.…”