On the influence of Test Smells on Test Coverage

Virgínio, Tássio; Santana, Renata Ferreira; Martins, Luana; Soares, Larissa Rocha; Costa, Heitor; Machado, Ivan

doi:10.1145/3350768.3350775

Cited by 22 publications

(20 citation statements)

References 8 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…A abordagem será avaliada de forma quantitativa e qualitativa. A avaliação quantitativa será através da execução da ferramenta em diversas versões de diversos sistemas de software disponíveis no GitHub 2 utilizados em um trabalho anterior para a detecção de TS [Virgínio et al, 2019], para verificar o comportamento dos TS durante a evolução do código de teste. E a avaliação qualitativa será através da execução de um experimento controlado com 16 participantes (múltiplo de 4 conforme design Quadrado latino) e 3 ferramentas (TestQ, VITRuM e ferramenta proposta) para verificar se a abordagem facilitou, tornou mais rápida a tarefa de identificar/visualizar problemas durante a evolução do código de teste e com a aplicação de questionário para coletar pontos positivos, negativos e melhorias para a ferramenta proposta.…”

Section: Avaliação Dos Resultadosunclassified

See 1 more Smart Citation

Uma Abordagem Visual para Evolução de Test Smells em Sistemas de Software Java

Cruz¹,

Costa²

2020

Anais Estendidos Do XI Congresso Brasileiro De Software: Teoria E Prática (CBSoft 2020)

Self Cite

View full text Add to dashboard Cite

O teste de software é parte do desenvolvimento de software. Durante o teste, podem surgir más escolhas de implementação do código de teste, levando a inserção de Test Smells. A presença de Test Smells em código de teste pode o tornar ineficaz em encontrar bugs, gerando retrabalho e custos adicionais. A manutenção do código de teste ocorre por causa da evolução do código de produção. Para visualizar a evolução de sistemas de software, têm sido utilizadas técnicas de visualização de software. Apesar dessas técnicas contribuírem para visualizar a evolução de sistemas de software, elas não abrangem código de teste para visualização de Test Smells. Dessa forma, no trabalho de mestrado, o objetivo é proporcionar melhor entendimento das ocorrências de Test Smells e sua evolução em código de teste aos Gerentes de Testes/Testadores, para agilizar a identificação de problemas nos casos de testes, melhorando sua qualidade. Para isso, será elaborada uma abordagem para visualizar essa evolução.

show abstract

Section: Avaliação Dos Resultadosunclassified

“…Esses TS foram escolhidos por terem sido formalmente validados em uma pesquisa com desenvolvedores [Peruma, 2019]. Além disso, 21 TS são detectados pela ferramenta utilizada neste trabalho (JNose Test [Virgínio et al, 2019]).…”

Section: Test Smellsunclassified

Uma Abordagem Visual para Evolução de Test Smells em Sistemas de Software Java

Cruz¹,

Costa²

2020

Anais Estendidos Do XI Congresso Brasileiro De Software: Teoria E Prática (CBSoft 2020)

Self Cite

View full text Add to dashboard Cite

show abstract

“…Neste estudo, desenvolvemos a JNose Test, ferramenta que visa detectar test smells e calcular métricas estruturais de testes. Ela foi utilizada para analisar a qualidade dos conjuntos de teste [Virgínio et al 2019, Virgínio et al 2020b, Virgínio et al 2020a]. Ele constrói uma AST (Abstract Syntax Tree) a partir do teste que é analisado por cada componente de detecc ¸ão, e aplica as regras de detecc ¸ão de test smells.…”

Section: Jnose Test -Java Test Smell Detectorunclassified

“…Durante o desenvolvimento da JNose Test foi realizado um estudo para analisar a correlac ¸ões entre os test smells e as métricas de cobertura de código [Virgínio et al 2019]. De modo a investigar se há correlac ¸ão entre as métricas de cobertura e a presenc ¸a de test smells, foi realizado um estudo quantitativo para responder a questão de pesquisa a seguir:…”

Section: Estudo Exploratório: Correlac ¸ãO Entre Test Smells E Coberturaunclassified

“…A pesquisa envolveu a realizac ¸ão de dois estudos empíricos. O primeiro, que consistiu no desenvolvimento da JNose Test, apresenta as correlac ¸ões entre os test smells e as métricas de cobertura de código [Virgínio et al 2019]. As métricas de cobertura são utilizadas para avaliar a qualidade dos testes por meio da mensurac ¸ão da cobertura de elementos estruturais, como func ¸ões, instruc ¸ões, ramificac ¸ões e condicionais [Gopinath et al 2014].…”

Section: Introduc ¸ãOunclassified

See 1 more Smart Citation

Avaliação empírica da geração automatizada de testes de software sob a perspectiva de Test Smells

Virgínio¹,

Machado²

2021

Anais Estendidos Do XII Congresso Brasileiro De Software: Teoria E Prática (CBSoft Estendido 2021)

Self Cite

View full text Add to dashboard Cite

O teste de software é uma atividade-chave para o desenvolvimento de software de qualidade, sendo tão ou mais custoso do que o desenvolvimento do código de produção. De modo a reduzir os custos de projetos de software, o uso de ferramentas de geração automatizada de testes, tais como Randoop e Evosuite tem sido fortemente encorajado. No entanto, é necessário obter evidências sobre como o uso dessas ferramentas afeta a qualidade dos testes. Neste sentido, o presente estudo apresenta uma avaliação empírica da qualidade de testes gerados automaticamente, sob a perspectiva de test smells. O estudo contemplou o desenvolvimento de uma ferramenta open source de coleta e análise automatizada de test smells, a JNose Test, no desenvolvimento da ferramenta foi realizado estudo utilizando 11 projetos open source para verificar a relação entre test smells e a cobertura dos testes, e posteriormente no segundo estudo que avaliou a qualidade de testes gerados automaticamente para 21 projetos open source. No primeiro estudo encontramos relações fortes entre métricas de cobertura e test smells, e no segundo estudo os resultados indicam uma alta difusão dos test smells e co-ocorrências entre diferentes tipos de test smells nos projetos avaliados. Além disso, foi identificada uma alta difusão de test smells nos códigos de teste gerados pelas ferramentas Evosuite e Randoop que, frequentemente, estão correlacionados.

show abstract

On the diffusion of test smells and their relationship with test code quality of Java projects

Martins

Ferreira

Machado

2023

J Software Evolu Process

Self Cite

View full text Add to dashboard Cite

Test smells are considered bad practices that can reduce the test code quality, thus harming software testing goals and maintenance activities. Prior studies have investigated the diffusion of test smells and their impact on test code maintainability. However, we cannot directly compare the outcomes of the studies as most of them use customized datasets. In response, we introduced the TSSM (Test Smells and Structural Metrics) dataset, containing test smells detected using the JNose Test tool and structural metrics (test code and production code) calculated with the CK metrics tool of 13,703 open‐source Java systems from GitHub. In addition, we perform an empirical study to investigate the relationship between test smells and structural metrics of test code and the relationship between test smells on a large‐scale dataset. We split the projects into three clusters to analyze the distribution of test smells, the co‐occurrences among test smells, and the correlation of test smells and structural metrics of test code. The ratio of smelly test classes with a specific test smell is similar among the clusters, but we could observe a significant difference in the number of test smells among them. The test smells Sleepy Test, Mystery Guest, and Resource Optimism rarely occur in the three clusters, and the last two are strongly correlated, indicating that those test smells are more severe than others. Our results point out that most test smells have a moderate correlation with high complexity, large size, and coupling of the test code, indicating that they can also negatively affect its quality. To support further studies, we made our dataset publicly available.

show abstract

On the influence of Test Smells on Test Coverage

Cited by 22 publications

References 8 publications

Uma Abordagem Visual para Evolução de Test Smells em Sistemas de Software Java

Uma Abordagem Visual para Evolução de Test Smells em Sistemas de Software Java

Avaliação empírica da geração automatizada de testes de software sob a perspectiva de Test Smells

On the diffusion of test smells and their relationship with test code quality of Java projects

Contact Info

Product

Resources

About