Are Assumptions of Well-Known Statistical Techniques Checked, and Why (Not)?

Abstract

A valid interpretation of most statistical techniques requires that one or more assumptions be met. In published articles, however, little information tends to be reported on whether the data satisfy the assumptions underlying the statistical techniques used. This could be due to self-selection: Only manuscripts with data fulfilling the assumptions are submitted. Another explanation could be that violations of assumptions are rarely checked for in the first place. We studied whether and how 30 researchers checked fictitious data for violations of assumptions in their own working environment. Participants were asked to analyze the data as they would their own data, for which often used and well-known techniques such as the t-procedure, ANOVA and regression (or non-parametric alternatives) were required. It was found that the assumptions of the techniques were rarely checked, and that if they were, it was regularly by means of a statistical test. Interviews afterward revealed a general lack of knowledge about assumptions, the robustness of the techniques with regards to the assumptions, and how (or whether) assumptions should be checked. These data suggest that checking for violations of assumptions is not a well-considered choice, and that the use of statistics can be described as opportunistic.

Uso da estatística na Educação Física: análise das publicações nacionais entre os anos de 2009 e 2011

“…A correta aplicação do método estatístico em publicações científi cas tem sido alvo de estudos 4,7,[8][9][10]14 , devido a sua importância na posterior interpretação dos resultados e formulação de conclusões. A área de Educação Física, por sua vez, que atua em diversas linhas de pesquisa (saúde, lazer, educação e esporte, dentre outras), também utiliza o tratamento estatístico analítico para inferir sobre seus parâmetros.…”

“…Essa baixa proporção indica uma situação preocupante, visto que sua não utilização, quando não baseada em conhecimentos estatísticos sólidos, pode comprometer os resultados do estudo, bem como a interpretação dos dados 4 . Literatura consistente identifi ca que, quando a violação de pressupostos de determinados testes não são severas, pouco comprometimento estatístico existe e que a utilização de testes não paramétricos, por terem menos poder, pode apresentar uma real limitação [7][8][9] . Em contrapartida, este tipo de decisão deve ser baseado em questões técnicas, o que exige do pesquisador um conhecimento que o sustente em seus passos, fato que não tem sido observado na literatura mais atual 8,10 e não parece ser a realidade da área de Educação Física.…”

“…Além disso, outras técnicas existem para evitar a utilização de testes não paramétricos, como a transformação dos dados (exemplo: transformação logarítmica e exponencial), a qual pode atenuar uma severa violação do pressuposto e viabilizar o uso de procedimentos estatísticos paramétricos 7 . Porém, esta simples estratégia, embora muito útil, foi pouco explorada nos estudos analisados.…”

“…A estatística é uma ferramenta fundamental para elaboração de um estudo de qualidade com resultados fi dedignos, pois uma coleta de dados realizada de forma minuciosa, seguida de uma análise estatística que não preenche os pressupostos básicos (podendo ser citados: normalidade, homogeneidade das variâncias ou esfericidade), provavelmente levará os pesquisadores e, consequentemente, o leitor a interpretações equivocadas dos resultados [4][5][6][7][8] .…”

“…Por outro lado, esta mesma indicação só é correta quando os pressupostos de normalidade/ homogeneidade não são severamente violados [7][8][9] . A leitura do que é "severamente violado" ou não depende do conhecimento do pesquisador sobre o assunto.…”