A systematic review of validity evidence for checklists versus global rating scales in simulation-based assessment

Ilgen, Jonathan S.; W.Y., Irene; Hatala, Rose; Cook, David A.

doi:10.1111/medu.12621

Cited by 264 publications

(212 citation statements)

References 81 publications

Supporting

Mentioning

193

Contrasting

Unclassified

Order By: Relevance

“…The thoroughly tested objective structured assessment of technical skill format allows for graduated judgments of competence, as well as registration of an overall impression of incompetence caused by one or more errors that only result in a minimal reduction in the checklist score. Furthermore, the dichotomous nature of checklists introduces a significant ceiling effect that is unsuitable for measuring nuances of proficiency [21,22]. WAHIDI et al [23] used a checklist to assess when 13 trainees could independently perform a successful EBUS-TBNA procedure, and found that 25%, 50%, and 75% of the trainees did so after an average of five, nine, and 13 procedures, respectively.…”

Section: Validity Evidence For the Assessment Toolmentioning

confidence: 99%

Simulator training for endobronchial ultrasound: a randomised controlled trial

et al. 2015

View full text Add to dashboard Cite

Endobronchial ultrasound-guided transbronchial needle aspiration (EBUS-TBNA) is very operator dependent and has a long learning curve. Simulation-based training might shorten the learning curve, and an assessment tool with solid validity evidence could ensure basic competency before unsupervised performance.A total of 16 respiratory physicians, without EBUS experience, were randomised to either virtual-reality simulator training or traditional apprenticeship training on patients, and then each physician performed EBUS-TBNA procedures on three patients. Three blinded, independent assessor assessed the video recordings of the procedures using a newly developed EBUS assessment tool (EBUSAT).The internal consistency was high (Cronbach's α=0.95); the generalisability coefficient was good (0.86), and the tool had discriminatory ability ( p<0.001). Procedures performed by simulator-trained novices were rated higher than procedures performed by apprenticeship-trained novices: mean±SD are 24.2±7.9 points and 20.2±9.4 points, respectively; p=0.006. A pass/fail standard of 28.9 points was established using the contrasting groups method, resulting in 16 (67%) and 20 (83%) procedures performed by simulatortrained novices and apprenticeship-trained novices failing the test, respectively; p<0.001.The endobronchial ultrasound assessment tool could be used to provide reliable and valid assessment of competence in EBUS-TBNA, and act as an aid in certification. Virtual-reality simulator training was shown to be more effective than traditional apprenticeship training. @ERSpublications Virtual-reality simulation-based training shortens the learning curve for endobronchial ultrasound (EBUS)

show abstract

Section: Validity Evidence For the Assessment Toolmentioning

confidence: 99%

Simulator training for endobronchial ultrasound: a randomised controlled trial

et al. 2015

View full text Add to dashboard Cite

show abstract

“…Por exemplo, para a mensuração do segundo nível de Kirkpatrick (aprendizagem), pode-se fazer uso de diferentes de formatos de avaliação na simulação: desde pré-teste e pós-teste com avaliação simples do conhecimento teórico, a avaliações por vídeo com uso de checklist ou por avaliação global [13,43]. Há ainda a proposta [14,52].…”

Section: /11unclassified

“…Para uma avaliação mais precisa quanto à eficiência dos diferentes formatos de simulação, sob uma perspectiva instrucional, é necessária ainda uma melhor definição quanto aos critérios de mensuração do impacto de cada um dos elementos instrucionais para desenvolvimento cognitivo do aprendiz [43,49]. O treinamento em simulação na saúde tem o potencial de sobrecarregar a memória de trabalho, uma vez que pode apresentar objetivos de aprendizagem cognitivos, psicomotores, atitudinais de forma isolada ou em combinação.…”

Section: Estudos Comparativos Sobre Formatos Instrucionais Em Simulaçãounclassified

Perspectivas sobre o uso das diretrizes de desenho instrucional para a simulação na saúde: revisão da literatura

Melo¹,

Falbo²,

Bezerra³

et al. 2018

Sci Med

View full text Add to dashboard Cite

Este artigo está licenciado sob forma de uma licença Creative Commons Atribuição 4.0 Internacional, que permite uso irrestrito, distribuição e reprodução em qualquer meio, desde que a publicação original seja corretamente citada. RESUMOOBJETIVOS: Este artigo teve dois objetivos principais: apresentar um breve resumo de conceitos cognitivos introdutórios sobre aprendizagem e instrução na simulação, incluindo as diretrizes de desenho instrucional; e oferecer uma visão geral quanto às evidências disponíveis sobre perspectivas instrucionais na efetividade da simulação na saúde, diferentes formatos instrucionais da simulação, fidelidade e local da simulação. MÉTODOS: Uma busca foi realizada nas bases de dados MEDLINE/PubMed, Embase, Cochrane, ERIC, LILACS e SciELO, a partir dos termos "simulação em saúde", "efetividade da simulação", "treinamento", "diretrizes de desenho instrucional", "aprendizagem complexa" e "transferência da aprendizagem" e seus correspondentes em inglês. O início das datas de publicação não foi especificado e a última busca foi conduzida em 19 de setembro de 2017. Todos os artigos em inglês e português foram considerados para inclusão. Artigos específicos foram intencionalmente incluídos em busca de conceitos introdutórios. RESULTADOS: A busca identificou 3.196 artigos nas diferentes bases de dados. Após avaliação preliminar de títulos, resumos e análise de conteúdo, foram selecionados 56 artigos. Adicionalmente, nove artigos clássicos e um livro foram intencionalmente incluídos para a apresentação de conceitos cognitivos sobre aprendizagem e instrução, resultando em 66 referências consultadas em detalhes para esta revisão. CONCLUSÕES: A simulação oferece a oportunidade de aprendizagem ativa para profissionais de saúde ao proporcionar um ambiente de aprendizagem complexa, com integração do conhecimento, habilidades e atitudes. Com potencial de impacto nos diferentes níveis de aprendizagem, comportamento e resultados, especial atenção deve ser dada ao formato instrucional da simulação. Entre as diretrizes de desenho instrucional, destaca-se a autenticidade como um dos elementos de fundamental relevância para a aprendizagem. Outros elementos instrucionais, como complexidade crescente, local do treinamento adequado, debriefing, oportunidade de autoavaliação e outras formas de avaliação, têm também influência positiva e devem ser utilizados no planejamento de diferentes desenhos instrucionais da simulação.DESCRITORES: modelos de instrução; simulação; tecnologia instrucional; transferência de aprendizado; diretrizes de desenho instrucional. ABSTRACTAIMS: This article had two main objectives: to present a brief summary of introductory cognitive concepts on learning and instruction for simulation, including instructional design guidelines; and provide an overview of the current available evidence on the instructional perspectives on healthcare simulation training effectiveness, in particular with regards to simulation formats, fidelity and simulation site. METHODS: We searched for articles at MEDLINE/...

show abstract

“…With expert raters, GRS may in fact be more reliable than checklists. [21][22][23] However, there was variability in the reliability of individual steps. We could not assess relationship to other variables, as the task included no alternative performance measures, nor can we offer evidence of consequences validity.…”

Section: Evidence For Validitymentioning

confidence: 99%