The effects of testing in shifts on a clinical in-course computerized exam

Kreiter, Clarence D.; Peterson, Michael W.; Ferguson, Kristi J.; Elliott, Stephen C.

doi:10.1046/j.1365-2923.2003.01435.x

Cited by 8 publications

(11 citation statements)

References 4 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Therefore, the failing to find better person scores for later test takers may be due to the high ratio of not published items in the test, but also due to the high ratio of recall items, which have been shown to be rather stable in difficulty. Findings of no benefit for students attempting the test later in the year have been reported previously from settings were leaking content and using leaked content for studying are regarded as cheating [5,6] and are therefore unlikely. This has been interpreted as students not benefitting from more study time.…”

Section: Discussionmentioning

confidence: 56%

“…Some studies focus on the retesting of persons or reuse of written test forms. One approach uses the same test form on different occasions for different candidates to clarify whether candidates on the later occasions benefit from more study time [5,6]. Results indicate no score difference [5] or better scores for early test takers [6].…”

Section: Item Contentmentioning

confidence: 99%

“…One approach uses the same test form on different occasions for different candidates to clarify whether candidates on the later occasions benefit from more study time [5,6]. Results indicate no score difference [5] or better scores for early test takers [6]. Another approach uses the same (and a different) test version on different occasions for the same candidates to investigate whether taking a test repeatedly gives candidates an advantage [7,8].…”

Section: Item Contentmentioning

confidence: 99%

See 2 more Smart Citations

The Effects of Reusing Written Test Items: A Study Using the Rasch Model

2013

View full text Add to dashboard Cite

Background. Relevant literature reports no increase in individual scores when test items are reused, but information on change in item difficulty is lacking. Purpose. To test an approach for quantifying the effects of reusing items on item difficulty. Methods. A total of 671 students sat a newly introduced exam in four testing shifts. The test forms experimentally combined published, unused, and reused items. Figures quantifying reuse effects were obtained using the Rasch model to compare item difficulties from different person samples. Results. The observed decrease in mean item difficulty for reused items was insignificant. Students who self-scheduled to the last test performed worse than other students did. Conclusion. Availability of leaked material did not translate into higher individual scores, as mastering leaked material does not guarantee transfer of knowledge to new exam items. Exam quality will not automatically deteriorate when a low ratio of randomly selected items is reused.

show abstract

Section: Discussionmentioning

confidence: 56%

Section: Item Contentmentioning

confidence: 99%

Section: Item Contentmentioning

confidence: 99%

See 1 more Smart Citation

The Effects of Reusing Written Test Items: A Study Using the Rasch Model

2013

View full text Add to dashboard Cite

show abstract

“…18 De test wordt dan afgenomen in twee groepen die aansluitend (zonder onderling contact) de toetszaal betreden; op deze wijze kan worden volstaan met de helft van het aantal computers! Ten derde zou de toets op meerdere locaties kunnen worden afgenomen, zolang deze locaties maar via het netwerk verbonden zijn.…”

Section: Tip 3 -Zorg Voor Goede Computervoorzieningen En Infrastructuurunclassified

Twaalf tips voor computerondersteund toetsen in het medisch onderwijs

Hols-Elders¹,

Bloemendaal²,

Bos³

et al. 2009

TMEO

View full text Add to dashboard Cite

Beschouwing InleidingNet zoals in het hoger onderwijs is sinds enkele jaren het gebruik van computers gemeengoed geworden voor diverse toepassingen zoals zelfstudie, klassikaal leren en andere settings. 1-2 Het tijdperk van het geschreven boek transformeert zo langzamerhand naar een tijdperk van digitale media. Het gebruik van digitale toetsmogelijkheden blijft alleen nog ver achter. Bij de meeste medische faculteiten zijn schriftelijke toetsen nog steeds gemeengoed en soms zelfs de enige vorm van kennistoetsing, terwijl computerondersteund toetsen (COT) toch duidelijk voordelen kan bieden. 3-7 COT biedt niet alleen nieuwe mogelijkheden voor tijd-en plaatsonafhankelijk toetsen, maar ook voor het betekenisvol rangschikken van vragen, voor het werken met geluiden en met plaatjes (zowel stilstaand als bewegend), voor het aanpassen van de toets op de voorgaande prestaties van de student, voor het snel berekenen van scores en voor het geven van feedback op maat aan elke individuele student. Zelfs communicatievaardigheden kunnen getoetst worden met de computer. [8][9][10] Over het algemeen waarderen studenten de inzet van COT. 11-14 Het gebruik van computers voor toetsing is inherent aan het automatiseren van de processen rondom toetsafname; het kan bijdragen aan een reductie van administratieve en tijdrovende processen, terwijl het tegelijkertijd mogelijkheden biedt de toetskwaliteit te laten toenemen. [14][15][16] In Nederland wordt COT nog maar op zeer beperkte schaal in de bachelorfase van het medisch onderwijs voor summatieve doeleinden toegepast. We hebben de indruk dat dit voor meer landen in onze directe omgeving geldt. Er kunnen ver- Samenvatting Het gebruik van computers in het onderwijs in het algemeen, en in het medisch onderwijs in het bijzonder, is vandaag de dag gemeengoed geworden. De toepassing van digitaal toetsen blijft echter binnen het medisch onderwijs flink achter op de ontwikkelingen in het hoger onderwijs. In dit artikel beschrijven we enkele oorzaken voor deze situatie en verschaffen we een twaalftal tips voor docenten en opleidingsbestuurders om hen te begeleiden bij de introductie van digitaal toetsen. Dit alles is gebaseerd op de ervaringen van de auteurs, tevens lid van de NVMO-werkgroep E-learning. Er wordt aandacht besteed aan voor-en nadelen van

show abstract

“…staff and students were able to fully utilise IVLE unhindered), we managed to ensure the security of our MEQ examination. We were heartened and reassured by the work of Kreiter et al (2003) showing that conducting a computer-based examination in shifts did not compromise the security of the examination.…”

Section: Security Issuesmentioning

confidence: 99%

Computer-based testing of the modified essay question: the Singapore experience

Lim¹,

Seet²,

Oh³

et al. 2007

Medical Teacher

View full text Add to dashboard Cite

Background: The modified essay question (MEQ), featuring an evolving case scenario, tests a candidate's problem-solving and reasoning ability, rather than mere factual recall. Although it is traditionally conducted as a pen-and-paper examination, our university has run the MEQ using computer-based testing (CBT) since 2003. Aims: We describe our experience with running the MEQ examination using the IVLE, or integrated virtual learning environment (https://ivle.nus.edu.sg), provide a blueprint for universities intending to conduct computer-based testing of the MEQ, and detail how our MEQ examination has evolved since its inception. Methods: An MEQ committee, comprising specialists in key disciplines from the departments of Medicine and Paediatrics, was formed. We utilized the IVLE, developed for our university in 1998, as the online platform on which we ran the MEQ. We calculated the number of man-hours (academic and support staff) required to run the MEQ examination, using either a computerbased or pen-and-paper format. Results: With the support of our university's information technology (IT) specialists, we have successfully run the MEQ examination online, twice a year, since 2003. Initially, we conducted the examination with short-answer questions only, but have since expanded the MEQ examination to include multiple-choice and extended matching questions. A total of 1268 man-hours was spent in preparing for, and running, the MEQ examination using CBT, compared to 236.5 man-hours to run it using a pen-andpaper format. Despite being more labour-intensive, our students and staff prefer CBT to the pen-and-paper format. Conclusions: The MEQ can be conducted using a computer-based testing scenario, which offers several advantages over a pen-and-paper format. We hope to increase the number of questions and incorporate audio and video files, featuring clinical vignettes, to the MEQ examination in the near future.

show abstract

The effects of testing in shifts on a clinical in-course computerized exam

Cited by 8 publications

References 4 publications

The Effects of Reusing Written Test Items: A Study Using the Rasch Model

The Effects of Reusing Written Test Items: A Study Using the Rasch Model

Twaalf tips voor computerondersteund toetsen in het medisch onderwijs

Computer-based testing of the modified essay question: the Singapore experience

Contact Info

Product

Resources

About