Création d’un score global dans le cadre d’une épreuve adaptative

Abstract

[ger] Die Erstellung eines globalen Kompetenzindikators anhand der bei Übungsaufgaben abgegebenen Antworten erfordert besondere statistische Techniken, die komplexer als das bloßen Zählen richtiger Antworten sind. Der Rückgriff auf diese Techniken ist vor allem nützlich, wenn nicht alle bewerteten Personen die gleichen Übungsaufgaben gemacht haben. Dies ist der Fall in der Erhebung Information und Alltag, . bei der die Übungsaufgaben in einem adaptativen Rahmen vorgeschlagen werden, um die Motivation der befragten Personen zu verbessern, insbesondere derjenigen, die die Schule seit langem verlassen haben. Je nach den bei der ersten Übung erzielten Ergebnissen werden danach bei der Erhebung mehr oder weniger schwierige Fragen gestellt. Dieses Verfahren verbessert zwar erheblich die Bedingungen für die Datenerfassung und die Datenqualität, erschwert aber auch die Schätzung eines globalen Kompetenzindikators, der für die gesamte Bevölkerung gültig ist. Denn wie können die Ergebnisse miteinander verglichen werden, wenn nicht alle die gleichen Übungsaufgaben gemacht haben? In diesem Artikel werden unterschiedliche Methoden zur Berücksichtigung dieses Orientierungsverfahrens vorgeschlagen. Getestet werden sie mittels fiktiver Daten, um ihre Robustheit und ihre Grenzen zu analysieren. Der Informationsverlust aufgrund dieses Orientierungsverfahrens ist zwar gering, aber nicht gleich insbesondere bei einer Vielzahl von Personen, bei denen möglicherweise zu schwierigen oder zu leichteren Übungen übergegangen werden muss. Diese Ergebnisse zeigen, dass die Struktur der Übungsaufgaben bei der nächsten Erhebung etwas geändert werden muss. [spa] La construcción de un indicador global de competencia a partir de respuestas a ejercicios requiere técnicas estadísticas específicas, más complejas que el simple recuento de respuestas correctas. El recurso a estas técnicas es particularmente útil cuando todas las personas evaluadas no han pasado las mismas pruebas. Es lo que pasa en la encuesta Información y vida cotidiana . (IVQ), donde se proponen ejercicios en un marco adaptativo para mejorar la motivación de las personas interrogadas, sobre todo de las que terminaron la escuela hace mucho tiempo. En función de los resultados en el primer ejercicio, se planteaban preguntas más o menos difíciles al encuestado. Aunque este procedimiento mejora sensiblemente las condiciones de recogida y la calidad de los datos recogidos, genera particulares dificultades en la estimación de un indicador de competencia global, válido para toda la población. En efecto, ¿ cómo comparar los resultados de poblaciones que no han pasado las mismas pruebas? Este artículo ofrece distintos métodos para tener en cuenta este proceso de orientación. Se han probado con datos ficticios, para estudiar su solidez y sus límites. Aunque la pérdida de información inducida por el proceso de orientación es bastante mínima, con todo no es nula, en particular para un número importante de personas situadas en torno a umbrales de orientación hacia los ejercicios difíciles o hac...

L’évolution des compétences des adultes : effet « génération » et effet « cycle de vie »

“…5. Cette addition fait suite aux travaux menés sur les données de 2004 (Murat et Rocher, 2010), qui avaient conduit à suggérer quelques améliorations ; celles-ci ont été partiellement prises en compte dans l'édition de 2011, en particulier, avec la création de ce module commun. 6.…”

“…Le protocole est adaptatif, c'est-à-dire que le parcours des enquêtés dépend de leurs compétences. Les épreuves et exercices ont été élaborés par deux équipes (PSYEF de Lyon II pour le module d'orientation et le module ANLCI et Paris V pour le module « Haut »), avec des objectifs un peu différents, mais les modèles théoriques qui les fondent semblent assez proches pour permettre la comparaison (Murat et Rocher 2010).…”

“…Il s'agit en fait de l'exercice de compréhension de texte du module ANLCI. À partir des 11 Avec ce protocole, la difficulté fondamentale, en 2004 comme en 2011, est de placer sur la même échelle des personnes qui n'ont pas toutes passé les mêmes exercices et dont les « parcours » dans le questionnaire dépendent de leur niveau (Murat et Rocher, 2010). Les parcours des enquêtés pour l'évaluation des compétences face à l'écrit ont en outre pu être affectés par la présence d'une erreur informatique en 2004, corrigée dans l'édition de 2011 (voir encadré 2).…”

“…Champ : personnes nées entre 1939 et 1994 vivant en ménage ordinaire, en France métropolitaine. Source : enquête Information et vie quotidienne 2011, Insee.Utilisation des modèles de réponse à l'itemNous avions testé avec les données de 2004 plusieurs méthodes pour mener à bien l'estimation des compétences, utilisant des techniques d'analyse de données ou d'économétrie(Murat et Rocher, 2010). ).…”

“…Pour ces dernières, une proportion aussi élevée d'items réussis provoque un effet de saturation sur cette épreuve, visible par l'écart-type, qui n'est que de 0,7 contre 1,5 pour l'ensemble de la population. En 2011 (tableau B), le score moyen des personnes orientées directement vers le module ANLCI est un peu moins bon (5,2), de même que celui des personnes orientées vers le module intermédiaire, surtout quand elles sont ensuite orientées vers le module (ii) Les chiffres présentés ici pour 2004 diffèrent légèrement des valeurs publiées précédemment(Murat et Rocher, 2010). En effet, à l'époque, dans le cadre d'un travail de pure méthodologie psychométrique, nous avions préféré ne pas utiliser la pondération.…”