Analysez la qualité des examens et des banques de questions avec deux approches modernes de la mesure, la théorie classique des tests (CTT) et la théorie de la réponse à l'item (IRT), sur la plateforme ExamQR de TEX Vietnam.
Deux méthodes reconnues au niveau international, intégrées à ExamQR pour une analyse complète de la qualité des banques de questions.
La CTT analyse les items à partir des scores observés de l'ensemble du groupe de candidats. Ses statistiques dépendent de l'échantillon : elles changent quand le groupe de candidats change.
L'IRT modélise la probabilité d'une bonne réponse en fonction de l'aptitude du candidat (θ). Les paramètres des items sont invariants par rapport à l'échantillon : plus stables qu'en CTT pour comparer des groupes.
| Critère | CTT | IRT (1PL/2PL/3PL) |
|---|---|---|
| Dépendance à l'échantillon | ✗ Très dépendante | ✓ Invariante par rapport à l'échantillon |
| Taille d'échantillon requise | ✓ N ≥ 30–50 | ✗ N ≥ 200–500 |
| Complexité des calculs | ✓ Simple | ✗ Complexe (MLE/bayésien) |
| Mesure de l'aptitude individuelle | ~ Indirecte, via la note totale | ✓ Directe (estimation de θ) |
| Test adaptatif informatisé (CAT) | ✗ Non pris en charge | ✓ Fondement du CAT |
| Analyse des distracteurs | ✓ Facile à réaliser | ~ Nécessite le modèle de réponse nominale |
| Usage dans ExamQR | ✓ Analyse rapide, rapports pour les enseignants | ✓ Calibrage de la banque d'items, IRT-CAT |
| Statistique | Bon | Acceptable | À rejeter |
|---|---|---|---|
| Difficulté (p) | 0.30 – 0.70 | 0.20–0.30 | 0.70–0.80 | <0.20 | >0.80 |
| Discrimination (D) | ≥ 0.30 | 0.20–0.29 | <0.20 |
| rpbis | ≥ 0.30 | 0.20–0.29 | <0.20 |
| α de Cronbach | ≥ 0.80 | 0.70–0.79 | <0.70 |
| Paramètre | Bon | Acceptable | À revoir |
|---|---|---|---|
| Difficulté (b) | −1.5 à 1.5 | ±1.5–2.5 | |b| > 2.5 |
| Discrimination (a) | 0.8 – 2.5 | 0.5–0.8 | < 0.5 |
| Hasard (c) | ≤ 0.20 | 0.20–0.25 | > 0.25 |
| Infit/Outfit MNSQ | 0.7 – 1.3 | 1.3–1.5 | > 1.5 |
Analyse de 20 items à choix multiple avec N = 200 étudiants. Données traitées par le module ExamQR Analytics.
| Item | Résumé du contenu | Difficulté (p) | Discrimination (D) | rpbis | α si supprimé | Distracteur A | Distracteur B | Distracteur C | Appréciation |
|---|
L'item Q06 a une faible discrimination (D = 0.14). L'analyse des options montre que la réponse clé C* (la bonne réponse) attire moins de candidats de haut niveau que le distracteur B, signe d'un problème dans le contenu ou la formulation de l'item.
| Groupe | Option A | Option B | Option C* ✓ | Option D | Sans réponse |
|---|---|---|---|---|---|
| Fort (n=50) | 18% | 32% | 36% | 12% | 2% |
| Moyen (n=100) | 22% | 28% | 30% | 18% | 2% |
| Faible (n=50) | 26% | 20% | 22% | 30% | 2% |
Paramètres IRT estimés par la méthode du maximum de vraisemblance (MLE) avec le modèle logistique à trois paramètres (3PL), grâce au moteur d'analyse intégré d'ExamQR.
| Item | a (discrimination) | b (difficulté) | c (hasard) | SE(b) | Infit MNSQ | Outfit MNSQ | Pic IIF | θ au pic | Ajustement |
|---|
Une visualisation complète des statistiques CTT et IRT qui aide les enseignants et les équipes d'évaluation à repérer rapidement les items à améliorer.
| Item | Problème CTT | Problème IRT | Recommandation |
|---|---|---|---|
| Q06 | p=0.71, D=0.14, r=0.18 – Trop facile, faible discrimination | a=0.41, c=0.22 – Faible discrimination, hasard élevé | Réécrire entièrement |
| Q11 | p=0.81, D=0.10, r=0.12 – Trop facile | b=−2.41, Outfit=1.67 – Mauvais ajustement au modèle | Ajuster la difficulté |
| Q17 | p=0.19, D=0.18 – Trop difficile | b=2.61, SE=0.42 – Estimation instable | Simplifier l'item |
Ces items remplissent une partie des critères, mais 1 ou 2 statistiques sont proches de la limite. Conservez-les avec de légers ajustements :
Un α de Cronbach = 0.782 indique que le sujet présente une fiabilité acceptable (seuil recommandé ≥ 0.70 pour les évaluations des acquis, ≥ 0.80 pour les examens à fort enjeu). Pour atteindre α ≥ 0.80 :
D'après l'analyse des 3 derniers examens, ExamQR a constaté que les items du thème « Intégration » sont souvent anormalement difficiles (p moyen = 0.31). Nous suggérons de renforcer les ressources pédagogiques de ce chapitre.
Les résultats IRT montrent que la banque de questions actuelle fournit le plus d'information aux niveaux d'aptitude θ ∈ [−0.5, 1.0] et manque d'items dans la zone θ > 1.5 (meilleurs étudiants).
→ Recommandation : ajouter 5 à 8 items difficiles (b ∈ [1.5, 2.5]) pour le prochain examen.