Analysieren Sie die Qualität von Prüfungen und Fragenpools mit zwei modernen Messansätzen, der Klassischen Testtheorie (KTT) und der Item-Response-Theorie (IRT), auf der ExamQR-Plattform von TEX Vietnam.
Zwei international anerkannte Methoden, in ExamQR integriert, für eine umfassende Analyse der Qualität des Fragenpools.
Die KTT analysiert Items anhand der beobachteten Punktzahlen der gesamten Teilnehmergruppe. Ihre Kennwerte sind stichprobenabhängig – sie ändern sich, wenn sich die Teilnehmergruppe ändert.
Die IRT modelliert die Wahrscheinlichkeit einer richtigen Antwort als Funktion der Fähigkeit (θ) des Teilnehmers. Itemparameter sind stichprobenunabhängig – beim Vergleich von Gruppen stabiler als bei der KTT.
| Kriterium | KTT | IRT (1PL/2PL/3PL) |
|---|---|---|
| Stichprobenabhängigkeit | ✗ Stark abhängig | ✓ Stichprobenunabhängig |
| Erforderliche Stichprobengröße | ✓ N ≥ 30–50 | ✗ N ≥ 200–500 |
| Rechenaufwand | ✓ Einfach | ✗ Komplex (MLE/Bayes) |
| Messung der individuellen Fähigkeit | ~ Indirekt, über die Gesamtpunktzahl | ✓ Direkt (θ-Schätzung) |
| Computergestütztes adaptives Testen (CAT) | ✗ Nicht unterstützt | ✓ Grundlage des CAT |
| Distraktoranalyse | ✓ Einfach durchführbar | ~ Erfordert das Nominal Response Model |
| Eignung für ExamQR | ✓ Schnelle Analyse, Berichte für Lehrkräfte | ✓ Kalibrierung des Itempools, IRT-CAT |
| Kennwert | Gut | Akzeptabel | Verwerfen |
|---|---|---|---|
| Schwierigkeit (p) | 0.30 – 0.70 | 0.20–0.30 | 0.70–0.80 | <0.20 | >0.80 |
| Trennschärfe (D) | ≥ 0.30 | 0.20–0.29 | <0.20 |
| rpbis | ≥ 0.30 | 0.20–0.29 | <0.20 |
| Cronbachs α | ≥ 0.80 | 0.70–0.79 | <0.70 |
| Parameter | Gut | Akzeptabel | Prüfen |
|---|---|---|---|
| Schwierigkeit (b) | −1.5 bis 1.5 | ±1.5–2.5 | |b| > 2.5 |
| Trennschärfe (a) | 0.8 – 2.5 | 0.5–0.8 | < 0.5 |
| Raten (c) | ≤ 0.20 | 0.20–0.25 | > 0.25 |
| Infit/Outfit MNSQ | 0.7 – 1.3 | 1.3–1.5 | > 1.5 |
Analyse von 20 Multiple-Choice-Items mit N = 200 Studierenden. Daten verarbeitet mit dem Modul ExamQR Analytics.
| Item | Inhalt (Kurzfassung) | Schwierigkeit (p) | Trennschärfe (D) | rpbis | α bei Entfernung | Distraktor A | Distraktor B | Distraktor C | Bewertung |
|---|
Item Q06 hat eine geringe Trennschärfe (D = 0.14). Die Optionsanalyse zeigt, dass der hinterlegte Schlüssel C* (die richtige Antwort) weniger leistungsstarke Teilnehmer anzieht als der Distraktor B – ein Hinweis auf ein Problem mit dem Inhalt oder der Formulierung des Items.
| Gruppe | Option A | Option B | Option C* ✓ | Option D | Ausgelassen |
|---|---|---|---|---|---|
| Hoch (n=50) | 18% | 32% | 36% | 12% | 2% |
| Mittel (n=100) | 22% | 28% | 30% | 18% | 2% |
| Niedrig (n=50) | 26% | 20% | 22% | 30% | 2% |
IRT-Parameter, geschätzt mit der Maximum-Likelihood-Methode (MLE) im logistischen Dreiparametermodell (3PL), mit der integrierten Analyse-Engine von ExamQR.
| Item | a (Trennschärfe) | b (Schwierigkeit) | c (Raten) | SE(b) | Infit MNSQ | Outfit MNSQ | IIF-Maximum | θ am Maximum | Modellanpassung |
|---|
Eine umfassende Visualisierung der KTT- und IRT-Kennwerte, mit der Lehrkräfte und Prüfungsverantwortliche Items mit Verbesserungsbedarf schnell erkennen.
| Item | KTT-Problem | IRT-Problem | Empfehlung |
|---|---|---|---|
| Q06 | p=0.71, D=0.14, r=0.18 – Zu leicht, geringe Trennschärfe | a=0.41, c=0.22 – Geringe Trennschärfe, hohe Ratewahrscheinlichkeit | Vollständig neu schreiben |
| Q11 | p=0.81, D=0.10, r=0.12 – Zu leicht | b=−2.41, Outfit=1.67 – Schlechte Modellanpassung | Schwierigkeit anpassen |
| Q17 | p=0.19, D=0.18 – Zu schwer | b=2.61, SE=0.42 – Instabile Schätzung | Item vereinfachen |
Diese Items erfüllen einige Kriterien, haben aber 1–2 Kennwerte nahe am Grenzwert. Behalten Sie sie mit kleinen Anpassungen:
Ein Cronbachs α = 0.782 zeigt, dass der Test eine akzeptable Reliabilität hat (empfohlener Schwellenwert ≥ 0.70 für Leistungstests, ≥ 0.80 für High-Stakes-Prüfungen). Um α ≥ 0.80 zu erreichen:
Aus der Analyse der 3 letzten Prüfungen hat ExamQR erkannt, dass Items zum Thema „Integralrechnung“ tendenziell ungewöhnlich schwer sind (mittleres p = 0.31). Wir empfehlen, die Lernmaterialien zu diesem Kapitel zu verstärken.
Die IRT-Ergebnisse zeigen, dass der aktuelle Fragenpool die meiste Information auf den Fähigkeitsniveaus θ ∈ [−0.5, 1.0] liefert und dass im Bereich θ > 1.5 (leistungsstärkste Studierende) Items fehlen.
→ Empfehlung: 5–8 schwere Items (b ∈ [1.5, 2.5]) für die nächste Prüfung hinzufügen.