Analiza la calidad de los exámenes y de los bancos de preguntas con dos enfoques modernos de medición: la teoría clásica de los tests (TCT) y la teoría de respuesta al ítem (TRI), en la plataforma ExamQR de TEX Vietnam.
Dos métodos reconocidos internacionalmente, integrados en ExamQR para un análisis completo de la calidad del banco de preguntas.
La TCT analiza los ítems a partir de las puntuaciones observadas de todo el grupo de candidatos. Sus estadísticos dependen de la muestra: cambian cuando cambia el grupo de candidatos.
La TRI modela la probabilidad de una respuesta correcta en función de la habilidad del candidato (θ). Los parámetros de los ítems son invariantes respecto a la muestra: más estables que en la TCT al comparar grupos.
| Criterio | TCT | TRI (1PL/2PL/3PL) |
|---|---|---|
| Dependencia de la muestra | ✗ Muy dependiente | ✓ Invariante respecto a la muestra |
| Tamaño de muestra necesario | ✓ N ≥ 30–50 | ✗ N ≥ 200–500 |
| Complejidad de cálculo | ✓ Sencilla | ✗ Compleja (MV/bayesiana) |
| Medición de la habilidad individual | ~ Indirecta, mediante la puntuación total | ✓ Directa (estimación de θ) |
| Pruebas adaptativas informatizadas (TAI) | ✗ No compatible | ✓ Base de las TAI |
| Análisis de distractores | ✓ Fácil de realizar | ~ Requiere el modelo de respuesta nominal |
| Uso en ExamQR | ✓ Análisis rápido, informes para docentes | ✓ Calibración del banco de ítems, TRI-TAI |
| Estadístico | Bueno | Aceptable | Rechazar |
|---|---|---|---|
| Dificultad (p) | 0.30 – 0.70 | 0.20–0.30 | 0.70–0.80 | <0.20 | >0.80 |
| Discriminación (D) | ≥ 0.30 | 0.20–0.29 | <0.20 |
| rpbis | ≥ 0.30 | 0.20–0.29 | <0.20 |
| α de Cronbach | ≥ 0.80 | 0.70–0.79 | <0.70 |
| Parámetro | Bueno | Aceptable | Revisar |
|---|---|---|---|
| Dificultad (b) | −1.5 a 1.5 | ±1.5–2.5 | |b| > 2.5 |
| Discriminación (a) | 0.8 – 2.5 | 0.5–0.8 | < 0.5 |
| Adivinación (c) | ≤ 0.20 | 0.20–0.25 | > 0.25 |
| Infit/Outfit MNSQ | 0.7 – 1.3 | 1.3–1.5 | > 1.5 |
Análisis de 20 ítems de opción múltiple con N = 200 estudiantes. Datos procesados por el módulo ExamQR Analytics.
| Ítem | Resumen del contenido | Dificultad (p) | Discriminación (D) | rpbis | α si se elimina | Distractor A | Distractor B | Distractor C | Valoración |
|---|
El ítem Q06 tiene una discriminación baja (D = 0.14). El análisis de opciones muestra que la clave C* (la respuesta correcta) atrae a menos candidatos de habilidad alta que el distractor B, señal de un problema en el contenido o la redacción del ítem.
| Grupo | Opción A | Opción B | Opción C* ✓ | Opción D | Omitida |
|---|---|---|---|---|---|
| Alto (n=50) | 18% | 32% | 36% | 12% | 2% |
| Medio (n=100) | 22% | 28% | 30% | 18% | 2% |
| Bajo (n=50) | 26% | 20% | 22% | 30% | 2% |
Parámetros TRI estimados por máxima verosimilitud (MV) con el modelo logístico de tres parámetros (3PL), mediante el motor de análisis integrado de ExamQR.
| Ítem | a (discriminación) | b (dificultad) | c (adivinación) | SE(b) | Infit MNSQ | Outfit MNSQ | Máximo de la FII | θ en el máximo | Ajuste al modelo |
|---|
Una visualización completa de los estadísticos TCT y TRI que ayuda a los docentes y al personal de evaluación a identificar rápidamente los ítems que deben mejorarse.
| Ítem | Problema en TCT | Problema en TRI | Recomendación |
|---|---|---|---|
| Q06 | p=0.71, D=0.14, r=0.18 – Demasiado fácil, discriminación deficiente | a=0.41, c=0.22 – Discriminación baja, adivinación alta | Reescribir por completo |
| Q11 | p=0.81, D=0.10, r=0.12 – Demasiado fácil | b=−2.41, Outfit=1.67 – Mal ajuste al modelo | Ajustar la dificultad |
| Q17 | p=0.19, D=0.18 – Demasiado difícil | b=2.61, SE=0.42 – Estimación inestable | Simplificar el ítem |
Estos ítems cumplen algunos criterios, pero tienen 1–2 estadísticos cerca del límite. Consérvalos con pequeños ajustes:
Un α de Cronbach = 0.782 indica que la prueba tiene una fiabilidad aceptable (umbral recomendado ≥ 0.70 para pruebas de rendimiento y ≥ 0.80 para evaluaciones de alto impacto). Para llegar a α ≥ 0.80:
A partir del análisis de los 3 exámenes más recientes, ExamQR detectó que los ítems del tema «Integración» tienden a ser inusualmente difíciles (p media = 0.31). Te sugerimos reforzar los recursos de aprendizaje de este capítulo.
Los resultados de la TRI muestran que el banco de preguntas actual aporta la mayor información en los niveles de habilidad θ ∈ [−0.5, 1.0] y que faltan ítems en la región θ > 1.5 (estudiantes con mejor rendimiento).
→ Recomendación: añadir de 5 a 8 ítems difíciles (b ∈ [1.5, 2.5]) para el próximo examen.