Analise a qualidade de exames e bancos de questões com duas abordagens modernas de medida: a Teoria Clássica dos Testes (TCT) e a Teoria de Resposta ao Item (TRI), na plataforma ExamQR da TEX Vietnam.
Dois métodos reconhecidos internacionalmente, integrados ao ExamQR para uma análise completa da qualidade do banco de questões.
A TCT analisa os itens com base nos escores observados de todo o grupo de candidatos. Suas estatísticas são dependentes da amostra – mudam quando o grupo de candidatos muda.
A TRI modela a probabilidade de resposta correta em função da habilidade do candidato (θ). Os parâmetros dos itens são invariantes à amostra – mais estáveis que os da TCT na comparação entre grupos.
| Critério | TCT | TRI (1PL/2PL/3PL) |
|---|---|---|
| Dependência da amostra | ✗ Altamente dependente | ✓ Invariante à amostra |
| Tamanho de amostra necessário | ✓ N ≥ 30–50 | ✗ N ≥ 200–500 |
| Complexidade computacional | ✓ Simples | ✗ Complexa (EMV/bayesiana) |
| Medida da habilidade individual | ~ Indireta, pela nota total | ✓ Direta (estimação de θ) |
| Teste adaptativo informatizado (TAI/CAT) | ✗ Não suportado | ✓ Base do TAI |
| Análise de distratores | ✓ Fácil de fazer | ~ Exige o Modelo de Resposta Nominal |
| Uso no ExamQR | ✓ Análise rápida, relatórios para o instrutor | ✓ Calibração do banco de itens, TAI com TRI |
| Estatística | Bom | Aceitável | Rejeitar |
|---|---|---|---|
| Dificuldade (p) | 0.30 – 0.70 | 0.20–0.30 | 0.70–0.80 | <0.20 | >0.80 |
| Discriminação (D) | ≥ 0.30 | 0.20–0.29 | <0.20 |
| rpbis | ≥ 0.30 | 0.20–0.29 | <0.20 |
| α de Cronbach | ≥ 0.80 | 0.70–0.79 | <0.70 |
| Parâmetro | Bom | Aceitável | Revisar |
|---|---|---|---|
| Dificuldade (b) | −1.5 a 1.5 | ±1.5–2.5 | |b| > 2.5 |
| Discriminação (a) | 0.8 – 2.5 | 0.5–0.8 | < 0.5 |
| Acerto casual (c) | ≤ 0.20 | 0.20–0.25 | > 0.25 |
| Infit/Outfit MNSQ | 0.7 – 1.3 | 1.3–1.5 | > 1.5 |
Análise de 20 itens de múltipla escolha com N = 200 estudantes. Dados processados pelo módulo ExamQR Analytics.
| Item | Resumo do conteúdo | Dificuldade (p) | Discriminação (D) | rpbis | α se excluído | Distrator A | Distrator B | Distrator C | Classificação |
|---|
O item Q06 tem discriminação baixa (D = 0.14). A análise das alternativas mostra que o gabarito C* (a resposta correta) atrai menos candidatos de alta habilidade do que o distrator B – sinal de um problema no conteúdo ou na redação do item.
| Grupo | Alternativa A | Alternativa B | Alternativa C* ✓ | Alternativa D | Omitida |
|---|---|---|---|---|---|
| Alto (n=50) | 18% | 32% | 36% | 12% | 2% |
| Médio (n=100) | 22% | 28% | 30% | 18% | 2% |
| Baixo (n=50) | 26% | 20% | 22% | 30% | 2% |
Parâmetros da TRI estimados por máxima verossimilhança (EMV) com o modelo logístico de três parâmetros (3PL), pelo mecanismo de análise integrado do ExamQR.
| Item | a (Discriminação) | b (Dificuldade) | c (Acerto casual) | EP(b) | Infit MNSQ | Outfit MNSQ | Pico da FII | θ no pico | Ajuste ao modelo |
|---|
Uma visualização completa das estatísticas da TCT e da TRI que ajuda instrutores e a equipe de avaliação a identificar rapidamente os itens que precisam ser melhorados.
| Item | Problema na TCT | Problema na TRI | Recomendação |
|---|---|---|---|
| Q06 | p=0.71, D=0.14, r=0.18 – Fácil demais, discriminação fraca | a=0.41, c=0.22 – Discriminação baixa, acerto casual alto | Reescrever por completo |
| Q11 | p=0.81, D=0.10, r=0.12 – Fácil demais | b=−2.41, Outfit=1.67 – Ajuste fraco ao modelo | Ajustar a dificuldade |
| Q17 | p=0.19, D=0.18 – Difícil demais | b=2.61, EP=0.42 – Estimativa instável | Simplificar o item |
Estes itens atendem a alguns critérios, mas têm 1–2 estatísticas perto do limite. Mantenha-os com pequenos ajustes:
Um α de Cronbach = 0.782 indica que a prova tem confiabilidade aceitável (limiar recomendado ≥ 0.70 para provas de desempenho, ≥ 0.80 para provas de alto impacto). Para chegar a α ≥ 0.80:
Com base na análise dos 3 exames mais recentes, o ExamQR constatou que os itens do tópico "Integração" tendem a ser excepcionalmente difíceis (p médio = 0.31). Sugerimos reforçar os materiais de estudo deste capítulo.
Os resultados da TRI mostram que o banco de questões atual fornece mais informação nos níveis de habilidade θ ∈ [−0.5, 1.0] e carece de itens na região θ > 1.5 (estudantes de melhor desempenho).
→ Recomendação: incluir 5–8 itens difíceis (b ∈ [1.5, 2.5]) no próximo exame.