📊 Platform Analitik ExamQR

Penilaian Kualitas Bank Soal
Teori CTT & IRT

Analisis kualitas ujian dan bank soal dengan dua pendekatan pengukuran modern: Teori Tes Klasik (Classical Test Theory, CTT) dan Teori Respons Butir (Item Response Theory, IRT), di platform ExamQR dari TEX Vietnam.

🏫 TEX Vietnam JSC 📅 Data ilustrasi: Semester 1, 2024-2025 👥 Sampel: 200 siswa • 20 butir 🎓 Mata pelajaran: Matematika Terapan
0.782Koefisien α Cronbach
14/20Butir yang memenuhi kriteria CTT
0.91Kesesuaian model IRT (RMSEA)
12/20Butir yang memenuhi kriteria IRT

Ikhtisar Teori Evaluasi Butir

Dua metode yang diakui secara internasional dan terintegrasi di ExamQR untuk analisis menyeluruh atas kualitas bank soal.

📐 CTT – Teori Tes Klasik (Classical Test Theory)

CTT menganalisis butir berdasarkan nilai amatan dari seluruh kelompok peserta. Statistiknya bergantung pada sampel – nilainya berubah ketika kelompok peserta berubah.

🎯
Tingkat kesukaran butir (p – Indeks Kesukaran) Proporsi peserta yang menjawab benar. p = 0.3–0.7 dianggap ideal
⚖️
Daya beda butir (D – Indeks Daya Beda) Selisih proporsi jawaban benar antara kelompok atas dan kelompok bawah. D ≥ 0.30 tergolong baik
🔗
Korelasi point-biserial (rpbis) Korelasi butir–total. r ≥ 0.25 dapat diterima
🔀
Analisis Pengecoh Mengevaluasi seberapa menarik pilihan jawaban yang salah
p = ncorrect / Ntotal
D = pupper − plower
α = (n/n−1) × (1 − Σσᵢ²/σ²X)
📈 IRT – Teori Respons Butir (Item Response Theory)

IRT memodelkan probabilitas jawaban benar sebagai fungsi dari kemampuan peserta (θ). Parameter butir bersifat invarian terhadap sampel – lebih stabil daripada CTT saat membandingkan kelompok.

🏔️
Parameter tingkat kesukaran (b) Tingkat kemampuan θ saat peserta memiliki peluang 50% untuk menjawab benar. b ∈ [−3, 3]
📐
Parameter daya beda (a) Kemiringan kurva karakteristik butir (ICC). a ≥ 0.8 dapat diterima
🎲
Parameter tebakan (c) Probabilitas menjawab benar secara kebetulan. c ≤ 0.25 untuk butir pilihan ganda 4 opsi
ℹ️
Fungsi informasi butir (IIF) & paket soal (TIF) Mengukur presisi estimasi kemampuan pada setiap tingkat θ
P(θ) = c + (1−c) × 1/(1 + e−a(θ−b))
I(θ) = a² × P(θ)(1−P(θ)) / (P(θ)−c)² × (1−c)²
Perbandingan CTT vs. IRT
Kriteria CTT IRT (1PL/2PL/3PL)
Ketergantungan pada sampel✗ Sangat bergantung✓ Invarian terhadap sampel
Kebutuhan ukuran sampel✓ N ≥ 30–50✗ N ≥ 200–500
Kompleksitas komputasi✓ Sederhana✗ Kompleks (MLE/Bayesian)
Pengukuran kemampuan individu~ Tidak langsung, melalui nilai total✓ Langsung (estimasi θ)
Tes adaptif berbasis komputer (CAT)✗ Tidak didukung✓ Fondasi CAT
Analisis pengecoh✓ Mudah dilakukan~ Memerlukan Nominal Response Model
Kesesuaian dengan ExamQR✓ Analisis cepat, laporan untuk pengajar✓ Kalibrasi bank butir, IRT-CAT
Kriteria Evaluasi Butir – Ambang yang Direkomendasikan (ExamQR)
📐 Kriteria CTT
StatistikBaikDapat diterimaTolak
Tingkat kesukaran (p)0.30 – 0.700.20–0.30 | 0.70–0.80<0.20 | >0.80
Daya beda (D)≥ 0.300.20–0.29<0.20
rpbis≥ 0.300.20–0.29<0.20
α Cronbach≥ 0.800.70–0.79<0.70
📈 Kriteria IRT (3PL)
ParameterBaikDapat diterimaTinjau
Tingkat kesukaran (b)−1.5 hingga 1.5±1.5–2.5|b| > 2.5
Daya beda (a)0.8 – 2.50.5–0.8< 0.5
Tebakan (c)≤ 0.200.20–0.25> 0.25
Infit/Outfit MNSQ0.7 – 1.31.3–1.5> 1.5

Hasil Analisis CTT – Teori Tes Klasik

Analisis 20 butir pilihan ganda dengan N = 200 siswa. Data diolah oleh modul ExamQR Analytics.

0.782
Alfa Cronbach
Reliabilitas paket soal
0.487
Rata-rata tingkat kesukaran
Rata-rata p = 0.487
0.342
Rata-rata daya beda
Rata-rata D = 0.342
14/20
Butir yang memenuhi kriteria
70% butir berkualitas baik
Tabel Analisis CTT – 20 Butir
Baik (memenuhi kriteria)
Perlu ditinjau
Perlu direvisi/dihapus
Butir Ringkasan isi Tingkat kesukaran (p) Daya beda (D) rpbis α jika dihapus Pengecoh A Pengecoh B Pengecoh C Kategori
Analisis Pengecoh – Butir Q06 (Perlu direvisi)

Butir Q06 memiliki daya beda rendah (D = 0.14). Analisis pilihan jawaban menunjukkan bahwa kunci C* (jawaban benar) menarik lebih sedikit peserta berkemampuan tinggi dibandingkan pengecoh B – tanda adanya masalah pada isi atau redaksi butir.

KelompokPilihan APilihan BPilihan C* ✓Pilihan DTidak dijawab
Tinggi (n=50)18%32%36%12%2%
Sedang (n=100)22%28%30%18%2%
Rendah (n=50)26%20%22%30%2%
⚠️ Temuan
🔴
Pilihan B hampir semenarik jawaban benar pada kelompok berkemampuan tinggi (32% vs. 36%)Pilihan B mungkin terlalu mirip dengan jawaban benar, atau mengandung kesalahan isi yang menyesatkan siswa yang kuat.
🟡
Pilihan A dan D tidak berfungsi dengan baik sebagai pengecohTingkat pemilihannya serupa di semua kelompok, sehingga tidak membedakan tingkat kemampuan.
✅
Rekomendasi: Ubah redaksi pilihan B dan periksa kembali kunci C*Konsultasikan dengan panel ahli materi; kunci jawaban mungkin perlu diubah atau butir perlu ditulis ulang.

Hasil Analisis IRT – Teori Respons Butir (3PL)

Parameter IRT diestimasi dengan Maximum Likelihood Estimation (MLE) menggunakan model logistik tiga parameter (3PL), dengan mesin analisis bawaan ExamQR.

−0.12
Rata-rata θ peserta
Mendekati 0 = sesuai dengan tingkat kesukaran
1.24
Rata-rata a (daya beda)
Daya beda baik
0.063
Rata-rata c (tebakan)
Rendah – stabil
12/20
Butir yang sesuai dengan model
Infit MNSQ ≤ 1.30
Tabel Parameter IRT – Model 3PL
■ a = Daya beda   ■ b = Tingkat kesukaran (logit)   ■ c = Tebakan
Fit baik (MNSQ ≤ 1.30)
Tidak sesuai (MNSQ > 1.30)
Butir a (Daya beda) b (Tingkat kesukaran) c (Tebakan) SE(b) Infit MNSQ Outfit MNSQ Puncak IIF θ pada puncak Kesesuaian model
Penjelasan Kurva Karakteristik Butir (ICC) – Butir Q01 vs. Q06 vs. Q14
Q01 – Butir baik ✓ Sesuai
a=1.42, b=−0.31, c=0.05 → Kurva berbentuk S yang jelas dan curam; membedakan kemampuan dengan baik dari θ = −0.5 hingga 0.5
Q06 – Butir yang perlu direvisi ✗ Tidak sesuai
a=0.41, b=0.12, c=0.22 → Kurva hampir datar, c tinggi → Peluang menebak tinggi, tidak ada daya beda
Q14 – Butir sulit, daya beda baik ✓ Sesuai
a=1.87, b=1.52, c=0.04 → Butir sulit untuk peserta berkemampuan tinggi (θ > 0.8); IIF mencapai puncak pada θ = 1.5

Grafik Analisis Kualitas

Visualisasi menyeluruh atas statistik CTT dan IRT yang membantu pengajar dan staf penilaian dengan cepat menemukan butir yang perlu diperbaiki.

Sebaran Tingkat Kesukaran (p) – CTT Target: 0.3–0.7
Sebaran Daya Beda (D) – CTT Target: D ≥ 0.30
Diagram pencar: Tingkat Kesukaran vs. Daya Beda (CTT) Wilayah ideal: p∈[0.3,0.7], D≥0.30
Diagram pencar: b (IRT) vs. a (IRT) Peta parameter 3PL
Sebaran Nilai (N=200) Dilapisi kurva normal
Fungsi Informasi Paket Soal (TIF) – IRT Informasi menurut tingkat kemampuan θ
Alfa Cronbach jika Setiap Butir Dihapus (Alpha-if-Item-Deleted) Garis horizontal = α saat ini = 0.782
Kategori Kualitas Butir (CTT) Diklasifikasikan menurut kriteria
rpbis per Butir (Korelasi Butir–Total) Ambang: 0.25 (kuning), 0.30 (hijau)
LAPORAN PENILAIAN KUALITAS UJIAN DAN BANK SOAL
📚 Mata pelajaran: Matematika Terapan (MATH201)
📅 Ujian: Semester 1 – 2024-2025
👥 Peserta: 200
📋 Butir: 20
⏱️ Format: Pilihan ganda 4 opsi
📊 Metode: CTT + IRT 3PL
I. HASIL KESELURUHAN
62.4%
Nilai rata-rata
Simpangan baku = 14.3%
0.782
α Cronbach
Reliabilitas dapat diterima
0.487
Rata-rata tingkat kesukaran
Sedang
0.342
Rata-rata daya beda
Baik
II. KLASIFIKASI BUTIR
12
✅ Butir MEMENUHI KRITERIA
60% – Baik menurut CTT dan IRT
5
⚠️ Perlu DITINJAU
25% – Satu kriteria tidak terpenuhi
3
🔴 Perlu DIREVISI
15% – Beberapa kriteria tidak terpenuhi
III. ANALISIS RINCI MENURUT KELOMPOK MASALAH
Butir yang perlu dihapus atau ditulis ulang (Q06, Q11, Q17)
ButirMasalah CTTMasalah IRTRekomendasi
Q06 p=0.71, D=0.14, r=0.18 – Terlalu mudah, daya beda buruk a=0.41, c=0.22 – Daya beda rendah, tebakan tinggi Tulis ulang sepenuhnya
Q11 p=0.81, D=0.10, r=0.12 – Terlalu mudah b=−2.41, Outfit=1.67 – Kesesuaian model buruk Sesuaikan tingkat kesukaran
Q17 p=0.19, D=0.18 – Terlalu sulit b=2.61, SE=0.42 – Estimasi tidak stabil Sederhanakan butir
Butir yang perlu ditinjau (Q02, Q08, Q13, Q15, Q19)

Butir-butir ini memenuhi sebagian kriteria tetapi memiliki 1–2 statistik di sekitar batas. Pertahankan dengan sedikit penyesuaian:

Q02: D = 0.24 (di batas) Q08: c = 0.23 (tebakan agak tinggi) Q13: Infit = 1.38 (hampir tidak sesuai) Q15: r = 0.22 (pengecoh perlu diperbaiki) Q19: p = 0.28 (agak sulit)
IV. PENILAIAN RELIABILITAS PAKET SOAL

Nilai α Cronbach = 0.782 menunjukkan bahwa paket soal memiliki reliabilitas yang dapat diterima (ambang yang direkomendasikan ≥ 0.70 untuk tes prestasi, ≥ 0.80 untuk tes berisiko tinggi). Untuk mencapai α ≥ 0.80:

✅
Ganti 3 butir berkualitas buruk dengan butir baruPerkiraan α naik menjadi ~0.81–0.83
🟡
Tambah panjang paket soal menjadi 25–30 butirMenurut rumus Spearman-Brown, perkiraan α mencapai 0.85+
📊 Statistik reliabilitas
Alfa Cronbach0.782
KR-20 (Kuder-Richardson)0.779
Belah dua (Spearman-Brown)0.764
Galat baku pengukuranSE = 4.82 poin
Interval kepercayaan 95%± 9.5 poin
V. REKOMENDASI DAN PETA JALAN PERBAIKAN
🔴
Jangka pendek (sebelum semester berikutnya)Tulis ulang atau ganti Q06, Q11, Q17. Tinjau pengecoh pada Q02, Q08, Q15. Bentuk panel ahli materi untuk meninjau 8 butir ini.
🟡
Jangka menengah (dalam tahun ajaran ini)Tambahkan butir dengan tingkat kesukaran sedang ke bank soal (p = 0.35–0.55). Tingkatkan proporsi butir dengan D ≥ 0.35. Lakukan kalibrasi ulang IRT dengan kumpulan butir yang baru.
🟢
Jangka panjang (strategis)Terapkan tes adaptif berbasis komputer (CAT) yang berlandaskan IRT. Bangun bank soal berisi 200+ butir dengan parameter IRT yang telah dikalibrasi. Selaraskan butir dengan capaian pembelajaran CLO/PLO.
🤖 Wawasan AI ExamQR

Berdasarkan analisis 3 ujian terakhir, ExamQR menemukan bahwa butir pada topik "Integral" cenderung sangat sulit dibandingkan butir lain (rata-rata p = 0.31). Kami menyarankan untuk memperkuat sumber belajar pada bab ini.

Hasil IRT menunjukkan bahwa bank soal saat ini memberikan informasi paling banyak pada tingkat kemampuan θ ∈ [−0.5, 1.0], dan kekurangan butir di wilayah θ > 1.5 (siswa berprestasi tinggi).

→ Rekomendasi: tambahkan 5–8 butir sulit (b ∈ [1.5, 2.5]) untuk ujian berikutnya.

Modul Analitik ExamQR · TEX Vietnam JSC · Laporan dibuat secara otomatis · ID laporan: RPT-MATH201-S1-2425 · Versi: ExamQR v3.2