Một học sinh xem lại bài và đếm được 7 câu đúng, nhưng phiếu ghi 6. Một bạn khác có số câu đúng khớp hoàn toàn, chỉ thắc mắc vì sao kết quả IRT đổi giữa hai báo cáo. Hai bạn đều muốn kiểm tra điểm, song nơi cần mở hồ sơ trước tiên khác nhau.
Bắt đầu từ dấu hiệu, chưa bắt đầu bằng việc đổi công thức
Chấm lại thường gợi đến việc đối chiếu bài làm với đáp án và quy tắc chấm đã xác định. Với câu trắc nghiệm, cần kiểm câu trả lời gốc, đúng mã đề, đúng khóa, ánh xạ phương án và cách xử lý trống hoặc chọn nhiều. Nếu một khâu ghi nhận sai, cần xác định và sửa đúng nguồn lỗi.
Kiểm cách ước lượng điểm đi thêm vào mô hình, bộ tham số, phương pháp như ML hoặc EAP, prior nếu có (thông tin ban đầu được dùng trong một số cách ước lượng), quy ước thang và bước làm tròn. Ngay khi mã đúng/sai đã khớp, hai lần dùng cấu hình khác nhau vẫn có thể cho kết quả khác. Sự khác nhau ấy cần giải thích, chưa tự chứng minh lần trước chấm sai.
Một phiếu minh họa để thấy hai tầng kiểm
Hồ sơ tự dựng S01 có 10 câu chấm đúng 1, sai 0, không thiếu dữ liệu. Sau khi đối chiếu câu trả lời với đúng phiên bản khóa, dãy đúng/sai là 1–0–1–1–0–1–1–0–1–1: các câu 1,3,4,6,7,9,10 đúng, nên tổng là 7/10. Đây chỉ là tình huống minh họa, không phải hồ sơ học sinh thật.
| Dấu hiệu gặp trên phiếu | Cần kiểm trước | Chưa nên kết luận |
|---|---|---|
| Phiếu ghi 6/10 thay vì 7/10 | Bài gốc, mã đề, khóa và cách cộng cột đúng/sai. | Chỉ cần đổi mô hình IRT là sửa được lỗi đếm. |
| Cả hai bản đều 7/10 nhưng theta khác | Cùng bộ tham số, cách ước lượng, prior và thang chưa? | Cùng số câu đúng thì mọi mô hình, mọi cấu hình phải cho cùng theta. |
| Điểm chỉ khác ở phần thập phân hiển thị | Giá trị chưa làm tròn, quy tắc làm tròn và nơi làm tròn. | Khác cách hiển thị luôn là khác năng lực đã ước lượng. |
Phiếu phân loại do Song Pa đề xuất. Dãy minh họa có bảy số 1. Bài không ước lượng theta từ 10 câu này; các tình huống chỉ giúp xác định hồ sơ cần mở.
Hai nhánh hồ sơ cần nối lại tại dữ liệu đã chốt
| Nhánh đối soát bài làm | Nhánh kiểm ước lượng | Điểm nối chung |
|---|---|---|
| Câu trả lời gốc và phiên bản đề. | Mô hình, bộ tham số và cách nhận diện thang. | Cùng mã người, mã câu, thứ tự và dữ liệu đúng/sai. |
| Khóa đã duyệt và ánh xạ phương án. | Phương pháp ước lượng; prior và xử lý mẫu biên. | Cùng quy tắc dữ liệu thiếu và cùng phiên bản chấm. |
| Kết quả đúng/sai và tổng theo quy tắc. | Phép chuyển sang điểm báo cáo và làm tròn. | Có nhật ký để lần theo mỗi thay đổi. |
Nếu nhánh đầu phát hiện nhập nhầm khóa, phải xem phạm vi ảnh hưởng của cả lỗi, không chỉ dòng học sinh đã phản ánh. Nếu nhánh đầu khớp nhưng nhánh sau dùng nhầm phiên bản tham số, việc xử lý phải đi vào cấu hình ước lượng. Chạy lại cùng tệp sai hai lần có thể vẫn cho kết quả giống hệt nhau.
Kiểm độc lập mới giúp nhận ra lỗi được lặp lại
Người kiểm cần có căn cứ riêng: đối chiếu một mẫu với bài gốc và khóa chốt, tính lại vài tổng, kiểm phép chuyển thang bằng công cụ hoặc đường kiểm khác phù hợp. Các tiêu chuẩn ETS yêu cầu giám sát độ chính xác chấm, sửa nguồn lỗi và mô tả quá trình tạo điểm báo cáo [1]. Những việc này tạo bằng chứng hơn việc chỉ nói hệ thống đã chạy thành công.
Cũng cần giữ tên từng loại kết quả. Số câu đúng là một tổng quan sát; theta là ước lượng theo mô hình; điểm báo cáo là giá trị trên thang đã chọn. Không đổi tên theta thành điểm thô khi giải thích cho học sinh, vì như vậy người đọc sẽ khó theo được chỗ nào đã thay đổi.
Một yêu cầu kiểm tra có thể viết gọn mà đủ thông tin
Học sinh có thể ghi mã bài, mã đề, lần thi, trường thông tin đang thắc mắc và bằng chứng cụ thể. Chẳng hạn: “Em đối chiếu được các câu 1,3,4,6,7,9,10 đúng, nhưng cột số câu đúng trên phiếu là 6; nhờ kiểm phiên bản khóa và tổng”. Nếu thắc mắc về theta, hãy nêu hai bản báo cáo cần đối chiếu, tránh tự đổi công thức để suy số mình nghĩ phải nhận.
Cách gửi yêu cầu, thời hạn và phạm vi được kiểm của HSA, TSA hoặc V-ACT cần theo thông báo chính thức của từng chương trình. Mẫu ở bài này là cách mô tả vấn đề cho rõ, không thay một quy trình phúc khảo chính thức.
Kết quả đối soát nên trả lời đã kiểm gì, phát hiện gì, cấu hình nào được dùng và bản nào có hiệu lực. Nếu cần sửa, phải sửa đúng nguồn và kiểm lại ảnh hưởng. Khi hai tầng được giải thích rõ, học sinh có thể hiểu một khác biệt đến từ dữ liệu, cách ước lượng hay cách hiển thị, và sử dụng kết quả yên tâm hơn.
Nguồn tham khảo
[1] Educational Testing Service. (2014). ETS Standards for Quality and Fairness, Standards 10.2 và 10.4, tr. 43–44. Xem tài liệu