Một câu đúng ở mã A được đảo phương án khi tạo mã B, nhưng tệp khóa của B vẫn giữ chữ cái cũ. Lỗi có thể chỉ nằm ở một ô dữ liệu, song ảnh hưởng đi qua cả cột đúng/sai, ước lượng và phiếu kết quả. Muốn sửa có thể kiểm lại, cần theo dấu từng phiên bản thay vì ghi đè rồi chạy lại.
Xác nhận đáp án bằng nội dung trước khi sửa dữ liệu
Trước hết phải đọc câu, ngữ liệu, lời giải và phiên bản đã phát cho người thi. Số người chọn một phương án chỉ gợi nơi cần kiểm; phương án được nhiều người chọn chưa tự là đáp án đúng. Khi nội dung đã được phản biện và xác nhận, mới đối chiếu cách câu được ánh xạ qua các mã đề.
Hướng dẫn ITC yêu cầu kiểm thứ tự câu và các phiên bản, đồng thời phân tích lại và cập nhật tài liệu khi sửa khóa hoặc loại câu [1]. Trong thực hành, nên giữ dữ liệu gốc, khóa cũ và báo cáo cũ cùng một bản ghi sự cố; bản sửa có mã và lý do riêng.
Một sự cố giả định có thể truy đến đúng ô
Lượt thử SP-E 2 tự dựng có 240 người, 120 làm mã A và 120 làm mã B. Câu chuẩn Q17 xuất hiện ở vị trí 17 của A và 28 của B. Sau đối chiếu nội dung, đáp án đúng nằm ở B trong A và ở D trong B; lỗi của khóa v1.0 là ghi B cho cả hai.
| Trường đối chiếu | Mã A | Mã B |
|---|---|---|
| Mã câu chuẩn | Q17 | Q17 |
| Vị trí trên đề | 17 | 28 |
| Đáp án theo nội dung đã xác nhận | B | D |
| Khóa v1.0 đang dùng | B | B — sai ánh xạ |
| Khóa v1.1 sau sửa | B | D |
| Phạm vi cần kiểm bởi lỗi này | Đối chiếu để xác nhận không bị lỗi cùng loại | 120 hồ sơ đã dùng khóa B v1.0 |
Toàn bộ lượt thi và phiên bản đều giả định do Song Pa xây dựng. 120 hồ sơ nằm trong phạm vi kiểm không có nghĩa cả 120 sẽ đổi điểm; cần xem lựa chọn từng người.
Kiểm vài dòng cụ thể trước khi tính lại cả phạm vi
Kéo ngang bảng để xem đầy đủ các cột.
| Hồ sơ minh họa | Chọn tại câu liên quan | Mã 0/1 cũ | Mã 0/1 đúng sau đối soát |
|---|---|---|---|
| B001 — mã B | D | 0 | 1 |
| B002 — mã B | B | 1 | 0 |
| B003 — mã B | A | 0 | 0 |
| A001 — mã A | B | 1 | 1 |
B001 được sửa từ sai thành đúng; B002 theo khóa nội dung đã xác nhận chuyển từ đúng thành sai. B003 không thay đổi tại câu này. Việc có thể tăng hoặc giảm mã đúng/sai là hệ quả của chính sách thay hoàn toàn khóa B bằng D trong ví dụ, không phải lựa chọn điều chỉnh điểm theo mong muốn.
Bảng nhỏ giúp kiểm đúng hướng sửa, nhưng không thay việc đối chiếu đủ 120 hồ sơ và các phiên bản liên quan. Nếu một quy trình khác quyết định chấp nhận nhiều đáp án hoặc bỏ câu, kết quả sẽ khác; quyết định cần căn cứ nội dung và được ghi rõ trước khi tính lại.
Tách sửa mã đúng/sai khỏi lựa chọn tính lại IRT
Sau khi khóa v1.1 và dữ liệu đúng/sai đã chốt, đơn vị cần xác định cách tính lại. Giữ bộ tham số cũ để đo riêng tác động đổi dữ liệu là một phân tích có điều kiện. Nếu lỗi đã ảnh hưởng dữ liệu hiệu chuẩn, có thể phải xem việc hiệu chuẩn hoặc liên kết lại theo thiết kế phù hợp. Hai hướng không được âm thầm trộn thành cùng một lần sửa.
Bởi vậy, không thể nói B001 sẽ tăng một mức điểm IRT cố định chỉ vì thêm một câu đúng. Mức thay đổi còn liên quan mô hình, mẫu trả lời, tham số, thang và làm tròn. Với cấu hình có tính đơn điệu phù hợp, sửa sai thành đúng thường đi theo hướng tăng ước lượng có điều kiện; nhưng số điểm cụ thể phải được tính và kiểm bằng đúng cấu hình, không đoán từ một cột tần suất.
Sổ đóng sự cố cần giữ đường kiểm chứng
Sổ nên có bằng chứng xác nhận đáp án, bản đồ mã câu–vị trí–phương án, số hồ sơ trong phạm vi, phiên bản dữ liệu/khóa/tham số, cách duy trì thang, kết quả tính lại và kiểm độc lập. Nếu các điểm đã phát hành, cần xác định đúng người nhận và phạm vi báo cáo phải sửa theo quy trình của đơn vị.
Standards for Educational and Psychological Testing nêu việc ghi nhãn bản báo cáo sửa, giải thích lý do và lưu hồ sơ khi xác nhận lỗi quan trọng [2]. Mẫu thực hành này không thay quy định phúc khảo của một kỳ thi Việt Nam, nhưng giúp người làm dịch vụ xây được bằng chứng cho mỗi quyết định sửa.
Điều học sinh cần nhận cuối cùng
Một phản hồi hữu ích cần nêu lỗi đã xác nhận, câu và mã đề liên quan, phạm vi kết quả thay đổi, cách tính lại và bản báo cáo được dùng. Với dịch vụ luyện V-ACT, HSA hoặc TSA, giải thích rõ như vậy giúp người học phân biệt một lỗi khóa với thay đổi phương pháp ước lượng, đồng thời biết mình cần dùng phiên bản kết quả nào cho kế hoạch tiếp theo.
Nguồn tham khảo
[1] International Test Commission. (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3),195–217, mục 2.3.2 và 2.4.1. DOI 10.1080/15305058.2014.918040. Xem tài liệu
[2] AERA, APA & NCME. (2014). Standards for Educational and Psychological Testing, Standard 6.13, tr. 120. Xem tài liệu