Hai câu đều có 60% người làm đúng theo khóa ban đầu. Sau khi xác nhận phải sửa đáp án, có thể nghĩ mức ảnh hưởng sẽ gần nhau. Nhưng tỷ lệ 60% chưa cho biết những người còn lại đã chọn phương án nào, và cũng chưa cho biết quy tắc sửa là thay khóa, chấp nhận nhiều đáp án hay bỏ câu.
Đếm tác động phải bắt đầu từ chính sách đã chốt
Giả sử mỗi câu có 100 người trả lời, mỗi người chọn đúng một phương án, chấm đúng 1 và sai 0. Sau phản biện nội dung, quyết định trong minh họa là thay hoàn toàn khóa A bằng B: A không còn được tính đúng. Tất cả số liệu dưới đây do Song Pa tự dựng; đây không phải sự cố đã xảy ra tại một kỳ thi thật.
| Dữ kiện và tác động tại câu | Câu 1 | Câu 2 |
|---|---|---|
| Chọn A — đúng theo khóa cũ | 60 người | 60 người |
| Chọn B — đúng theo khóa mới | 20 người | 5 người |
| Chọn phương án khác | 20 người | 35 người |
| Chuyển 1→0 sau sửa | 60 người | 60 người |
| Chuyển 0→1 sau sửa | 20 người | 5 người |
| Tổng hồ sơ đổi mã tại câu | 80 người | 65 người |
| Thay đổi tổng điểm thô của 100 người | −40 điểm | −55 điểm |
Minh họa giả định, khóa A được thay bằng B. 80 và 65 đếm người đổi mã đúng/sai tại từng câu; không phải số người chắc chắn đổi điểm IRT báo cáo hoặc đổi quyết định.
Ở câu 1,60 người mất một điểm thô và 20 người thêm một điểm: tổng thay đổi 20 −60 = −40. Ở câu 2, tổng thay đổi 5 −60 = −55. Hai tỷ lệ đúng ban đầu giống nhau nhưng lượng người đổi kết quả và mức thay đổi tổng hợp khác nhau vì phân bố lựa chọn khác nhau.
Nếu chấp nhận hai đáp án, đó là một phép sửa khác
Nếu sau thẩm định, chính sách là chấp nhận cả A và B, người chọn A vẫn đúng. Khi đó, chỉ 20 người ở câu 1 và 5 người ở câu 2 chuyển 0→1; không ai chuyển 1→0 bởi chính câu ấy. Bỏ câu hoặc cho tất cả điểm lại có cách tác động khác. Không thể chỉ ghi “sửa đáp án” rồi để người đọc tự hiểu quy tắc.
Chính sách phải được quyết định bằng bằng chứng nội dung và quy định của chương trình, không chọn cách tạo mức điểm mong muốn. Dorans nghiên cứu tác động của bỏ một câu không thể chốt khóa, cho thấy ảnh hưởng điểm báo cáo gắn với chính sách chấm và các bước xử lý liên quan [1]. Ví dụ thay A bằng B ở bài này là phép đếm tự dựng, không phải kết quả được trích từ nghiên cứu đó.
Vì sao cần giữ lựa chọn gốc?
Trong tệp 0/1 cũ, người chọn B và người chọn C/D đều mang 0. Nếu chỉ còn tệp ấy, ta không biết ai được chuyển thành đúng khi khóa mới là B. Cần lựa chọn ban đầu, phiên bản mã đề và ánh xạ phương án. Đây là lý do một kho dữ liệu chấm nên giữ đủ thông tin để đối soát, thay vì chỉ lưu tổng số câu đúng.
Nếu cùng 100 người làm cả hai câu, không cộng 80 +65 để nói có 145 người bị ảnh hưởng. Một người có thể đổi ở cả hai. Muốn đếm số người duy nhất, phải đối chiếu mã người và hợp các tập hồ sơ, đồng thời xem tổng tác động trong bài của từng người.
Bước từ mã 0/1 tới điểm IRT cần một bảng riêng
Các con số trên mới ở tầng chấm đúng/sai và điểm thô. Tính lại IRT cần dữ liệu toàn bài, bộ tham số, phương pháp ước lượng và cách duy trì thang. Nếu hiệu chuẩn lại, ngay cả người không đổi mã tại câu đang xét cũng có thể có ước lượng thay đổi do bộ tham số dùng chấm đã đổi. Đây là câu hỏi khác với việc đếm 80 hoặc 65.
Bước chuyển sang điểm báo cáo và làm tròn còn có thể khiến hai thay đổi theta khác nhau hiển thị thành cùng một mức điểm, hoặc một thay đổi nhỏ đi qua ranh giới hiển thị. Không nên gọi mọi hồ sơ đổi mã 0/1 là hồ sơ đổi kết quả công bố mà chưa kiểm các bước sau.
Một bản đồ tác động nên đi đủ các tầng
Đơn vị có thể ghi riêng số người đổi mã đúng/sai, phân bố chênh theta trên cùng thang có căn cứ, số người đổi điểm báo cáo và số người đổi một quyết định cụ thể nếu có. Mỗi tầng có mẫu số, phiên bản và phạm vi riêng. Bảng đối soát cần truy được từ một hồ sơ ở tầng cuối về dữ liệu nguồn.
Với học sinh luyện HSA, TSA hoặc V-ACT, thông tin cần nhận là kết quả của chính mình đã đổi gì và vì sao, sau khi đơn vị kiểm đủ các tầng. Còn với người quản lý đề, bài học từ hai câu cùng 60% là: một tỷ lệ chung không thay được hồ sơ lựa chọn và phân tích tác động cụ thể.
Nguồn tham khảo
[1] Dorans, N. J. (1983). Effects on Score Distributions of Deleting an Unkeyable Item From a Test. ETS Research Report RR–83-05. DOI 10.1002/j.2330-8516.1983.tb00005.x. Xem tài liệu