Một học sinh nhớ mã đề bên cạnh có câu đầu rất dễ, còn mình gặp câu ấy ở cuối giờ. Hai bạn có thể đã làm cùng các câu, chỉ khác vị trí. Nhưng từ việc “cùng câu” đến kết luận “mọi điều kiện và kết quả đều tương đương” vẫn còn những việc phải kiểm. Trước hết là một việc rất cụ thể: bảng đáp án phải đi đúng với thứ tự đã phát.
Mã đề gắn với cả vị trí lẫn phiên bản
Mã câu nhận diện một nội dung trong ngân hàng; số thứ tự nhận diện vị trí trên đề; mã đề nhận diện bộ được phát cho một lượt làm. Ba thứ ấy có liên hệ nhưng không thay thế nhau. Khi câu Q903 chuyển từ vị trí 3 sang vị trí 1, nội dung có thể giữ nguyên, còn dòng khóa ở vị trí 1 phải chuyển theo đúng câu.
Ví dụ dưới đây tự dựng bốn câu trắc nghiệm một đáp án. Khóa của Q901 là B, Q902 là D, Q903 là A, Q904 là C. Hai mã chỉ đổi thứ tự câu, chưa đổi phương án bên trong từng câu. Mỗi câu đúng được 1 điểm trong phép minh họa điểm thô này; đây không phải cách chấm của một kỳ thi đánh giá năng lực cụ thể.
| Vị trí trên đề | Mã A và khóa | Mã B và khóa |
|---|---|---|
| 1 | Q901 — B | Q903 — A |
| 2 | Q902 — D | Q901 — B |
| 3 | Q903 — A | Q904 — C |
| 4 | Q904 — C | Q902 — D |
Người làm mã B trả lời theo thứ tự A–B–C–D sẽ đúng cả bốn câu. Nếu lấy nhầm dãy khóa B–D–A–C của mã A để so từng vị trí, hệ thống lại báo 0/4. Không cần một phân tích IRT phức tạp để nhận ra lỗi này. Cần bảng ánh xạ đúng giữa lượt làm, mã đề, vị trí, mã câu, bản nội dung và bản khóa.
Nếu đảo cả phương án thì phải theo thêm một ánh xạ
Giả sử đáp án đúng của một câu là nội dung “12 lít”. Ở bản gốc, nội dung đó đặt tại B; khi phương án được hoán đổi, nó có thể nằm tại D. Chuyển nguyên chữ B sang mã mới là sai dù nội dung đáp án chưa đổi. Cách an toàn về mặt thiết kế là theo dõi phương án bằng mã ổn định và kiểm nhãn hiển thị tại phiên bản được phát.
Một phép thử nhỏ có ích là tạo lượt trả lời mẫu biết trước: chọn đúng nội dung ở mọi vị trí, rồi kiểm kết quả dự kiến; thêm lượt sai và lượt bỏ trống theo quy tắc đã định. Bộ kiểm phải chạy trên đúng gói sẽ phát, không chỉ trên bản soạn ban đầu. Hướng dẫn ITC nhấn mạnh đối soát khóa, dữ liệu và các kiểm tra độc lập trong quy trình chấm [1].
Cùng các câu vẫn cần xem điều kiện làm
Vị trí có thể đi cùng mức mệt, thời gian còn lại và ngữ cảnh do câu trước tạo ra. Một câu suy luận dài ở đầu buổi có thể được người học dành thời gian khác khi gặp ở những phút cuối. Điều ấy không có nghĩa cứ đảo là gây chênh lệch đáng kể, nhưng cũng không nên mặc định mọi cách đảo đều vô hại.
Debeer và Janssen nghiên cứu hiệu ứng vị trí câu trong khuôn khổ IRT [2]. Điểm gợi mở cho đơn vị là vị trí có thể được đưa vào việc kiểm bằng chứng thay vì chỉ coi là nhãn trình bày. Khi phân tích thật, cần thiết kế và dữ liệu phù hợp để phân biệt hiệu ứng vị trí với khác biệt của nhóm người làm, độ khó nội dung và những yếu tố khác.
Với một chùm câu cùng ngữ liệu, đảo lẻ từng câu còn có thể làm mất phần hướng dẫn, tách biểu đồ khỏi câu hỏi hoặc đưa một gợi ý lên trước. Nếu nhiệm vụ yêu cầu thứ tự trong chùm, quy tắc tổ hợp phải giữ thứ tự ấy. Không nên để một thao tác đảo tự động làm thay đổi chính nhiệm vụ đang đo.
Hai tập câu khác nhau là một bài toán rộng hơn
Nếu mã A và B gồm các câu khác nhau, việc cùng có 40 câu hoặc cùng bám một bảng chủ đề chưa đủ để kết luận điểm có thể thay thế nhau. Cần xem mức bao phủ nội dung, điều kiện làm bài, đặc trưng đo lường và bằng chứng hỗ trợ đặt kết quả trên thang chung. Các quy trình liên kết hoặc cân bằng đề được lựa chọn theo mục đích; đổi tên mã không tạo ra các bằng chứng ấy.
Ngược lại, khi chỉ hoán vị cùng tập câu trong một mô hình cho phép cộng thông tin từng câu dưới giả định độc lập có điều kiện, với các tham số và điều kiện không đổi, tổng thông tin tính từ tập câu cũng không đổi theo phép cộng. Đó là tính chất của phép tính trong điều kiện đã nêu, không phải bằng chứng thực nghiệm rằng mọi người làm sẽ phản hồi như nhau bất kể vị trí. Cần giữ rõ hai mức lập luận này.
Học sinh nên làm gì với thông tin về mã đề
Khi làm HSA, V-ACT, TSA hoặc một bài luyện riêng, em cần làm theo hướng dẫn của đúng hệ thống và đúng lượt thi. Với đề giấy có yêu cầu ghi mã, kiểm mã đề trên phiếu trả lời giúp tránh một sai lệch rất cơ bản. Không nên suy đoán đáp án từ số thứ tự mà người khác nhớ, vì vị trí và thậm chí phiên bản nội dung có thể khác.
Đối với đơn vị, một sản phẩm kiểm mã đề nên cho thấy từng ánh xạ và kết quả chấm mẫu, kèm hồ sơ đánh giá thứ tự khi cần. Nhìn được những chi tiết ấy giúp lời nói “đã kiểm mã đề” trở thành công việc có thể đối soát. Sự tương đương của kết quả cần được giải thích bằng bằng chứng tương ứng với cách các mã thực sự được tạo và sử dụng.
Nguồn tham khảo
[1] International Test Commission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3), 195–217, phần chuẩn bị và kiểm dữ liệu/khóa khi chấm. DOI 10.1080/15305058.2014.918040. Xem tài liệu
[2] Debeer, D., & Janssen, R. (2013). Modeling Item-Position Effects Within an IRT Framework. Journal of Educational Measurement, 50(2), 164–185, phần tóm tắt. DOI 10.1111/jedm.12009. Xem tài liệu