Sau khi sửa mã đúng/sai, đơn vị có thể tính lại bằng bộ tham số đang dùng, hoặc phải xem xét hiệu chuẩn lại nếu lỗi đã ảnh hưởng dữ liệu xây thang. Hai lần xử lý trả lời những câu hỏi khác nhau. Muốn hiểu một mức điểm thay đổi vì đâu, cần giữ riêng tác động đổi dữ liệu và tác động đổi bộ tham số.
Giữ tham số là phân tích có điều kiện
Khi giữ nguyên mô hình, tham số, phương pháp ước lượng và thang, ta chỉ thay dữ liệu đã sửa để đo tác động trong cấu hình ấy. Kết quả giúp trả lời: nếu bộ tham số vẫn được coi là đúng như trước, mã trả lời mới làm điểm thay đổi thế nào? Nó chưa tự xác nhận bộ tham số cũ vẫn phù hợp sau khi đã phát hiện lỗi.
Hiệu chuẩn lại dùng dữ liệu phù hợp để ước lượng lại một phần hoặc toàn bộ tham số, rồi có thể cần liên kết về thang tham chiếu. Vì vậy, các điểm tính sau đó chịu cả thay đổi dữ liệu và thay đổi cách mô tả câu. Cần có thiết kế để giữ ý nghĩa thang khi so, thay vì chuẩn hóa mỗi lần về một gốc riêng rồi trừ trực tiếp.
Một ví dụ nhỏ với thang được giữ có điều kiện
Minh họa dùng Rasch logistic D = 1, a = 1, MLE không prior. Bốn câu có độ khó ban đầu như bảng. Ở kịch bản tham số mới, chỉ b của câu 3 được đặt giả định thành 0,6; các câu 1,2,4 cố định trên thang cũ. Đây là một đầu ra giả định để so cách chấm, không phải kết quả đã hiệu chuẩn từ bốn câu hoặc từ dữ liệu học sinh thật.
| Câu | b ban đầu | b trong kịch bản mới |
|---|---|---|
| 1 | −1 | −1 — cố định |
| 2 | 0 | 0 — cố định |
| 3 | 0 | 0,6 — đặt giả định |
| 4 | 1 | 1 — cố định |
Mẫu trả lời ban đầu là 1100, tức đúng câu 1,2. Sau sửa mã, mẫu thành 1110, thêm câu 3 đúng. Giải phương trình tổng xác suất đúng bằng số câu đúng trong từng bộ tham số cho các MLE hữu hạn dưới đây.
Kéo ngang bảng để xem đầy đủ các cột.
| Kịch bản | Mẫu đúng/sai | Bộ tham số | MLE theta |
|---|---|---|---|
| Trước sửa | 1100 | Ban đầu | 0,000000 |
| Sửa dữ liệu, giữ tham số | 1110 | Ban đầu | 1,218636 |
| Dữ liệu đã sửa, đổi tham số theo kịch bản | 1110 | b câu 3 = 0,6; ba câu neo cố định | 1,388891 |
Số liệu và bộ câu giả định do Song Pa xây dựng. Hai bước tăng lần lượt khoảng 1,218636 và 0,170254 đơn vị theta trong chính kịch bản này; không phải điểm cộng cố định cho một câu của kỳ thi thật.
Bước đầu tách tác động sửa dữ liệu khi tham số không đổi. Bước sau giữ cùng dữ liệu 1110 nhưng thay bộ tham số, làm theta tăng thêm khoảng 0,170254. Ví dụ không nói bộ tham số mới đúng hơn; nó chỉ làm rõ vì sao cần ghi cấu hình khi so hai kết quả.
Giữ cùng thang không chỉ là dùng cùng tên theta
Các câu 1,2,4 được cố định làm neo trong minh họa; giả định ổn định của chúng chưa được chứng minh bằng dữ liệu. Với hiệu chuẩn thật, cần kiểm nội dung, mô hình, tính ổn định và độ bất định liên quan. Nếu neo không phù hợp, việc đặt các số trên một trục chung có thể tạo cảm giác so sánh được mà bằng chứng chưa đủ.
Một điểm cần giữ về Rasch: trong mỗi bộ b ở ví dụ, các mẫu khác nhau cùng 3/4 câu đúng vẫn cho cùng MLE theta. Sự khác nhau đang minh họa là giữa hai bộ tham số. Không được dùng bảng này để nói mọi mô hình IRT luôn cho điểm khác nhau khi cùng số câu đúng.
Hai lần chạy cũng chưa bao quát mọi bất định
Các theta trong bảng được tính như thể tham số đã biết. Yang, Hansen và Cai phân tích ảnh hưởng của bất định hiệu chuẩn đến điểm và độ chính xác IRT [1]. Tùy dữ liệu và mô hình, ảnh hưởng có thể nhỏ hoặc đáng kể; không thể thay toàn bộ đánh giá bất định bằng chênh giữa hai cấu hình được chọn.
Nếu dùng EAP hoặc MAP, cần giữ hoặc ghi rõ prior cùng phương pháp tính độ bất định. Nếu thay mô hình hoặc hiệu chuẩn, phải xem các quan hệ tham số và thang. Hướng dẫn ITC cũng yêu cầu phân tích lại và cập nhật hồ sơ sau thay đổi khóa hoặc loại câu khi liên quan [2].
Một bảng bàn giao cần cho thấy điều gì đã thay?
Nên ghi phiên bản dữ liệu và khóa, bộ tham số, cách duy trì thang, phương pháp ước lượng, điểm chưa làm tròn và điểm báo cáo. Phân tích ảnh hưởng cần xem cả phân bố chênh, vùng năng lực, nhóm người và những quyết định có thể đổi. Người không đổi mã ở câu đang sửa vẫn có thể đổi kết quả nếu bộ tham số dùng chấm thay đổi.
Với các đề luyện HSA, V-ACT hoặc TSA, giải thích được hai lớp thay đổi giúp đơn vị trả lời học sinh rõ hơn. Tính lại giữ tham số là một bằng chứng có điều kiện; hiệu chuẩn lại là một bước cần dữ liệu và thẩm định. Điểm cuối phải được chốt theo hồ sơ phù hợp, thay vì chọn lần chạy tạo ra con số dễ chấp nhận nhất.
Nguồn tham khảo
[1] Yang, J. S., Hansen, M. & Cai, L. (2012). Characterizing Sources of Uncertainty in IRT Scale Scores. Educational and Psychological Measurement, 72(2),264–290. DOI 10.1177/0013164411410056. Xem tài liệu
[2] International Test Commission. (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3),195–217, mục 2.4.1.6. DOI 10.1080/15305058.2014.918040. Xem tài liệu