Hai lần chạy cho cùng một kết quả có thể khiến người quản lý yên tâm. Nhưng nếu cả hai cùng dùng một khóa sai, sự trùng khớp chỉ chứng minh lỗi được lặp lại. Một bảng đối soát trước công bố cần có kỳ vọng xác định riêng và những trường hợp đủ sức làm lộ các lỗi thường bị bỏ qua.
Độc lập nằm ở đường kiểm, không chỉ tên tệp
Có thể giao một người khác đối chiếu bài gốc và khóa đã chốt, dùng một cách tính riêng cho các phép chuyển đơn giản, hoặc một chương trình khác phù hợp. Mục đích là có cơ hội nhận ra sai sót mà đường xử lý chính đã bỏ qua. Đổi tên tệp rồi chạy cùng quy trình không tạo ra sự độc lập ấy.
Hướng dẫn ITC nêu việc giám sát chất lượng độc lập, đối chiếu một mẫu và dùng tính tay hoặc chương trình khác để kiểm chuyển thang khi phù hợp [1]. Bảng dưới là một cách thực hành tự dựng, không phải mẫu nghiệm thu bắt buộc giống nhau cho mọi đơn vị.
Chốt quy ước trước khi tính “đúng” và “sai”
Minh họa dùng thang T = 500 +100 × theta; làm tròn đến số nguyên, trường hợp đúng nửa điểm đi lên. Thêm một quy ước minh họa: hồ sơ đã xác nhận không đủ dữ liệu và không có theta thì chưa phát hành điểm. Đây là các quy tắc tự đặt cho bảng kiểm, không phải công thức hoặc chính sách của HSA, TSA hay V-ACT.
Các theta ở bảng được xem là giá trị thập phân đầu vào đã xác định để kiểm phép chuyển, không phải ước lượng từ một bộ câu cụ thể. Người lập kỳ vọng tính trước kết quả theo quy ước, sau đó mới đối chiếu bản xử lý A và B.
Kéo ngang bảng để xem đầy đủ các cột.
| Ca kiểm tự dựng | Kỳ vọng xác định riêng | Bản A | Bản B | Nhận xét |
|---|---|---|---|---|
| K1: theta −0,4 | T = 460; báo 460 | 460 | 460 | Khớp |
| K2: theta 0 | T = 500; báo 500 | 500 | 500 | Khớp |
| K3: theta 0,344 | T = 534,4; báo 534 | 534 | 534 | Khớp |
| K4: theta 0,345 | T = 534,5; báo 535 | 535 | 534 | B lệch quy tắc tại nửa điểm |
| K5: không có theta hợp lệ | Chưa phát hành điểm theo quy ước ví dụ | 500 | 500 | Hai bản khớp nhưng cùng trái quy ước |
| K6: mã B, câu đã chốt chọn D là đúng | Mã đúng/sai = 1 | 1 | 0 | Kiểm lại ánh xạ và khóa của B |
Tất cả ca và kết quả tự dựng do Song Pa xây dựng. K1–K5 kiểm trường điểm báo cáo; K6 kiểm trường 0/1, không cùng đơn vị với các hàng điểm. T chưa làm tròn và quy tắc báo điểm phải được lưu riêng.
K4 cho thấy chỉ kiểm các giá trị tròn như theta 0 có thể bỏ lỡ lỗi làm tròn. K5 cho thấy hai chương trình cùng ra 500 vẫn chưa bảo đảm đúng, vì có thể cùng đi qua một bước mặc định sai ở đầu vào. K6 nhắc rằng một phép chuyển thang đúng không sửa được mã câu đã chấm sai trước đó.
Mẫu kiểm cần có cả ca thường và ca khó
Nên chọn hồ sơ ở các vùng điểm, gần ranh giới làm tròn, có dữ liệu thiếu, toàn đúng hoặc toàn sai nếu hệ thống cho phép, và thuộc các mã đề/phiên bản liên quan. Kết quả kỳ vọng ở mẫu biên phải theo quy tắc đã công bố của chương trình, không lấy 0 thay cho mọi trường thiếu.
Một mẫu kiểm được chọn có chủ đích giúp phát hiện cơ chế lỗi; nó không thay việc rà toàn bộ số dòng, mã người duy nhất, dữ liệu thiếu, khoảng điểm và tính nhất quán phiên bản trong cả lượt. Hai loại kiểm bổ sung nhau: kiểm sâu vài trường hợp và kiểm bao quát toàn bộ dữ liệu.
Đối soát IRT cần ghi đủ cấu hình
Nếu kiểm theta, hai đường phải dùng cùng dữ liệu, bộ tham số, mô hình, cách nhận diện thang và phương pháp ước lượng; prior và cách xử lý mẫu biên cũng phải khớp. Nếu khác một yếu tố có chủ đích, hãy ghi đó là kiểm độ nhạy, không coi mọi chênh là lỗi chương trình.
Với số tính toán liên tục, cần dung sai có căn cứ theo độ chính xác của thuật toán và yêu cầu sử dụng. Với một điểm nguyên phát hành theo cùng quy tắc đã chốt, cần kiểm cả giá trị trước và sau làm tròn. Không chọn dung sai rộng chỉ để một ca đang lệch được chuyển thành đạt.
Từ bảng kiểm tới quyết định phát hành
Bảng thật nên có người kiểm, thời điểm, phiên bản dữ liệu/khóa/tham số, kỳ vọng, kết quả từng đường, chênh và bằng chứng xử lý. Ca chưa giải thích được cần người có trách nhiệm xem xét trước khi chốt. Sau sửa, chạy lại phạm vi có thể bị ảnh hưởng và các ca kiểm liên quan, giữ lịch sử kết quả.
Học sinh không cần tự đọc toàn bộ sổ kỹ thuật để tin một báo cáo. Nhưng với dịch vụ thi thử và phân tích IRT, sự yên tâm có cơ sở khi đơn vị giữ được đường kiểm chứng như vậy: biết kết quả đã được đối chiếu từ nguồn nào, theo quy tắc nào và ai đã xác nhận trước khi công bố.
Nguồn tham khảo
[1] International Test Commission. (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3),195–217, mục 1.6,2.3.2.10 và 2.4.3.8–10. DOI 10.1080/15305058.2014.918040. Xem tài liệu