Cùng một tệp trả lời, lần phân tích với bốn nhóm cho thấy câu có một vùng lệch rõ; lần dùng hai nhóm, dấu hiệu nhẹ đi. Nên tin lần nào? Để trả lời, người phân tích cần kiểm tra kết luận nhạy đến đâu với những lựa chọn hợp lý, thay vì giữ lại phiên bản có nhiều câu “đạt” nhất.
Độ nhạy là thuộc tính của kết luận
Phân tích độ nhạy nghĩa là thay có kiểm soát một lựa chọn trong quy trình rồi xem kết luận thay đổi ra sao. Dữ liệu và khóa được giữ nguyên; chẳng hạn, thay cách chia nhóm, cách xử lý ô thưa hoặc mô hình có căn cứ lý thuyết. Một kết luận chỉ xuất hiện dưới một cấu hình mong manh cần được trình bày khác với dấu hiệu lặp lại qua nhiều cấu hình hợp lý.
Các lựa chọn này không chỉ là kỹ thuật phụ. Kim và Lee nghiên cứu cách xây bảng và gộp ô trong chỉ số S-X², cho thấy các điều kiện tính ảnh hưởng đến khả năng phát hiện và báo động nhầm [1]. Ames và Penfield cũng nhấn mạnh việc đọc chỉ số phù hợp cùng bảng, đồ thị và điều kiện phân tích [2]. Không có một cấu hình tốt cho mọi mẫu và mọi bài thi.
Gộp nhóm có thể làm mất dấu một vùng lệch
Minh họa tự dựng có 200 người, chia thành bốn nhóm có thứ tự theo năng lực tham khảo, mỗi nhóm 50 người. Kỳ vọng là trung bình các xác suất dự báo thích hợp trong nhóm. Phần dư ở đây là tỷ lệ đúng quan sát trừ tỷ lệ đúng kỳ vọng. Bảng này minh họa phần dư mô tả; nó không phải cách tính S-X² và không sinh ra p-value.
Kéo ngang bảng để xem đầy đủ các cột.
| Nhóm | N | Đúng quan sát | Đúng kỳ vọng | Phần dư |
|---|---|---|---|---|
| 1 | 50 | 20% | 25% | −5 điểm % |
| 2 | 50 | 40% | 35% | +5 điểm % |
| 3 | 50 | 50% | 65% | −15 điểm % |
| 4 | 50 | 80% | 75% | +5 điểm % |
Giờ gộp 1 với 2, và 3 với 4. Vì các nhóm ban đầu đều có 50 người, ta lấy trung bình hai tỷ lệ tương ứng. Nếu cỡ nhóm khác nhau, phải dùng trung bình có trọng số theo số người; không bình quân các tỷ lệ một cách máy móc.
Kéo ngang bảng để xem đầy đủ các cột.
| Nhóm sau gộp | N | Đúng quan sát | Đúng kỳ vọng | Phần dư |
|---|---|---|---|---|
| 1 +2 | 100 | 30% | 30% | 0 điểm % |
| 3 +4 | 100 | 65% | 70% | −5 điểm % |
Số liệu giả định do Song Pa xây dựng. Phần dư −15 điểm phần trăm của nhóm 3 được làm mờ khi gộp với nhóm 4 có phần dư dương. Điều này chưa tự chứng minh cấu hình bốn nhóm là tối ưu.
Gộp ít nhóm có thể giúp các ô bớt thưa nhưng làm mất chi tiết cục bộ. Chia quá nhiều nhóm lại khiến tỷ lệ dựa trên ít người, dao động mạnh. Độ nhạy cần được xem như sự đánh đổi giữa độ chi tiết và lượng bằng chứng, chứ không phải cuộc thi xem hình nào trơn hơn.
Đổi mô hình để kiểm giả thuyết, không để cứu câu
Chẳng hạn, Rasch đặt một ràng buộc chung về độ phân biệt, còn 2PL cho các câu có độ phân biệt khác nhau. Nếu chẩn đoán đổi khi chuyển giữa hai mô hình, cần hỏi ràng buộc ấy có phù hợp nội dung và dữ liệu không. Kết quả “đạt” ở mô hình linh hoạt hơn chưa tự chứng minh câu tốt; thêm tính linh hoạt cũng có thể làm ước lượng kém ổn định khi dữ liệu hạn chế.
Nếu nhiều câu cùng một ngữ liệu, có thể xem một mô hình xử lý sự phụ thuộc phù hợp với thiết kế. Việc này cần lý do nội dung, kiểm hội tụ, sai số và chẩn đoán toàn mô hình. Các tham số từ hai mô hình hoặc hai thang khác nhau không được trừ trực tiếp rồi gọi đó là biến động của câu.
Một phiếu kiểm độ nhạy dùng được trong nhóm kỹ thuật
Trước khi chạy, ghi cấu hình gốc và câu hỏi kiểm tra. Ở ví dụ này: “Vùng lệch quanh nhóm 3 còn nhìn thấy khi đổi số nhóm hợp lý không?”. Mỗi lần chỉ thay một lựa chọn để truy được nguyên nhân. Lưu cỡ nhóm, ô bị gộp, đồ thị quan sát–kỳ vọng, chỉ số và cách điều chỉnh nhiều kiểm định.
Sau đó lập kết luận theo từng câu: dấu hiệu ổn định qua các cấu hình; dấu hiệu nhạy với cách gộp nhóm; hoặc chưa đủ dữ liệu để kết luận. Với thay mô hình, thêm bằng chứng vì sao mô hình mới có ý nghĩa và có cải thiện phù hợp, thay vì chỉ ghi một nhãn xanh thay cho nhãn đỏ.
Một ghi nhận có ích có thể là: “Câu Q cần phản biện ngữ liệu vì vùng lệch xuất hiện trong các cấu hình đủ cỡ nhóm. Cấu hình hai nhóm làm dấu hiệu nhẹ đi do triệt tiêu phần dư; chưa dùng đó làm lý do đóng thẩm định”. Đây là một kết luận có thể kiểm lại từ bảng, khác với việc tùy chọn một lần chạy thuận lợi.
Báo cáo cho ai thì nói đúng phần họ cần
Nhóm xây đề luyện V-ACT, HSA hoặc TSA cần sổ cấu hình và bằng chứng để rà soát. Giáo viên cần biết câu nào còn chưa ổn định và việc kiểm tiếp. Học sinh cần phản hồi học tập hoặc thông báo xử lý câu sau khi đơn vị đã đối soát. Phân tích độ nhạy giúp giữ sự thận trọng ở nơi cần thiết mà vẫn tạo được quyết định cụ thể.
Nguồn tham khảo
[1] Kim, H. J. & Lee, W.-C. (2022). Evaluation of Factors Affecting the Performance of the S-X² Item-Fit Index. Journal of Educational Measurement, 59(1),105–133. DOI 10.1111/jedm.12312. Xem tài liệu
[2] Ames, A. J. & Penfield, R. D. (2015). An NCME Instructional Module on Item-Fit Statistics for Item Response Theory Models. Educational Measurement: Issues and Practice, 34(3),39–48. DOI 10.1111/emip.12067. Xem tài liệu