Chọn mô hình phân tích bắt đầu từ mục đích sử dụng, cách chấm câu hỏi và thiết kế dữ liệu. Cần kiểm tra xem mô hình có mô tả dữ liệu đủ phù hợp để hỗ trợ kết luận dự định hay không, thay vì chọn theo số lượng tham số hoặc tên phần mềm.
Một trường muốn biết câu nào cần sửa. Một trung tâm cần báo cáo theo từng phần thi. Một nhóm giáo viên lại có bài tự luận chấm nhiều mức. Cả ba đều có thể nhắc đến IRT, nhưng chưa chắc cần cùng một mô hình. Việc lựa chọn bắt đầu từ câu hỏi muốn trả lời và dữ liệu đang có.
Ba yêu cầu dẫn đến những phương án khác nhau
Bảng dưới dùng quy mô giả định để làm rõ cách cân nhắc. Những con số này không phải ngưỡng đủ mẫu cho mọi trường hợp. Số người, số câu, mức phân bố năng lực, tần suất từng mức điểm và độ phức tạp mô hình đều ảnh hưởng khả năng ước lượng.
| Yêu cầu và dữ liệu minh họa | Phương án có thể xem xét | Cần kiểm tra trước khi chốt |
|---|---|---|
| 2.000 người, 60 câu 0/1; cần phân tích câu | So sánh cấu trúc chung độ dốc với mô hình cho độ phân biệt thay đổi. | Cấu trúc năng lực, mức phù hợp, độ ổn định và mục đích dùng. |
| 450 người, 10 nhiệm vụ chấm 0–1–2 | Mô hình nhiều mức điểm như GPCM hoặc GRM, tùy cách hiểu các mức. | Rubric, số bài ở mỗi mức và cấu trúc mức điểm. |
| 1.200 người, ba nhóm nội dung; cần điểm từng nhóm | Xem xét cấu trúc một hay nhiều chiều trước khi báo cáo điểm thành phần. | Bằng chứng nội dung, quan hệ giữa câu và độ chính xác từng điểm. |
Các phương án minh họa để lập kế hoạch, không phải kết luận đã phân tích dữ liệu.
Lựa chọn mô hình là một lập luận có bằng chứng
Trước hết cần hiểu câu được chấm ra sao và bài muốn đo điều gì. Sau đó mới xác định những mô hình có cấu trúc phù hợp để xem xét. Một mô hình cho câu 0/1 không được áp nguyên vào dữ liệu 0–1–2 chỉ vì tên gọi quen thuộc. Một điểm tổng cũng cần cơ sở trước khi được diễn giải như một năng lực chung.
Các mô hình được thử trên dữ liệu thích hợp rồi đối chiếu kết quả. Bài nghiên cứu của Robitzsch về lựa chọn mô hình khi phân tích PISA cho thấy cần xem cả tiêu chí so sánh và sự không chắc chắn do lựa chọn mô hình [1]. Kết quả ở một nghiên cứu quốc tế không tự xác định mô hình phải dùng cho V-ACT, HSA hay TSA.
Chỉ số nhỏ hơn chưa trả lời mọi câu hỏi
AIC và BIC là những tiêu chí thường gặp khi so sánh khả năng mô tả dữ liệu có tính đến độ phức tạp. Trong những điều kiện so sánh phù hợp, giá trị thấp hơn thường được ưu tiên theo tiêu chí đó. Nhưng phải bảo đảm đang so trên dữ liệu và cách tính có thể so sánh; không lấy số của hai tập dữ liệu khác nhau để xếp hạng trực tiếp.
Ngoài chỉ số, cần xem thuật toán có hội tụ, tham số có quá bất định và các phát hiện có hợp lý về nội dung hay không. Nếu thêm một tham số làm kết quả rất nhạy với giá trị khởi đầu, đó là thông tin cần kiểm tra. Công cụ phân tích hỗ trợ nhiều cấu trúc mô hình, như nghiên cứu của Chalmers cho thấy, nhưng khả năng chạy một mô hình không thay cho lý do lựa chọn nó [2].
Ghi rõ điều giữ lại sau khi so sánh
Một phương án có căn cứ nên lưu mục tiêu, dạng dữ liệu, các mô hình đã xem xét, điều kiện ước lượng, kết quả kiểm tra và lý do chọn. Nếu dữ liệu chưa giúp phân biệt chắc giữa các phương án, báo cáo cần nêu phần còn bất định và ảnh hưởng đến việc dùng điểm. Không cần ép một kết luận mạnh hơn bằng chứng hiện có.
Đối với học sinh, lợi ích là biết báo cáo đã được xây dựng để trả lời câu hỏi nào. Nếu chỉ có một tổng điểm, em có thể hỏi có đủ căn cứ để nhận xét riêng từng kỹ năng không. Đối với trường và trung tâm, câu hỏi quan trọng khi đặt dịch vụ là kết quả nào cần ra quyết định và bằng chứng nào chứng minh mô hình phục vụ được quyết định ấy.
Nguồn tham khảo
[1] Robitzsch, A. (2022). On the Choice of the Item Response Model for Scaling PISA Data: Model Selection Based on Information Criteria and Quantifying Model Uncertainty. Entropy, 24(6), 760. DOI 10.3390/e24060760
[2] Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1–29. DOI 10.18637/jss.v048.i06