Các mô hình IRT đơn hướng thường cần xem xét tính đơn hướng, độc lập cục bộ và quan hệ giữa năng lực với xác suất trả lời. Việc kiểm tra kết hợp nội dung câu hỏi, thiết kế bài thi và bằng chứng thống kê; kết quả cần được diễn giải theo mô hình cụ thể.
Hai câu cùng dùng một đoạn văn có thể được làm đúng cùng nhau. Điều đó đến từ khả năng đọc của học sinh, hay vì đáp án câu trước giúp giải câu sau? Câu hỏi ấy dẫn tới một việc quan trọng trong IRT: kiểm tra những giả định giúp mô hình liên hệ dữ liệu với năng lực.
Giả định là điều mô hình cần chứ không phải lời xác nhận sẵn
Một mô hình được xây dựng với cấu trúc nhất định. Khi đưa dữ liệu thực tế vào, nhóm phân tích cần xem cấu trúc ấy có mô tả phù hợp hay không. Bài viết này nói về những mô hình IRT logistic phổ biến; các họ mô hình khác có thể đặt ra điều kiện khác. Việc kiểm tra phải đi cùng mô hình đang dùng.
Đầu tiên là cấu trúc năng lực. Mô hình một chiều dùng một đặc tính tiềm ẩn chính để mô tả câu trả lời. Một chiều không có nghĩa đề chỉ được nhắc đến một môn hoặc một bối cảnh. Ngược lại, gom nhiều câu vào cùng đề chưa đủ để nói chúng cùng đo một chiều. Cần kết hợp lý thuyết nội dung với phân tích cấu trúc dữ liệu [1].
Hiểu độc lập cục bộ bằng một cặp câu
Độc lập cục bộ là giả định câu trả lời độc lập với nhau khi đã xét đặc tính năng lực mà mô hình mô tả. Phần “khi đã xét” rất quan trọng. Nếu những người đọc tốt thường đúng cả hai câu, quan hệ đó có thể đã được giải thích bởi năng lực đọc. Ta cần xem còn mối liên hệ nào giữa các câu vượt quá phần mô hình đã giải thích hay không.
Sơ đồ minh họa. Mũi tên nét đứt là quan hệ cần xem xét thêm, không phải kết luận đã phát hiện vi phạm.
Giả sử câu Q1 yêu cầu tính một đại lượng, còn câu Q2 yêu cầu dùng chính kết quả vừa tính. Sai sót ở Q1 có thể đi tiếp sang Q2. Đây là tình huống đáng xem xét khi phân tích quan hệ còn lại giữa câu. Chen và Thissen phát triển những chỉ số ở cấp cặp câu để nghiên cứu độc lập cục bộ [2]. Chỉ quan sát hai câu hay đúng cùng nhau là chưa đủ cho chẩn đoán ấy.
Câu chùm dùng chung đoạn văn cũng cần được kiểm tra theo logic này. Có câu dùng chung ngữ liệu nhưng yêu cầu tương đối tách biệt; có câu lại dùng trực tiếp kết quả của nhau. Cách tổ chức câu chùm không tự động chứng minh mô hình sai, cũng không bảo đảm có thể bỏ qua quan hệ giữa câu.
Xác suất có đi theo chiều mà mô hình đặt ra
Với mô hình logistic đang giả định độ phân biệt dương, khi mức năng lực tăng, xác suất trả lời đúng tăng. Nếu dữ liệu cho một câu có biểu hiện ngược hoặc khó mô tả, nhóm phân tích cần kiểm tra khóa đáp án, nội dung, cách ghi dữ liệu và cấu trúc năng lực. Một cảnh báo thống kê là điểm bắt đầu để thẩm định, không thay cho việc đọc câu.
Phần kiểm tra thường phối hợp nhiều bằng chứng: cách câu được biên soạn, kết quả phân tích cấu trúc, mức phù hợp của câu và phần liên hệ còn lại giữa các câu. Mức chấp nhận phụ thuộc mục tiêu và thiết kế; dùng một ngưỡng duy nhất cho mọi bài thi có thể dẫn đến kết luận thiếu căn cứ.
Điều chỉnh mô hình hoặc điều chỉnh công cụ đo
Khi bằng chứng chỉ ra nhiều chiều hoặc một nhóm câu có quan hệ đặc biệt, có thể cần xem mô hình nhiều chiều hay mô hình cho nhóm câu chung ngữ liệu. Cũng có thể cần sửa cách ra câu hoặc thu thập thêm dữ liệu. Chọn hướng xử lý phải dựa vào nguồn gốc vấn đề, thay vì chỉ làm cho một chỉ số trông đẹp hơn.
Đối với học sinh ôn V-ACT, HSA hay TSA, ý nghĩa thực tế là kết quả đáng tin cần có bước kiểm tra phía sau. Đối với người nhận dịch vụ IRT, hãy hỏi mô hình đã được kiểm tra những điều kiện nào, phát hiện nào cần rà thêm và các phát hiện ấy ảnh hưởng thế nào đến cách dùng điểm. Đó là những câu hỏi cụ thể hơn việc chỉ hỏi phần mềm đã chạy xong chưa.
Nguồn tham khảo
[1] Chalmers, R. P. (2012). mirt: A multidimensional item response theory package for the R environment. Journal of Statistical Software, 48(6), 1–29. DOI 10.18637/jss.v048.i06
[2] Chen, W. H., & Thissen, D. (1997). Local dependence indexes for item pairs using item response theory. Journal of Educational and Behavioral Statistics, 22(3), 265–289. DOI 10.3102/10769986022003265