Một bản báo cáo ghi đề đo chính xác nhất quanh theta 0. Nhưng nhóm cần tìm hiểu đang ở gần 1,5. Đề vẫn có thể dùng để lấy bằng chứng, song một lời khen chung về độ chính xác chưa cho biết nó phù hợp đến đâu với vùng đang cần đo. Đồ thị thông tin và sai số giúp mở chi tiết này.
Hai đường cần được đọc tại cùng một theta
Thông tin toàn đề, thường gọi TIF, mô tả lượng bằng chứng đo lường theo từng mức năng lực. Trong mô hình một chiều có độc lập cục bộ, thông tin của đề được cộng từ thông tin các câu. Độc lập cục bộ nghĩa là sau khi đã xét năng lực theo mô hình, các câu không còn liên hệ chưa được giải thích.
Trong minh họa dùng tham số câu cố định và cách tính theo thông tin cho ước lượng ML, sai số chuẩn lý thuyết xấp xỉ bằng 1/√I. Vì vậy, nơi thông tin cao hơn sẽ có sai số nhỏ hơn. Baker trình bày hai quan hệ này [1]. Đường thông tin và đường sai số cùng mô tả một vấn đề nhưng dùng hai trục dọc khác nhau.
Hai bộ cùng 30 câu, phù hợp hai vùng khác nhau
Dữ liệu mô hình dưới đây hoàn toàn tự dựng: mỗi bộ có 30 nhiệm vụ khác nhau, giả định độc lập cục bộ, cùng a = 1,2 trong 2PL logistic D = 1, c = 0. Bộ M có b = 0 cho mọi câu; bộ N có b = 1,5. Các thiết kế đơn giản này chỉ để nhìn đường thông tin, không phải cấu trúc đề thi thật.
Minh họa do Song Pa xây dựng. Hai đồ thị dùng chung trục theta: trên là tổng thông tin, dưới là SE xấp xỉ theo thông tin. Vạch 1,5 chỉ vùng mục tiêu giả định của ví dụ, không phải ngưỡng xét tuyển.
Kéo ngang bảng để xem đầy đủ các cột.
| Theta | I của M | SE của M | I của N | SE của N |
|---|---|---|---|---|
| −1 | 7,685 | 0,361 | 1,952 | 0,716 |
| 0 | 10,800 | 0,304 | 5,259 | 0,436 |
| 1,5 | 5,259 | 0,436 | 10,800 | 0,304 |
| 3 | 1,118 | 0,946 | 5,259 | 0,436 |
Ở theta 0, M có thông tin 10,800, tốt hơn N theo tiêu chí đang xét. Ở theta 1,5, thứ tự đổi lại. Không có bộ nào trong ví dụ luôn đo chính xác hơn ở mọi vùng. Nếu mục tiêu đặt gần 1,5, N có lợi thế về thông tin; vẫn phải đáp ứng yêu cầu nội dung và các kiểm tra khác.
Đừng đọc đỉnh như chứng nhận cho cả thang
Một đỉnh cao ở giữa không bảo đảm hai đuôi cũng đủ thông tin. Nếu nhiều người ở vùng cao nhưng phần đuôi đo yếu, cần cân nhắc bổ sung câu phù hợp vùng đó. Nếu bài phục vụ một quyết định gần một mốc, nên xem độ chính xác quanh mốc ấy. Nếu mục đích là mô tả một dải rộng, cần xem cả dải, không chỉ đỉnh.
Việc chọn câu cũng phải giữ ma trận. Thêm nhiều câu cùng nội dung có thể nâng thông tin mô hình nhưng làm bài thiếu phạm vi hoặc tạo phụ thuộc. Một báo cáo tổ hợp đề có ích nên đặt đồ thị thông tin bên cạnh bảng phân bổ nội dung, để hai loại yêu cầu được kiểm cùng nhau.
SE trên hình còn chưa tính những gì?
Công thức 1/√I ở ví dụ coi tham số câu đã biết và mô hình phù hợp. Nó chưa cộng toàn bộ bất định do hiệu chuẩn câu, liên kết thang hoặc vi phạm điều kiện tổ chức. Yang, Hansen và Cai phân tích các nguồn bất định của điểm IRT và cho thấy cách xử lý tham số ước lượng ảnh hưởng đến việc mô tả độ chính xác [2].
Nếu báo cáo dùng EAP, độ lệch chuẩn hậu nghiệm là đại lượng phù hợp với cách ước lượng đó; không lấy đường 1/√I rồi gọi ngay là posterior SD. MAP còn liên quan đến prior. Người đọc cần biết đồ thị đang thể hiện sai số theo cách nào trước khi so giữa hai báo cáo.
Một nhận xét kỹ thuật nên tạo được việc làm tiếp
Với bộ M, có thể ghi: “Thông tin tập trung quanh 0; vùng 1,5 có SE xấp xỉ 0,436 theo giả định minh họa. Nếu cần tăng độ chính xác quanh 1,5, xem xét câu mới đúng nội dung và kiểm lại đường thông tin sau tổ hợp”. Đây là hướng lựa chọn có mục tiêu, không phải kết luận mọi học sinh cần thêm cùng một số câu khó.
Trong các sản phẩm phân tích đề luyện HSA, TSA hoặc V-ACT, đơn vị có thể bàn giao một trang gồm hai đường, bảng vài mốc, vùng mục tiêu và ghi chú loại bất định. Học sinh được hưởng lợi khi đơn vị biết rõ nơi kết quả có thể phân giải tốt và nơi cần giải thích thận trọng, thay vì chỉ báo một hệ số chung cho toàn đề.
Nguồn tham khảo
[1] Baker, F. B. (2001). The Basics of Item Response Theory, ấn bản 2, chương 6, phương trình 6-2 và 6-6. ERIC ED 458219. Xem tài liệu
[2] Yang, J. S., Hansen, M. & Cai, L. (2012). Characterizing Sources of Uncertainty in IRT Scale Scores. Educational and Psychological Measurement, 72(2),264–290. DOI 10.1177/0013164411410056. Xem tài liệu