Một giáo viên cần chọn câu để tìm hiểu nhóm học sinh đang ở gần mức theta 0,5. Câu có xác suất đúng cao nhất chưa chắc là lựa chọn giúp đo rõ nhất. Muốn quyết định, cô cần nhìn xem đường xác suất đổi nhanh ở đâu và thông tin của câu tập trung tại vùng nào.
Đọc hai trục trước khi đọc hình dạng
Đường cong đặc trưng câu hỏi, gọi tắt ICC, đặt mức năng lực theta trên trục ngang và xác suất trả lời đúng trên trục dọc. Một điểm trên đường là dự báo của mô hình cho người ở vị trí đó. Nó không phải đường tiến bộ theo thời gian của một học sinh, cũng không phải tỷ lệ đúng của cả lớp có năng lực khác nhau.
Với đường đang tăng, ta đi từ trái sang phải để xem xác suất đúng thay đổi thế nào. Vùng gần như nằm ngang cho ít thay đổi dù theta đã dịch chuyển. Vùng dốc hơn cho sự thay đổi rõ hơn. Tuy nhiên, để nói về độ chính xác đo lường tại từng theta, cần đọc thêm đường thông tin câu hỏi, thay vì chỉ ước lượng độ dốc bằng mắt.
Một hồ sơ câu hỏi có thể bàn giao
Minh họa dùng mô hình 2PL một chiều, a = 1,2; b = 0,5; hệ số logistic D = 1, tiệm cận dưới bằng 0 và tiệm cận trên bằng 1. Các tham số được coi là cố định để tính hai đường. Đây là câu giả định do Song Pa xây dựng, không phải kết quả hiệu chuẩn của đề HSA, TSA hoặc V-ACT.
Trên: ICC của câu giả định. Dưới: thông tin của chính câu ấy, dùng cùng trục theta. Vạch đứng ở b = 0,5 giúp nối hai cách đọc; trục thông tin không phải phần trăm đúng.
| Theta | Xác suất đúng P | Thông tin I |
|---|---|---|
| −1,5 | 0,083 | 0,110 |
| −0,5 | 0,231 | 0,256 |
| 0,5 | 0,500 | 0,360 |
| 1,5 | 0,769 | 0,256 |
| 2,5 | 0,917 | 0,110 |
Ở theta 2,5, người làm rất có khả năng trả lời đúng, nhưng thông tin chỉ khoảng 0,110. Ở theta 0,5, xác suất đúng là 0,5 và thông tin đạt 0,360. Câu này giúp phân giải tốt hơn quanh 0,5 trong mô hình đã chọn, dù người ở 2,5 dễ làm đúng hơn. “Làm được” và “được đo chính xác” là hai điều cần đọc riêng.
Thông tin là gì trong trường hợp này?
Thông tin IRT mô tả lượng bằng chứng câu cung cấp để định vị năng lực tại một theta, trong các điều kiện của mô hình. Giá trị cao hơn thường hỗ trợ độ chính xác cao hơn tại vùng ấy khi các điều kiện so sánh được giữ. Nó không phải tỷ lệ học sinh hiểu bài, mức chắc chắn 100% hay độ hay của câu.
Trong 2PL ở ví dụ này, I(θ) = a² × P(θ) × [1 − P(θ)]. Khi theta bằng b, P bằng 0,5 và thông tin cực đại là a²/4 = 0,360. Baker trình bày quan hệ giữa xác suất và thông tin, đồng thời chỉ ra rằng vị trí cực đại thông tin có thể khác khi mô hình có tham số tiệm cận dưới [1]. Không nên áp quy tắc “đỉnh luôn ở b” cho mọi mô hình IRT.
Từ đồ thị sang quyết định chọn câu
Nếu mục tiêu là đo nhóm quanh theta 0,5, câu minh họa có vị trí thuận lợi về thông tin. Nếu mục tiêu là phân giải các mức quanh 2,5, nên tìm thêm câu có thông tin tốt ở vùng cao hơn và vẫn đúng đặc tả. Việc chọn thêm câu không nhằm làm đề khó cho đẹp; nó nhằm lấp vùng đo còn thiếu.
Để thực hiện, đơn vị có thể ghi trong hồ sơ: vùng năng lực mục tiêu, thông tin tại vài mốc, nội dung câu và trạng thái thẩm định. Chẳng hạn, ghi “ưu tiên xem xét cho vùng gần 0,5; thông tin giảm khi xa vùng này; chưa dùng riêng câu để kết luận năng lực cá nhân”. Hồ sơ như vậy giúp người tổ hợp đề sử dụng câu có mục đích.
Đường đẹp cần được kiểm bằng dữ liệu
Hai đường ở đây đều được tính từ mô hình, nên chúng không tự chứng minh mô hình đã phù hợp dữ liệu. Báo cáo thật cần thêm điểm quan sát hoặc bảng thực nghiệm, sai số tham số và thông tin về mẫu. Nếu vùng theta cao hầu như không có người thử, đoạn đường ở đó có thể ít được dữ liệu hỗ trợ dù hình vẽ vẫn trơn tru.
Cũng cần kiểm tra nội dung, sự rõ nghĩa, công bằng và quan hệ với các câu khác. Nhiều câu gần như trùng nhau có thể cho cảm giác thông tin nhiều nhưng làm phạm vi đánh giá hẹp. Việc tổng hợp thông tin của toàn đề còn phụ thuộc mô hình và giả định liên quan; không nên cộng các đường một cách máy móc rồi bỏ qua sự phụ thuộc.
Đối với học sinh, đồ thị giúp giải thích vì sao làm đúng một câu rất dễ chưa nói nhiều về giới hạn phía trên của năng lực. Đối với giáo viên và đơn vị, nó chỉ chỗ cần bổ sung bằng chứng. Giá trị của hình nằm ở quyết định sử dụng rõ ràng ấy, cùng với việc nói đúng những điều hình chưa cho biết.
Nguồn tham khảo
[1] Baker, F. B. (2001). The Basics of Item Response Theory, ấn bản 2, chương 6, tr.109–112. ERIC ED 458219. Xem tài liệu