Một câu được hiệu chuẩn ở đợt trước có b = 0,4, đợt sau hiện b = 0,9. Có phải câu đã khó hơn? Trước khi tìm nguyên nhân, cần kiểm ba điều: hai con số có cùng thang chưa, độ bất định lớn đến đâu, và dữ liệu có thực sự cho phép nhận ra thay đổi qua đợt hay không.
Hai số khác nhau có thể đang dùng hai chiếc thước khác nhau
Khi hiệu chuẩn riêng hai đợt, gốc và đơn vị của thang có thể khác nhau. Vì vậy, không lấy b đợt sau trừ b đợt trước ngay. Công việc đưa về thang chung, thường dựa trên thiết kế liên kết và câu neo, phải được kiểm trước. Stocking và Lord trình bày một phương pháp tạo metric chung cho các tham số IRT [1].
Ví dụ hoàn toàn giả định: b₁ = 0,40; b₂ = 0,90 trên thang riêng của đợt 2. Giả sử một quy trình liên kết có căn cứ đã xác định b₂* = 1,20 × b₂ −0,68. Khi đó b₂* = 0,40, bằng b₁. Các hệ số 1,20 và −0,68 phải đến từ bằng chứng liên kết trong ví dụ, không được chọn chỉ để ép hai tham số bằng nhau.
Chênh lệch thô 0,50 ở ví dụ này biến mất sau đổi thang. Điều đó minh họa vấn đề metric, chưa chứng minh mọi câu đều ổn định. Cũng cần kiểm câu neo: nếu chính các câu dùng làm mốc thay đổi, việc liên kết có thể bị ảnh hưởng.
Đã cùng thang vẫn phải đọc sai số của chênh lệch
Xét một minh họa khác với hai câu Q31 và Q32. Các b đã nằm trên cùng thang. Để tính đơn giản, giả định hai ước lượng giữa các đợt độc lập và coi phép liên kết cố định. Mỗi câu có SE đợt 1 bằng 0,10 và SE đợt 2 bằng 0,12. Sai số chuẩn của chênh lệch là căn của 0,10² +0,12², xấp xỉ 0,156.
Kéo ngang bảng để xem đầy đủ các cột.
| Câu | b đợt 1 | b đợt 2 | Chênh Δ | Khoảng 95% xấp xỉ của Δ |
|---|---|---|---|---|
| Q31 | 0,40 | 0,70 | 0,30 | [−0,006; 0,606] |
| Q32 | 0,40 | 1,00 | 0,60 | [0,294; 0,906] |
Số liệu giả định do Song Pa xây dựng. Khoảng được tính bằng Δ ± 1,96 × 0,1562, dưới giả định độc lập, xấp xỉ chuẩn và liên kết cố định. Vạch 0 biểu thị không chênh b; hình không phải kết quả kiểm định của một kỳ thi thật.
Q31 có khoảng chứa 0 nên bằng chứng trong cách tính này chưa tách rõ chênh lệch khỏi bất định. Không được đổi câu đó thành “đã chứng minh không thay đổi”. Q32 có khoảng nằm phía dương, là tín hiệu mạnh hơn để thẩm định; vẫn cần xem độ lớn có ý nghĩa sử dụng hay không và nguyên nhân nào có thể giải thích.
Khi các ước lượng liên quan, phép cộng đơn giản chưa đủ
Nếu hai ước lượng có liên hệ, phương sai chênh lệch còn có thành phần hiệp phương sai: SE(Δ)² = SE(b₁)² + SE(b₂)² −2 Cov(b₁, b₂). Cùng dữ liệu, câu neo hoặc quy trình hiệu chuẩn có thể tạo ra quan hệ cần tính đến. Việc liên kết cũng được ước lượng, nên coi các hệ số liên kết là cố định chỉ là giả định của ví dụ đơn giản trên.
Trong phân tích thật, có thể cần phương pháp bất định bao quát cả hiệu chuẩn và liên kết, chẳng hạn lấy mẫu lại rồi thực hiện lại toàn bộ quy trình. Không cộng một khoản “sai số liên kết” lần nữa nếu nó đã nằm trong bất định tổng đang dùng. Khi rà nhiều câu, cũng cần xử lý vấn đề nhiều phép so sánh và báo mức ảnh hưởng thay vì chỉ đếm cờ.
Biến đổi thực sự là thay đổi quan hệ đo, cần kiểm chứng
Item parameter drift là biến động tham số câu theo thời gian hoặc các đợt, sau khi đã giải quyết vấn đề thang và xem xét bất định phù hợp. Nếu a giữ nguyên mà b tăng thật trong 2PL, người ở cùng một theta sẽ có xác suất đúng thấp hơn trước. Tỷ lệ đúng toàn nhóm giảm chưa đủ chứng minh điều này, vì thành phần năng lực của nhóm có thể đã khác.
Huggins-Manley nghiên cứu biến động ở các nhóm con và cho thấy việc chỉ nhìn kết quả gộp có thể bỏ sót các thay đổi khác nhau giữa nhóm [2]. Trong thực hành, cần đối chiếu phiên bản ngữ liệu, điều kiện tổ chức, sự quen thuộc với câu, nội dung học và thành phần mẫu. Những yếu tố ấy là hướng điều tra, chưa phải nguyên nhân đã được xác nhận từ một chênh b.
Một hồ sơ theo dõi nên kết thúc bằng quyết định nào?
Hồ sơ cần ghi mã và phiên bản câu, hai đợt, cách liên kết, tham số kèm sai số, cách tính bất định chênh lệch, vùng năng lực bị ảnh hưởng và kết quả phản biện. Quyết định có thể là tiếp tục theo dõi, thử thêm, sửa và hiệu chuẩn bản mới, hoặc tạm dừng câu. Không có lý do để tự động sửa tham số nhằm làm hai đợt giống nhau.
Nếu mô hình hiệu chuẩn đồng thời đã buộc b của câu bằng nhau ở cả hai đợt, kết quả b bằng nhau không phải bằng chứng rằng câu không biến đổi. Muốn kiểm, thiết kế phân tích phải cho phép đánh giá khác biệt theo đợt. Với các đề luyện HSA, V-ACT hoặc TSA, kiểm tra này giúp đơn vị duy trì một thang tham chiếu có bằng chứng, đồng thời giải thích đúng giới hạn của việc so sánh qua thời gian.
Nguồn tham khảo
[1] Stocking, M. L. & Lord, F. M. (1982). Developing a Common Metric in Item Response Theory. ETS Research Report RR–82-25-ONR. DOI 10.1002/j.2333-8504.1982.tb01311.x. Xem tài liệu
[2] Huggins-Manley, A. C. (2017). Psychometric Consequences of Subpopulation Item Parameter Drift. Educational and Psychological Measurement, 77(1),143–164. DOI 10.1177/0013164416643369. Xem tài liệu