Trung bình đợt mới là 507, đợt trước là 500. Hai đợt đã được đưa về thang chung, nên có thể kết luận mức điểm đã tăng rõ 7 điểm chưa? Cần biết phép nối thang chính xác đến đâu, có phù hợp phạm vi so sánh không và bất định của nó đã được đưa vào kết luận hay chưa.
Liên kết là một ước lượng, không phải chiếc cầu không sai số
Liên kết thang tìm quan hệ giữa các thang trong một thiết kế và quần thể phù hợp. Nếu mục tiêu là dùng điểm của các dạng đề thay nhau, còn cần bằng chứng về cùng phạm vi đo và tính tương đồng phù hợp. Hai cột cùng mang đơn vị điểm, hoặc một đường liên hệ rất chặt, chưa tự đáp ứng yêu cầu ấy.
Cần thẩm định cả thiết kế, bộ neo, mô hình, phương pháp và độ chính xác. Hệ số A và B của một phép đổi thang có thể được ước lượng rất chính xác dưới mô hình, nhưng vẫn không sửa được sai lệch hệ thống do câu neo không phù hợp hoặc nội dung hai đề khác điều đang tuyên bố so sánh.
Một ví dụ cho thấy kết luận thay đổi khi thêm bất định liên kết
Tình huống tự dựng có trung bình hai đợt 500 và 507 trên cùng thang. SE của hai trung bình lần lượt 2 và 2,5 điểm; SE liên kết là 3 điểm. Tạm giả định ba thành phần độc lập, xấp xỉ chuẩn và chưa có thành phần nào bị tính trùng. Đây là SE của trung bình, không phải sai số điểm cá nhân.
| Cách tính minh họa | SE chênh lệch | Khoảng 95% xấp xỉ cho chênh 7 điểm |
|---|---|---|
| Chỉ xét hai SE trung bình | √(2² +2,5²) ≈3,202 | [0,725; 13,275] |
| Xét thêm SE liên kết | √(2² +2,5² +3²) ≈4,387 | [−1,599; 15,599] |
Số liệu hoàn toàn giả định do Song Pa xây dựng. Hai khoảng có cùng tâm 7 điểm nhưng độ rộng khác. Phép cộng phương sai chỉ phù hợp với các giả định nêu trên; không phải công thức chung cho mọi thiết kế liên kết.
Nếu bỏ thành phần liên kết trong minh họa, khoảng nằm phía dương. Khi xét thêm thành phần ấy, khoảng chứa 0. Kết quả sau không chứng minh hai trung bình bằng nhau; nó cho thấy bằng chứng chưa tách rõ mức chênh khỏi 0 theo cách tính đang dùng. Dù có tăng trung bình, cũng chưa thể quy ngay nguyên nhân cho một phương pháp dạy nếu hai nhóm hoặc điều kiện khác nhau.
OECD đưa bất định liên kết vào so sánh kết quả giữa các chu kỳ PISA trong phần kỹ thuật tương ứng [1]. Ví dụ ở đây mượn nguyên lý phải tính đúng nguồn bất định, không dùng số giả định như dữ liệu PISA và không chuyển toàn bộ công thức đặc thù của PISA sang mọi hệ thống thi.
Bất định phép đổi thang có thể khác theo vị trí
Với T(x) = Ax + B và coi x cố định, phần phương sai do liên kết là x²Var(A) + Var(B) +2 x Cov(A, B). Sự bất định của A, B và mối liên hệ giữa chúng đều góp phần; vì vậy sai số liên kết không nhất thiết bằng nhau ở mọi x. Battauz mô tả việc truyền bất định tham số sang hệ số liên kết IRT [2].
Nếu x cũng là ước lượng hoặc có quan hệ với A, B, cần xét đầy đủ các thành phần và hiệp phương sai liên quan, hoặc lấy mẫu lại toàn quy trình phù hợp. Không cộng các SE như những số điểm thông thường. Cũng không cộng thêm SE liên kết nếu bất định tổng đang báo đã bao gồm chính nguồn ấy.
Sáu điều cần kiểm cho toàn phép liên kết
| Mục kiểm | Bằng chứng nên có |
|---|---|
| Phạm vi so sánh | Cùng điều muốn đo, quần thể và mục đích; miền điểm được hỗ trợ. |
| Thiết kế và neo | Cầu nối dữ liệu hợp lệ; phiên bản, nội dung và tính ổn định của bộ neo. |
| Mô hình | Hội tụ, phù hợp, cấu trúc và các giả định cần thiết. |
| Phương pháp và bất định | Lý do chọn cách nối; SE/hiệp phương sai hoặc quy trình lấy mẫu lại. |
| Độ nhạy | Kết quả khi thay lựa chọn hợp lý; ảnh hưởng của bộ neo và vùng dữ liệu thưa. |
| Hệ quả sử dụng | Sai số tác động đến so sánh hoặc quyết định nào; giới hạn cần thông báo. |
Phiếu thẩm định do Song Pa tổng hợp. Đủ ô tài liệu chưa tự có nghĩa đạt; chất lượng bằng chứng và sự phù hợp với tuyên bố mới là điều cần đánh giá.
Kiểm ổn định trước khi mở rộng tuyên bố
Nên xem kết quả ở vùng điểm quan trọng, ở nhóm liên quan và khi bộ neo được thay theo những lựa chọn có lý do. Nếu các kết luận đổi mạnh, cần tìm nguyên nhân và giới hạn sử dụng. Không chọn bộ neo chỉ vì tạo ra mức chênh giữa đợt theo mong muốn, và không coi một hệ số chuyển thang đẹp là đủ kiểm soát sai lệch.
Với các bộ đề luyện TSA, HSA hoặc V-ACT, sản phẩm bàn giao có thể gồm đường quy đổi, dải bất định, hồ sơ neo, kiểm độ nhạy và một kết luận so sánh có điều kiện. Khi chưa đủ bằng chứng, vẫn có thể dùng từng bài để phản hồi nhiệm vụ đã làm; tuyên bố tiến bộ hoặc so ngang qua đợt cần chờ phần liên kết được thẩm định tương ứng.
Nguồn tham khảo
[1] OECD. (2023). PISA 2022 Results, Volume I, Annex A 7: Comparing Mathematics, Reading and Science Performance across PISA Assessments; công thức I.A 7.2. DOI 10.1787/53f23881-en. Xem tài liệu
[2] Battauz, M. (2015). equateIRT: An R Package for IRT Test Equating. Journal of Statistical Software, 68(7),1–22. DOI 10.18637/jss.v068.i07. Xem tài liệu