Ba học sinh cùng làm một đề 40 câu. Bạn đúng 34 câu, bạn đúng 32, bạn đúng 28. Nếu chỉ nhìn ba con số, ta dễ xếp thứ tự khả năng ngay. Nhưng nếu người được 34 câu có thêm 30 phút và được gợi ý, còn người được 28 câu bị gián đoạn giữa bài, cách đọc ấy sẽ bỏ qua những thông tin quan trọng về buổi thi.
Điểm số gắn với một cách tổ chức cụ thể
Một kết quả được tạo ra từ câu trả lời trong những điều kiện nhất định: thời gian, cách tiếp cận câu hỏi, phương tiện và mức trợ giúp. Nếu mục tiêu là quan sát khả năng tự làm trong 60 phút, lượt làm 90 phút có gợi ý đang cung cấp bằng chứng khác. Lượt thứ hai vẫn có thể hữu ích cho việc học, nhưng chưa nên được dùng thay cho bằng chứng về khả năng tự làm trong điều kiện ban đầu.
Trong đo lường, ảnh hưởng không thuộc khả năng cần đánh giá thường được bàn dưới khái niệm yếu tố ngoài cấu trúc đo. Có thể hiểu bằng ví dụ: nếu muốn đánh giá đọc hiểu biểu đồ nhưng hình không tải được, số câu sai có thể chứa ảnh hưởng của việc không nhìn thấy hình. Chúng ta cần kiểm tra điều ấy trước khi kết luận học sinh không biết đọc biểu đồ.
Đọc ba hồ sơ trước khi so ba con số
| Hồ sơ giả định | Kết quả quan sát | Điều kiện cần giữ trong diễn giải |
|---|---|---|
| A | 32/40 câu đúng | 60 phút, tự làm, chưa ghi nhận gián đoạn. |
| B | 34/40 câu đúng | 90 phút, được gợi ý cách giải ở 4 câu. |
| C | 28/40 câu đúng | Ca 60 phút; ghi nhận mất khả năng thao tác khoảng 8 phút, chưa đối soát đầy đủ thời gian hệ thống. |
Ba hồ sơ và toàn bộ số liệu là minh họa. Chưa có thiết kế nghiên cứu để tách tác động thời gian, gợi ý hoặc gián đoạn; bảng không cho phép tính điểm mà mỗi em sẽ đạt trong điều kiện khác.
Có thể nói B đúng nhiều câu hơn A trong các lượt đã ghi nhận. Chưa thể từ đó kết luận B có khả năng tự làm tốt hơn A trong 60 phút. Cũng không thể lấy 28 câu của C rồi cộng thêm số câu ước đoán cho 8 phút. Tốc độ làm không đều ở mọi thời điểm; phần bị gián đoạn có thể là ngữ liệu dài hoặc một câu đang tính dở.
Thông tin điều kiện giúp xác định câu hỏi cần kiểm tra tiếp. Với B, giáo viên có thể xem em tự thực hiện được bước nào trước khi nhận gợi ý. Với C, cần đối soát nhật ký và phạm vi ảnh hưởng. Với cả ba, một lượt đánh giá tiếp theo theo quy trình phù hợp có thể cung cấp thêm bằng chứng, nhưng không nên vội gán chênh lệch lượt sau hoàn toàn cho điều kiện đã sửa.
Đưa vào IRT chưa tự làm các điều kiện trở nên tương đương
IRT sử dụng mẫu trả lời cùng các giả định của mô hình để ước lượng đại lượng cần đo. Nếu dữ liệu chỉ có đáp án mà không có hồ sơ sự cố, một lần mất hình hoặc khoảng gián đoạn có thể không được nhận diện trong quy trình phân tích. Việc phần mềm tạo được một con số không tự chứng minh con số ấy phù hợp cho mọi mục đích so sánh.
Vì thế, báo cáo có IRT vẫn cần kiểm tra chất lượng dữ liệu, điều kiện tổ chức, mức phù hợp của mô hình và cách sử dụng điểm. Không nên coi nhãn “đã chuẩn hóa” là lý do bỏ qua sự cố đã biết. Standards for Educational and Psychological Testing yêu cầu ghi nhận thay đổi hoặc gián đoạn trong tiêu chuẩn 6.3 và bàn điều kiện môi trường trong tiêu chuẩn 6.4 [1].
Một dòng ghi chú có thể thay đổi cách sử dụng báo cáo
Với hồ sơ C, ghi chú minh họa có thể là: “Lượt làm có gián đoạn đã ghi nhận; phạm vi ảnh hưởng đang được đối soát. Chưa dùng kết quả này để xếp hạng cùng các lượt đủ điều kiện so sánh.” Ghi chú không phải tuyên bố điểm đã sai hay học sinh chắc chắn sẽ được cộng điểm. Nó nêu rõ việc cần hoàn tất trước khi sử dụng kết quả theo một mục đích cụ thể.
Học sinh luyện V-ACT, HSA hay TSA vẫn có thể học được từ các câu đã làm trong một buổi gặp trở ngại. Tuy nhiên, bài làm hỗ trợ xem lại cách giải và điểm dùng để so sánh là hai loại bằng chứng cần được xem xét theo yêu cầu riêng. Biết giới hạn của kết quả giúp em chọn việc cần làm tiếp mà không biến một buổi thi thiếu thông tin thành kết luận lâu dài về bản thân.
Nguồn tham khảo
[1] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing. Standards 6.3–6.4, trang 115–116. Xem tài liệu