Một câu có 56% người nhóm A làm đúng và 38% người nhóm B làm đúng. Chênh 18 điểm phần trăm là điều cần xem xét. Nhưng nếu nhóm A có nhiều người đang thành thạo hơn trong năng lực bài muốn đo, chỉ hai tỷ lệ chung ấy chưa đủ để kết luận câu đã đối xử bất lợi với nhóm B.
Kết quả chung đang trộn nhiều mức năng lực
Hai nhóm có thể khác về cơ hội học, kinh nghiệm, mức thành thạo hoặc điều kiện làm bài. Khi lấy một trung bình hay một tỷ lệ đúng cho cả nhóm, những khác biệt về thành phần được gộp lại. Vì thế, chênh kết quả là bằng chứng mô tả một khoảng cách; nguyên nhân của khoảng cách cần được tìm hiểu riêng.
Câu hỏi về công bằng không nên bị bỏ qua, cũng không nên được trả lời vội bằng một phép trừ. Ta cần xem công cụ muốn đo gì, các nhóm có điều kiện tiếp cận ra sao và người ở mức năng lực phù hợp để so sánh có thể hiện quan hệ trả lời khác nhau không.
Một bảng nhỏ làm rõ hiệu ứng cơ cấu
Trong minh họa lý tưởng dưới đây, tạm coi đã biết mức năng lực tham khảo của từng người và dùng cùng một câu ở hai nhóm. Mọi số đều tự dựng; ba mức không phải phân loại chính thức cho học sinh. Mục tiêu chỉ là nhìn xem thay cơ cấu người làm có thể đổi tỷ lệ chung thế nào.
Kéo ngang bảng để xem đầy đủ các cột.
| Mức tham khảo | Nhóm A: đúng/số người | Nhóm B: đúng/số người | Tỷ lệ tại cùng mức |
|---|---|---|---|
| Thấp hơn | 4/20 | 10/50 | Đều 20% |
| Ở giữa | 20/40 | 20/40 | Đều 50% |
| Cao hơn | 32/40 | 8/10 | Đều 80% |
| Gộp toàn nhóm | 56/100 | 38/100 | 56% và 38% |
Số liệu hoàn toàn giả định do Song Pa xây dựng. Nhóm A có 40 người ở mức cao hơn, nhóm B có 10; tỷ lệ đúng trong từng mức được đặt giống nhau. Bảng chưa tính sai số và không phải phép kiểm định DIF.
Nhóm A có nhiều người ở mức cao hơn nên tỷ lệ gộp cao hơn. Nếu chỉ để minh họa, tạm tính cả hai nhóm theo cùng cơ cấu một phần ba ở mỗi mức, ta đều có(20% +50% +80%)/3 = 50%. Đây là phép đổi trọng số giả định để giải thích cơ cấu, không phải quy tắc điều chỉnh điểm thi.
Bảng cho thấy một cơ chế có thể tạo chênh 18 điểm phần trăm mà không đặt khác biệt tỷ lệ trong từng mức. Nó không chứng minh mọi chênh nhóm ở dữ liệu thật đều do năng lực, và cũng không chứng minh câu đã công bằng toàn diện.
DIF đặt một câu hỏi gần hơn với hành vi của câu
DIF là cách gọi một sự khác biệt về hoạt động của câu giữa các nhóm sau khi đã đối sánh mức thành thạo liên quan theo phương pháp đang dùng. Câu hỏi trở thành: với người đủ tương đương về điều muốn đo, quan hệ trả lời có còn khác đáng chú ý không? Tài liệu nhập môn của Zieky giải thích vì sao cần tách chênh chung khỏi so sánh có điều kiện [1].
Trong thực tế, không ai biết năng lực thật hoàn hảo như giả định của ví dụ. Thước đối sánh, mô hình, cỡ mẫu và mức chồng lấp giữa hai nhóm đều cần kiểm. Chia thành ba khoảng rộng rồi thấy tỷ lệ gần nhau chưa đủ để kết luận không có DIF; khác biệt trong một khoảng có thể vẫn còn hoặc số người chưa đủ để nhận ra.
Bằng nhau về điểm cũng chưa trả lời hết công bằng
Hai nhóm có trung bình bằng nhau vẫn có thể gặp vấn đề ở một số câu, ở quyền tiếp cận ngữ liệu hoặc ở cách tổ chức. Ngược lại, một khoảng cách có thật về năng lực mục tiêu vẫn có thể phản ánh những cơ hội học tập không đồng đều cần được quan tâm. Phân tích chất lượng câu và phân tích cơ hội học là các nhiệm vụ liên quan nhưng không được gộp thành cùng một kết luận.
Cần đọc nội dung, hướng dẫn, hỗ trợ tiếp cận và điều kiện thi bên cạnh thống kê. Tìm một câu có hoạt động khác là tín hiệu để thẩm định; phán đoán sự thiên lệch còn phải xác định yếu tố ngoài mục tiêu và tác động của nó. Bài 145 sẽ giải thích sâu hơn bước chuyển này.
Người học nên đọc một tin so nhóm như thế nào?
Nếu thấy một bản tin về HSA, TSA hoặc V-ACT nói nhóm này có điểm cao hơn nhóm kia, hãy xem nhóm được xác định ra sao, số người bao nhiêu và đang so tổng điểm hay hành vi từng câu. Có phân tích điều kiện và bằng chứng nội dung nào hỗ trợ lời giải thích không? Chỉ một biểu đồ hai cột chưa đủ cho kết luận về nguyên nhân.
Một báo cáo có trách nhiệm nên tách điều đã quan sát, những giả thuyết cần kiểm và phần chưa kết luận được. Cách trình bày ấy vừa giữ vấn đề công bằng trong tầm nhìn, vừa giúp học sinh hiểu đúng giới hạn của các con số thay vì nhận một lời trấn an hoặc quy kết quá chắc.
Nguồn tham khảo
[1] Zieky, M. (2003). A DIF Primer. Educational Testing Service, tr. 1–5. Xem tài liệu