Một câu bị gắn cờ DIF. Người đọc có thể hiểu rằng phần mềm vừa chứng minh câu ấy thiên lệch và phải bỏ. Thực ra, DIF cho thấy một quan hệ trả lời cần được xem xét sau đối sánh năng lực. Muốn kết luận về sự thiên lệch, còn phải quay lại mục tiêu, ngữ liệu và cách người học tiếp cận nhiệm vụ.
DIF hỏi điều gì sau khi đã so người gần tương đương?
DIF là viết tắt của differential item functioning, thường được hiểu là câu hỏi hoạt động khác biệt giữa các nhóm. Ý chính là: sau khi đã đối sánh mức thành thạo liên quan theo phương pháp đang dùng, xác suất hoặc cách đạt điểm ở câu vẫn có khác biệt đáng chú ý. Điều này khác việc chỉ lấy hai tỷ lệ đúng chung để trừ nhau.
Đối sánh không hoàn hảo. Một tổng điểm có thể đại diện tốt cho phần này nhưng chưa đủ cho phần khác; mô hình cũng có giả định. Vì vậy, cờ DIF là tín hiệu điều tra trong một khung phân tích, không phải một nhãn lỗi tách khỏi phương pháp và dữ liệu [1].
Một hình giúp nhìn đúng loại khác biệt
Hai nhóm minh họa được gọi là R và F để tiện trình bày, không đại diện cho giới tính, địa phương hoặc trường thật. Giả định đã có thang theta chung có ý nghĩa phù hợp; hai đường 2PL đều a = 1, D = 1, c = 0, nhưng b của R là 0 và của F là 0,4. Tất cả tham số được đặt để giải thích nguyên lý, không phải kết quả kiểm DIF thực nghiệm.
| Theta trên thang chung | Xác suất đúng nhóm R | Xác suất đúng nhóm F |
|---|---|---|
| −1 | 26,9% | 19,8% |
| 0 | 50,0% | 40,1% |
| 1 | 73,1% | 64,6% |
Minh họa do Song Pa xây dựng. So hai đường tại cùng một theta cho thấy khác biệt có điều kiện. Hình mô tả một kịch bản DIF theo mô hình; chưa chỉ ra nguyên nhân và chưa kết luận thiên lệch.
Trong ví dụ, xác suất ở F thấp hơn tại cả ba vị trí, nhưng khoảng chênh phần trăm không cố định. Đây là một hình dạng DIF đồng nhất theo mô hình đang nêu. Trong 2PL, một ví dụ của dạng không đồng nhất là độ phân biệt khác nhau giữa các nhóm, thể hiện quan hệ với năng lực khác nhau. Hai đường có thể đổi thứ tự trong một số trường hợp, nhưng không bắt buộc phải cắt nhau trong vùng đang quan sát.
Vì sao khác biệt ấy chưa tự là thiên lệch?
Thiên lệch liên quan đến việc một yếu tố ngoài điều muốn đo tạo lợi thế hoặc bất lợi không phù hợp với mục đích đánh giá. Zieky phân biệt rõ DIF với bias và nhấn mạnh vai trò phán đoán nội dung [2]. Cùng một thống kê có thể dẫn tới những câu hỏi thẩm định khác nhau tùy nhiệm vụ.
Giả sử một câu đọc bảng số liệu yêu cầu biết trước một thuật ngữ địa phương, nhưng thuật ngữ không được giải thích và không thuộc mục tiêu. Người phản biện cần xem liệu kiến thức ngoài ngữ liệu ấy có đang cản việc đo kỹ năng đọc bảng không. Có thể viết lại để cung cấp đủ thông tin, rồi thử phiên bản mới.
Trong một nhiệm vụ khác, từ ngữ chuyên môn lại là nội dung mà bài định đánh giá và đã được xác định rõ trong đặc tả. Khác biệt giữa nhóm lúc này cần được hiểu cùng bằng chứng về đối sánh, phạm vi và cơ hội học; không thể chỉ thấy cờ rồi kết luận thuật ngữ phải bị bỏ. Hai tình huống tự dựng này minh họa vai trò mục tiêu, không xác nhận nguyên nhân cho hai đường ở hình trên.
Không có cờ cũng chưa thay việc đọc nội dung
Một mẫu ít người hoặc ít vùng năng lực chồng lấp có thể khiến phép phân tích khó phát hiện khác biệt. Nội dung xúc phạm, định kiến hoặc trở ngại tiếp cận cũng cần được phản biện dù chưa có cờ DIF. Ngược lại, khi có cờ, cần mở cả ngữ liệu và lời giải để hiểu điều thống kê chưa thể tự kể.
Người phân tích nên nói rõ cách xác định nhóm, đối sánh, mô hình và độ lớn khác biệt. Bài chuyên sâu về quyết định sử dụng sẽ nối các bằng chứng ấy với phản biện và thử lại; ở mức nhập môn, điều cần nhớ là cờ thống kê đặt một câu hỏi chứ chưa tuyên một bản án.
Học sinh nhận được lợi ích gì từ việc kiểm DIF?
Với đề luyện V-ACT, HSA hoặc TSA, kiểm DIF có thể giúp đơn vị tìm các câu cần rà nội dung hoặc cách tổ chức để kết quả được diễn giải đúng hơn. Nó không nhằm làm mọi nhóm có cùng tỷ lệ đúng bằng bất cứ giá nào. Mục tiêu là xem điểm có phản ánh năng lực dự định trong điều kiện phù hợp hay đang chịu một trở ngại không mong muốn.
Khi gặp thông tin “câu có DIF”, học sinh có thể chờ một giải thích có căn cứ: đã đối sánh thế nào, nội dung được xem lại ra sao và quyết định cuối là gì. Cách đọc này giúp giữ cả sự quan tâm đến công bằng lẫn sự thận trọng cần thiết trước một nhãn kỹ thuật.
Nguồn tham khảo
[1] Clauser, B. E. & Mazor, K. M. (1998). Using Statistical Procedures to Identify Differentially Functioning Test Items. Educational Measurement: Issues and Practice, 17(1). DOI 10.1111/j.1745-3992.1998.tb00619.x. Xem tài liệu
[2] Zieky, M. (2003). A DIF Primer. Educational Testing Service, tr. 2–5. Xem tài liệu