Câu U 12 đã vào danh sách cần xem vì một phân tích phát hiện hoạt động khác giữa hai nhóm. Công việc chưa kết thúc ở nhãn thống kê. Nhóm phụ trách cần quyết định giữ, sửa, thử lại hay tạm ngừng, và mỗi quyết định phải có đường đi từ dữ liệu đến lý do nội dung có thể kiểm lại.
Một cờ cần đi kèm ước lượng và bất định
Hồ sơ nên nêu cách xác định nhóm, thước đối sánh, vùng có người ở cả hai nhóm, mô hình và phương pháp kiểm. Đọc độ lớn khác biệt cùng sai số hoặc khoảng, thay vì chỉ p nhỏ hay lớn. Khi nhiều câu được xem cùng lúc, cần ghi cách xử lý nhiều kiểm định và lý do chọn tiêu chí.
Bảng sau chỉ mô tả một tầng đối sánh giả định, để minh họa cách trình bày độ lớn và bất định. Mỗi nhóm có 100 người, được tạm xem là đủ tương đương trong tầng này. Ba điều ấy không thay một phân tích DIF đầy đủ trên cả thang, và đối sánh trong thực tế còn có sai số.
Kéo ngang bảng để xem đầy đủ các cột.
| Nhóm trong tầng minh họa | Đúng | Sai | Tỷ lệ đúng |
|---|---|---|---|
| R | 60 | 40 | 60% |
| F | 45 | 55 | 45% |
Tỷ số odds R/F bằng(60 × 55)/(40 × 45) ≈1,833. Odds là tỷ số xác suất đúng trên xác suất sai; OR 1,833 không có nghĩa xác suất đúng của R cao hơn 83,3%. Với xấp xỉ chuẩn trên log OR, SE khoảng 0,286 và khoảng 95% của OR khoảng[1,046; 3,214], giả định các quan sát độc lập và cách tính phù hợp.
Các số hoàn toàn tự dựng do Song Pa xây dựng. Khoảng được tính từ log OR ± 1,96 × SE; đây là đối chiếu của một tầng minh họa, không được gọi là kết quả Mantel–Haenszel gộp hay bằng chứng đã xác nhận thiên lệch.
Kiểm chất lượng đối sánh trước khi mở hồ sơ nội dung
Nếu thước đối sánh chưa đại diện đúng năng lực liên quan, khác biệt còn lại có thể khó diễn giải. Guo và Dorans phân tích điều kiện mà đối sánh bằng tổng điểm quan sát có thể khác đối sánh theo năng lực trong các mô hình 1PL và 2PL [1]. Kết quả ấy nhắc cần kiểm phương pháp; nó không chứng minh tổng điểm luôn sai hoặc một bộ trọng số luôn thích hợp.
Cũng cần xem các câu dùng làm neo hoặc tiêu chí có bị ảnh hưởng bởi DIF không, và kết luận nhạy thế nào khi thay lựa chọn hợp lý. Cách refinement hoặc purification phải theo phương pháp cụ thể. Không dùng quy tắc chung rằng mọi phân tích DIF đều phải bỏ chính câu đang xét khỏi tổng đối sánh; một số quy trình có cách xử lý khác [2].
Một phiếu U 12 từ bằng chứng đến quyết định
Tình huống tiếp theo cũng tự dựng: U 12 muốn đo đọc bảng, nhưng lời dẫn dùng một thuật ngữ địa phương không được giải thích. Người phản biện được xem toàn bộ ngữ liệu, mục tiêu và kết quả phân tích; nhận xét được ghi riêng trước khi chốt quyết định.
| Khâu trong hồ sơ U 12 | Bằng chứng/nhận xét minh họa | Việc được chốt |
|---|---|---|
| Dữ liệu và phương pháp | Mã nhóm/phiên bản khớp; vẫn cần đánh giá đối sánh trên toàn thang. | Lưu cấu hình, vùng hỗ trợ và giới hạn; chưa dùng bảng một tầng để kết luận đủ. |
| Phản biện nội dung | Thuật ngữ không có trong dữ kiện; hiểu nó không thuộc kỹ năng đọc bảng đang đặt mục tiêu. | Đề xuất thêm định nghĩa hoặc thay bối cảnh mà giữ nhiệm vụ đo. |
| Ảnh hưởng sử dụng | Cần xem người/vùng điểm nào có thể đổi kết quả khi sửa. | Tính tác động theo cấu hình có căn cứ; không tự cộng điểm theo nhóm. |
| Quyết định phiên bản | Bản v1 còn vấn đề nội dung đã xác nhận trong tình huống. | Tạm ngừng dùng v1; tạo v2 có sửa và đưa thử lại. |
| Xác nhận lại | Bản v2 cần cả dữ liệu mới và phản biện nội dung. | Chỉ chốt sử dụng khi có đủ bằng chứng tương ứng; giữ lịch sử v1/v2. |
Mẫu tổng hợp thực hành của Song Pa. Quyết định sửa ở tình huống U 12 dựa thêm bằng chứng nội dung, không chỉ vì OR khác 1. Đây không phải quy trình nguyên văn của ETS hay quy định của kỳ thi Việt Nam.
Phản biện cần đủ thông tin và có trách nhiệm
Người đọc câu cần biết đặc tả, đối tượng, cách chấm và toàn bộ ngữ liệu, đồng thời có điều kiện nêu ý kiến độc lập. Tài liệu ETS về công bằng nội dung nhấn mạnh đào tạo người rà và ghi nhận cách xử lý phản biện [3]. Nên lưu lý do giữ hoặc sửa để người kiểm khác có thể theo lại quyết định.
Không thấy một nguyên nhân rõ trong lần đọc đầu chưa làm cờ thống kê tự biến mất. Có thể cần thử cách hiểu với người học hoặc thu thêm dữ liệu. Chiều ngược lại, một trở ngại nội dung đã rõ vẫn cần xử lý ngay cả khi phép kiểm hiện có chưa đủ nhạy để gắn cờ.
Đóng hồ sơ bằng phạm vi sử dụng có căn cứ
Đơn vị cần phân biệt câu nào giữ có lý do, câu nào sửa thành phiên bản mới, câu nào thử thêm và câu nào tạm ngừng. Sau sửa, các tham số và bằng chứng của v1 không tự chuyển nguyên sang v2. Việc thử lại giúp kiểm xem thay đổi có giải quyết điều đã phát hiện và còn giữ mục tiêu đo không.
Trong sản phẩm cho đối tác xây đề luyện V-ACT, HSA hoặc TSA, hồ sơ DIF có giá trị khi dẫn đến quyết định minh bạch như vậy. Học sinh nhận được lợi ích từ câu rõ nghĩa và kết quả được giải thích đúng phạm vi, còn nhóm chuyên môn có đủ bằng chứng để tiếp tục cải thiện thay vì chỉ đổi màu một cột đạt/không đạt.
Nguồn tham khảo
[1] Guo, H. & Dorans, N. J. (2019). Observed Scores as Matching Variables in Differential Item Functioning Under the One- and Two-Parameter Logistic Models: Population Results. ETS Research Report Series. DOI 10.1002/ets2.12243. Xem tài liệu
[2] Clauser, B. E. & Mazor, K. M. (1998). Using Statistical Procedures to Identify Differentially Functioning Test Items. Educational Measurement: Issues and Practice, 17(1),31–44. DOI 10.1111/j.1745-3992.1998.tb00619.x. Xem tài liệu
[3] Educational Testing Service. (2016). ETS International Principles for the Fairness of Assessments, tr. 17–21. Xem tài liệu