Một yêu cầu nghe hợp lý riêng lẻ có thể không thực hiện được khi đặt cùng các yêu cầu khác. Chẳng hạn, đơn vị muốn hai đề không trùng câu, mỗi đề phủ đủ nội dung và đều đo rõ tại vùng cần quyết định. Nếu ngân hàng chưa có đúng loại câu, phần mềm không thể tạo ra bằng chứng đo lường mà ngân hàng không cung cấp. Công việc cần làm là chỉ ra phần xung đột, rồi chọn cách xử lý có lý do.
Đặt một bài toán đủ nhỏ để kiểm bằng tay
Ví dụ hoàn toàn tự dựng cần hai đề F1 và F2, mỗi đề sáu câu, gồm ba câu mảng A và ba câu mảng B. Mỗi câu chỉ được xuất hiện trong một đề. Ngân hàng hiện có sáu câu A và sáu câu B đủ điều kiện sử dụng theo giả định; không có ràng buộc khác trong phép minh họa này.
Mục tiêu tự đặt là thông tin mỗi đề tại θ=0 ít nhất 1,50 trên thang SP-U. Tất cả số dưới đây được gán theo mô hình logistic 2PL, D=1, c=0, b=0; giả định một chiều và độc lập có điều kiện. Chọn a=√1,20 cho câu A và a=√0,40 cho câu B, nên thông tin tại θ=0 lần lượt bằng 0,30 và 0,10. Đây là bài toán minh họa, không phải tham số hiệu chuẩn thật hay ngưỡng đủ cho một kỳ thi.
Kéo ngang bảng để xem đầy đủ các cột.
| Nhóm câu hiện có | Số câu riêng | I câu tại θ=0 | Mỗi đề phải chọn |
|---|---|---|---|
| Mảng A | 6 | 0,30 | 3 |
| Mảng B | 6 | 0,10 | 3 |
Bất kỳ đề nào đúng phân bổ ba A và ba B đều có I(0)=3×0,30+3×0,10=1,20. Vì 1,20 nhỏ hơn 1,50, không có cách đổi các mã trong hai nhóm này để đạt mục tiêu thông tin đã đặt. Đây là một chứng minh trực tiếp cho bài toán đã mô tả; không phải chỉ vì máy chạy lâu mà chưa tìm ra.
Tăng thông tin cho đề đầu có thể đẩy khó khăn sang đề sau
Nếu bỏ qua nội dung và lấy cả sáu câu A cho F1, thông tin F1 tại θ=0 đạt 1,80. Nhưng F2 chỉ còn sáu câu B, có thông tin 0,60. Cả hai đề còn sai phân bổ nội dung. Một bộ riêng trông rất tốt theo một chỉ tiêu đã dùng hết nguồn lực có ích cho bộ sau; vì vậy cần nhìn các đề cùng nhau.
Becker và cộng sự trình bày tổ hợp nhiều đề với các mục tiêu và điều kiện được khai báo, đồng thời nêu tình huống lựa chọn ở giai đoạn trước làm thiếu câu cho giai đoạn sau [1]. Tổ hợp đồng thời giúp xem quan hệ giữa các bộ; nó không xóa được giới hạn của ngân hàng. Trong ví dụ này, giữ nguyên các yêu cầu thì cả tổ hợp tuần tự lẫn đồng thời đều không thể vượt cận 1,20 ở mỗi đề đúng ma trận.
Ba hướng xử lý có hệ quả khác nhau
| Hướng xét trong mẫu | Thông tin tại θ=0 | Điều cần ghi nhận |
|---|---|---|
| Giữ yêu cầu gốc và ngân hàng hiện có | Mỗi đề đúng ma trận chỉ đạt 1,20 | Chưa có phương án đạt toàn bộ yêu cầu; không phát hành với nhãn đã đạt |
| Sửa mục tiêu thông tin từ 1,50 xuống 1,20 | Có thể chia 3A+3B cho mỗi đề, không trùng | Đã thay đặc tả; cần lý do, đánh giá ảnh hưởng và phê duyệt, không gọi là đạt yêu cầu gốc |
| Bổ sung 6 câu B mới, mỗi câu có I(0)=0,20 | Mỗi đề chọn 3A+3B mới: 1,50 | Một phương án bổ sung tự dựng; các câu mới phải qua đầy đủ phát triển/thẩm định/hiệu chuẩn phù hợp |
Ở hướng bổ sung, có thể gán a=√0,80 và b=0 cho các câu B mới để kiểm phép tính minh họa. Sáu câu B mới chia ba cho mỗi đề; sáu câu A chia ba cho mỗi đề; sáu câu B cũ không được chọn trong phương án này. Có 18 câu riêng trong ngân hàng sau bổ sung, nhưng chỉ 12 câu được dùng. Đây là một phương án khả thi về phép đếm và mô hình đã giả định, không phải khẳng định sáu câu mới là số tối thiểu của mọi cách giải.
Nếu chọn giảm mục tiêu, cần giải thích quyết định ấy còn hỗ trợ diễn giải kết quả tới đâu. Nếu giữ mục tiêu, cần kế hoạch bổ sung đúng loại câu đang thiếu. Đổi nhãn mảng B thành A để đủ hàng, lấy câu chưa được phép dùng hoặc che phần chưa đạt đều không giải quyết vấn đề đo lường.
Phân biệt chưa tìm được với đã chứng minh không thể
Với bài toán lớn, thuật toán có thể dừng vì hết thời gian, có thể tìm được phương án thỏa điều kiện nhưng chưa chứng minh tối ưu, hoặc có thể chứng minh mô hình vô nghiệm. Ba trạng thái ấy cần được báo đúng. Huitzing, Veldkamp và Verschoor phân tích việc chẩn đoán vô nghiệm và các cách xử lý, trong đó yêu cầu mâu thuẫn hoặc ngân hàng thiếu câu phù hợp đều cần được xem [2].
Trước khi kết luận về ngân hàng, còn phải kiểm dữ liệu và cách khai báo: nhầm dấu ≤ thành ≥, gắn sai ô nội dung, bỏ sót câu đủ quyền dùng có thể tạo một bài toán khác ý định. Khi đã xác nhận mô hình đúng, việc nới một điều kiện cần có người chịu trách nhiệm và bản đặc tả mới. Một đề được tạo sau khi nới không tự trở thành nghiệm của bản yêu cầu trước đó.
Hồ sơ quyết định cần cho thấy cái được và cái mất
Đơn vị nên nhận bảng điều kiện gốc, trạng thái tìm kiếm, phần gây xung đột đã xác định, các phương án sửa và ảnh hưởng dự kiến. Mục tiêu thông tin cần ghi rõ vị trí năng lực, mô hình và thang; đạt I(0) không đồng nghĩa đạt trên mọi vùng. Khi dùng tham số ước lượng thật, còn cần xem mức bất định và bằng chứng phù hợp thay vì coi bảng tham số là các hằng số chắc chắn.
Học sinh thường chỉ thấy đề cuối cùng. Một quy trình xử lý xung đột có căn cứ giúp đề được chọn đúng cho mục đích học và đánh giá, thay vì ưu tiên một chỉ tiêu đẹp trong báo cáo. Điều đáng tin là đơn vị chỉ ra rõ điều đã đạt, điều phải sửa và phạm vi kết quả có thể được sử dụng.
Nguồn tham khảo
[1] Becker, B., Debeer, D., Sachse, K. A., & Weirich, S. (2021). Automated Test Assembly in R: The eatATA Package. Psych, 3(2), 96–112, các phần 3.3–3.4 và thảo luận. DOI 10.3390/psych3020010. Xem tài liệu
[2] Huitzing, H. A., Veldkamp, B. P., & Verschoor, A. J. (2004). Infeasibility in Automated Test Assembly Models: A Comparison Study of Different Methods. Measurement and Research Department Reports 2004-6, Cito, các phần 2–3. Xem tài liệu