Hãy hình dung một ngân hàng có vài trăm câu đã được thẩm định. Bấm chọn ngẫu nhiên 20 câu có thể cho ra một đề đủ số lượng, nhưng phần cần đo lại xuất hiện rất ít. Tổ hợp đề là chọn và sắp xếp câu để cả đề đáp ứng một kế hoạch đo cụ thể. Chất lượng từng câu là điểm xuất phát; chất lượng của tập câu được chọn còn phải được kiểm riêng.
Đủ số câu chưa có nghĩa đủ điều cần đánh giá
Một đề cần trả lời trước câu hỏi: kết quả sẽ giúp hiểu điều gì về người làm? Nếu muốn xem cả đọc dữ liệu, suy luận quan hệ và xử lý một tình huống mới, đề phải tạo cơ hội cho cả ba hoạt động ấy xuất hiện. Ma trận đề ghi các phần cần có và mức độ thực hiện. Nó giúp việc lựa chọn có căn cứ thay vì dựa vào câu nào đang sẵn hoặc trông có vẻ hay.
Trong tài liệu nghiên cứu về tổ hợp đề tự động, Shao và cộng sự mô tả công việc chọn câu từ ngân hàng và đóng thành các đề dưới các ràng buộc nội dung và đo lường [1]. Có thể hiểu ràng buộc là điều đề phải đáp ứng, chẳng hạn số câu trong từng mảng. Máy tính có thể hỗ trợ tìm cách chọn; đơn vị vẫn phải xác định đúng mục tiêu và kiểm sản phẩm.
Một lượt rút ngẫu nhiên có thể lệch thế nào
Ví dụ sau hoàn toàn tự dựng, không phải ma trận HSA, V-ACT hoặc TSA. Một buổi đánh giá nhỏ dự kiến dùng 20 câu, với phân bổ 8–6–6. Giả sử ngân hàng có nhiều câu đọc dữ liệu hơn các mảng còn lại. Một lượt rút không xét ma trận cho kết quả như bảng. Cả ba cột đều nói về số câu, không phải điểm hay tỷ trọng chấm IRT.
Kéo ngang bảng để xem đầy đủ các cột.
| Mảng trong đề minh họa | Yêu cầu | Một lượt rút | Bộ được chọn lại |
|---|---|---|---|
| Đọc dữ liệu | 8 | 14 | 8 |
| Suy luận quan hệ | 6 | 4 | 6 |
| Giải quyết tình huống | 6 | 2 | 6 |
| Tổng | 20 | 20 | 20 |
Lượt rút vẫn có 20 câu, nhưng thiếu 2 câu suy luận quan hệ và 4 câu tình huống so với kế hoạch. Sáu vị trí ấy bị lấp bằng phần đọc dữ liệu. Nếu chỉ nhìn tổng điểm sau thi, người đọc có thể tưởng đề đã tạo cơ hội quan sát cân đối ba mặt. Trong thực tế minh họa này, một phần kết luận đang dựa vào rất ít nhiệm vụ.
Cột cuối sửa được phân bổ theo mảng, nhưng chưa đủ để phát hành. Tám câu đọc dữ liệu có thể đều yêu cầu tìm một con số hiện rõ; sáu câu tình huống có thể cùng dựa vào một loại bài quen. Đơn vị còn phải xem mức suy luận, ngữ liệu và những điều kiện khác của ma trận, không chỉ cộng các hàng cho đúng tổng.
IRT bổ sung điều gì vào việc chọn câu
Khi các câu đã có tham số phù hợp trên cùng thang, IRT giúp xem đề dự kiến đo rõ ở vùng năng lực nào. Một đề tập trung toàn câu có ích với nhóm rất vững có thể cho ít thông tin ở vùng người học đang củng cố nền. Thông tin đo lường ở đây diễn tả mức độ kết quả phản hồi giúp ước lượng năng lực trong mô hình, không phải lượng kiến thức hay số trang lý thuyết trong đề.
Vì thế, hồ sơ tổ hợp có thể đặt thêm mục tiêu về đường thông tin của cả đề tại một số vùng cần quan tâm. Mục tiêu ấy phải đi cùng nội dung, độ dài và thời gian. Chọn các câu có độ phân biệt a cao nhất không tự bảo đảm đề phù hợp; một câu tốt ở vùng này có thể đóng góp ít ở vùng khác. Tham số cũng phải thuộc đúng bản câu, đúng quy ước và thang đang dùng.
Có thể dùng ngẫu nhiên trong một quy trình có kiểm soát
Ngẫu nhiên vẫn có chỗ đứng. Chẳng hạn, trong một ô ma trận có nhiều câu đủ điều kiện và đáp ứng các yêu cầu đo lường, hệ thống có thể lựa chọn theo cơ chế ngẫu nhiên đã xác định. Điểm cần phân biệt là rút trong tập được phép dưới các điều kiện đã kiểm, khác với bốc toàn ngân hàng rồi coi kết quả nào cũng đạt.
Ngoài ma trận, người tổ hợp cần kiểm các câu không được đi cùng nhau, ngữ liệu phải đi cùng câu con, câu đã tạm ngừng và giới hạn sử dụng. Một câu chứa gợi ý cho câu khác là vấn đề của cả tổ hợp dù từng câu đứng riêng vẫn rõ. Nếu không tìm được bộ đáp ứng các điều kiện, cần báo phần xung đột và người có quyền quyết định, không âm thầm bỏ một yêu cầu.
Đơn vị có thể nhìn thấy sản phẩm tổ hợp ra sao
Một hồ sơ có thể trình bày danh sách mã câu và phiên bản, bảng đối chiếu ma trận yêu cầu với thực tế, thông tin đo lường theo vùng, kết quả kiểm ngữ liệu và các ngoại lệ. Đây là mô tả sản phẩm minh họa, không phải tuyên bố một bộ đề thật đã được tạo. Standards 2014 yêu cầu lưu tài liệu về quy trình chọn câu từ ngân hàng và đối chiếu miền nội dung với đặc tả [2].
Với học sinh, lợi ích gần nhất là hiểu vì sao hai đề cùng 20 câu có thể cho những cơ hội thể hiện rất khác nhau. Khi chọn tài liệu ôn đánh giá năng lực, em có thể hỏi đề đang bám mục tiêu nào và lời giải cho thấy loại tư duy nào. Tên gọi “đề chuẩn hóa” cần được giải thích bằng quy trình và bằng chứng cụ thể; riêng thao tác chọn ngẫu nhiên hoặc riêng bảng tham số IRT chưa trả lời đủ câu hỏi ấy.
Nguồn tham khảo
[1] Shao, C., Liu, S., Yang, H., & Tsai, T.-H. (2020). Automated Test Assembly Using SAS Operations Research Software in a Medical Licensing Examination. Applied Psychological Measurement, 44(3), 219–233, phần tóm tắt và giới thiệu. DOI 10.1177/0146621619847169. Xem tài liệu
[2] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standards 4.7 và 4.12, tr. 87–89. Xem tài liệu