Một ngân hàng tăng từ 84 lên 121 câu đủ quyền sử dụng có thể được xem là tiến bộ. Nhưng nếu phần tăng thêm vẫn tập trung ở nơi đã dư, đơn vị có thể chưa tạo thêm được loại đề đang cần. Đánh giá hiệu quả phải nối số lượng với độ phủ, bằng chứng chất lượng, khả năng tổ hợp theo mục tiêu và nguồn lực để duy trì.
So sánh hai phương án từ cùng một điểm xuất phát
Dùng lại bản đồ giả định ở bài 187: ngân hàng lưu 120 mã câu riêng, có 84 câu đủ quyền, phân bố theo ba mảng và ba vùng b. Các hàng số lần lượt là (15,18,7), (6,16,10), (4,6,2). Mục tiêu quản trị tự đặt là ít nhất 12 câu đủ quyền ở mỗi ô. Chỉ ba trong chín ô đang đạt; tổng phần thiếu của sáu ô còn lại là 37.
Hai phương án dưới đây đều giả định phát triển thêm 37 câu mới và cuối chu kỳ đều có đủ bằng chứng để được chấp nhận trong phạm vi đã định. Ba mươi sáu câu chưa đủ quyền ban đầu không đổi trạng thái trong so sánh này. Các số kết quả và giờ công đều tự dựng, không phải hiệu quả thực tế của Song Pa Lab, dự báo thời gian hay giá dịch vụ.
Phương án X dồn cả 37 câu vào ô đọc dữ liệu ở vùng giữa, làm ô này tăng từ 18 lên 55. Phương án Y tăng đúng phần thiếu của sáu ô: 5, 6, 2, 8, 6 và 10 câu. Ngân hàng sau Y có các hàng (15,18,12), (12,16,12), (12,12,12). Hai cách đều có 121 câu đủ quyền trên 157 mã đang lưu, nhưng cấu trúc sử dụng khác nhau.
Kéo ngang bảng để xem đầy đủ các cột.
| Chỉ tiêu của tình huống | Ban đầu | Sau X | Sau Y |
|---|---|---|---|
| Mã câu riêng đang lưu | 120 | 157 | 157 |
| Câu đủ quyền trong phạm vi | 84 | 121 | 121 |
| Ô có ít nhất 12 câu đủ quyền | 3/9 | 3/9 | 9/9 |
| Tổng phần thiếu so với từng ô | 37 | 37 | 0 |
| Trần số đề theo riêng phép đếm ô | 1 | 1 | 6 |
| Giờ công tăng thêm giả định | — | 180 | 260 |
Hai phương án tự dựng cùng tăng lên 121 câu đủ quyền nhưng có độ phủ khác nhau. Trục dọc đếm ô đạt chỉ tiêu trong tổng chín ô; đây không phải chỉ số độ chính xác IRT hay số đề đã được phát hành.
Đọc đúng trần số đề trong bảng
Để kiểm khả năng lựa chọn theo số lượng, giả sử mỗi đề minh họa cần 18 câu, tức hai câu ở mỗi ô, và các đề không trùng câu. Nếu tạm chỉ xét riêng phép đếm ô, số đề tối đa là phần nguyên của số câu ở ô ít nhất chia cho hai. Ban đầu và sau X, ô ít nhất vẫn có 2 câu nên trần là 1. Sau Y, ô ít nhất có 12 câu nên trần tăng thành 6.
Đây là cận theo một nhóm điều kiện, không phải kết quả đã tổ hợp và nghiệm thu sáu đề thật. Quy tắc chùm, câu gợi ý nhau, thông tin đo lường, thời gian, phạm vi dùng và các ràng buộc khác có thể làm số đề thực sự đáp ứng ít hơn. Một ngân hàng có đủ số câu theo ô vẫn cần kiểm bài toán tổ hợp đầy đủ [1].
Nguồn lực ít hơn chưa chắc tạo giá trị sử dụng cao hơn
Nếu chia giờ công gán cho số câu mới đủ quyền, X có khoảng 4,86 giờ/câu và Y khoảng 7,03 giờ/câu. Phép chia đúng nhưng chỉ phản ánh một góc của tình huống. Y dùng thêm nguồn lực để phát triển đúng phần khó hoặc đang thiếu; trong mô hình phép đếm đã nêu, Y mở rộng khả năng lựa chọn mà X chưa tạo ra.
Khi áp dụng thật, phải định nghĩa giờ công bao gồm việc gì, cùng một kỳ theo dõi và cùng cách tính. Cần phân biệt thời gian biên soạn, phản biện, thu dữ liệu, phân tích, thẩm định và vận hành; không bỏ phần việc khó đo ở một phương án rồi so với tổng nguồn lực của phương án khác. Cũng không coi các số giờ giả định trên là định mức làm ra một câu chuẩn hóa.
Giữ bốn mặt đánh giá để tránh một chỉ tiêu đẹp che phần yếu
| Mặt cần theo dõi | Một bằng chứng có thể xem | Câu hỏi quản trị |
|---|---|---|
| Độ phủ | Bản đồ câu đủ quyền theo mục tiêu và phần thiếu từng ô | Ngân hàng đang thiếu ở đâu cho các cách dùng sắp tới? |
| Chất lượng sử dụng | Hồ sơ nội dung, mô hình/thang, độ chính xác và giới hạn đã được thẩm định | Quyền dùng được hỗ trợ bằng gì, còn ngoại lệ nào? |
| Khả năng tổ hợp | Các bộ đáp ứng đầy đủ điều kiện và kết quả kiểm toàn đề | Có tạo được loại đề cần dùng mà không vi phạm ràng buộc? |
| Nguồn lực duy trì | Giờ công, việc chờ xử lý, lịch rà và hồ sơ cập nhật theo cùng phạm vi | Có duy trì được chất lượng khi tiếp tục khai thác không? |
Có thể thêm tỷ lệ hoàn thiện theo kế hoạch, thời gian xử lý phản hồi và độ đầy đủ của nhật ký. Nhưng các chỉ tiêu cần đi cùng ý nghĩa và phạm vi. Tỷ lệ nhiều câu được giữ không tự tốt hơn nếu tiêu chí đã bị nới; số câu bị tạm ngừng cũng không tự là thất bại nếu việc rà đã phát hiện và ngăn vấn đề đúng lúc.
Dùng kết quả đánh giá để quyết định chu kỳ tiếp theo
Một báo cáo hữu ích nên kết thúc bằng nhóm việc được ưu tiên: bổ sung ô thiếu, hoàn thiện bằng chứng đang chờ, thay ngữ liệu không còn phù hợp, kiểm lại quyền dùng hoặc cải thiện bước đang nghẽn. ITC về kiểm soát chất lượng đặt việc phân công, theo dõi và ghi nhận trong quy trình [2]. Đánh giá ngân hàng cần gắn với các việc có thể thực hiện và kiểm lại ở chu kỳ sau.
Với học sinh, nguyên tắc này giúp hiểu giá trị của một kho đề: con số lớn trên trang giới thiệu chưa nói đủ về điều em sẽ được học và kết quả sẽ được giải thích ra sao. Với đơn vị, một ngân hàng được duy trì tốt là ngân hàng tạo được các cách đánh giá có căn cứ cho đúng mục tiêu, đồng thời biết rõ phần cần tiếp tục phát triển.
Nguồn tham khảo
[1] Becker, B., Debeer, D., Sachse, K. A., & Weirich, S. (2021). Automated Test Assembly in R: The eatATA Package. Psych, 3(2), 96–112, các phần 3.2–3.4. DOI 10.3390/psych3020010. Xem tài liệu
[2] International Test Commission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3), 195–217, các mục 1.2, 1.6–1.7. DOI 10.1080/15305058.2014.918040. Xem tài liệu