Một câu từng được nhiều người làm tốt có thể tiếp tục có ích. Nhưng ngân hàng vẫn cần theo dõi xem nội dung, điều kiện dùng và bằng chứng đo lường còn phù hợp hay không. Rà soát định kỳ giúp phát hiện việc cần sửa; nó cũng tránh loại một câu chỉ vì đã cũ hoặc vội kết luận câu bị lộ khi tỷ lệ đúng tăng.
Thời gian đã qua không tự quyết định chất lượng
Có những nhiệm vụ giữ nguyên giá trị trong nhiều năm, trong khi một ngữ liệu có tên gọi, đơn vị hoặc thông tin thực tế có thể cần cập nhật sớm. Cần hỏi thay đổi nào ảnh hưởng điều người học phải làm và cách kết quả được diễn giải. Việc sửa chỉ để nhìn mới có thể làm phát sinh phiên bản mà chưa tạo thêm giá trị.
Standards 2014 nêu trách nhiệm theo dõi điều kiện thay đổi để sửa hoặc rút bài đánh giá khi cần, đồng thời không yêu cầu rút chỉ vì thời gian trôi qua nếu bài vẫn hữu ích [1]. Với ngân hàng câu hỏi, đơn vị có thể vận dụng nguyên tắc ấy bằng lịch rà và các dấu hiệu mở kiểm tra sớm, thay vì đặt một hạn dùng chung thiếu căn cứ cho mọi câu.
Một tỷ lệ tăng đáng chú ý nhưng chưa nói được nguyên nhân
Xem Q804 v1.0 trong ba đợt hoàn toàn giả định. Mỗi đợt có 400 phản hồi được giữ cho riêng câu này; số người đúng lần lượt là 180, 232 và 288. Đây không phải kết quả thật của Song Pa Lab, Empire hay một kỳ thi. Chưa có thông tin cho thấy ba nhóm người làm tương đương về năng lực hoặc các điều kiện khác.
Kéo ngang bảng để xem đầy đủ các cột.
| Đợt minh họa | N phân tích của câu | Số đúng | Tỷ lệ đúng |
|---|---|---|---|
| Lần 1 | 400 | 180 | 45% |
| Lần 2 | 400 | 232 | 58% |
| Lần 3 | 400 | 288 | 72% |
Tỷ lệ đúng tăng từ 45% lên 72%, tức 27 điểm phần trăm. Nó là tín hiệu cần xem, chưa phải bằng chứng câu đã mất độ khó hay bị chia sẻ trước thi. Nhóm sau có thể chuẩn bị tốt hơn, có năng lực khác, làm trong thời gian khác hoặc đã gặp ngữ liệu tương tự. Sai khóa, sai ánh xạ hay thay đổi phiên bản cũng cần được loại trừ.
Nếu cùng một câu được giao cho nhóm đang củng cố nền rồi đến nhóm rất vững, tỷ lệ đúng khác nhau là điều có thể xảy ra ngay khi quan hệ phản hồi theo năng lực vẫn ổn định. Phân tích IRT có thể giúp xem quan hệ ấy dưới một mô hình và thiết kế phù hợp, nhưng các lần chạy riêng không tự nằm trên cùng thang chỉ vì đều xuất ra tham số b.
Theo dấu hiệu để chọn đúng việc cần kiểm
| Dấu hiệu khi rà | Việc cần kiểm tiếp | Chưa nên kết luận chỉ từ dấu hiệu |
|---|---|---|
| Tỷ lệ đúng thay đổi qua các đợt | Mẫu người làm, bản câu/khóa, vị trí, thời gian, dữ liệu và điều kiện tổ chức | Không tự quy thành lộ câu hoặc tiến bộ của cùng nhóm |
| Thông tin thực tế trong ngữ liệu đã đổi | Mục tiêu câu, tính đúng của dữ kiện và nhu cầu cập nhật phiên bản | Không chỉ thay một nhãn rồi mặc định bằng chứng cũ giữ nguyên |
| Có thông tin câu bị chia sẻ ngoài phạm vi cho phép | Xác minh nội dung/bản, phạm vi tiếp cận và ảnh hưởng dự kiến | Không dùng một chỉ số phản hồi để kết tội cá nhân |
| Quan hệ phản hồi theo năng lực có dấu hiệu đổi | Thiết kế thang chung, độ ổn định tham số, bất định và giải thích thay thế | Không coi chênh b từ hai thang chưa liên kết là độ trôi thật |
Hướng dẫn ITC về kiểm soát chất lượng đề cập kiểm độ ổn định tham số câu chung khi liên kết và xem khác biệt điều kiện tổ chức [2]. Những việc ấy cần dữ liệu, mô hình và chuyên môn tương ứng. Một báo cáo rà tốt phải cho thấy đã kiểm gì, phần nào còn thiếu và kết luận hỗ trợ được tới đâu.
Mức sử dụng phải đi cùng phạm vi tiếp cận
Số lần câu xuất hiện trong đề và số người thực sự gặp câu là hai thông tin khác nhau. Một câu có thể xuất hiện ở ba đợt nhưng chỉ được giao cho một phần người tham gia; một ngữ liệu có thể được dùng lại qua nhiều bộ câu con. Nhật ký nên theo cả mã/bản câu và ngữ liệu, không chỉ tổng lượt thi của chương trình.
Nếu tài liệu đã được chủ động công khai để luyện, việc nhiều em biết câu không nhất thiết là sự cố bảo mật. Tuy nhiên, đơn vị cần xem câu còn phù hợp cho mục đích đo chưa công khai ở lần sau không. Nếu nghi có chia sẻ trái phép, cần xác minh và xử lý theo quy trình; không suy từ bảng 45–58–72% rằng việc chia sẻ chắc chắn đã xảy ra.
Một kết quả rà cần dẫn tới trạng thái sử dụng rõ
Sau rà, đơn vị có thể giữ trong phạm vi cũ, sửa nội dung, thu thêm dữ liệu, hạn chế một cách dùng hoặc tạm ngừng để thẩm định. Mỗi lựa chọn cần nêu lý do, người chốt, phiên bản và điều kiện xem lại. Câu đang kiểm vì nghi sai khóa có thể cần bị chặn ở các gói chưa phát; một câu chưa đủ dữ liệu ở vùng mới có thể vẫn có vai trò khác đã được xác nhận.
Lịch rà cũng không thay cho tiếp nhận phản hồi. Một lỗi hình hay lời giải có thể cần xử lý ngay khi phát hiện, trong khi đánh giá độ phủ cả ngân hàng có thể thực hiện theo một chu kỳ riêng. Không nên chờ đến ngày rà chung mới xử lý một vấn đề đang ảnh hưởng người làm.
Với học sinh, luyện lại một câu quen giúp củng cố cách giải nhưng điểm ở lần nhớ đáp án không tự cho biết năng lực với nhiệm vụ mới. Em có thể thử giải thích lập luận, rồi chuyển sang ngữ liệu khác cùng kỹ năng. Việc rà câu của đơn vị và việc tự kiểm hiểu của học sinh cùng hướng tới kết quả có ý nghĩa, thay vì chỉ giữ một con số đúng cao.
Nguồn tham khảo
[1] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standard 4.24 và bình luận, tr. 93. Xem tài liệu
[2] International Test Commission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3), 195–217, các mục 2.4.1 và 2.4.2.1–2.4.2.3. DOI 10.1080/15305058.2014.918040. Xem tài liệu