Đề đã được duyệt nhưng hình trong gói thi lại lấy từ thư mục cũ. Một lỗi như vậy có thể làm thay đổi câu học sinh thực sự nhìn thấy, dù danh sách mã câu không thay đổi. Trước phát hành, cần kiểm cả gói sẽ được đưa lên hệ thống hoặc in ra, từ nội dung hiển thị đến đáp án và quy tắc chấm gắn với nó.
Gói phát hành là bộ được phép đem dùng
Một gói phát hành chứa những thành phần cần đi cùng nhau trong một lần sử dụng: đề, ngữ liệu, hướng dẫn, khóa hoặc rubric, ánh xạ các mã và dữ liệu chấm liên quan. Mỗi thành phần có phiên bản xác định. Có thể hình dung đây là ảnh chụp của bộ đã chốt, để người sau biết chính xác bản nào được phát và bản nào dùng để tính kết quả.
Mã gói không thay cho kiểm nội dung, nhưng giúp tránh việc mỗi nhóm tự lấy một tệp mang tên “mới nhất”. ITC đề nghị thống nhất cách chuyển thông tin giữa nhóm phát triển và nhóm phân tích, phân công quyền quyết định, đồng thời ghi nhận hoạt động và lỗi [1]. Đơn vị cần chuyển các nguyên tắc ấy thành quy trình phù hợp với hệ thống mình.
Một phiếu đối soát phát hiện đúng phần đang lệch
Tình huống hoàn toàn tự dựng dưới đây dùng gói PKG021 dự kiến có 12 câu tính điểm, không có câu thử. Các mã, phiên bản và trạng thái chỉ minh họa cách đọc phiếu; không phải các tệp thật đã được tạo hay một gói đang được Song Pa Lab phát hành. Giả sử bản ngữ liệu S18 v2.0 đã được duyệt dùng đơn vị lít; trong bản cũ v1.0, nhãn vẫn ghi mL trong khi các trị số hiển thị giống nhau.
Kéo ngang bảng để xem đầy đủ các cột.
| Thành phần cần đối soát | Bản yêu cầu trong mẫu | Phát hiện giả định | Kết luận kiểm |
|---|---|---|---|
| Danh sách đề | F02 v1.0; 12 mã/bản câu | Đủ 12 vị trí, đúng mã và bản | Đạt riêng kiểm danh sách |
| Khóa và ánh xạ | K02 v1.2; gắn F02 v1.0 | 12 vị trí khớp mã câu/phương án | Đạt riêng kiểm ánh xạ |
| Ngữ liệu hình | S18 v2.0; trục ghi lít | Gói lấy S18 v1.0; trục ghi mL | Chặn gói, sửa nguồn hình |
| Quy tắc chấm | SC01 v1.0 đã chốt | Đúng định danh quy tắc dự kiến | Cần kiểm chấm mẫu trên gói sửa |
| Tham số nếu chấm IRT | CAL04 v1.4; thang SP-T | Đủ 12 hồ sơ cùng bản dự kiến | Chưa chứng minh nội dung hiển thị đúng |
Đủ 12 bản ghi tham số không cứu được lỗi hình. Nếu nhãn đơn vị làm thay đổi ý nghĩa số liệu, người làm có thể đang giải một nhiệm vụ khác bản đã được thẩm định. Cách xử lý là ngừng chuyển gói này sang trạng thái được dùng, xác nhận lại đúng ngữ liệu, xem ảnh hưởng đến câu và khóa, rồi dựng lại gói để kiểm.
Cũng cần biết đây là lỗi đóng gói hay lỗi trong bản nội dung đã duyệt. Nếu chỉ lấy nhầm tệp và thay bằng đúng tệp đã duyệt, nhật ký ghi việc sửa đóng gói. Nếu bản được duyệt cũng phải sửa nội dung, cần quy trình phiên bản câu và xem lại bằng chứng liên quan. Không nên dùng một nhãn “đã sửa” để bỏ qua sự khác nhau ấy.
Xem bản hiển thị mà người làm thực sự gặp
Với đề giấy, mở bản in cuối để kiểm dấu, ký hiệu, trang, hình và các câu dẫn sang ngữ liệu. Với thi trên máy, xem đúng giao diện dự kiến: hình có đọc được không, phương án có đủ không, câu ghép có giữ ngữ liệu, thao tác nhập có nhận đúng loại câu trả lời hay không. Mở được tệp chưa có nghĩa nhiệm vụ đã được trình bày đúng.
Hướng dẫn cho người làm cũng là một phần của bộ. Standards 2014 nêu yêu cầu làm rõ điều kiện tổ chức, hướng dẫn trả lời và thủ tục chấm [2]. Nếu cho chọn nhiều phương án, nhập số hoặc nhận điểm từng phần, cách trả lời và quy tắc liên quan cần nhất quán giữa hướng dẫn, nội dung và bộ xử lý.
Đặt kết quả kỳ vọng rồi kiểm chấm mẫu
Có thể thiết kế lượt trả lời mẫu biết trước để kiểm các đường xử lý quan trọng. Bảng sau chỉ dùng quy tắc điểm thô tự dựng: 12 câu một đáp án, đúng 1 điểm, sai hoặc bỏ trống 0 điểm. Cột cuối là kết quả kỳ vọng để đối soát, không phải nhật ký một hệ thống thật đã chạy. Khi chấm IRT, cần bộ kiểm riêng cho phương pháp ước lượng và báo điểm đã phê duyệt.
| Lượt kiểm tự dựng | Phản hồi mẫu theo đúng mã | Điểm thô kỳ vọng |
|---|---|---|
| TC01 | Chọn đúng cả 12 câu | 12/12 |
| TC02 | Chọn một phương án sai ở mỗi câu | 0/12 |
| TC03 | Đúng 11 câu, bỏ trống 1 câu | 11/12 |
Nếu có nhiều mã đề, các lượt mẫu cần đi qua ánh xạ của từng mã. Nếu có câu nhiều mức điểm, cần thêm trường hợp nhận điểm từng phần, sai định dạng và giá trị ở biên quy tắc. Bộ ba lượt trên không phải bộ kiểm đủ cho mọi hệ thống. Người phụ trách cần chọn phép kiểm dựa trên những lỗi có thể ảnh hưởng kết quả và ghi lại cái đã kiểm, cái chưa kiểm.
Chốt bộ cuối cùng và quyền phát hành
Sau khi sửa ngữ liệu, nên tạo lại gói có định danh rõ, kiểm lại các phần bị ảnh hưởng và có xác nhận độc lập theo phân công. Có thể dùng dấu kiểm toàn vẹn tệp để phát hiện bytes bị thay sau khi chốt; dấu ấy không xác nhận đáp án đúng hay câu phù hợp mục tiêu. Người duyệt cần xem cả nội dung lẫn bằng chứng kiểm chứ không chỉ một mã kỹ thuật.
Hồ sơ bàn giao nên giữ danh sách thành phần, phiên bản, kết quả kiểm hiển thị/chấm mẫu, vấn đề đã xử lý, phần còn hạn chế và người cho phép dùng. Học sinh không cần đọc mọi chi tiết kỹ thuật này. Điều có ích với các em là câu được nhìn thấy, cách trả lời được hướng dẫn và cách chấm thực sự nhất quán trong chính lượt làm của mình.
Nguồn tham khảo
[1] International Test Commission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3), 195–217, các mục 1.2, 1.6–1.7, 2.3. DOI 10.1080/15305058.2014.918040. Xem tài liệu
[2] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standards 4.15, 4.16 và 4.18, tr. 90–91. Xem tài liệu