Một câu không chỉ có hai trạng thái “có trong ngân hàng” và “được dùng”. Nó đi qua tiếp nhận, thẩm định nội dung, thu bằng chứng, cho phép sử dụng và có thể bị hạn chế khi điều kiện thay đổi. Quản trị vòng đời là xác định ai được chuyển câu sang bước nào, dựa vào hồ sơ gì và quyền sử dụng thay đổi ra sao sau quyết định ấy.
Trạng thái phải mô tả quyền sử dụng hiện tại
Một bản đã rõ nội dung có thể được phép thử theo kế hoạch nhưng chưa đủ căn cứ chấm IRT trên thang báo cáo. Một bản có tham số đã được phân tích có thể vẫn chờ thẩm định độ phù hợp. Khi dùng các nhãn khác nhau cho những quyền ấy, đơn vị tránh việc một bước hoàn thành bị hiểu thành hoàn thành toàn bộ quy trình.
Sơ đồ sau là mô hình quản trị tự dựng cho một ngân hàng minh họa. Nó không phải quy trình đang vận hành của Song Pa Lab hoặc Empire, cũng không phải một sơ đồ bắt buộc của ETS hay ITC. Các mũi tên chỉ hướng chuyển cần được xem xét; không có nghĩa cứ đi đến ô trước là tự được chuyển sang ô sau.
Mô hình minh họa gồm đường phát triển chính và hai hướng xử lý khi bị hạn chế. Giữ nguyên nội dung cần kiểm căn cứ để xét lại quyền dùng; sửa nội dung tạo bản mới trở lại bước phản biện. Mọi chuyển trạng thái cần quyết định được lưu.
Gắn điều kiện chuyển với hồ sơ cần có
| Chuyển trạng thái trong mẫu | Căn cứ cần xem | Quyền được chốt |
|---|---|---|
| Phản biện → được phép thử | Bản nội dung/khóa đã chốt, mục tiêu thử, đối tượng và điều kiện được duyệt | Thu bằng chứng theo kế hoạch, chưa tự chấm báo điểm chính thức |
| Thẩm định bằng chứng → đủ quyền dùng | Nội dung, dữ liệu, mô hình/thang, mức bất định và tiêu chí mục đích đã được xem | Dùng trong phạm vi ghi rõ, không mở rộng sang mọi đề |
| Đủ quyền dùng → hạn chế | Vấn đề đã tiếp nhận cần ngăn ảnh hưởng tiếp hoặc điều kiện cũ không còn được hỗ trợ | Chặn hoặc giới hạn các cách dùng liên quan theo mức đã quyết định |
| Hạn chế → xét lại cùng bản | Nguyên nhân được xác minh, xử lý và bằng chứng phù hợp được kiểm | Người có thẩm quyền quyết định lại; không tự bật quyền cũ |
| Hạn chế → tạo bản nội dung mới | Có thay đổi câu dẫn, ngữ liệu, phương án, khóa hoặc nhiệm vụ cần quản lý riêng | Mở hồ sơ bản mới; xác định việc thẩm định/thử/phân tích cần thực hiện |
Các ô căn cứ không phải danh sách giấy tờ để tích cho đủ. Cần đọc bằng chứng theo câu hỏi sử dụng: câu được dùng với ai, trong điều kiện nào và phục vụ quyết định gì. Khi bằng chứng chưa hỗ trợ một quyền, hồ sơ phải giữ trạng thái hạn chế tương ứng, kể cả khi phần nội dung hoặc một chỉ số khác đã thuận lợi.
Tái sử dụng cùng bản và dùng bản đã sửa là hai quyết định khác nhau
Giả sử Q915 v1.0 bị tạm chặn vì phát hiện gói hiển thị lấy nhầm ngữ liệu cũ. Sau đối soát, xác nhận bản nội dung đã duyệt không thay; nhóm phụ trách khôi phục đúng tài sản hiển thị, kiểm gói và xem ảnh hưởng tới các lượt liên quan. Người được giao quyền có thể xét lại việc dùng Q915 v1.0 dựa trên hồ sơ ấy, thay vì tự bỏ cờ khi tệp hình được thay.
Trường hợp khác, Q916 phải viết lại yêu cầu để loại hai cách hiểu. Đây là thay đổi nội dung cần bản mới, không phải chỉ giải quyết một liên kết tệp sai. Hồ sơ cũ được giữ để truy lịch sử; tham số và trạng thái dùng của bản cũ không tự truyền sang bản mới. Mức kiểm và thu bằng chứng tiếp theo cần tương xứng với thay đổi.
ETS yêu cầu xem xét thử nghiệm, mô hình và các điều kiện phù hợp trong phát triển câu, đồng thời đề cập kiểm lại câu đã sửa khi khả thi [1]. Điều đó hỗ trợ một quyết định dựa vào bản chất thay đổi, không phải cách làm đồng loạt rằng mọi sửa hình thức đều giống nhau hoặc mọi bản sửa đều được dùng ngay.
Giữ những điều luôn phải đúng trong hệ thống
Khi xuất một đề, tập được chọn phải nối tới bản nội dung đã chốt, hồ sơ chấm tương ứng và quyền dùng còn hiệu lực trong phạm vi ấy. Bản đang sửa không được ghi đè bản đã phát. Một câu đang bị chặn vì vấn đề đáp án chưa giải quyết không được lẫn trở lại tập dùng chấm chỉ vì bảng tham số vẫn còn trong thư mục.
Một quyết định nên ghi người chốt, thời điểm, trạng thái trước–sau, lý do, hồ sơ hỗ trợ và phạm vi các gói bị ảnh hưởng. Nếu câu thuộc chùm, cần xem thay đổi có tác động tới ngữ liệu hoặc các câu con khác không. Nếu là câu neo, cần xem ảnh hưởng tới liên kết thay vì chỉ cập nhật một dòng trong danh sách câu.
ITC nhấn mạnh trách nhiệm khi có vấn đề, theo dõi độc lập và ghi nhận hoạt động, lỗi [2]. Trong mô hình minh họa này, các nguyên tắc ấy được thể hiện qua quyền chuyển trạng thái và hồ sơ đi kèm. Người quản trị kỹ thuật có thể hỗ trợ khóa quyền hoặc khôi phục dữ liệu; quyết định nội dung và đo lường vẫn cần người đủ trách nhiệm chuyên môn.
Theo dõi điểm nghẽn để cải thiện quy trình
Ngân hàng có thể theo dõi số câu và thời gian chờ ở từng bước để tìm nơi thiếu người hoặc thiếu bằng chứng. Những số ấy không nên tạo áp lực chuyển câu sang trạng thái đạt khi chưa đủ căn cứ. Cần xem chất lượng quyết định và nhu cầu sử dụng cùng tốc độ xử lý.
Học sinh được hưởng lợi khi câu có vấn đề được ngăn dùng tiếp, bản sửa được kiểm đúng mức và kết quả cũ có thể đối soát. Vòng đời chỉ có ý nghĩa khi trạng thái thực sự điều khiển quyền sử dụng, thay vì là nhãn trong báo cáo.
Nguồn tham khảo
[1] Educational Testing Service (2014). ETS Standards for Quality and Fairness, Standard 7.5, tr. 32. Xem tài liệu
[2] International Test Commission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3), 195–217, các mục 1.4.2–1.4.3, 1.6–1.7 và 2.4.1.5–2.4.1.6. DOI 10.1080/15305058.2014.918040. Xem tài liệu