Một bảng tham số chưa trả lời đủ câu hỏi “câu này được dùng thế nào?”. Bảng nghiệm thu cần nối con số với bằng chứng nội dung, điều kiện thử và quyết định có trách nhiệm. Người tiếp nhận phải nhìn ra câu nào được giữ trong phạm vi nào, câu nào còn việc phải làm và vì sao các kết quả có vẻ thuận lợi vẫn chưa đủ để phát hành.
Đọc bảng số cùng hồ sơ đứng sau nó
Hai bảng dưới là hồ sơ hoàn toàn tự dựng. Tham số, sai số chuẩn, cỡ mẫu và nhận xét đều được gán để minh họa cách đọc một sản phẩm nghiệm thu, không phải kết quả ước lượng từ dữ liệu thật của Song Pa Lab hoặc Empire. Hồ sơ thật cần dẫn tới dữ liệu và các kết quả kiểm đã thực hiện.
Các dòng có tham số dùng quy ước 2PL, D=1, c=0, trên thang giả định SP-R. a mô tả độ phân biệt, b mô tả vị trí của câu theo mô hình; SE là sai số chuẩn ước lượng. N là số phản hồi dùng cho phân tích câu trong hồ sơ này, không phải tổng số người đăng ký một đợt thử.
Kéo ngang bảng để xem đầy đủ các cột.
| Mã câu và bản | N phân tích | a (SE) | b (SE) |
|---|---|---|---|
| Q701 v1.0 | 190 | 1,10 (0,18) | −0,35 (0,16) |
| Q708 v1.0 | 186 | 0,28 (0,14) | 0,90 (0,49) |
| Q719 v1.0 | 78 | 1,70 (0,55) | 1,40 (0,35) |
| Q730 v1.0 | Không phân tích tiếp | — | — |
Chưa nên đọc dòng đầu là “a trên 1 nên đạt”, hoặc dòng thứ ba là “a cao nhất nên tốt nhất”. Bảng chưa chứa toàn bộ bằng chứng. Cần biết câu đo gì, mô hình và mẫu có phù hợp không, phần kiểm nào đã làm, độ bất định có chấp nhận cho mục đích sử dụng không và những hạn chế nào còn tồn.
Bốn quyết định nối với bốn việc tiếp theo
Kéo ngang bảng để xem đầy đủ các cột.
| Câu | Bằng chứng bổ sung tự dựng | Quyết định hiện tại | Việc và phạm vi được chốt |
|---|---|---|---|
| Q701 | Nội dung/khóa đã duyệt; hồ sơ kiểm theo kế hoạch chưa phát hiện vấn đề cần chặn; độ chính xác phù hợp mục tiêu đã định | Giữ có phạm vi | Đưa vào tập dự tuyển cho mục tiêu THPT trên SP-R; vẫn phải kiểm toàn đề |
| Q708 | Phản hồi và thẩm định cho thấy hai cách hiểu câu dẫn; thống kê gợi ý cần xem lại nhưng chưa xác định nguyên nhân riêng | Sửa | Chặn bản v1.0; tạo bản sửa, duyệt nội dung và xác định việc thử lại |
| Q719 | Ít dữ liệu ở vùng cần đo, ước lượng còn bất định; chưa giải quyết xong phần kiểm mẫu và độ ổn định | Thử thêm | Thu bổ sung đúng vùng thiếu rồi phân tích lại; chưa xếp là câu sẵn sàng dùng theo mục tiêu hiện tại |
| Q730 | Nhiệm vụ không còn thuộc miền nội dung mà ngân hàng cần phục vụ | Ngừng dùng trong phạm vi này | Giữ lịch sử và lý do; loại khỏi danh sách được chọn cho ngân hàng hiện tại |
Quyết định của Q708 dựa trên vấn đề nội dung đã được thẩm định, không chỉ vì a thấp. Q719 được đề nghị thử thêm vì bằng chứng còn thiếu ở mục tiêu sử dụng, không vì 78 là một ngưỡng cấm chung. Q730 có thể không phù hợp với ngân hàng này dù ở một mục đích khác nhiệm vụ ấy vẫn có giá trị. Phạm vi của quyết định cần được ghi rõ như vậy.
Giữ nghĩa là được sử dụng có điều kiện
Một câu được giữ cần gắn đúng phiên bản, mô hình, thang và mục đích. Khi lắp đề, nó vẫn phải khớp ma trận, thời lượng, quan hệ ngữ liệu và đóng góp thông tin. Trạng thái giữ không cho phép sửa nội dung rồi tự chuyển toàn bộ bằng chứng của bản cũ sang bản mới.
Sửa và thử thêm cũng dẫn tới hai loại công việc khác nhau. Khi đã biết cách hỏi có vấn đề, chỉ thu thật nhiều phản hồi cho nguyên bản mơ hồ không thay việc sửa nội dung. Khi nội dung đã rõ nhưng dữ liệu chưa đủ ở một vùng quan trọng, một chỉnh sửa tùy ý có thể làm mất liên hệ với bằng chứng đã có. Cần xác định đúng điểm đang thiếu trước khi chọn hướng xử lý.
Bảng nghiệm thu cần có nơi mở các căn cứ
Standards 2014 yêu cầu lưu mô hình, mẫu, quy trình sàng lọc và các bằng chứng liên quan khi đánh giá đặc tính câu [1]. Hướng dẫn kiểm soát chất lượng của ITC cũng yêu cầu rà nội dung và khóa khi thống kê gây nghi ngờ, cùng việc cập nhật phân tích và tài liệu sau các thay đổi liên quan [2]. Hai bảng minh họa là cách trình bày đề xuất, không phải bộ ngưỡng hoặc biểu mẫu bắt buộc do các nguồn ấy đặt ra.
Mỗi dòng nên có liên kết hồ sơ và người chốt, ngày chốt, việc còn phải làm cùng điều kiện rà lại. Nếu một bước kiểm chưa thực hiện, cần ghi chưa có bằng chứng, không ghi “không có vấn đề”. Những trạng thái này cho phép người vận hành lọc đúng câu và cho phép người mới tiếp nhận hiểu công việc còn tồn.
Người học không cần tự đọc mọi tham số
Với học sinh luyện V-ACT, HSA, TSA, phần hữu ích là đơn vị có thể giải thích vì sao câu được sửa, vì sao lời giải thay đổi hoặc phạm vi kết quả đang được dùng. Giáo viên và đối tác nhận thêm bảng nghiệm thu để nhìn đường đi từ dữ liệu tới quyết định. Các con số là một lớp bằng chứng; bảng có giá trị khi nó dẫn tới việc sử dụng rõ ràng và có thể kiểm lại.
Nguồn tham khảo
[1] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standard 4.10, tr. 88–89. Xem tài liệu
[2] International Test Commission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14 (3), 195–217, mục 2.4.1.5–2.4.1.6. DOI 10.1080/15305058.2014.918040. Xem tài liệu