Một ngân hàng dùng để luyện có giải thích và một ngân hàng dùng tạo đề phục vụ quyết định hệ trọng có thể cần bằng chứng ở mức khác nhau. Tiêu chí chấp nhận câu phải nói rõ câu được dùng để làm gì, rủi ro nào cần kiểm soát và bằng chứng nào đủ cho quyết định ấy. Việc chọn một con số a, b hoặc p làm ranh giới duy nhất thường bỏ mất những phần quan trọng của hồ sơ.
Bắt đầu bằng quyền sử dụng sẽ được trao
Trước khi viết ngưỡng, cần xác định điều xảy ra khi câu được chấp nhận: dùng làm bài luyện công khai, đưa vào bộ thử tiếp, dự tuyển tạo đề trên một thang hay góp vào điểm báo cáo? Mỗi quyền sử dụng đòi hỏi các điều kiện tương ứng. Một bản đã rõ nội dung có thể đủ để đọc thử, trong khi chưa đủ bằng chứng để dùng tham số chấm cá nhân.
Standards 2014 yêu cầu ghi mô hình, mẫu, cách sàng lọc và bằng chứng liên quan khi đánh giá đặc tính câu [1]. Tài liệu không đưa một bộ ngưỡng a, b, SE dùng cho mọi mục đích. Đơn vị cần chuyển yêu cầu của mình thành tiêu chí có lý do, cách kiểm và quy trình xử lý khi chưa đạt hoặc chưa có đủ dữ liệu.
Cùng một b nhưng mức bất định khác nhau
Ví dụ tự dựng xét hai ước lượng b trên cùng thang và cùng quy ước 2PL, D=1, c=0. Cả hai có b=0,60, nhưng SE lần lượt 0,12 và 0,40. Dùng phép xấp xỉ Wald b±1,96 SE để minh họa khoảng tin cậy 95%, ta được các giá trị dưới đây. Các con số được gán, không phải kết quả phân tích người học thật.
Kéo ngang bảng để xem đầy đủ các cột.
| Hồ sơ giả định | b | SE(b) | Khoảng Wald 95% xấp xỉ | Nửa bề rộng |
|---|---|---|---|---|
| A | 0,60 | 0,12 | [0,3648; 0,8352] | 0,2352 |
| B | 0,60 | 0,40 | [−0,1840; 1,3840] | 0,7840 |
Hai điểm ước lượng b trùng 0,60 nhưng khoảng bất định theo xấp xỉ đã chọn khác nhau. Hình và số liệu tự dựng; các khoảng không bao gồm mọi nguồn bất định về nối thang, thay đổi bối cảnh hoặc mô hình chưa phù hợp.
Phép xấp xỉ này cần những điều kiện về ước lượng và mô hình đủ phù hợp; không thể dùng máy móc cho mọi tình huống. Nó cũng không có nghĩa xác suất 95% rằng một b cố định nằm trong khoảng đã tính. Ở đây, bảng chỉ giúp nhìn thấy việc một điểm ước lượng đơn lẻ chưa nói đủ về độ chính xác.
Một chỉ tiêu định lượng phải có mục đích và phạm vi
Giả sử kế hoạch nội bộ cần độ chính xác sơ bộ để phân vùng vị trí câu và tạm đặt chỉ tiêu nửa bề rộng khoảng Wald 95% không quá 0,30 đơn vị thang cho công việc ấy. Đây là ngưỡng giả định của dự án minh họa, không phải khuyến nghị chung. A đáp ứng riêng chỉ tiêu này, B chưa đáp ứng. Từ đó chưa thể kết luận A đã được nghiệm thu toàn bộ hoặc B phải bị loại vĩnh viễn.
Trước áp dụng thật, ngưỡng cần được giải thích bằng yêu cầu phân vùng, mô phỏng hoặc phân tích độ nhạy phù hợp. Nếu mục đích sử dụng khác, cách đánh giá độ chính xác có thể đổi. Công việc quan trọng là nêu được hậu quả của sai số và mức bằng chứng cần để kiểm soát nó, thay vì chọn ngưỡng vì dễ nhớ.
Ghép tiêu chí thành nhiều lớp có căn cứ
| Lớp bằng chứng | Điều cần xác nhận | Khi chưa có căn cứ phù hợp |
|---|---|---|
| Nội dung và chấm | Đúng mục tiêu, không mơ hồ, khóa/rubric đứng vững, ngữ liệu được phép dùng | Sửa hoặc chặn bản đang có vấn đề; không để thống kê thuận lợi thay việc thẩm định |
| Dữ liệu và mô hình | Mẫu/thiết kế phù hợp, kết nối thang hợp lý, ước lượng và các kiểm giả định/fit được xem | Ghi rõ thiếu gì; kiểm dữ liệu, mô hình hoặc thu bổ sung theo vấn đề |
| Độ chính xác theo mục đích | Độ bất định tham số và tác động sử dụng đáp ứng tiêu chí đã có lý do | Hạn chế quyền sử dụng; mô tả việc cần thêm trước khi mở rộng |
| Công bằng và điều kiện dùng | Rà nội dung/khả năng tiếp cận, bằng chứng nhóm khi phù hợp, phiên bản và phạm vi ổn định | Thẩm định theo đúng nguồn vấn đề; không coi chưa thấy cờ thống kê là đã kiểm mọi mặt |
| Đóng góp cho ngân hàng | Khớp ô cần có, vùng đo và ràng buộc sử dụng, toàn bộ quyết định được lưu | Quyết định giữ có phạm vi, sửa, thử thêm hoặc ngừng trong mục đích hiện tại |
Các lớp trong bảng là khung thực hành đề xuất. Có tiêu chí mang tính điều kiện nội dung rõ ràng, có tiêu chí cần đọc cùng độ bất định và nhiều dấu hiệu. Một chỉ số fit hay một p-value không tự xác nhận toàn bộ mô hình và càng không thay thế việc kiểm khóa, mục tiêu hoặc khả năng tiếp cận.
Bất định tham số có thể đi tiếp vào sản phẩm điểm
Yang, Hansen và Cai nghiên cứu cách bất định của hiệu chuẩn truyền sang điểm và độ chính xác trong IRT [2]. Ảnh hưởng phụ thuộc điều kiện, có trường hợp nhỏ và có trường hợp đáng kể. Vì vậy, không chỉ đọc tham số như những hằng số đã biết chính xác; đồng thời cũng không nên phóng đại rằng mọi ước lượng đều gây sai lệch lớn.
Bản tiêu chí bàn giao nên có mục đích, lý do của từng ngưỡng nếu dùng, phương pháp kiểm, người có quyền quyết định, trạng thái khi thiếu bằng chứng và điều kiện rà lại. Đối với ngân hàng phục vụ học sinh ôn HSA, V-ACT, TSA, việc công bố đúng phạm vi kết quả và dùng tiêu chí nhất quán giúp lời giới thiệu “đã được phân tích” trở thành một quyết định có thể kiểm. Thang luyện riêng vẫn phải được gọi đúng là thang của chương trình đã nghiên cứu.
Nguồn tham khảo
[1] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standard 4.10, tr. 88–89; Standard 4.12, tr. 89. Xem tài liệu
[2] Yang, J.S., Hansen, M., & Cai, L. (2012). Characterizing Sources of Uncertainty in IRT Scale Scores. Educational and Psychological Measurement, 72 (2), 264–290. DOI 10.1177/0013164411410056. Xem tài liệu