Phiếu kết quả dễ hiểu cần trình bày điểm, thang đo, độ chính xác và giới hạn diễn giải gần nhau. Người đọc nên biết con số cho phép kết luận điều gì, điều gì còn chưa chắc chắn và bước học tập nào có thể thực hiện tiếp theo.
Một phiếu chỉ ghi 699 điểm dễ khiến người đọc xem đó là một giá trị chính xác tuyệt đối. Thêm một ký hiệu sai số nhỏ ở cuối trang cũng chưa chắc giúp học sinh hiểu. Thiết kế báo cáo cần làm rõ cả kết quả trung tâm, khoảng bất định đang dùng và những kết luận chưa được phép rút ra từ con số ấy.
Chọn đúng loại thông tin bất định trước khi vẽ khoảng
Sai số và bất định nói đến giới hạn của việc ước lượng, nhưng các loại khoảng không có cùng cách hiểu. Một khoảng dựa trên sai số đo lường theo một cách tiếp cận khác với khoảng hậu nghiệm trong mô hình Bayes. Người thiết kế cần biết đang báo loại nào, được tính từ đâu và những nguồn bất định nào chưa được đưa vào, thay vì gọi mọi khoảng là khoảng điểm chắc chắn.
Ví dụ này dùng tiếp mô hình 2PL giả lập 40 câu ở các bài trước, năng lực EAP và phân bố tiên nghiệm N(0, 1). Điểm trung tâm xấp xỉ 699,065. Từ phân bố hậu nghiệm của hồ sơ gốc, lấy hai mốc 2,5% và 97,5% rồi chuyển sang thang minh họa S = 600+200 θ, thu được khoảng xấp xỉ 585,835–809,561. Các tham số câu giả định được giữ cố định.
Một cách trình bày đầy đủ hơn con số đơn lẻ
| Thành phần trên phiếu | Nội dung minh họa dành cho người đọc |
|---|---|
| Kết quả trung tâm | Điểm minh họa 699, làm tròn từ 699,065. |
| Khoảng đi kèm | Khoảng hậu nghiệm 95% xấp xỉ 586–810, hai đầu đã làm tròn. |
| Chú giải gần kết quả | Khoảng chứa xấp xỉ 95% khối lượng của phân bố hậu nghiệm theo mô hình và các giả định đang dùng. |
| Giới hạn cần nhìn thấy | Giữ tham số câu cố định; chưa phản ánh mọi nguồn bất định trong quá trình hiệu chuẩn, tổ chức hoặc sử dụng bài thi. |
| Cách sử dụng | Dùng cùng bài làm và điều kiện đánh giá; không coi 699 là giá trị chính xác tuyệt đối hay khoảng 586–810 là dự báo điểm kỳ thi khác. |
Tất cả kết quả được tính trên dữ liệu và tham số hoàn toàn giả lập. Đây là khoảng hậu nghiệm có điều kiện theo mô hình đã nêu, không phải khoảng tin cậy theo tần suất hay khoảng dự đoán điểm thi chính thức. Không phải phiếu hoặc dữ liệu Song Pa Lab, Empire, V-ACT, HSA hay TSA.
Phần tô là khoảng hậu nghiệm 95% trong mô hình giả lập, có điều kiện theo tham số cố định. Đây không phải khoảng dự báo điểm thi.
Với người mới tìm hiểu, chú giải có thể nói thêm: mô hình không chỉ tạo một giá trị trung tâm mà còn mô tả mức độ chưa chắc chắn quanh giá trị đó. Hai đầu khoảng không phải hai mức điểm em chắc chắn sẽ đạt trong lần thi tới. Chữ 95% không tạo bảo đảm rằng mọi giả định, tham số hoặc dữ liệu đều đúng.
Giữ chú giải ở nơi học sinh đang nhìn
Nếu khoảng chỉ xuất hiện trong phần kỹ thuật nhiều trang phía sau, người đọc có thể chỉ chụp con số 699 để so với bạn. Một phiếu tốt nên đặt tên loại khoảng, đơn vị và chú giải ngắn gần kết quả; phần phương pháp chi tiết vẫn cần có chỗ để tra. Màu sắc hoặc độ dài thanh không nên tạo cảm giác một khoảng rộng là lỗi học sinh hoặc một khoảng hẹp tự bảo đảm kết quả đúng.
Standards for Educational and Psychological Testing đề cập việc giải thích độ chính xác của điểm cho người nhận trong tiêu chuẩn 6.10 [1]. Khi thiết kế phiếu, cần kiểm tra học sinh hiểu chú giải như mong muốn, thay vì chỉ kiểm tra đã có một đồ thị sai số. Một hình đúng kỹ thuật vẫn có thể bị hiểu thành khoảng dự báo nếu nhãn chưa rõ.
Cho thấy nguồn của nhận xét kỹ năng và khuyến nghị
Một báo cáo có tổng điểm và khoảng bất định chưa tự cho phép kết luận em yếu một thao tác rất cụ thể. Nếu phiếu nhận xét về đọc đơn vị, cần có dữ liệu phù hợp về nhiệm vụ và cách làm. Nếu khuyến nghị luyện tập được tạo tự động, người đọc cần biết căn cứ và giới hạn của nó; không nên để một nhãn kỹ năng trông chắc chắn hơn bằng chứng đang có.
Cũng cần ghi điều kiện làm bài và phạm vi nhóm so sánh nếu báo cáo có bách phân vị. Khoảng bất định của điểm và sự thay đổi vị trí theo nhóm là hai vấn đề khác nhau. Đưa cả hai vào phiếu không có nghĩa có thể dùng một khoảng để sửa hoặc giải thích thay cho thông tin nhóm còn thiếu.
Thử cách hiểu bằng một câu hỏi ngắn
Trước khi phát hành, có thể hỏi người đọc: “Theo em, khoảng này có bảo đảm điểm lần thi chính thức không? Nếu hai người hơn kém vài điểm, em còn cần xem gì?”. Câu trả lời cho biết thiết kế có giúp nhận ra giới hạn hay vẫn khiến người đọc quá chắc chắn. Từ đó sửa nhãn, chú giải hoặc ví dụ, thay vì chỉ thêm nhiều chữ nhỏ vào cuối trang.
Nguồn tham khảo
[1] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing. Standard 6.10, trang 119. Xem tài liệu