Một lời giới thiệu nói điểm thi thử “dự báo sát” kết quả thi thật. Học sinh thường hiểu rằng con số dự báo gần như sẽ là điểm của mình. Để đánh giá lời hứa ấy, cần xem mô hình đã được kiểm trên ai, sai bao nhiêu và có đúng với nhóm người học đang muốn dùng không.
Dự báo là một nhiệm vụ cần được kiểm riêng
Một bài thi thử có thể mô tả tốt kết quả trên chính bộ câu của nó. Dự báo một kỳ thi khác cần thêm bằng chứng về quan hệ giữa hai kết quả, khoảng thời gian, nội dung và đối tượng. Cùng dùng IRT hoặc cùng hiển thị một thang điểm chưa tự tạo ra khả năng dự báo.
Dự báo cũng khác quy tương đương. Quy tương đương nhằm làm điểm của các dạng đề đủ tương đồng có thể dùng thay nhau trong điều kiện phù hợp [2]. Dự báo có thể đi từ một công cụ sang một kết quả khác, nhưng không biến hai thang thành một chỉ vì có công thức liên hệ. Cần nói rõ đang làm nhiệm vụ nào.
Đọc một bảng kiểm dự báo ngoài mẫu
Giả sử quy trình đã tách dữ liệu dựng mô hình với dữ liệu kiểm trên người mới. Bảng dưới chỉ đặt năm cặp số để minh họa cách đánh giá phần kiểm; không có mô hình thực tế nào được ước lượng từ năm dòng này. Điểm dự báo và quan sát đều ở thang đích giả định 0–1000, không phải thang chính thức của kỳ thi Việt Nam.
Kéo ngang bảng để xem đầy đủ các cột.
| Hồ sơ giả định | Dự báo | Quan sát | Quan sát − dự báo | Sai lệch tuyệt đối |
|---|---|---|---|---|
| S01 | 500 | 520 | +20 | 20 |
| S02 | 600 | 550 | −50 | 50 |
| S03 | 700 | 760 | +60 | 60 |
| S04 | 800 | 740 | −60 | 60 |
| S05 | 900 | 930 | +30 | 30 |
Số liệu hoàn toàn tự dựng do Song Pa xây dựng. Điểm trên đường chéo là dự báo khớp quan sát; khoảng lệch khỏi đường cho thấy sai lệch từng hồ sơ. Năm dòng không đủ để xác nhận một dịch vụ dự báo.
Trong bảng, sai lệch có dấu trung bình bằng 0 vì phần dương và âm bù nhau. Nhưng sai lệch tuyệt đối trung bình, gọi là MAE, bằng(20 +50 +60 +60 +30)/5 = 44 điểm. Nói “trung bình không sai” sẽ bỏ mất điều học sinh cần biết: từng người vẫn có thể lệch đáng kể.
Tương quan giữa dự báo và quan sát khoảng 0,95, cho thấy một quan hệ khá rõ trong năm cặp minh họa. Nó chưa xóa sai lệch 60 điểm của S03 và S04. Tương quan mô tả quan hệ cùng biến đổi; độ chính xác dự báo còn cần các thước đo sai lệch và cách phân bố sai lệch.
Kiểm trên dữ liệu chưa dùng để lựa chọn mô hình
Nếu chọn biến, điều chỉnh mô hình và báo độ chính xác trên cùng những người đã dùng để tối ưu, kết quả có thể lạc quan. Shmueli phân biệt mục tiêu giải thích với mục tiêu dự báo và bàn vai trò đánh giá khả năng dự báo trên dữ liệu mới [1]. Đơn vị có thể dùng tập kiểm độc lập hoặc quy trình kiểm chéo phù hợp, sau đó kiểm thêm ở đợt mới khi khả thi.
Khi một học sinh có nhiều lần thi, không nên để các lần của cùng em rơi vào cả tập dựng và tập kiểm mà bỏ qua sự liên hệ. Cũng cần kiểm thông tin đầu vào có thực sự tồn tại tại thời điểm dự báo không. Dùng dữ liệu phát sinh sau kỳ thi để dự báo ngược sẽ tạo kết quả đẹp nhưng không dùng được khi tư vấn trước thi.
Một con số sai lệch chung vẫn có thể che những nhóm khác nhau
Báo cáo nên xem vùng điểm thấp, giữa, cao; khoảng cách thời gian; nhóm người học và điều kiện làm bài. Mẫu chỉ gồm học sinh tự nguyện gửi cả hai kết quả có thể khác những người không gửi. Quan hệ của năm trước cũng có thể đổi khi nội dung, cách thi hoặc nhóm dự thi thay đổi.
Nếu công bố khoảng dự báo cá nhân, cần kiểm tỷ lệ quan sát thực tế rơi vào khoảng và độ rộng của khoảng trên dữ liệu mới. Một khoảng rộng có thể bao phủ nhiều người nhưng ít giúp quyết định; một khoảng hẹp mà thường hụt cũng chưa có ích. Không chỉ đưa đường hồi quy hoặc một hệ số tương quan để thay phần kiểm này.
Cách dùng kết quả để học sinh chủ động hơn
Học sinh ôn HSA, TSA hoặc V-ACT có thể dùng dự báo đủ căn cứ như một tín hiệu tham khảo để điều chỉnh kế hoạch và mức dự phòng. Nó cần đi cùng sai lệch đã kiểm, thời điểm dự báo và điều kiện áp dụng. Kết quả không nên được diễn đạt thành cam kết một mức điểm hoặc kết luận trúng tuyển.
Một hồ sơ dịch vụ thuyết phục nên có tập kiểm, cách tách dữ liệu, MAE hoặc thước đo phù hợp, sai lệch theo nhóm và phạm vi dùng. Khi đơn vị cho thấy các phần ấy, người học sẽ hiểu “dự báo sát” nghĩa là gì trong bằng chứng cụ thể, thay vì tự điền vào lời hứa một mức chắc chắn mà dữ liệu chưa hỗ trợ.
Nguồn tham khảo
[1] Shmueli, G. (2010). To Explain or to Predict? Statistical Science, 25(3),289–310. DOI 10.1214/10-STS330. Xem tài liệu
[2] Educational Testing Service. (2014). ETS Standards for Quality and Fairness, Standards 8.1 và 8.6. Xem tài liệu