Một bài thi chia thành hai phần trên giấy. Có thể báo ngay hai điểm riêng để nói học sinh mạnh phần nào, yếu phần nào không? Tên phần là điểm khởi đầu về nội dung. Để kết luận từ hai con số, đơn vị còn cần xem cấu trúc dữ liệu, độ chính xác và thông tin bổ sung mà từng điểm thực sự mang lại.
Phần trên ma trận và chiều đo trong dữ liệu có liên quan, nhưng khác nhau
Ma trận chia nội dung theo ý định thiết kế. Phân tích cấu trúc xem các câu trả lời liên hệ với nhau ra sao và có phù hợp cách tổ chức năng lực đang giả định không. Hai phần cùng đòi đọc ngữ liệu, chẳng hạn, có thể chia sẻ một năng lực chung khá lớn; mỗi phần cũng có thể còn một yêu cầu riêng.
Các mô hình cạnh tranh có thể gồm một chiều chung, các chiều có tương quan hoặc một chiều chung kèm thành phần riêng. Chúng giúp kiểm những cách giải thích khác nhau. Nghiên cứu của Gu và cộng sự về một bài đánh giá giáo viên dùng các mô hình cấu trúc để xem xét bằng chứng hỗ trợ cách báo điểm [1]. Không lấy mô hình của bài đó áp sẵn cho mọi đề luyện ở Việt Nam.
Sáu mục cần đọc trong một hồ sơ cấu trúc
| Mục hồ sơ | Điều cần thấy | Chưa nên suy ngay |
|---|---|---|
| Thiết kế và nội dung | Mỗi phần gồm nhiệm vụ nào, khác nhau ở yêu cầu nào. | Khác tên phần là khác năng lực hoàn toàn. |
| Mẫu phân tích | Ai làm bài, bao nhiêu người, nhóm nào được đại diện. | Kết quả trên một mẫu đúng cho mọi nhóm. |
| Mô hình cạnh tranh | Giả thuyết, độ phù hợp, hội tụ và lý do chọn. | Một chỉ số phù hợp đẹp chứng minh toàn bộ cách báo điểm. |
| Quan hệ giữa các phần | Mức chia sẻ thông tin và đặc điểm riêng có ý nghĩa nội dung. | Tương quan cao thì điểm riêng luôn vô ích. |
| Độ chính xác và giá trị bổ sung | Sai số/độ tin cậy của điểm phần và so sánh với thông tin từ tổng. | Tách được cột điểm là đã chẩn đoán chắc từng học sinh. |
| Phạm vi dùng | Kết luận nào được hỗ trợ, ở mức cá nhân hay nhóm. | Dùng cho phản hồi được thì mọi quyết định khác đều được. |
Mẫu đọc hồ sơ do Song Pa tổng hợp. Đây là các việc cần xem cùng nhau, không phải thang điểm nghiệm thu với một ngưỡng chung.
Điểm phần có cho thêm thông tin so với tổng không?
Một điểm phần có thể mang ý nghĩa nội dung nhưng đo khá nhiễu do ít câu. Khi ấy, tổng điểm đôi khi dự đoán mức thành thạo thật của phần ấy tốt hơn chính điểm phần quan sát. “Giá trị bổ sung”, hay added value, đặt câu hỏi liệu dùng điểm phần có cải thiện việc ước lượng đặc điểm riêng đang quan tâm so với dùng tổng hay không [2].
Ví dụ hoàn toàn giả định có phần A gồm 12 câu và B gồm 18 câu. Bảng dùng một tiêu chí theo lý thuyết cổ điển: PRMSE là mức giảm sai số dự đoán bình phương so với dùng trung bình. Dự đoán ở đây dùng hồi quy tuyến tính, không lấy nguyên điểm quan sát làm mức thành thạo thật. Với cách dự đoán tuyến tính này, PRMSE từ chính điểm phần bằng độ tin cậy của nó. Các số chỉ minh họa phương pháp, không phải kết quả thực nghiệm của một bộ đề.
Kéo ngang bảng để xem đầy đủ các cột.
| Phần minh họa | PRMSE tuyến tính từ điểm phần | PRMSE tuyến tính từ tổng | Cách đọc theo tiêu chí này |
|---|---|---|---|
| A —12 câu | 0,60 | 0,67 | Tổng dự đoán đặc điểm thật của A tốt hơn; điểm A chưa có giá trị bổ sung theo phép so này. |
| B —18 câu | 0,82 | 0,71 | Điểm B có lợi thế hơn tổng trong phép so; vẫn cần kiểm nội dung, sai số và mục đích. |
0,67 không có nghĩa 67% học sinh được chẩn đoán đúng, cũng không phải 67% câu đúng. Các giá trị chỉ so hiệu quả dự đoán theo tiêu chí đã nêu. Kết quả A cũng không có nghĩa nội dung A không quan trọng; đơn vị có thể cần tăng chất lượng lấy mẫu nhiệm vụ, điều chỉnh cách ước lượng hoặc giới hạn việc báo riêng.
Một mô hình một chiều phù hợp chưa đóng mọi câu hỏi
Nếu mô hình một chiều phù hợp ở mẫu chung, ta có bằng chứng cho một cách tóm tắt dữ liệu. Điều đó chưa tự động bác bỏ mọi giá trị của điểm phần ở mọi nhóm hay mọi mục đích. Reckase và Xu chỉ ra cần xem cấu trúc và khả năng dùng điểm phần trong quan hệ với mẫu và bối cảnh đánh giá [3].
Chiều ngược lại cũng cần giữ: tìm được hai yếu tố thống kê chưa bảo đảm hai điểm riêng đủ chính xác để so một học sinh mạnh yếu chênh chút ít. Sự khác nhau về cấu trúc, độ chính xác của điểm và giá trị bổ sung là ba loại bằng chứng cần nối lại, không dùng một loại thay tất cả.
Chuyển hồ sơ kỹ thuật thành kết quả người học dùng được
Nếu bằng chứng chưa đủ cho một điểm phần độc lập, báo cáo có thể phản hồi trực tiếp từ những nhiệm vụ đã làm và nói rõ phạm vi. Chẳng hạn, “trong các câu đọc bảng của lượt này, em cần kiểm lại mẫu số” gần với bằng chứng hơn “năng lực đọc dữ liệu của em thấp” khi điểm phần còn nhiễu.
Với các sản phẩm phân tích đề luyện V-ACT, TSA hoặc HSA, một hồ sơ có giá trị sẽ giải thích vì sao công bố tổng, điểm phần hoặc cả hai, kèm giới hạn. Nhờ vậy, giáo viên biết mình được phép suy đến đâu; học sinh nhận hướng học cụ thể mà không phải gánh một nhãn năng lực quá chắc từ vài câu hỏi.
Nguồn tham khảo
[1] Gu, L., Turkan, S. & Garcia Gomez, P. (2015). Examining the Internal Structure of the Test of English-for-Teaching (TEFT). ETS Research Report Series. DOI 10.1002/ets2.12060. Xem tài liệu
[2] Fu, J. & Qu, Y. (2018). A Review of Subscore Estimation Methods. ETS Research Report Series. DOI 10.1002/ets2.12203. Xem tài liệu
[3] Reckase, M. D. & Xu, J.-R. (2015). The Evidence for a Subscore Structure in a Test of English Language Competency for English Language Learners. Educational and Psychological Measurement, 75(5),805–825. DOI 10.1177/0013164414554416. Xem tài liệu