Một báo cáo ghi “độ tin cậy 0,91”. Từ đó, người đọc muốn dùng điểm để xếp lớp, kết luận từng kỹ năng và cả đánh giá chất lượng dạy của giáo viên. Cùng một con số đang được giao nhiều nhiệm vụ. Nhưng bằng chứng cho sự nhất quán của điểm chưa tự trả lời tất cả những nhiệm vụ ấy.
Độ tin cậy trả lời một câu hỏi có giới hạn
Độ tin cậy, hay reliability, liên quan đến sự nhất quán của điểm theo những nguồn biến động được xét trong một thiết kế. Chẳng hạn, ta có thể quan tâm sự nhất quán giữa các bộ nhiệm vụ hoặc giữa người chấm. Các cách kiểm khác nhau không tự thay thế cho nhau, và kết quả còn gắn với nhóm người làm bài.
Hệ số 0,91 không có nghĩa 91% học sinh được kết luận đúng, cũng không có nghĩa từng điểm cá nhân chính xác tới 91%. Cần biết đó là hệ số nào, tính theo cách nào và cho đối tượng nào. Livingston giải thích độ tin cậy như một phần của việc hiểu điểm, đồng thời phân biệt nó với sự phù hợp cho cách dùng [1].
Một bài có thể rất nhất quán khi đo một phạm vi hẹp
Xét hồ sơ tự dựng SP-Read: 32 câu đọc hiểu, trong đó 30 câu chủ yếu tìm thông tin được nêu trực tiếp và 2 câu suy luận. Giả định báo cáo kỹ thuật nêu hệ số độ tin cậy 0,91 cho tổng điểm trong mẫu mục tiêu. Giá trị 0,91 được đặt để minh họa tình huống, không được tính từ dữ liệu học sinh thật hay từ số lượng câu trong bài này.
Tổng điểm ấy có thể phản ánh khá nhất quán khả năng thực hiện các nhiệm vụ đã được lấy mẫu. Nhưng nếu ai gọi đó là thước đo đầy đủ cho năng lực đánh giá lập luận phức tạp, hai câu suy luận khó có thể cung cấp đủ bằng chứng. Một công cụ có thể làm ổn định một việc hẹp, trong khi người dùng đang đòi nó trả lời một việc rộng hơn.
| Cách muốn dùng SP-Read | Điều cần có thêm | Kết luận hợp lý ở giai đoạn minh họa |
|---|---|---|
| Phản hồi về tìm thông tin trực tiếp | Đối chiếu nội dung, lỗi thường gặp và độ chính xác kết quả. | Có thể xem xét trong phạm vi kỹ năng đã lấy mẫu, kèm giới hạn. |
| Xếp lớp để hỗ trợ đọc | Bằng chứng về mức lớp, cách phân nhóm và hậu quả xếp sai. | Chưa chốt chỉ từ 0,91; thử quy trình và dùng thêm bằng chứng. |
| Chẩn đoán năng lực đánh giá lập luận | Nhiệm vụ đại diện đủ cho lập luận và kết quả riêng đủ chính xác. | Hồ sơ 32 câu hiện chưa cung cấp đủ bằng chứng cho tuyên bố rộng này. |
| Đánh giá hiệu quả của giáo viên | Thiết kế xem mức đầu vào, điều kiện học và yếu tố liên quan. | Không suy hiệu quả dạy chỉ từ một tổng điểm có độ tin cậy cao. |
Ma trận sử dụng do Song Pa tự dựng. Các nhận xét cho hồ sơ giả định này, không phải đánh giá một bài thi cụ thể của Việt Nam.
Giá trị sử dụng cần gắn với điều ta định kết luận
Validity thường được dịch là tính giá trị hoặc độ giá trị. Điểm cốt lõi là bằng chứng và lý lẽ có hỗ trợ cách diễn giải, cách dùng điểm đang đề xuất hay không. Kane nhấn mạnh phải thẩm định các diễn giải và cách sử dụng, thay vì gắn cho bài thi một nhãn có giá trị chung cho mọi mục đích [2].
Kết luận càng lớn càng cần bằng chứng tương ứng. “Em cần xem lại bước tìm dữ kiện trong ngữ liệu này” là một phản hồi hẹp, có thể đối chiếu với bài làm. “Em không phù hợp học một ngành trong nhiều năm tới” là một suy luận rộng hơn rất nhiều. Một điểm thi thử đơn lẻ khó có thể mang toàn bộ sức nặng của suy luận thứ hai.
IRT giúp tăng bằng chứng ở đâu?
IRT có thể cho biết vùng năng lực nào được đo rõ hơn, tham số nào còn bất định và dữ liệu có phù hợp mô hình đang dùng không. Đây là những bằng chứng quan trọng về cách điểm được tạo ra. Chúng cần nối với nội dung nhiệm vụ và mục tiêu sử dụng; một mô hình phù hợp chưa tự chứng minh điểm dự báo tốt một kết quả khác hoặc giải thích đủ một kỹ năng chưa được lấy mẫu.
Với học sinh ôn V-ACT, HSA hoặc TSA, báo cáo có ích nên giúp nhìn lại việc làm bài và định hướng kiểm chứng bằng nhiệm vụ tiếp theo. Khi chuyển sang chọn trường, chọn ngành hoặc so sánh với kỳ thi khác, cần bổ sung thông tin đúng mục đích. Không mở rộng kết luận chỉ vì bảng có nhiều chữ số sau dấu phẩy.
Bốn dòng để tự kiểm một lời kết luận từ điểm
Hãy ghi rõ mình đang muốn kết luận điều gì; nhiệm vụ nào đã tạo bằng chứng; độ chính xác và phạm vi còn hạn chế ở đâu; quyết định sai có thể gây hệ quả nào. Với SP-Read, bốn dòng ấy sẽ ngăn bước nhảy từ một tổng điểm nhất quán sang chẩn đoán mọi mặt năng lực đọc.
Nếu một cách dùng chưa đủ bằng chứng, vẫn có thể giữ lại những cách dùng hẹp hơn đã được hỗ trợ. Người làm báo cáo cần nói rõ phạm vi đó. Khi được đặt đúng việc, độ tin cậy góp phần làm quyết định có căn cứ; khi bị dùng thay cho mọi bằng chứng khác, ngay cả một hệ số cao cũng dễ dẫn người đọc đi quá xa.
Nguồn tham khảo
[1] Livingston, S. A. (2018). Test Reliability—Basic Concepts. ETS Research Memorandum RM–18-01, tr. 7–8. Xem tài liệu
[2] Kane, M. T. (2013). Validating the Interpretations and Uses of Test Scores. Journal of Educational Measurement, 50(1),1–73. DOI 10.1111/jedm.12000. Xem tài liệu