Số câu đúng tóm tắt kết quả chấm, năng lực ước lượng là đại lượng được suy ra theo mô hình và điểm báo cáo là cách biểu diễn trên thang đã quy định. Ba con số có liên hệ nhưng không đồng nhất và không nên tự chuyển đổi khi chưa biết quy tắc.
Một phiếu kết quả ghi em đúng 18 câu, năng lực ước lượng 0,40 và điểm báo cáo 540. Vì sao cùng một bài lại có ba con số? Nếu xem chúng như ba cách viết của phần trăm số câu đúng, em sẽ rất dễ hiểu nhầm. Mỗi số được tạo ở một khâu và trả lời một câu hỏi riêng.
Bắt đầu từ điều đã quan sát được
Với bài trắc nghiệm chấm mỗi câu đúng là 1, sai là 0, số câu đúng là tổng những câu em trả lời đúng theo khóa đáp án. Nếu đúng 18 trong 30 câu đều được tính điểm, tỷ lệ đúng là 18 chia 30, bằng 60%. Đây là phép đếm trên tập câu cụ thể. Nó giúp kiểm tra bài làm và trao đổi về những câu cần xem lại.
Phép đếm chưa mô tả hết đề đã hỏi gì. Một bộ gồm nhiều câu nhận biết và một bộ gồm nhiều nhiệm vụ suy luận có thể cùng cho 18 câu đúng. Muốn hiểu khả năng được thể hiện, ta cần biết nội dung, đặc điểm câu hỏi và điều kiện làm bài. Ngay trong cùng đề, hai học sinh có thể đúng ở những câu khác nhau.
Ước lượng năng lực là một bước suy luận
Trong IRT, dữ liệu trả lời được đưa vào một mô hình đã lựa chọn, cùng thông tin về câu hỏi, để ước lượng vị trí của người làm trên thang năng lực. Vị trí ấy thường ký hiệu theta, đọc gần như “thê ta”. Từ ước lượng cho biết đây là kết quả suy luận có độ bất định, chứ không phải năng lực được nhìn thấy trực tiếp.
Livingston giải thích rằng IRT có thể hỗ trợ cả cách chấm dựa trên số câu đúng và cách chấm xét mẫu trả lời [1]. Vì vậy, nghe tên IRT chưa đủ để biết hệ thống đã dùng quy tắc nào. Người đọc cần xem mô hình, phương pháp ước lượng và cách tạo điểm của đúng chương trình thi.
Một hồ sơ đi qua ba lớp số
Toàn bộ phiếu dưới đây là minh họa do Song Pa tự dựng. Giả sử một quy trình phù hợp đã cho theta bằng 0,40. Đơn vị minh họa chọn quy ước điểm báo cáo bằng 500 cộng 100 lần theta; khi đó 0,40 được trình bày thành 540 điểm. Đây không phải công thức chấm V-ACT, HSA hoặc TSA.
| Lớp thông tin | Giá trị trên phiếu | Điều con số cho biết |
|---|---|---|
| Kết quả trả lời | 18/30 câu đúng | Em đúng 18 câu trong 30 câu được tính ở lượt này. |
| Ước lượng trong mô hình | Theta = 0,40 | Vị trí ước lượng trên thang năng lực đã xác định. |
| Điểm báo cáo | 540 điểm | Cách trình bày theta theo quy ước thang minh họa. |
| Tỷ lệ đúng | 60% | 18 chia 30; không phải 60% của toàn bộ năng lực. |
Phiếu và quy tắc chuyển điểm hoàn toàn giả định. Giá trị theta được đặt để giải thích ba lớp thông tin, không phải kết quả hiệu chuẩn một bộ 30 câu thật.
Nếu đổi riêng cách trình bày thành 50 cộng 10 lần theta, chính vị trí 0,40 ấy sẽ hiện thành 54 điểm. Bài làm và vị trí ước lượng chưa đổi. Con số nhìn nhỏ đi vì đơn vị báo cáo thay đổi. Do đó, muốn so hai điểm, trước hết phải biết chúng có cùng thang và cùng ý nghĩa hay không.
Những phép suy ra cần dừng lại
Từ 60% câu đúng không thể tự suy em đang ở bách phân vị 60. Bách phân vị cần thêm phân bố của một nhóm tham chiếu. Từ 540 điểm cũng không thể tự kết luận em có 54% năng lực hoặc chắc chắn đạt một ngưỡng xét tuyển. Các diễn giải ấy cần quy tắc và bằng chứng khác.
Một câu hỏi cũng không nhất thiết mang một số điểm báo cáo cố định để cộng tay. Khi hệ thống ước lượng theo cả hồ sơ, thay một câu trả lời rồi tính lại là một thao tác khác với cộng một trọng số in sẵn. Bài về cùng số câu đúng sẽ đi sâu điều kiện nào làm mẫu trả lời có vai trò.
Đọc đúng nhãn giúp hỏi đúng câu
Khi nhận phiếu ôn V-ACT, HSA hay TSA, hãy tìm tên đại lượng và ghi rõ đơn vị. Nếu phiếu chỉ có một con số, em có thể hỏi: đây là điểm thô, điểm trên thang báo cáo hay vị trí so với một nhóm? Nếu có theta, hãy hỏi thêm thang đó được xác định ra sao và có thông tin độ chính xác không.
Standards for Educational and Psychological Testing yêu cầu cách tạo thang, ý nghĩa và giới hạn của điểm phải được giải thích rõ [2]. Với học sinh, nhu cầu rất thực tế: hiểu điểm được tạo thế nào để dùng đúng vào việc xem lại bài. Sau khi đọc ba lớp số, hãy chọn một nhóm câu sai, xem bước em vướng và thử một nhiệm vụ mới cùng yêu cầu. Phiếu điểm khi ấy vừa có căn cứ đo lường vừa dẫn đến một việc học cụ thể.
Nguồn tham khảo
[1] Livingston, S. A. (2020). Basic Concepts of Item Response Theory A Nonmathematical Introduction. ETS RM–20-06, mục Scoring và Score Scales. Xem tài liệu
[2] AERA, APA, & NCME. (2014). Standards for Educational and Psychological Testing. Standards 5.1–5.4. Xem tài liệu