Đề A em đúng 62/80; đề B đúng 67/80. Con số tăng 5 rất dễ được gọi là tiến bộ. Nhưng đề B ngắn thời gian hơn, nhiều câu đọc hiểu hơn và ít câu tính toán hơn. Nếu hai đề chưa được đặt lên cùng một thang bằng quy trình phù hợp, phép trừ 67 − 62 chỉ cho chênh lệch quan sát, chưa cho mức thay đổi năng lực.
Cùng số câu không làm hai đề tự động tương đương
Khả năng so sánh đòi hỏi nhiều hơn cùng số câu hoặc cùng phần trăm. Hai đề cần đo nội dung tương ứng, có thông số kỹ thuật phù hợp, điều kiện tổ chức nhất quán và bằng chứng liên kết hoặc quy đổi khi muốn coi điểm có thể thay thế nhau. Standards for Educational and Psychological Testing nêu rõ điểm của dạng đề thay thế chỉ được xem là có thể hoán đổi khi có bằng chứng phù hợp; giới hạn của phép liên kết phải được công bố [1].
IRT có thể là một phần của thiết kế liên kết hoặc thang điểm, nhưng chỉ chạy một mô hình không tự tạo khả năng so sánh. Chuẩn hóa còn cần khung nội dung, mẫu câu, dữ liệu, kiểm định mô hình, độ chính xác, công bằng, quy trình tổ chức và diễn giải.
Đầu tiên hãy lập thẻ chưa so trực tiếp
Số liệu hoàn toàn giả định do Song Pa xây dựng. Đề A và B đều có 80 câu nhưng do hai nguồn khác nhau tạo; không có thông tin liên kết hoặc tương đương.
Kéo ngang bảng để xem đầy đủ các cột.
| Đặc điểm | Đề A | Đề B | Ảnh hưởng tới so sánh |
|---|---|---|---|
| Điểm thô | 62/80 = 77,5% | 67/80 = 83,75% | Tăng 5 câu và 6,25 điểm phần trăm quan sát |
| Thời gian | 100 phút | 85 phút | Áp lực thời gian khác |
| Tỷ trọng | Tính toán 40%; đọc 35%; khác 25% | Tính toán 25%; đọc 50%; khác 25% | Sở trường được lấy mẫu khác |
| Điều kiện | Máy tính, yên tĩnh | Điện thoại, bị gián đoạn 1 lần | Cách thao tác và chú ý khác |
| Bằng chứng liên kết | Không có | Không có | Không dùng +5 như mức tăng năng lực |
Thẻ minh họa, không phải đề hoặc kết quả thật. 62/80 = 77,5%; 67/80 = 83,75%; chênh 6,25 điểm phần trăm không khắc phục khác biệt cấu trúc.
Thẻ không nói kết quả B vô dụng. Nó nói phạm vi kết luận: học sinh làm đúng nhiều câu hơn trên B, nhưng chưa biết bao nhiêu phần do học, cấu trúc, độ khó hay điều kiện. Bước tiếp theo là tìm bằng chứng có điểm chung rõ hơn.
Dựng cầu bằng chứng thay cho ép hai tổng điểm vào một phép trừ
| Bằng chứng cầu | Cách tạo | Điều có thể đọc |
|---|---|---|
| Kỹ năng chung | Chỉ đối chiếu nhóm câu có cùng yêu cầu rõ | Lỗi nào giảm hoặc còn lặp; không suy thành điểm tổng |
| Nhiệm vụ ngắn tương hợp | 12 câu mới, cùng khung kỹ năng, cùng 18 phút và điều kiện | Dấu hiệu thay đổi trong phạm vi hẹp |
| Sản phẩm bài làm | Giữ nháp, lý do chọn và bước bỏ qua | Cách nghĩ hoặc quản lý thời gian đã đổi chưa |
| Điều kiện | Ghi thiết bị, phút thực, gián đoạn | Biết kết quả nào cần cảnh báo |
| Lượt kiểm sau | Dùng thêm một bộ gần về nội dung và thời gian | Tăng độ tin cậy của mẫu quan sát |
Cầu bằng chứng do Song Pa đề xuất. Bộ 12 câu không trở thành thang chuẩn chỉ vì được thiết kế giống nhau; kết luận phải giữ trong phạm vi kỹ năng đã lấy mẫu.
Ví dụ tự dựng: ở hai bộ 12 câu mới cùng kỹ năng và cùng 18 phút, học sinh tăng từ 7 lên 9 câu đúng; lỗi bỏ điều kiện giảm từ 3 còn 1. Bằng chứng này gần hơn với mục tiêu học tập, nhưng mẫu vẫn nhỏ. Cách nói phù hợp là “có dấu hiệu tốt hơn ở kỹ năng kiểm điều kiện”, không phải “năng lực chung tăng 2/12”.
Vì sao phần trăm và percentile vẫn có thể không giải quyết được
Đổi 62/80 và 67/80 thành phần trăm chỉ đưa hai số về cùng đơn vị hình thức; nó không làm độ khó và nội dung bằng nhau. Percentile còn phụ thuộc nhóm so sánh. Nếu hai percentile lấy từ hai nhóm hoặc hai cách chuẩn hóa khác nhau, đặt cạnh nhau cũng cần thông tin kỹ thuật.
Các dự án theo dõi tiến bộ của IES nhấn mạnh dạng đề thay thế phải giữ cấu trúc đo, cách tổ chức và mức khó đủ ổn định; nếu không, thay đổi điểm có thể không phản ánh đúng tăng trưởng [2]. Đây là lý do bài kiểm ngắn dùng lặp lại cần được thiết kế và đánh giá, không chỉ đổi tên nhân vật trong câu hỏi.
Khi nào cần dừng so và tổ chức lại phép đo
Nếu hai đề khác mục tiêu, một đề có hỗ trợ còn đề kia không, hoặc điều kiện bị gián đoạn nghiêm trọng, hãy dừng phép so điểm tổng. Giữ kết quả như hồ sơ riêng của từng lượt và tổ chức nhiệm vụ mới gần nhau hơn. Không xóa dữ liệu; chỉ gắn đúng nhãn “chưa so trực tiếp”.
Với V-ACT, HSA hoặc TSA, điểm và cấu trúc chính thức phải theo tài liệu của đơn vị tổ chức đúng năm. Điểm thi thử từ nơi khác không tự đồng nhất với thang chính thức. Khi báo cáo dùng quy đổi hoặc IRT, người đọc vẫn cần biết mục đích, mẫu dữ liệu, độ chính xác và giới hạn.
Khi hai tổng điểm chưa thể so, em vẫn có thể theo dõi việc học bằng kỹ năng chung, nhiệm vụ mới tương hợp, lỗi lặp, thời gian và sản phẩm. Cách làm ấy ít hấp dẫn hơn một mũi tên +5, nhưng trung thực hơn và dẫn thẳng tới việc cần luyện tiếp.
Nguồn tham khảo
[1] AERA, APA, & NCME. (2014). Standards for Educational and Psychological Testing. Standards 5.12–5.18 và 6.1–6.4. Xem tài liệu
[2] Institute of Education Sciences. Formative Assessment and Instrumentation Procedures for Reading. Xem tài liệu