Để xem một thay đổi điểm có ý nghĩa hay không, cần kiểm tra khả năng so sánh của hai lượt và độ bất định của chênh lệch. Mức tăng điểm đơn thuần chưa đủ; nên kết hợp thông tin sai số với bằng chứng cụ thể về việc học và điều kiện làm bài.
Điểm tăng từ 650 lên 704, chênh 54, nghe có vẻ khá lớn. Nhưng nếu mỗi điểm có sai số, ta còn phải hỏi chênh lệch ấy chính xác đến đâu. “Chưa tách rõ khỏi sai số” không có nghĩa học sinh chắc chắn không tiến bộ; nó chỉ nói riêng hai điểm chưa đủ mạnh cho một kết luận chắc chắn theo mô hình đang dùng.
Ba nghĩa của một thay đổi không được trộn vào nhau
Thứ nhất, thay đổi quan sát là phép trừ điểm lần sau với lần trước. Thứ hai, thay đổi vượt sai số hỏi liệu chênh lệch có lớn so với độ bất định của hai phép đo hay không. Thứ ba, ý nghĩa học tập hỏi kỹ năng, sản phẩm hoặc quyết định nào thực sự đổi. Một chênh lệch có thể đáng chú ý về học tập nhưng chưa đủ rõ thống kê; ngược lại, chênh lệch rõ về đo lường chưa chắc quan trọng cho mục tiêu của học sinh.
Standards for Educational and Psychological Testing yêu cầu khi diễn giải chênh lệch giữa hai điểm của cùng một người phải có thông tin về độ chính xác, bao gồm sai số chuẩn của chênh lệch khi phù hợp. Điểm tăng trưởng cũng cần bằng chứng về độ giá trị, độ tin cậy và công bằng [1].
Tính sai số của chênh lệch, không cộng hai sai số
Số liệu hoàn toàn giả định do Song Pa xây dựng. Giả sử hai điểm nằm trên cùng một thang đã có bằng chứng liên kết phù hợp. Điểm lần 1 là 650 với sai số chuẩn 18; lần 2 là 704 với sai số chuẩn 22. Minh họa còn giả định sai số hai lần độc lập. Nếu các giả định này không đúng, công thức phải thay đổi.
Kéo ngang bảng để xem đầy đủ các cột.
| Bước | Phép tính | Kết quả | Ý nghĩa |
|---|---|---|---|
| Chênh lệch quan sát | 704 − 650 | 54 | Điểm lần sau cao hơn 54 |
| Bình phương sai số | 18² = 324; 22² = 484 | Tổng 808 | Không cộng 18 + 22 |
| Sai số chuẩn chênh lệch | Căn bậc hai của 808 | 28,4 | Độ bất định của phép trừ theo giả định |
| Biên minh họa 95% | 1,96 × 28,4 | 55,7 | 1,96 là quy ước minh họa, không phải chuẩn tiến bộ |
| Khoảng cho chênh lệch | 54 ± 55,7 | −1,7 đến 109,7 | Khoảng còn chứa 0 |
Phép tính tự dựng và làm tròn một chữ số. Không tự áp dụng nếu báo cáo không cung cấp sai số chuẩn, cùng thang điểm và giả định kỹ thuật cần thiết.
Hai điểm và dải sai số minh họa. Hình giúp thấy độ bất định nhưng phép kết luận về chênh lệch phải dùng sai số của chênh lệch, không chỉ nhìn hai dải có chồng nhau hay không.
Tỷ số 54/28,4 xấp xỉ 1,90, nhỏ hơn mốc minh họa 1,96. Cách diễn giải thận trọng là: điểm quan sát tăng 54, nhưng với các sai số và giả định tự dựng này, riêng hai điểm chưa đủ để tách mức tăng khỏi 0 ở mức quy ước 95%. Không được viết “học sinh không tiến bộ”.
Cùng chênh lệch nhưng độ chính xác khác sẽ cho kết luận khác
Nếu hai sai số chuẩn chỉ là 10 và 12, sai số chuẩn chênh lệch là căn bậc hai của 100 + 144, xấp xỉ 15,6. Biên 95% xấp xỉ 30,6; khoảng cho chênh lệch 54 là 23,4 đến 84,6, không chứa 0. Ví dụ này cho thấy không thể diễn giải mức tăng mà bỏ qua độ chính xác.
Harvill giải thích sai số chuẩn đo lường như cách mô tả độ phân tán kỳ vọng của điểm quan sát quanh điểm thật giả định khi phép đo được lặp lại dưới điều kiện phù hợp [2]. Sai số có thể khác theo vùng điểm và theo cách tính. Một con số sai số chung không phải lúc nào cũng đủ.
Bốn điều kiện phải kiểm trước khi tính
| Điều kiện | Câu hỏi kiểm | Nếu thiếu |
|---|---|---|
| Cùng thang | Hai điểm đã được liên kết hoặc quy đổi có bằng chứng chưa? | Không trừ như hai đại lượng tương đương |
| Đúng sai số | Sai số chuẩn thuộc đúng điểm, đúng thang và đúng lần đo? | Không tự mượn sai số từ báo cáo khác |
| Quan hệ sai số | Có thể giả định độc lập hay có hiệp phương sai? | Cần công thức kỹ thuật phù hợp |
| Cùng mục đích | Hai điểm đo cùng nội dung và cách sử dụng? | Chỉ diễn giải phạm vi chung có bằng chứng |
Bảng kiểm kỹ thuật rút gọn. Với quyết định quan trọng, học sinh và phụ huynh nên dùng báo cáo của đơn vị đo lường hoặc người có chuyên môn, không tự suy từ công thức minh họa.
Sai số đo không thay thế bằng chứng học tập
Sau phép tính, vẫn cần xem câu mới, lỗi lặp, lời giải và điều kiện. Nếu sản phẩm cho thấy học sinh đã giải thích được bước trước đây bỏ qua, đó là bằng chứng học tập có giá trị dù khoảng chênh lệch điểm còn rộng. Nếu điểm tăng nhưng sản phẩm không đổi, cần xem độ khó đề, may mắn hoặc thay đổi nội dung.
Một thay đổi vượt biên sai số cũng không chứng minh kế hoạch học đã gây ra kết quả. Có thể học sinh học thêm nơi khác, đề lấy mẫu khác hoặc điều kiện thay đổi. Bài 111 chỉ trả lời câu hỏi về độ bất định của chênh lệch, không phải câu hỏi nhân quả.
Trong báo cáo IRT, sai số có thể được ước lượng riêng theo mức năng lực; hai học sinh có cùng điểm ước lượng chưa chắc có cùng độ chính xác. Tuy nhiên, không khẳng định mọi mô hình IRT sẽ cho điểm khác khi cùng số câu đúng. Diễn giải phải theo mô hình, dữ liệu và báo cáo thực tế.
Thẻ diễn giải sai số trước khi nói em đã tăng hay giảm
| Câu cần kiểm | Cách ghi ngắn | Điều chưa được nói |
|---|---|---|
| Hai điểm có cùng thang không? | Ghi tên thang, dạng đề và bằng chứng liên kết nếu có. | Không lấy cùng số câu làm bằng chứng hai đề tương đương. |
| Chênh lệch lớn đến đâu so với sai số? | Báo chênh lệch, sai số của chênh lệch và giả định đã dùng. | Không biến mốc 1,96 thành chuẩn tiến bộ cho mọi trường hợp. |
| Sản phẩm học tập đã đổi gì? | Chỉ ra lỗi bớt lặp, bước giải mới hoặc nhiệm vụ mới đã làm được. | Không quy toàn bộ thay đổi cho kế hoạch học nếu thiếu thiết kế so sánh. |
Thẻ do Song Pa tổng hợp để học sinh và người hỗ trợ giữ ba lớp kết luận tách biệt: khả năng so sánh, độ bất định và ý nghĩa học tập.
Cách kết luận tốt gồm đủ ba lớp: điểm đã tăng 54; với sai số minh họa, chênh lệch chưa tách rõ khỏi 0 ở mức 95%; các sản phẩm khác cho thấy phần kỹ năng nào đã hoặc chưa đổi. Khi ba lớp đứng riêng, sai số không làm mất động lực và điểm số không bị nói quá khả năng.
Nguồn tham khảo
[1] AERA, APA, & NCME. (2014). Standards for Educational and Psychological Testing. Standards 2.4, 2.13–2.14 và 12.11. Xem tài liệu
[2] Harvill, L. M. (1991). Standard Error of Measurement. Educational Measurement: Issues and Practice, 10(2), 33–41. DOI 10.1111/j.1745-3992.1991.tb00195.x. Xem tài liệu