Một phiếu có nhiều biểu đồ chưa chắc giúp học sinh biết tối nay nên xem lại điều gì. Người đọc có thể thích màu sắc nhưng không hiểu nhận xét dựa vào đâu, hoặc hiểu rồi vẫn không biết bắt đầu. Muốn đánh giá báo cáo có ích cho việc học, hãy quan sát người đọc thực hiện một vài nhiệm vụ cụ thể với chính phiếu ấy.
Tách cảm giác thích khỏi khả năng sử dụng
Có thể hỏi học sinh phiếu dễ đọc hay không, nhưng câu trả lời ấy chỉ cung cấp một phần thông tin. Cần quan sát em tìm đúng kết quả, giải thích được một nhận xét và chọn được việc tiếp theo. Nếu mục tiêu là hỗ trợ ôn luyện, việc em xác định được một nhiệm vụ có căn cứ quan trọng hơn việc em nhớ tên mọi chỉ số.
Chẳng hạn, nhận xét chung “cần cố gắng đọc biểu đồ” chưa nói em vướng ở đâu. Một nhận xét gắn với bài làm có thể là: “Ở các nhiệm vụ được nêu, em đã lấy số từ hai trục khác đơn vị; hãy thử lập bảng đại lượng và đơn vị trước khi tính”. Cách viết thứ hai chỉ phù hợp khi dữ liệu thực sự hỗ trợ nhận xét. Không nên thêm chi tiết vào phiếu chỉ để trông cá nhân hóa.
Một lượt thử đọc báo cáo với ba nhiệm vụ
| Nhiệm vụ trong thử nghiệm giả định | Kết quả quan sát trên 12 người | Câu hỏi thiết kế cần xem lại |
|---|---|---|
| Chỉ ra bằng chứng cho một nhận xét trên phiếu | 9/12 tìm đúng vị trí được nêu. | Ba người còn lại không thấy mã câu, không hiểu liên kết hay hiểu sai nhận xét? |
| Nêu một việc sẽ luyện có gắn với bằng chứng | 7/12 nêu nhiệm vụ đủ cụ thể theo tiêu chí đã đặt. | Người đọc thiếu hướng dẫn chọn việc hay khuyến nghị đang quá rộng? |
| Tự bắt đầu một nhiệm vụ mới được cung cấp | 5/12 bắt đầu và thực hiện bước yêu cầu mà không được nhắc. | Vướng ở kiến thức, cách hiểu yêu cầu hay cách diễn đạt của phiếu? |
Nhóm 12 người, nhiệm vụ và mọi kết quả là giả định, không phải khảo sát đã thực hiện tại Song Pa Lab hoặc Empire. Ba chỉ số đo các nhiệm vụ riêng trên cùng nhóm, không mặc định là một chuỗi tập con và không coi chênh lệch là tác động nhân quả của báo cáo.
Trước khi thử, cần định nghĩa “đủ cụ thể”. Ví dụ, “học chăm hơn” chưa nêu nhiệm vụ; “luyện đọc đơn vị của ba biểu đồ mới rồi giải thích đại lượng cần tính” đã rõ hơn. Người quan sát nên ghi lời học sinh nói và mức trợ giúp, không chỉ đánh dấu đạt/chưa đạt theo cảm giác.
Tìm nguyên nhân vướng ở chỗ người đọc dừng lại
Nếu học sinh không tìm được bằng chứng vì mã câu chỉ xuất hiện ở trang khác, có thể cần sửa cách nối thông tin. Nếu tìm được câu nhưng chưa hiểu lời nhận xét, cần xem ngôn ngữ và ví dụ. Nếu hiểu nhận xét nhưng chưa tự làm nhiệm vụ mới, có thể cần hướng dẫn học tập thêm; không nên quy mọi vướng mắc cho bố cục báo cáo.
Một lần thử nhỏ giúp phát hiện chỗ cần sửa, chưa đủ để đại diện mọi học sinh. Nên mời người có mức quen thuộc và điều kiện đọc khác nhau phù hợp đối tượng sử dụng. Sau khi chỉnh phiếu, thử lại nhiệm vụ liên quan; nếu thay nhiều nội dung cùng lúc, tránh tuyên bố một thay đổi riêng đã tạo ra toàn bộ kết quả tốt hơn.
Kiểm tra cả những điều người đọc không được hiểu quá mức
Báo cáo có IRT cần giúp học sinh nhận ra điểm là kết quả ước lượng theo quy trình, không phải đánh giá toàn bộ con người. Nếu có bách phân vị, em phải biết nhóm so sánh. Nếu có khoảng bất định, em không nên hiểu là bảo đảm cho điểm thi chính thức. Vì vậy, bài kiểm tra sử dụng phiếu cần có cả câu hỏi về giới hạn, không chỉ hỏi tìm con số cao nhất.
Standards for Educational and Psychological Testing bàn việc báo cáo phù hợp người nhận và kiểm tra cách diễn giải trong tiêu chuẩn 6.10 [1]. Với một phiếu cá nhân, việc thử nhiệm vụ như trong bảng là một cách thu thêm bằng chứng sử dụng. Nó không thay cho kiểm tra chất lượng đề, cách chấm, mô hình hoặc độ chính xác của dữ liệu.
Đưa kết quả thử thành một thay đổi có thể kiểm tra
Nhóm thiết kế có thể chọn sửa cách nối nhận xét với mã câu trước, vì đó là một vướng mắc đã được ghi nhận. Sau chỉnh sửa, yêu cầu người đọc tìm lại căn cứ mà không gợi ý. Nếu người đọc vẫn không thực hiện được, tiếp tục xem nguyên nhân; không chỉ thêm một câu giới thiệu rằng báo cáo đã dễ hiểu.
Một báo cáo hỗ trợ ôn V-ACT, HSA hoặc TSA có giá trị khi giúp người học hiểu đúng thông tin và bước đầu chọn được việc có thể làm. Bằng chứng ấy nằm trong cách người đọc sử dụng phiếu, bên cạnh bằng chứng về chất lượng đo lường. Kiểm tra cả hai sẽ giúp báo cáo rõ ràng hơn và gắn với việc học thực tế.
Nguồn tham khảo
[1] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing. Standard 6.10, trang 119. Xem tài liệu