Một câu hỏi có thể được gắn nhãn “dân cư”, “so sánh tỷ lệ” và “giải thích kết luận”. Ba nhãn ấy nói về ba mặt khác nhau, chứ không phải ba cách gọi độ khó. Khi hiểu từng lớp thông tin, học sinh biết cần luyện thao tác nào, còn người quản lý ngân hàng tìm được câu đúng vai trò mà không chỉ dựa vào tên chương.
Cùng ngữ liệu nhưng nhiệm vụ có thể khác
Xét bảng tự dựng: khu vực A có số dân tăng từ 100 lên 120 nghìn người, khu vực B tăng từ 200 lên 210 nghìn người trong cùng một giai đoạn. Câu Q-A hỏi “Cuối giai đoạn, B có bao nhiêu nghìn người?”. Câu Q-B hỏi “Có thể kết luận B tăng nhanh hơn A chỉ vì số dân cuối giai đoạn lớn hơn không? Giải thích bằng tỷ lệ tăng”. Số liệu không thuộc địa phương thật và không phải câu thi đã công bố.
Đáp án Q-A là 210 nghìn người, cần tìm đúng thời điểm và đơn vị. Với Q-B, A tăng 20/100 =20%, B tăng 10/200 =5%; kết luận được nêu không có căn cứ từ số dân cuối kỳ. Hai câu cùng chủ đề dân cư nhưng yêu cầu xử lý khác. Việc chọn một câu thay cho câu kia cần nhìn yêu cầu đo, không chỉ nhìn từ khóa “dân số”.
Đọc hồ sơ theo từng lớp
Bảng sau là hai hồ sơ phân loại minh họa. Nhãn mức yêu cầu do nhóm biên soạn quy định để diễn tả nhiệm vụ, không phải một khung phân bậc duy nhất áp dụng cho mọi kỳ thi. Các kết quả thử nghiệm cũng là số liệu giả định để học cách đọc hồ sơ.
| Lớp thông tin | Q-A | Q-B |
|---|---|---|
| Kiến thức và ngữ cảnh | Số dân, thời điểm và đơn vị nghìn người | Quy mô dân số và tỷ lệ tăng |
| Kỹ năng cần thực hiện | Trích xuất đúng giá trị từ bảng | Tính hai tỷ lệ, so sánh và đánh giá kết luận |
| Yêu cầu chính khi xếp ma trận | Trích xuất trực tiếp | Giải thích và đánh giá |
| Dấu hiệu làm căn cứ phân loại | Có thể trả lời bằng một ô số liệu, không cần suy ra tỷ lệ | Cần dùng giá trị đầu kỳ làm mẫu số; kết luận phải dựa trên so sánh đó |
| Kết quả thử nghiệm giả định | 84/240 người đúng; p=0,35 | 156/240 người đúng; p=0,65 |
| Tham số IRT b | Chưa ước lượng; không suy b từ nhãn hoặc p | Chưa ước lượng; không tự điền một giá trị b |
Kiến thức trả lời câu hỏi “nội dung nào đang được sử dụng”. Kỹ năng trả lời “học sinh phải làm thao tác gì”. Mức yêu cầu mô tả cách những thao tác được kết hợp trong nhiệm vụ. Một câu nhiều chữ chưa chắc yêu cầu suy luận sâu; một câu ngắn cũng có thể buộc kiểm giả định hoặc phát hiện giới hạn của dữ kiện.
Vì sao nhãn yêu cầu không thay cho độ khó
Trong số liệu giả định, Q-B có tỷ lệ đúng cao hơn Q-A dù cần nhiều bước hơn. Điều này không chứng minh cách phân loại sai. Học sinh có thể đã luyện kiểu so sánh của Q-B; Q-A cũng có thể có một đặc điểm trình bày cần kiểm lại. Chỉ từ hai tỷ lệ đúng chưa biết nguyên nhân nào là thật. Cần xem câu nguyên bản, phản hồi của người làm và điều kiện thử nghiệm.
p ở đây là tỷ lệ trả lời đúng trong mẫu đã nêu: giá trị lớn hơn nghĩa là nhiều người trong mẫu trả lời đúng hơn. Tham số b trong IRT có ý nghĩa theo mô hình và thang đo được xác định. Không có quy tắc đổi “giải thích” thành b=1 hoặc đổi mọi p=0,35 thành cùng một b. Kết quả IRT cần dữ liệu, mô hình và kiểm tra thích hợp; ô chưa có kết quả nên được ghi đúng là chưa có.
ETS tách đặc tả và phản biện chuyên gia khỏi phần thử nghiệm, lưu mẫu và phân tích câu [1]. Cách tổ chức hồ sơ thành các lớp trong bài là một đề xuất thực hành theo tinh thần ấy. Nó giúp giữ cả chủ đích thiết kế và bằng chứng thực tế, thay vì để một lớp thông tin xóa mất lớp còn lại.
Gắn nhãn sao cho người khác kiểm lại được
Mỗi nhãn nên có một căn cứ ngắn từ nhiệm vụ hoặc lời giải. Chẳng hạn, Q-B được xếp vào Giải thích và đánh giá vì học sinh phải bác hoặc chấp nhận một kết luận bằng hai tỷ lệ, không chỉ vì đề dùng động từ “giải thích”. Nếu người phản biện chưa đồng ý, hồ sơ lưu nhận xét, cách giải quyết và phiên bản hệ phân loại để người sau hiểu quyết định.
Có thể giữ nhiều nhãn phụ phục vụ tìm kiếm, nhưng việc đếm vào ma trận vẫn theo quy tắc đã thống nhất. Khi mục tiêu hoặc cách viết câu đổi, nhãn cũng cần được xem lại. Việc sửa nhãn không tự làm câu tốt hơn; người đọc phải còn mở được nội dung và căn cứ gắn nhãn.
Từ hồ sơ câu đến việc học
Khi luyện HSA, V-ACT hoặc TSA, thay vì ghi “yếu dân cư”, học sinh có thể ghi rõ hơn: đọc đúng giá trị nhưng hay chọn sai mẫu số khi tính tốc độ. Thông tin ấy giúp chọn bài luyện đúng điểm cần cải thiện. Với một phiếu chỉ có vài câu, nên coi nhận xét là gợi ý cần kiểm thêm, không gắn nhãn năng lực cố định cho người học.
Hồ sơ câu hữu ích khi nối được ba việc: nêu nội dung, chỉ ra thao tác và cho phép kiểm bằng chứng. Độ khó quan sát hay tham số IRT bổ sung cho hồ sơ; chúng không thay công việc đọc kỹ điều mà câu hỏi thực sự yêu cầu.
Nguồn tham khảo
[1] Educational Testing Service (2014). ETS Standards for Quality and Fairness, Standards 7.2–7.5, tr.29–32. Xem tài liệu