Hai học sinh làm một bộ 20 câu và đều gần như đúng hết. Giáo viên thêm tiếp những câu cùng mức dễ ấy, nhưng vẫn khó biết em nào đã đi xa hơn. Trong trường hợp này, bài dài hơn giúp thấy nhiều lần “làm được”; nó chưa chắc giúp phân giải rõ vùng năng lực đang cần tìm hiểu.
Nhiều câu có thể giúp, nhưng phải hỏi câu nào
Nếu các câu phù hợp mục tiêu, tạo thêm bằng chứng và được làm trong điều kiện hợp lý, tăng số câu thường có thể giúp đo chính xác hơn. Nhưng số lượng tự nó chưa cho biết bài đo tốt ở đâu. Một bộ toàn câu quá dễ với nhóm mạnh có thể chạm hiệu ứng trần: nhiều người tập trung gần điểm tối đa. Bộ quá khó với nhóm mới học cũng có vấn đề tương tự ở phía dưới.
Độ chính xác còn phụ thuộc vùng năng lực cần quan sát. Bài dùng để xác nhận kiến thức nền cần bằng chứng khác với bài phân giải các mức thành thạo cao. Khi nghe “đề này có rất nhiều câu”, ta vẫn nên hỏi: số câu ấy đang giúp trả lời câu hỏi đánh giá nào?
Một minh họa cho thấy đề dài chưa chắc phân giải rõ hơn
Xét hai bộ câu hoàn toàn giả định. Bộ A có 20 câu, mỗi câu b = −3; bộ B có 10 câu, mỗi câu b = 1. Các câu là những nhiệm vụ khác nhau, tạm giả định độc lập có điều kiện theo mô hình Rasch logistic hệ số 1. Ta so hai vị trí năng lực theta 0,5 và 1,5; đây là phép minh họa mô hình, không phải kết quả thi thật.
Kéo ngang bảng để xem đầy đủ các cột.
| Bộ câu giả định | Số câu | Số đúng kỳ vọng ở theta 0,5 | Số đúng kỳ vọng ở theta 1,5 |
|---|---|---|---|
| A — dễ hơn nhiều so với vùng đang xét | 20 | 19,41/20 | 19,78/20 |
| B — đặt gần vùng đang xét | 10 | 3,78/10 | 6,22/10 |
Số liệu do Song Pa tự dựng, tính bằng tổng xác suất đúng của từng câu. Số đúng kỳ vọng có thể lẻ; không phải số câu đúng thực tế của một học sinh.
Trong A, hai mức năng lực khác nhau vẫn cùng dẫn tới kết quả gần 20/20. Với B, số đúng kỳ vọng thay đổi rõ hơn giữa hai vị trí. Bảng chưa đủ để tuyên bố B là đề tốt toàn diện, nhưng cho thấy vì sao chỉ đếm câu hoặc nhìn điểm tối đa là chưa đủ để đánh giá độ phân giải.
Thông tin IRT cung cấp một cách xem lượng bằng chứng theo từng vùng năng lực [2]. Có thể vẽ thông tin và sai số của toàn đề để tìm vùng đo tốt, vùng còn thiếu; bài 137 sẽ đi vào cách đọc hai đường đó. Trong một mô hình phù hợp, việc chọn câu đúng vùng quan trọng hơn việc thêm câu theo số lượng một cách máy móc.
Một trăm câu gần như giống nhau còn thiếu điều gì?
Giả sử mục tiêu gồm đọc dữ liệu, suy luận quan hệ và đánh giá kết luận, nhưng đa số câu chỉ yêu cầu thay số vào một công thức. Bài có thể nhất quán khi đo thao tác ấy, song vẫn thiếu bằng chứng về các yêu cầu còn lại. Phủ nội dung là một nhiệm vụ riêng, cần đối chiếu ma trận và ngữ liệu, thay vì suy từ độ dài.
Cũng cần xem các câu có mang bằng chứng mới hay chủ yếu lặp cùng một lời giải. Những câu chung ngữ liệu hoặc gợi đáp án cho nhau có thể phụ thuộc sau khi đã xét năng lực. Nếu bỏ qua sự phụ thuộc mà tính như mọi câu đều độc lập, báo cáo có thể đánh giá độ chính xác quá lạc quan.
Phiếu kiểm trước khi thêm câu
| Điều cần hỏi | Ví dụ dấu hiệu | Hướng cải thiện |
|---|---|---|
| Vùng nào cần đo rõ hơn? | Nhiều người gần điểm tối đa hoặc tối thiểu. | Bổ sung nhiệm vụ phù hợp vùng còn thiếu; kiểm thông tin theo theta. |
| Nội dung nào còn thiếu? | Có nhiều câu tính nhưng ít câu giải thích dữ liệu. | Điều chỉnh phân bổ theo mục tiêu và ma trận. |
| Câu mới có bằng chứng mới? | Nhiều câu dùng cùng một mẹo hoặc gợi đáp án nhau. | Rà phụ thuộc và thiết kế nhiệm vụ đa dạng. |
| Thời gian có còn hợp lý? | Cuối bài nhiều người chưa tới câu. | Phân biệt thiếu thành thạo với áp lực thời gian và thiết kế tổ chức. |
Các tiêu chuẩn ETS về độ tin cậy yêu cầu xem bằng chứng phù hợp với cách diễn giải và sử dụng điểm [1]. Phiếu trên là một cách thực hành do Song Pa tổng hợp để đưa câu hỏi “đủ chính xác chưa?” về những việc có thể kiểm trong hồ sơ đề.
Học sinh nên chọn cách luyện nào?
Khi luyện HSA, V-ACT hoặc TSA, em có thể thấy mình làm ngày càng nhiều câu nhưng kết quả ít thay đổi. Hãy xem số câu ấy có nằm ở vùng phù hợp, có đa dạng yêu cầu và có được chữa rõ cách làm không. Mười nhiệm vụ được chọn đúng mục tiêu rồi phân tích lỗi kỹ có thể hữu ích hơn một lượt dài chỉ lặp điều đã làm được; điều này không đặt ra một con số bài luyện chung cho mọi người.
Với đơn vị xây đề, sản phẩm nên có cả bản đồ nội dung lẫn bản đồ độ chính xác theo năng lực. Khi hai bản đồ cùng chỉ ra chỗ thiếu, quyết định thêm câu sẽ rõ mục đích và dễ giải thích hơn nhiều so với chỉ nâng tổng số câu.
Nguồn tham khảo
[1] Educational Testing Service. (2014). ETS Standards for Quality and Fairness, chương 6: Reliability. Xem tài liệu
[2] Baker, F. B. (2001). The Basics of Item Response Theory, ấn bản 2, chương 6. ERIC ED 458219. Xem tài liệu