Hiệu chuẩn câu hỏi không phải chỉ sửa câu cho trau chuốt. Trong IRT, đó là quá trình dùng dữ liệu và mô hình để ước lượng đặc trưng của câu trên một thang được xác định, rồi kiểm xem kết quả có phù hợp để sử dụng hay chưa. Muốn làm việc này, một tệp tổng số câu đúng của mỗi học sinh thường chưa đủ: phải biết từng người đã gặp câu nào và phản hồi ra sao.
Từ bài làm đến đặc trưng của câu
Một mô hình IRT mô tả xác suất phản hồi theo năng lực và đặc trưng câu. Hiệu chuẩn ước lượng những đặc trưng ấy, chẳng hạn vị trí b và độ phân biệt a trong 2PL, theo quy ước của mô hình. Bước này cần cả kiểm dữ liệu, lựa chọn mô hình, xác định thang và đánh giá độ phù hợp; một bảng tham số được xuất ra chưa tự là kết quả đã được nghiệm thu.
Livingston trình bày việc hiệu chuẩn cần dữ liệu nối các câu trực tiếp hoặc gián tiếp; không nhất thiết mỗi người làm tất cả câu [1]. Tuy nhiên, các lô dữ liệu tách rời không tự đặt các tham số lên cùng thang chỉ vì đều mang tên a, b. Thiết kế liên kết và các giả định phải được kiểm trong chương trình cụ thể.
Một thiết kế có câu chung nhìn như thế nào
Ví dụ hoàn toàn tự dựng có hai nhóm riêng, mỗi nhóm 180 người. Nhóm A được giao Q01, Q02, Q03; nhóm B được giao Q01, Q03, Q04. Trong sơ đồ này, Q01 và Q03 là câu chung, cùng nội dung và phiên bản đã xác định. Con số 180 chỉ để đọc thiết kế, không phải cỡ mẫu tối thiểu được khuyến nghị cho mô hình nào.
Thiết kế minh họa: mỗi đường nối nghĩa là nhóm được giao câu đó. Q01 và Q03 được cả hai nhóm làm, nối hai bộ câu; tính đủ của dữ liệu và độ ổn định câu chung vẫn phải được kiểm, không được suy từ sơ đồ này.
Nếu đủ mọi lượt như thiết kế, Q01 và Q03 mỗi câu được giao cho 360 người, còn Q02 và Q04 mỗi câu được giao cho 180 người. Tổng 360 người tham gia không có nghĩa mỗi câu đều có 360 phản hồi dùng được. Bỏ trống, dữ liệu lỗi hoặc các quy tắc giữ mẫu tiếp tục làm số quan sát có ích thay đổi.
Giữ được sự khác nhau giữa không giao và trả lời sai
Bảng ba dòng dưới chỉ minh họa cấu trúc phản hồi nhị phân của một số người, không phải bộ dữ liệu đủ để hiệu chuẩn. Giả sử 1 là đúng, 0 là sai theo khóa đã kiểm; dấu “—” nghĩa là không được giao câu. Dữ liệu bỏ trống ở câu đã giao cần có trạng thái gốc riêng và được xử lý theo quy tắc của chương trình, không đồng nhất với dấu “—”.
Kéo ngang bảng để xem đầy đủ các cột.
| Người giả định | Bộ được giao | Q01 | Q02 | Q03 | Q04 |
|---|---|---|---|---|---|
| A001 | A | 1 | 0 | 1 | — |
| A002 | A | 0 | 1 | 1 | — |
| B001 | B | 1 | — | 0 | 1 |
Nếu đổi mọi dấu “—” thành 0, nhóm phân tích đã biến câu không gặp thành một câu làm sai. Nếu chỉ còn tổng đúng, lại không biết các số 0/1 thuộc câu nào. Vì vậy, cần giữ ánh xạ mã đề–vị trí–mã câu và dấu vết bản chấm, đồng thời bảo toàn lựa chọn gốc để đối soát khóa khi cần.
Bộ bàn giao cần có cả dữ liệu và từ điển
| Thành phần | Thông tin đơn vị cần chuẩn bị |
|---|---|
| Danh mục nội dung | Mã câu/phiên bản, ngữ liệu, khóa hoặc rubric, ô mục tiêu và vai trò câu |
| Phản hồi từng người–câu | Mã người đã phân quyền bảo vệ, mã lượt, bộ câu được giao, lựa chọn gốc, trạng thái và kết quả chấm |
| Thiết kế thu dữ liệu | Ai được giao bộ nào, câu chung hoặc liên hệ người chung, cách phân nhóm, vị trí và thời lượng |
| Mẫu và quy tắc xử lý | Đối tượng dự kiến, cách chọn người, điều kiện làm bài, quy tắc giữ/loại và mã trạng thái thiếu |
| Bằng chứng để phân tích | Đặc tả nội dung, phản biện, nhật ký sửa, sự cố và yêu cầu thang/báo điểm cần đáp ứng |
Standards 2014 yêu cầu mô tả mẫu và mô hình khi đánh giá đặc tính câu, cùng các căn cứ phân tích liên quan [2]. Bảng bàn giao ở đây là đề xuất thực hành để người sử dụng hình dung đầu vào. Không phải mọi trường thông tin đều được công khai cho mọi người nhận; quyền truy cập phải phù hợp nhiệm vụ.
Sau hiệu chuẩn người dùng nhận sản phẩm gì
Một kết quả có thể sử dụng cần gắn tham số và độ bất định với đúng mã câu, phiên bản, mô hình, quy ước và thang; kèm kết quả kiểm, giới hạn cùng đề xuất bước tiếp. Có thể giữ, sửa, thu thêm dữ liệu hoặc ngừng dùng tùy bằng chứng. Hiệu chuẩn giúp tạo cơ sở đo lường cho ngân hàng, nhưng không xác nhận thay đáp án, mục tiêu nội dung hay quyền sử dụng ngữ liệu.
Với đơn vị làm đề luyện HSA, V-ACT, TSA, chuẩn bị hồ sơ đầu vào tốt giúp giảm nhầm mã, nhầm bản và diễn giải quá mức. Với học sinh, ý nghĩa dễ hiểu là câu hỏi đã được nghiên cứu bằng bài làm có thiết kế, thay vì chỉ được gắn một nhãn “dễ” hoặc “khó” theo cảm giác. Thang của chương trình luyện vẫn cần được phân biệt với thang của kỳ thi chính thức.
Nguồn tham khảo
[1] Livingston, S.A. (2020). Basic Concepts of Item Response Theory: A Nonmathematical Introduction. ETS RM-20-06, tr. 7–9. Xem tài liệu
[2] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standard 4.10, tr. 88–89. Xem tài liệu