Hiệu chuẩn riêng ước lượng tham số cho từng tập dữ liệu rồi cần cách kết nối nếu muốn so sánh trên cùng thang. Hiệu chuẩn đồng thời ước lượng trong một mô hình chung với thiết kế kết nối phù hợp. Cách chọn phụ thuộc dữ liệu, câu neo và mục tiêu so sánh.
Hai lớp làm hai mã đề khác nhau. Sau phân tích, bảng của lớp A và lớp B đều có những giá trị năng lực quanh 0. Có thể ghép hai bảng rồi so trực tiếp không? Muốn trả lời, cần biết các câu hỏi và kết quả đã được đặt trên thang nào, bằng thiết kế kết nối ra sao.
Hiệu chuẩn là ước lượng đặc điểm câu hỏi trong mô hình
Hiệu chuẩn câu hỏi, hay item calibration, là việc ước lượng các tham số câu hỏi theo mô hình từ dữ liệu phù hợp. Những tham số này gắn với quy ước thang. Hai lần phân tích riêng cùng dùng một tên mô hình chưa tự tạo ra cùng một thước đo [1].
Hãy hình dung hai mã đề A và B có các câu riêng cùng một phần câu chung. Những câu chung có thể được xem xét làm câu neo: chúng tạo kết nối thông tin giữa các bộ dữ liệu. Nội dung, điều kiện sử dụng và sự hoạt động phù hợp của câu neo cần được kiểm tra; không phải cứ trùng mã câu là có một cầu nối đạt yêu cầu.
Thiết kế kết nối minh họa. Hai câu neo trong hình chỉ để trình bày nguyên lý, không phải khuyến nghị số câu neo cho một kỳ thi.
Ước lượng riêng rồi thực hiện bước nối thang
Ở phương án hiệu chuẩn riêng, dữ liệu A và B được phân tích riêng trước. Kết quả ban đầu có thể nằm trên những thang khác nhau. Nhóm phân tích dùng thiết kế kết nối và phương pháp phù hợp để xác định cách chuyển các tham số về một thang tham chiếu, rồi kiểm tra chất lượng của phép nối. Đây là linking, thường gọi là liên kết hoặc nối thang.
Ưu điểm thực hành là có thể xem xét riêng những bộ dữ liệu hoặc đợt thi đã có. Tuy nhiên, bước nối thang cần được thực hiện và đánh giá rõ. Đặt cả hai phân bố năng lực có trung bình 0 trong từng lượt chạy chỉ là lựa chọn chuẩn hóa ban đầu; nó chưa chứng minh người ở vị trí 0 của hai nhóm có cùng mức năng lực.
Ước lượng đồng thời trên một thiết kế có kết nối
Ở phương án hiệu chuẩn đồng thời, concurrent calibration, dữ liệu của các mã đề được tổ chức để ước lượng cùng trong một hệ thống tham số. Những câu chung được nhận diện là cùng câu theo thiết kế. Nếu một người không gặp câu riêng của mã khác, dữ liệu cần thể hiện đúng tình trạng đó; không chuyển mọi câu chưa gặp thành câu làm sai.
Gộp nhiều tệp vào một phần mềm chưa đủ để gọi là đã có thang chung. Nếu thiết kế không có kết nối cần thiết, cần xem lại tính xác định của mô hình và điều kiện có thể đặt chung thang. Câu neo không ổn định, khóa đáp án sai hoặc các nhóm làm bài trong điều kiện rất khác cũng có thể làm việc liên kết khó diễn giải.
| Điều cần hỏi | Hiệu chuẩn riêng rồi nối | Hiệu chuẩn đồng thời |
|---|---|---|
| Ước lượng ban đầu | Từng bộ dữ liệu trước. | Cùng mô hình có thiết kế kết nối. |
| Đặt lên thang tham chiếu | Có bước xác định và kiểm tra phép nối. | Thang chung được xây trong hệ thống ước lượng. |
| Bằng chứng vẫn cần | Chất lượng câu neo, phép chuyển và độ bất định. | Kết nối dữ liệu, hoạt động câu neo và độ phù hợp. |
Chọn cách làm từ thiết kế chứ không từ tên gọi
Kim và Cohen so sánh những cách xây dựng thang chung và cho thấy kết quả phụ thuộc điều kiện nghiên cứu, trong đó có số lượng câu chung [2]. Vì vậy, không có căn cứ để nói hiệu chuẩn đồng thời luôn tốt hơn trong mọi trường hợp. Khi lập kế hoạch, cần xét mục tiêu, dữ liệu đã có, cách tổ chức câu neo và phương án kiểm tra chất lượng.
Đối với trường hoặc trung tâm tổ chức thi thử V-ACT, HSA hay TSA, một báo cáo so nhiều mã đề nên nói rõ thiết kế kết nối và cách đặt điểm lên thang. Cùng thang là một điều kiện quan trọng, nhưng kết luận hai đề tương đương hoặc điểm dùng thay thế cho nhau còn cần bằng chứng nội dung và mục đích sử dụng.
Với học sinh, câu hỏi thực tế là: điểm của hai lần thi này đã đủ điều kiện so sánh chưa? Khi báo cáo trả lời được bằng cách làm và bằng chứng cụ thể, em mới có cơ sở dùng chênh lệch điểm để theo dõi việc học. Một tên thang giống nhau là điểm bắt đầu để kiểm tra, chưa phải câu trả lời cuối cùng.
Nguồn tham khảo
[1] NCME. Assessment Glossary. Xem tài liệu
[2] Kim, S. H., & Cohen, A. S. (1998). A comparison of linking and concurrent calibration under item response theory. Applied Psychological Measurement, 22(2), 131–143. DOI 10.1177/01466216980222003