Hai mã đề đều có 40 câu, cùng chia nội dung theo một ma trận và làm trong thời gian như nhau. Một bạn được 28 câu đúng ở mã A, bạn khác được 25 ở mã B. Chỉ từ các thông tin ấy, chưa thể biết chênh lệch phản ánh năng lực hay một phần khác biệt giữa hai bộ câu.
Ma trận giúp giữ thiết kế, chưa làm các câu giống nhau
Ma trận mô tả bài cần phủ nội dung và yêu cầu nào, với tỷ trọng ra sao. Hai mã đề cùng ma trận có thể dùng hai ngữ liệu khác nhau, các nhiễu khác nhau hoặc nhiệm vụ đòi số bước khác nhau. Vì thế, cùng số câu ở một ô ma trận chưa bảo đảm các câu có độ khó và thông tin như nhau.
Điều này cũng không làm ma trận kém quan trọng. Nó là nền tảng để các đề cùng hướng tới phạm vi đo dự định. Sau nền tảng ấy, cần kiểm thêm nội dung cụ thể, đặc điểm thống kê, độ chính xác và bằng chứng cho việc sử dụng điểm giữa các mã.
Một cặp hồ sơ đề cùng cấu trúc
Bảng dưới là thiết kế tự dựng cho hai mã A và B, mỗi mã dùng một bộ câu khác nhau. Các tên mảng và số câu chỉ minh họa; không phải cấu trúc chính thức của V-ACT, HSA hoặc TSA.
| Mảng nhiệm vụ minh họa | Mã A | Mã B |
|---|---|---|
| Đọc và diễn giải ngữ liệu | 12 câu | 12 câu |
| Tư duy toán học | 14 câu | 14 câu |
| Phân tích dữ liệu khoa học | 14 câu | 14 câu |
| Tổng | 40 câu | 40 câu |
Giả sử một thiết kế thử nghiệm phân người làm ngẫu nhiên để tạo hai nhóm tương đương về phân bố năng lực, mỗi nhóm 1000 người. Hồ sơ giả định cho kết quả như bảng tiếp theo. Trong thực tế, việc phân nhóm, tuân thủ quy trình và điều kiện thi vẫn cần được kiểm tra.
| Thống kê tự dựng | Nhóm làm A | Nhóm làm B |
|---|---|---|
| Số người | 1000 | 1000 |
| Trung bình số đúng | 28/40 | 25/40 |
| Độ lệch chuẩn số đúng | 6 câu | 6 câu |
Số liệu giả định do Song Pa xây dựng, không phải đầu ra thử nghiệm thật. Điều kiện nhóm tương đương là phần thiết kế của ví dụ; không được mặc nhiên áp cho hai đợt học sinh tự chọn.
Khi các điều kiện so sánh được đáp ứng, chênh lệch trung bình gợi rằng hai bộ câu chưa cho cùng mức điểm thô. Nếu dùng minh họa quy tương đương tuyến tính phù hợp ở vùng giữa, 25 câu đúng của B có thể tương ứng 28 câu của A. Đây là một điểm quy đổi trong ví dụ, không phải quy tắc cộng 3 cho mọi học sinh, mọi đầu thang hay mọi kỳ thi.
Quy tương đương nhằm so ý nghĩa điểm
Equating, hay quy tương đương điểm, là công việc điều chỉnh ảnh hưởng của khác biệt giữa các dạng đề đủ tương đồng để điểm có thể được sử dụng thay nhau trong phạm vi phù hợp. Livingston giải thích rằng các dạng đề được xây để đo cùng kỹ năng vẫn có thể khác độ khó, nên cần thiết kế dữ liệu và phương pháp quy tương đương [1].
Thiết kế có thể dùng các nhóm tương đương, cùng người làm nhiều dạng theo cách kiểm soát hiệu ứng thứ tự, hoặc câu chung làm neo. Mỗi thiết kế có giả định và giới hạn. Nếu hai nhóm tự chọn khác nền tảng, trung bình 28 và 25 không đủ để nói mã B khó hơn; nhóm làm B có thể khác về năng lực hoặc điều kiện.
IRT hỗ trợ, nhưng phải có cầu nối dữ liệu
IRT có thể đặt các câu lên một thang chung khi mô hình và thiết kế liên kết cho phép. Đơn vị có thể đối chiếu đường thông tin, chọn câu và kiểm việc đưa tham số về thang tham chiếu. Nhưng hai bộ câu không chung người, không chung câu và không có căn cứ thiết kế liên quan thì không tự có một cầu nối chỉ vì đều chạy 2PL.
Ngay khi đã có câu neo, cần kiểm phiên bản, nội dung và độ ổn định của chúng. Khi có phép liên kết, cũng cần biết sai số và vùng điểm được hỗ trợ. Các tiêu chuẩn về khả năng dùng điểm thay nhau yêu cầu dữ liệu và tài liệu kỹ thuật phù hợp với tuyên bố ấy [2].
Hai điều học sinh nên kiểm trước khi so kết quả
Trước hết, hãy xem hai kết quả đã được báo trên cùng thang có căn cứ liên kết hay chỉ cùng hiển thị một tổng điểm. Cùng ghi thang 100 hoặc 1200 chưa tự tạo cùng ý nghĩa. Sau đó, xem chúng có cùng phạm vi đo, nhóm tham chiếu và độ chính xác phù hợp hay không.
Khi luyện nhiều bộ đề, em vẫn có thể dùng bài làm để tìm lỗi và theo dõi kỹ năng. Nếu chưa có bằng chứng tương đương, đừng coi việc tăng vài câu đúng qua hai mã là mức tiến bộ đã được đo chính xác. So thêm các nhiệm vụ cùng kỹ năng và xem cách giải sẽ giúp nhận định vững hơn.
Với đơn vị xây đề, một hồ sơ tốt cần có cả ma trận lẫn bằng chứng liên kết và độ chính xác. Ma trận cho biết hai đề được thiết kế để đo điều gì; phân tích dữ liệu giúp kiểm xem điểm của chúng đã đủ căn cứ để đọc cùng nhau hay chưa.
Nguồn tham khảo
[1] Livingston, S. A. (2014). Equating Test Scores (without IRT), ấn bản 2, tr. 2–4,7–8,13–16,25–31. Xem tài liệu
[2] AERA, APA & NCME. (2014). Standards for Educational and Psychological Testing, Standards 5.12–5.13, tr. 105–106. Xem tài liệu