Hai mã đề có vài câu trông giống nhau. Đơn vị định dùng chúng làm “cầu nối” để đưa điểm về cùng thang. Trước khi mở kết quả liên kết, cần mở hồ sơ câu: giống đến mức nào, có cùng phiên bản và điều kiện xuất hiện không, và cả bộ câu chung có đủ phù hợp với mục đích nối thang không?
Câu chung là điểm khởi đầu, câu neo cần thêm bằng chứng
Câu neo là các câu được dùng làm căn cứ liên kết trong một thiết kế phù hợp. Chúng giúp nhận ra quan hệ giữa hai thang khi người làm hai mã có thể khác nhau. Để làm việc ấy, đặc điểm đo của các câu cần đủ ổn định theo giả định của phương pháp, đồng thời hồ sơ nội dung và dữ liệu phải được đối chiếu.
Giữ cùng mã câu trong cơ sở dữ liệu chưa đủ. Một từ sửa để rõ nghĩa hơn, một bảng đổi đơn vị hoặc một đoạn ngữ liệu được rút ngắn có thể làm nhiệm vụ thay đổi. Livingston khuyến nghị chú ý nội dung, cách trình bày và vị trí của câu chung trong thiết kế neo [1].
Một bảng kiểm nhận trước khi chốt bộ neo
Hồ sơ hoàn toàn giả định dưới đây có sáu ứng viên nối mã A và B, thuộc ba mảng đọc, toán và khoa học. Các nhận xét là tình huống do Song Pa tự dựng để minh họa cách thẩm định; không phải kết quả phân tích của một đề Việt Nam.
Kéo ngang bảng để xem đầy đủ các cột.
| Câu | Đối chiếu hai mã | Dấu hiệu hồ sơ | Quyết định tạm thời |
|---|---|---|---|
| N01 — đọc | Vị trí 8→10; cùng phiên bản | Ngữ liệu, đáp án và câu hỏi giữ nguyên; chưa có cờ bất ổn. | Ứng viên để tiếp tục kiểm thống kê. |
| N02 — toán | Vị trí 12→13; khác phiên bản | Một dữ kiện đã sửa ở mã B. | Không coi hai phiên bản là cùng câu neo. |
| N03 — khoa học | Vị trí 6→38; cùng câu chữ | Từ đầu bài chuyển gần cuối; cần kiểm áp lực thời gian. | Chưa đưa vào bộ neo chính trước khi thẩm định. |
| N04 — toán | Vị trí 17→18; cùng phiên bản | Có dấu hiệu khác biệt chưa được giải thích sau đối soát thang. | Tạm giữ ngoài bộ neo chính để kiểm nguyên nhân. |
| N05 — toán | Vị trí 24→23; cùng phiên bản | Hồ sơ nội dung khớp, chưa có cờ bất ổn. | Ứng viên để tiếp tục kiểm thống kê. |
| N06 — toán | Vị trí 29→28; cùng phiên bản | Hồ sơ nội dung khớp, chưa có cờ bất ổn. | Ứng viên để tiếp tục kiểm thống kê. |
Bảng quyết định tự dựng. “Chưa có cờ” không có nghĩa đã chứng minh bất biến. Không tự loại một câu khỏi toàn bộ ngân hàng chỉ vì chưa phù hợp làm neo.
Sau lượt kiểm này, ba ứng viên còn lại là N01, N05 và N06: một câu đọc, hai câu toán, chưa có câu khoa học. Đây là dấu hiệu cần xem độ phù hợp của cả bộ, nhất là nếu đề định đo cả ba mảng. Không chỉ đếm ba câu còn lại rồi kết luận đủ cầu nối.
Hồ sơ thống kê phải giữ thông tin về thang và sai số
Đơn vị cần biết cách hiệu chuẩn, quy ước thang, tham số kèm sai số, mức phù hợp, nhóm người làm và phương pháp kiểm ổn định. Tham số từ hai lần hiệu chuẩn riêng chưa được đặt cùng thang không nên bị trừ trực tiếp để gắn cờ. Đồng thời, khi các phép kiểm ít nhạy vì mẫu nhỏ hoặc vùng năng lực thiếu người, không có cờ càng cần được đọc thận trọng.
Bộ neo cũng cần phù hợp với thiết kế nội dung và miền so sánh. Không có một số lượng câu chung tự động chứng nhận chất lượng cho mọi bài. Nếu sàng lọc làm bộ neo ngắn hoặc hẹp đi nhiều, phải đánh giá lại ảnh hưởng đến phép liên kết, thay vì giữ kết luận ban đầu.
Vị trí câu cần được ghi như một dữ kiện
N03 vẫn cùng câu chữ nhưng chuyển từ vị trí 6 sang 38. Một số người có thể chưa tới câu, hoặc gặp nó khi còn ít thời gian hơn. Nghiên cứu của Marengo và cộng sự xem ảnh hưởng vị trí và thứ tự đến độ ổn định tham số trong một thiết kế neo sau bài thi [2]. Kết quả nhắc ta kiểm điều kiện xuất hiện; không cung cấp một hệ số vị trí chung cho mọi kỳ thi.
Với câu trong chùm ngữ liệu, cần đối chiếu cả đoạn dẫn và các câu liên quan. Giữ nguyên câu hỏi riêng lẻ nhưng thay bối cảnh đọc có thể làm nhiệm vụ khác đi. Nhật ký phiên bản và sơ đồ vị trí giúp người phân tích phát hiện điều mà một bảng a, b đơn lẻ không cho thấy.
Một hồ sơ bàn giao đủ để kiểm lại
Sản phẩm nên lưu danh sách ứng viên ban đầu và bộ được chọn, phiên bản nội dung, vị trí, dữ liệu nhóm, thống kê, quyết định từng câu và lý do. Kèm theo là kết quả đánh giá toàn bộ phép liên kết, phạm vi áp dụng và độ bất định. Người kiểm khác cần truy được câu nào đã vào hoặc ra khỏi bộ neo và vì sao.
Nếu dùng các đề luyện TSA, HSA hoặc V-ACT để theo dõi qua đợt, học sinh được hưởng lợi từ sự cẩn thận ở hậu trường này. Bằng chứng neo tốt giúp việc so điểm có căn cứ hơn. Nếu hồ sơ chưa đủ, đơn vị cần giới hạn tuyên bố so sánh và tiếp tục thu bằng chứng, thay vì để một vài câu chung tạo cảm giác thang đo đã được nối chắc chắn.
Nguồn tham khảo
[1] Livingston, S. A. (2014). Equating Test Scores (without IRT), ấn bản 2, tr. 35–37. Xem tài liệu
[2] Marengo, D., Miceli, R., Rosato, R. & Settanni, M. (2018). Placing Multiple Tests on a Common Scale Using a Post-test Anchor Design: Effects of Item Position and Order on the Stability of Parameter Estimates. Frontiers in Applied Mathematics and Statistics, 4,50. DOI 10.3389/fams.2018.00050. Xem tài liệu