Hai mã đề có thể không trùng câu hỏi nào về một đoạn đọc, nhưng vẫn dùng lại chính đoạn đọc ấy. Nếu chỉ đếm mã câu giống nhau, phần nội dung được gặp lại sẽ bị bỏ sót. Kiểm soát chồng lặp cần xác định đang đếm câu, ngữ liệu hay một họ câu gần nhau, rồi đặt kết quả vào mục đích bảo mật và đo lường của từng đợt sử dụng.
Chọn một cách đếm rõ trước khi so sánh
Trong ví dụ tự dựng, có ba đề A, B và C, mỗi đề tám câu. Độ chồng lặp theo câu của hai đề được tính bằng số câu chung chia cho tám. Công thức này dễ đọc vì các đề dài bằng nhau. Nếu đề dài khác nhau, cần nói rõ mẫu số; không nên đặt các tỷ lệ dùng hai cách chia khác nhau cạnh nhau rồi kết luận đề nào an toàn hơn.
Mỗi mã dưới đây biểu thị cùng câu và cùng phiên bản nội dung. Toàn bộ danh sách là minh họa, không phải nội dung trong một ngân hàng thật. Các câu con được gắn ngữ liệu như sau: S1 có Q01–Q02, S2 có Q03–Q04, S3 có Q09–Q10. Riêng S4 là một ngữ liệu có bốn câu con Q05, Q06, Q11, Q12; đề A lấy hai câu đầu, B lấy hai câu sau. S5 có Q15–Q16; các câu còn lại là câu riêng.
| Đề minh họa | Tám câu được chọn | Các ngữ liệu chùm xuất hiện |
|---|---|---|
| A | Q01, Q02, Q03, Q04, Q05, Q06, Q07, Q08 | S1, S2, S4 |
| B | Q01, Q02, Q09, Q10, Q11, Q12, Q13, Q14 | S1, S3, S4 |
| C | Q03, Q04, Q09, Q10, Q15, Q16, Q17, Q18 | S2, S3, S5 |
Ma trận tự dựng gồm 18 câu riêng. Ô tô màu có dấu chấm nghĩa là câu xuất hiện trong đề; ô nhạt nghĩa là không xuất hiện. Mỗi hàng có tám ô được chọn; toàn bộ có 24 lượt sử dụng câu.
Cùng tỷ lệ trùng câu nhưng phần gặp lại chưa giống nhau
Kéo ngang bảng để xem đầy đủ các cột.
| Cặp đề | Câu chung | Tỷ lệ theo câu | Ngữ liệu chùm chung |
|---|---|---|---|
| A–B | Q01, Q02 | 2/8 = 25% | S1 và S4: 2 ngữ liệu |
| A–C | Q03, Q04 | 2/8 = 25% | S2: 1 ngữ liệu |
| B–C | Q09, Q10 | 2/8 = 25% | S3: 1 ngữ liệu |
Nếu chỉ xem cột 25%, ba cặp có vẻ giống hệt nhau về mức dùng lại nội dung. Nhưng A và B cùng có S4 dù không dùng cùng câu con của ngữ liệu ấy. Người từng đọc S4 có thể đã quen bối cảnh và cách trình bày. Mức ảnh hưởng thực tế còn tùy nhiệm vụ và điều kiện; bảng chỉ cho thấy một phần cần kiểm thêm, không chứng minh có lợi thế điểm số cụ thể.
Trong 24 lượt sử dụng có 18 câu riêng. Sáu câu Q01–Q04 và Q09–Q10 mỗi câu xuất hiện hai lần, 12 câu còn lại xuất hiện một lần. Những phép đếm này giúp đối soát danh sách. Chúng không phải xác suất lộ đề hay tỷ lệ gian lận; muốn đánh giá những vấn đề ấy phải có bằng chứng và mô hình rủi ro phù hợp.
Không gộp mọi quan hệ câu vào một nhãn
Quan hệ chung ngữ liệu trả lời câu hỏi các câu cần đọc cùng tài liệu nào và được phép lắp thành chùm ra sao. Quan hệ gợi ý trả lời câu hỏi một câu có cung cấp manh mối không phù hợp cho câu khác không. Vai trò câu neo lại gắn với thiết kế liên kết thang. Một cặp câu có thể mang nhiều quan hệ; hệ thống cần giữ từng quan hệ và điều kiện dùng tương ứng.
Ví dụ, nếu Q07 gợi trực tiếp cách trả lời Q13, quy tắc có thể cấm chúng đi trong cùng một đề. Danh sách trên không vi phạm riêng quy tắc đó vì Q07 ở A, Q13 ở B. Điều ấy vẫn không trả lời đầy đủ chuyện chia sẻ nội dung giữa các buổi. Kiểm câu gợi ý trong đề và kiểm mức sử dụng giữa các đề phục vụ hai câu hỏi khác nhau.
Giữ cấu trúc chùm và xem lại giả định IRT
Bài báo của Becker và cộng sự mô tả các cách tổ hợp chùm, như coi cả chùm là đơn vị hoặc khai báo điều kiện các câu phải đi cùng [1]. Danh sách A/B ở đây chỉ minh họa phép đếm; nó không xác nhận việc tách bốn câu của S4 thành hai nhóm đã được thẩm định là phù hợp. Quy tắc chùm thực tế có thể yêu cầu giữ nguyên bộ, thứ tự hoặc những câu bắt buộc.
Các phản hồi trong cùng ngữ liệu cũng cần được xem về mức phụ thuộc còn lại sau khi đã xét năng lực. Chỉ dùng chung ngữ liệu chưa đủ để kết luận mô hình đã sai; nhưng coi mọi câu con là bằng chứng hoàn toàn tách biệt mà không kiểm có thể làm diễn giải độ chính xác quá thuận lợi. Nghiên cứu về testlet, tức cụm câu chung ngữ liệu, là một hướng xử lý cấu trúc này [2].
Nếu cố ý giữ câu chung để hỗ trợ liên kết, cần chọn và kiểm câu neo theo thiết kế phù hợp, đặc biệt phiên bản, độ ổn định và điều kiện dùng. Có câu trùng không tự chứng minh hai đề đã cân bằng. Ngược lại, mục tiêu giảm trùng tới không cũng không nên áp dụng máy móc nếu xung đột với một thiết kế liên kết đã có căn cứ.
Hồ sơ sử dụng cần gắn với từng đợt
Một bảng bàn giao hữu ích nên có danh sách mã/bản câu, mã/bản ngữ liệu, quan hệ chùm, quan hệ gợi ý, vai trò liên kết dự kiến, các đề và đợt đã dùng. Bên cạnh ma trận chồng lặp theo câu, có thể thêm bảng theo ngữ liệu và họ câu để người phụ trách thấy phần cần hạn chế hoặc thay mới. Mọi giới hạn sử dụng phải có mục đích và được cập nhật khi điều kiện thay đổi.
Với học sinh luyện HSA, V-ACT hoặc TSA, gặp đoạn quen không đồng nghĩa đã thành thạo nhiệm vụ mới. Em vẫn cần xác định đúng yêu cầu và căn cứ trả lời. Với đơn vị, hình dung được cả câu lẫn ngữ liệu giúp việc tạo nhiều mã đề giữ được cấu trúc học thuật và có hồ sơ kiểm soát cụ thể.
Nguồn tham khảo
[1] Becker, B., Debeer, D., Sachse, K. A., & Weirich, S. (2021). Automated Test Assembly in R: The eatATA Package. Psych, 3(2), 96–112, phần 3.2 và 4.1. DOI 10.3390/psych3020010. Xem tài liệu
[2] Bradlow, E. T., Wainer, H., & Wang, X. (1998). A Bayesian Random Effects Model for Testlets. ETS Research Report RR-98-03. DOI 10.1002/j.2333-8504.1998.tb01752.x. Xem tài liệu