Ngân hàng 120 câu có đủ tạo ba đề 40 câu hay không? Câu trả lời còn phụ thuộc việc được dùng lại câu đến mức nào và 120 câu ấy nằm ở những ô nào. Một tổng số lớn có thể che một ô thiếu; một chính sách luân phiên nghiêm hơn cũng có thể làm nhu cầu kho tăng rõ rệt. Tính quy mô cần bắt đầu bằng lịch sử dụng và các ràng buộc cụ thể.
Đếm nhu cầu trên đúng đơn vị sử dụng
Tình huống tự dựng xét ba đề cố định, mỗi đề 40 câu. Mỗi đề cần 16 câu xử lý dữ liệu, 14 câu lập luận định lượng và 10 câu đánh giá bằng chứng. Một câu được xếp vào đúng một ô chính. Trước hết, giả định một câu không xuất hiện ở hai đề bất kỳ trong bộ ba; chưa có câu neo bắt buộc dùng chung. Đây là quy ước kế hoạch minh họa, không phải chính sách của HSA, V-ACT, TSA hoặc một đơn vị thật.
Khi không lặp, nhu cầu từng ô bằng số câu mỗi đề nhân ba. Chỉ những câu đủ điều kiện cho các đề đang tính mới được đưa vào tồn kho sẵn sàng. Bản nháp, câu đang sửa, câu chưa nối đúng thang hoặc đã bị chặn theo chính sách không được dùng để làm đẹp số tồn.
Kéo ngang bảng để xem đầy đủ các cột.
| Ô quản lý | Câu/đề | Cần cho 3 đề không lặp | Sẵn sàng hiện có | Thiếu đúng ô |
|---|---|---|---|---|
| Xử lý dữ liệu | 16 | 48 | 42 | 6 |
| Lập luận định lượng | 14 | 42 | 30 | 12 |
| Đánh giá bằng chứng | 10 | 30 | 38 | 0 |
| Tổng | 40 | 120 | 110 | 18 |
Tổng hiện có 110 chỉ thấp hơn 120 là 10 câu, nhưng mức thiếu theo ô là 18. Tám câu dư ở ô Đánh giá bằng chứng không thay được sáu và mười hai câu thiếu ở hai ô còn lại. Nếu giữ toàn bộ câu hiện có rồi bổ sung đủ 18 câu đúng ô, kho có 128 câu; không có phép tính mâu thuẫn ở đây, vì 120 là tổng nhu cầu tối thiểu theo phân bố, không phải trần kho.
Dự phòng phải nêu rõ là giả định kế hoạch
Đơn vị giả định muốn có dự phòng 25% trên nhu cầu không lặp của từng ô, nhằm còn lựa chọn nếu một số câu phải rút. Tỷ lệ 25% do tình huống tự chọn, không phải ngưỡng khoa học chung. Tính riêng từng ô rồi làm tròn lên vì không thể chuẩn bị nửa câu: 48 × 1,25=60; 42 × 1,25=52,5→53; 30 × 1,25=37,5→38.
Kéo ngang bảng để xem đầy đủ các cột.
| Ô quản lý | Nhu cầu × 1,25 | Mục tiêu đủ điều kiện sau làm tròn | Cần bổ sung từ kho hiện tại |
|---|---|---|---|
| Xử lý dữ liệu | 60 | 60 | 18 |
| Lập luận định lượng | 52,5 | 53 | 23 |
| Đánh giá bằng chứng | 37,5 | 38 | 0 |
| Tổng | 150 trước làm tròn từng ô | 151 | 41 |
Số câu theo ba ô của tình huống tự dựng. Cột nhu cầu và kế hoạch đều là ràng buộc đếm, chưa chứng minh có thể tạo đề đáp ứng toàn bộ tiêu chí nội dung và đo lường.
Như vậy, mục tiêu của gói kế hoạch này là 151 câu đủ điều kiện, không phải chỉ viết thêm 41 bản nháp là xong. Nếu một phần câu mới cần sửa hoặc không đạt sau thử nghiệm, đầu vào biên soạn phải lớn hơn. Có thể lập kịch bản theo tỷ lệ giữ lại từ các đợt trước, nhưng phải phân biệt dự báo có bất định với số câu sẵn sàng đã được xác nhận.
Đổi chính sách dùng lại sẽ đổi bài toán
Giữ ba đề và cùng cơ cấu, nếu cho mỗi câu xuất hiện tối đa hai lần trong bộ ba thì riêng ràng buộc đếm cho cận dưới 24,21,15 câu ở ba ô, tổng 60: mỗi ô cần lần lượt 48,42,30 lượt xuất hiện, chia sức chứa tối đa hai lượt của một câu rồi làm tròn lên. Đây mới là cận dưới theo số lượt, chưa khẳng định 60 câu bất kỳ sẽ lắp được ba đề phù hợp.
Cho phép dùng hai lần cũng làm mức tiếp xúc thay đổi. Nếu một câu có trong hai trên ba đề và ba đề được phân cho số người bằng nhau, khoảng hai phần ba người trong thiết kế đó sẽ gặp câu. Nếu số người ở mỗi đề khác nhau, phải tính theo phân bổ thực tế. Chỉ ghi “tối đa hai lần” mà không lưu đề, số người và thời gian sử dụng sẽ chưa đủ theo dõi mức tiếp xúc.
Nếu cần câu neo chung, phải tách phần neo khỏi phần luân phiên và tính theo chính sách riêng; không áp nguyên giả định không lặp ban đầu cho cả đề. Nghiên cứu về các kho luân phiên cho thi thích ứng yêu cầu các kho con có phân bố nội dung và thuộc tính thống kê phù hợp [2]. Luân phiên vì thế là một cách thiết kế và kiểm soát sử dụng, chưa tự bảo đảm bảo mật hay khả năng thay thế điểm giữa đề.
Đếm đủ vẫn cần thử lắp đề
Những câu sẵn sàng còn có thể chịu ràng buộc ngữ liệu chung, cặp không được xuất hiện cùng nhau, thời lượng hoặc vùng thông tin. Thiết kế ngân hàng trong nghiên cứu của van der Linden và cộng sự nhấn mạnh rằng thành phần kho giới hạn những đề có thể tạo ra [1]. Một ô đủ số lượng nhưng toàn câu lệch vùng năng lực mục tiêu vẫn có thể chưa hữu ích cho mục đích đang xét.
Sản phẩm kế hoạch nên giao kèm giả định sử dụng, bảng thiếu theo ô, danh sách câu sẵn sàng và kết quả thử lắp các đề. Nếu chưa có nghiệm, cần ghi rõ ràng buộc gây thiếu và phương án bổ sung hoặc điều chỉnh lịch. Quy mô hợp lý là quy mô thực hiện được một chương trình đã xác định trong điều kiện chất lượng, thay vì một con số nghe lớn trên trang giới thiệu.
Nguồn tham khảo
[1] van der Linden, W.J., Veldkamp, B.P., & Reese, L.M. (1998). An Integer Programming Approach to Item Pool Design. Research Report 98-11, University of Twente, tr.3–4 và 6–13. Xem tài liệu
[2] Ariel, A., Veldkamp, B.P., & van der Linden, W.J. (2004). Constructing Rotating Item Pools for Constrained Adaptive Testing. Journal of Educational Measurement, 41(4), 345–359. DOI 10.1111/j.1745-3984.2004.tb01170.x. Xem tài liệu