Một trường muốn có ngân hàng để kiểm tra đầu đợt và giao bài luyện sau khi chữa. Nếu bắt đầu bằng yêu cầu “viết 500 câu”, nhóm biên soạn có thể làm được một kho lớn nhưng thiếu đúng loại câu cần dùng. Cách làm có căn cứ hơn là chốt quyết định mà kết quả sẽ phục vụ, mô tả các dạng đề cần tạo, rồi chuyển chúng thành ma trận toàn ngân hàng và kế hoạch bổ sung theo từng ô.
Chốt mục tiêu trước khi chốt tổng số câu
Trong tình huống giả định, trường cần kiểm tra khả năng đọc và lập luận từ số liệu của học sinh THPT. Kết quả dùng để chọn nội dung hỗ trợ ở cấp nhóm, chưa dùng xếp hạng tuyển sinh hoặc chẩn đoán chắc chắn từng kỹ năng ở từng em. Bài đầu đợt dự kiến 20 câu; sau đó giáo viên dùng những bài luyện ngắn 4–6 câu để giải thích và thực hành lại.
Hai cách sử dụng có yêu cầu khác nhau. Bài đầu đợt cần cân đối miền nội dung; bài luyện có thể tập trung một điểm vướng và công khai lời giải. Vì thế, kho cần phân biệt câu dành cho kiểm tra còn được bảo vệ và câu đã được phép dùng làm học liệu. Một câu đã công khai có thể vẫn hữu ích cho luyện tập, nhưng không được tính như nguồn chưa lộ cho đề kiểm tra kín.
ETS yêu cầu làm rõ mục đích, nhóm người làm và điều cần đo trước khi xây đặc tả [1]. Đây là bước giúp đơn vị tránh dùng một ngân hàng cho những quyết định vượt quá bằng chứng mà nó được thiết kế để cung cấp.
Đặt các ô có thể giao việc và kiểm lại
Trường giả định chọn hai mảng ngữ liệu là dân cư và môi trường, mỗi mảng có ba yêu cầu chính. Kế hoạch giai đoạn 1 tạm đặt mục tiêu 50 câu đủ điều kiện, dự kiến phục vụ đề đầu đợt và nguồn thay thế/luyện tập có quản lý. Con số 50 là chỉ tiêu kế hoạch tự dựng để minh họa cách làm; chưa phải mức tối ưu, chuẩn tối thiểu hay bảo đảm đủ mọi lịch luân phiên.
Kéo ngang bảng để xem đầy đủ các cột.
| Ô ngân hàng | Một đề 20 câu | Mục tiêu kho | Hiện có đủ điều kiện | Thiếu đúng ô |
|---|---|---|---|---|
| Dân cư–trích xuất | 4 | 8 | 10 | 0 |
| Dân cư–xử lý | 4 | 10 | 4 | 6 |
| Dân cư–đánh giá | 2 | 6 | 3 | 3 |
| Môi trường–trích xuất | 3 | 6 | 8 | 0 |
| Môi trường–xử lý | 4 | 12 | 10 | 2 |
| Môi trường–đánh giá | 3 | 8 | 3 | 5 |
| Tổng | 20 | 50 | 38 | 16 |
Mỗi câu trong bảng được đếm theo một ô chính. “Đủ điều kiện” ở đây là đã qua các bước được quy định cho mục đích sử dụng hiện tại, không tính bản nháp, câu đang khóa hoặc bản cần thử lại. Nếu ngân hàng có thang IRT, còn phải lọc đúng thang, phiên bản và điều kiện về chất lượng đo; số lượng nội dung đơn thuần chưa cho thấy kho đáp ứng được một vùng năng lực.
Vì sao kho thiếu 16 câu dù tổng chỉ hụt 12
Lấy 50 trừ 38 cho kết quả 12, nhưng hai ô trích xuất đang dư tổng 4 câu so với mục tiêu. Bốn câu dư ấy không thay được nhiệm vụ xử lý hoặc đánh giá đang thiếu. Tính riêng từng ô cho mức thiếu 0+6+3+0+2+5=16 câu. Nếu giữ cả 4 câu dư và bổ sung đủ 16 câu, kho sẽ có 54 câu: 50 là tổng chỉ tiêu độ phủ theo ô, không phải trần số câu được giữ. Mức bổ sung đang tính là câu đủ điều kiện, không nhất thiết là số bản nháp chỉ cần viết thêm.
Nếu chỉ ra lệnh bổ sung 12 câu bất kỳ, kho có thể đạt tổng 50 mà vẫn chưa đáp ứng ma trận. Nhóm quản lý nên giao rõ sản phẩm, chẳng hạn sáu câu dân cư yêu cầu xử lý số liệu và năm câu môi trường yêu cầu đánh giá kết luận. Mỗi nhiệm vụ giao biên soạn cần có đặc tả để người viết hiểu loại bằng chứng phải tạo.
Một nghiên cứu về thiết kế ngân hàng của van der Linden, Veldkamp và Reese mô hình hóa kế hoạch kho nhằm hỗ trợ chương trình đánh giá và giảm nỗ lực sản xuất câu [2]. Bảng trong bài không triển khai thuật toán đó; nó minh họa bước quản trị trước khi tối ưu: xác định thuộc tính cần có và nhìn phần thiếu theo thuộc tính, thay vì nhìn một tổng số duy nhất.
Đưa ma trận qua vòng kiểm tính khả thi
Nhóm thử lắp đề 20 câu từ các câu hiện có và ghi nơi không chọn được câu phù hợp. Sau đó kiểm thời lượng, ngữ liệu chung, câu không được xuất hiện cùng nhau và vùng thông tin mong muốn. Một ô có đủ ba câu trên danh sách vẫn có thể chưa dùng hết cả ba nếu chúng dựa trên cùng ngữ liệu theo cách không phù hợp với đề hoặc đang chịu hạn chế sử dụng.
Kết quả thử lắp đề quay lại điều chỉnh kế hoạch: ưu tiên viết ô nào, thu dữ liệu cho bản nào, dự phòng bao nhiêu và phần nào cần thay đổi lịch sử dụng. Các giả định về số đợt, số mã đề và mức dùng lại phải được ghi riêng để tính quy mô ở bước sau. Không tăng chỉ tiêu một ô bằng cách sửa nhãn cho câu đang có sẵn.
Sản phẩm bàn giao cần giúp trường điều hành được công việc
Một gói ma trận sử dụng được nên có mục tiêu và giới hạn diễn giải, bảng phân bố một đề, ma trận toàn kho, danh sách mã câu đủ điều kiện theo ô và bảng việc cần bổ sung. Từng phần cần ghi phiên bản, người phụ trách và căn cứ duyệt. Các trường ấy giúp theo dõi từ chỉ tiêu tới câu thật, không để ma trận trở thành một bảng chỉ tồn tại trong hồ sơ kế hoạch.
Với trường hoặc trung tâm chuẩn bị học sinh cho HSA, V-ACT, TSA, mục tiêu nội bộ cần đối chiếu đề cương chính thức của kỳ thi liên quan. Một kho luyện kỹ năng có thể phục vụ tốt bài luyện của đơn vị; điều đó chưa làm nó đại diện đầy đủ cho cả kỳ thi hoặc cho phép dự báo chắc điểm thi chính thức.
Nguồn tham khảo
[1] Educational Testing Service (2014). ETS Standards for Quality and Fairness, Standards 7.1–7.3, tr.29–30. Xem tài liệu
[2] van der Linden, W.J., Veldkamp, B.P., & Reese, L.M. (2000). An Integer Programming Approach to Item Bank Design. Applied Psychological Measurement, 24(2), 139–150. DOI 10.1177/01466210022031570. Xem tài liệu