Một đợt thử có thể thu nhiều bài làm nhưng vẫn khó phân tích nếu thiếu ánh xạ câu, bản khóa hoặc cách phân bộ. Kế hoạch nên chốt cả việc ai làm gì và gói dữ liệu nào phải được giao sau đó. Khi số lượng và quan hệ được kiểm từ đầu, nhóm phân tích có thể tập trung vào bằng chứng của câu thay vì dành phần lớn thời gian tìm lại ý nghĩa các cột.
Một kế hoạch gọn nhưng đếm được
Tình huống tự dựng cần thử 36 câu mới thuộc một miền đánh giá đã xác định. Nhóm dự kiến chia thành ba bộ, mỗi bộ có 12 câu mới và 8 câu chung. Tám câu chung được chọn theo thiết kế liên kết và phải được rà tính phù hợp, ổn định; việc từng có tham số không tự bảo đảm chúng là neo tốt trong lần sử dụng này.
Kéo ngang bảng để xem đầy đủ các cột.
| Bộ thử | Câu chung dự kiến | Câu mới | Số người dự kiến | Tổng câu mỗi người |
|---|---|---|---|---|
| A | R01–R08 | Q701–Q712: 12 câu | 200 | 20 |
| B | R01–R08 | Q713–Q724: 12 câu | 200 | 20 |
| C | R01–R08 | Q725–Q736: 12 câu | 200 | 20 |
Nếu đủ 600 người thực hiện đúng thiết kế, mỗi câu mới được giao cho 200 người, mỗi câu chung cho 600 người. Có 600 × 20=12.000 lượt người–câu được giao: 36 × 200=7.200 ở câu mới và 8 × 600=4.800 ở câu chung. Đây là phép đếm của kế hoạch giả định; 200 không phải mức nghiệm thu chung cho IRT và 12.000 chưa phải số phản hồi đã thu được.
Chốt cách phân bộ và điều kiện trước khi tổ chức
Trong mẫu kế hoạch, bốn nhóm trình độ sơ bộ được phân người vào cả A, B, C; có thể ngẫu nhiên trong từng nhóm theo phương án đã thống nhất. Cách làm nhằm tránh một bộ chỉ được nhóm vững làm, bộ khác chỉ được nhóm cần củng cố làm. Hồ sơ vẫn phải ghi quy trình thực tế, những người không tham gia và thay đổi phát sinh, vì bảng dự kiến cân đối chưa tự chứng minh mẫu cuối có độ đại diện mong muốn.
Cần khóa bản câu, ngữ liệu, phương án, khóa chấm và vị trí theo từng bộ; chốt thời lượng, thiết bị, hướng dẫn và cách ghi sự cố. Nếu hoán vị vị trí hoặc phương án, dữ liệu phải giữ được ánh xạ đã hiển thị. Vai trò câu chung, câu mới và câu dùng tính điểm nếu có phải được quy định trước, không bổ sung theo kết quả đúng/sai của từng người.
ETS yêu cầu lưu thông tin mẫu và thủ tục phân tích khi thử câu; Livingston giải thích vai trò kết nối dữ liệu trong hiệu chuẩn [1,2]. Thiết kế ba bộ trong bài là một phương án minh họa, không phải cấu trúc bắt buộc hay một thiết kế đã được tối ưu cho mọi ngân hàng.
Gói bàn giao cần có từ điển và dấu vết
Bảng sau mô tả tên tệp đề xuất cùng số bản ghi kỳ vọng nếu kế hoạch được thực hiện đầy đủ. Đây là mẫu sản phẩm để chuẩn bị bàn giao, không phải khẳng định các tệp hoặc dữ liệu 600 người đã được tạo và thu thật. Các đơn vị có thể dùng định dạng khác miễn giữ cùng ý nghĩa và quan hệ.
| Tên tệp đề xuất | Quy mô kỳ vọng | Nội dung chính |
|---|---|---|
| 01_items.csv | 44 bản ghi câu: 36 mới+8 chung | Mã/phiên bản, ngữ liệu, khóa, đặc tả, vai trò và trạng thái |
| 02_assignments.csv | 600 bản ghi lượt được phân | Mã người đã bảo vệ, mã lượt, bộ, phương án phân nhóm và thời điểm |
| 03_responses_long.csv | 12.000 bản ghi người–câu được giao | Tham chiếu câu, phương án gốc, kết quả chấm, trạng thái và vị trí thực tế |
| 04_context.csv | 600 hồ sơ lượt nếu đủ tham gia | Điều kiện làm bài, thiết bị, thời lượng và liên kết sự cố |
| 05_data_dictionary.xlsx | Từ điển theo từng trường | Kiểu dữ liệu, mã thiếu, ý nghĩa 0/1, đơn vị và khóa liên kết |
| 06_quality_log.xlsx | Nhật ký đối soát | Số nhận/giữ/loại, trùng mã, bản khóa, quy tắc xử lý và lỗi còn tồn |
Tệp phản hồi có thể giữ cả câu được giao nhưng bỏ trống bằng một trạng thái rõ; câu không được giao không được tự biến thành sai. Nếu dùng dạng ma trận rộng, cách biểu diễn khác nhưng phải bảo toàn dấu phân biệt này. Mã cá nhân và tệp định danh cần được phân quyền; mẫu công khai chỉ cần dùng mã giả.
Đối soát số lượng rồi mới đọc kết quả mô hình
Nhóm nhận kiểm mỗi lượt thuộc đúng một bộ, mỗi bộ có đúng 20 câu theo danh sách đã khóa và không có bản ghi bị gửi lặp như một lượt mới. Số câu chung và mới phải khớp bản nội dung. Khi tổng thực nhận khác 12.000, cần giải thích phần thiếu hoặc thừa bằng hồ sơ lượt, không sửa số tổng cho khớp kế hoạch.
Sau đó mới tạo tập phân tích theo quy tắc đã ghi: giữ bản gốc, ghi những thay đổi và báo số phản hồi thực sự dùng cho mỗi câu. Một số đủ về số lượng vẫn có thể chưa đủ ở vùng năng lực quan trọng hoặc chưa phù hợp mô hình. Báo cáo phải nêu những giới hạn này trước khi chuyển tham số sang ngân hàng.
Bàn giao cả câu hỏi cần được trả lời
Gói dữ liệu nên đi cùng yêu cầu phân tích: mục tiêu ngân hàng, nhóm người học, thang cần liên kết, các quyết định sẽ dựa vào kết quả và những ràng buộc sử dụng. Nhóm phân tích trả lại kết quả đúng phiên bản, độ bất định, các kiểm tra và đề xuất bước tiếp; đơn vị chuyên môn kết hợp với hồ sơ nội dung để nghiệm thu.
Với đề luyện HSA, V-ACT, TSA, cách chuẩn bị này giúp việc nghiên cứu câu có đầu ra cụ thể và giảm nhầm dữ liệu giữa bộ đề. Thiết kế thử vẫn là kế hoạch cần được xác nhận phù hợp trước khi tổ chức. Nếu mời qua Empire, học sinh đăng ký trước, được sắp xếp và thông báo lịch sau; bảng trong bài không phải lịch thi đang mở.
Nguồn tham khảo
[1] Educational Testing Service (2014). ETS Standards for Quality and Fairness, Standard 7.5, tr. 32. Xem tài liệu
[2] Livingston, S.A. (2020). Basic Concepts of Item Response Theory: A Nonmathematical Introduction. ETS RM-20-06, tr. 7–9. Xem tài liệu