Một câu được thử với 800 người có vẻ đáng tin hơn câu được thử với 400 người. Nhưng nếu phần lớn 800 người đều rất vững kiến thức, trong khi ngân hàng cần phục vụ cả học sinh đang củng cố nền, tổng số lớn chưa giải quyết được việc thiếu dữ liệu ở nhóm cần hiểu. Chọn người tham gia phải đi cùng mục tiêu và những vùng kết quả mà đơn vị muốn sử dụng.
Hỏi rõ câu sẽ phục vụ ai và quyết định nào
Quần thể dự kiến là nhóm người mà kết quả sẽ được diễn giải cho họ, chẳng hạn học sinh THPT ở một giai đoạn học tập xác định. Mẫu thử là những người thực sự tham gia thu dữ liệu. Khi hai nhóm khác nhau nhiều về kiến thức, ngôn ngữ, trải nghiệm học hoặc điều kiện làm bài, đơn vị cần xem bằng chứng thu được có hỗ trợ mục đích dự kiến tới đâu.
Standards 2014 yêu cầu mô tả cách chọn mẫu và đặc điểm người tham gia; khi có thể, mẫu cần gần quần thể dự kiến. Cỡ mẫu và mức đa dạng phải phù hợp thủ tục phân tích [1]. Những yêu cầu này giúp người đọc hiểu dữ liệu đến từ đâu, thay vì chỉ nhìn một tổng N trên bìa báo cáo.
Hai kế hoạch có cùng mục tiêu nhưng độ phủ khác
Trong tình huống tự dựng, đối tượng đích có bốn nhóm trình độ sơ bộ phân bố xấp xỉ đều. Các nhóm được xác định bằng đánh giá đầu vào riêng, không phải nhãn năng lực cố định hay kết quả IRT của câu đang thử. Đơn vị muốn hiểu hoạt động của câu ở cả bốn nhóm.
| Nhóm sơ bộ theo đánh giá đầu vào | Mẫu A | Mẫu B |
|---|---|---|
| Đang củng cố nền | 0 | 100 |
| Đáp ứng phần cơ bản | 40 | 100 |
| Khá | 160 | 100 |
| Vững | 600 | 100 |
| Tổng người tham gia | 800 | 400 |
Số người trong hai kế hoạch giả định. Mẫu A lớn hơn nhưng không có người ở nhóm đầu; mẫu B phân bố rộng hơn theo mục tiêu đã đặt. Bảng và hình không chứng minh mẫu B đã đại diện đầy đủ hoặc đủ cho mọi mô hình.
Mẫu A cho nhiều thông tin về nhóm vững, nhưng không có quan sát trực tiếp ở nhóm đang củng cố nền. Mẫu B tạo cơ hội kiểm hoạt động của câu ở cả bốn nhóm. Trong mục tiêu giả định này, cần quan tâm phần thiếu của A thay vì kết luận 800 luôn tốt hơn 400. Nếu quần thể và mục tiêu khác, cách đánh giá hai kế hoạch cũng phải thay đổi.
Phủ đủ nhóm trên bảng vẫn chưa xong việc chọn mẫu
Trong mỗi nhóm, người tự nguyện tham gia có thể khác người không tham gia. Một trường thuận tiện để thu dữ liệu chưa chắc phản ánh toàn bộ các trường mà dịch vụ muốn phục vụ. Vì thế, cần lưu cách mời, cách phân bộ câu, tỷ lệ tham gia và những giới hạn của mẫu. Đủ một số lượng theo mỗi ô chưa tự loại hết sai lệch chọn mẫu.
Tổng người tham gia cũng khác số phản hồi cho từng câu. Trong thiết kế chia nhiều bộ, một câu có thể chỉ được một phần mẫu làm; câu ở cuối có thể có nhiều lượt chưa tới. Khi xem độ bất định của tham số, phải nhìn dữ liệu thật sự dùng cho câu và các vùng có thông tin, không thay bằng tổng số tài khoản đăng ký.
IRT có mục tiêu so sánh ổn định nhưng vẫn cần dữ liệu phù hợp
Trong điều kiện mô hình và thang thích hợp, IRT hướng tới mô tả đặc trưng câu có thể dùng qua các nhóm phù hợp. Điều đó không có nghĩa mọi mẫu tùy tiện đều cho ước lượng đủ chính xác hoặc việc mở rộng sử dụng đã được xác nhận. Dữ liệu hữu hạn, thiếu vùng quan trọng, mô hình chưa phù hợp và bối cảnh thay đổi vẫn cần được kiểm.
Không có một N chung khiến mọi mô hình, mọi bộ câu và mọi mục đích đều được nghiệm thu. Livingston nhấn mạnh việc xác định số phản hồi cần cho hiệu chuẩn không có đáp án đơn giản [2]. Kế hoạch nên dựa vào độ chính xác mong muốn, thiết kế, đặc trưng câu và cách sử dụng kết quả; có thể cần mô phỏng hoặc thu thêm theo vùng thiếu.
Điều kiện và động cơ làm bài cũng phải được ghi
Một người làm có thể rất giỏi nhưng chỉ bấm cho xong vì không thấy ý nghĩa của đợt thử. Một nhóm có thể làm trên thiết bị hoặc thời lượng khác dự kiến sử dụng sau này. Mẫu đúng độ tuổi vẫn có thể đem lại phản hồi khó diễn giải nếu điều kiện và mức tham gia không được theo dõi. Các quy tắc xử lý dữ liệu phải có căn cứ và được lưu, tránh loại hàng loạt người chỉ để kết quả đẹp hơn.
Với đề luyện HSA, V-ACT, TSA, việc mời đúng đối tượng và giải thích mục đích phù hợp giúp thu bằng chứng có ích hơn. Nếu tổ chức qua Empire, học sinh đăng ký trước và nhận thông báo lịch khi được sắp xếp; không hiểu một lời mời thu dữ liệu là có thể làm bài ngay. Ví dụ 800/400 trong bài chỉ giúp đọc kế hoạch mẫu, không mô tả một đợt thi đã mở.
Khi tiếp nhận báo cáo thử nghiệm, giáo viên có thể hỏi ba điều: ai đã tham gia, ai còn thiếu và những phản hồi nào thực sự dùng cho câu. Các câu trả lời cụ thể ấy giúp biết kết luận có thể áp dụng cho ai và bằng chứng nào cần được bổ sung trước khi ngân hàng được sử dụng rộng hơn.
Nguồn tham khảo
[1] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standards 4.9–4.10 và bình luận, tr. 88–89. Xem tài liệu
[2] Livingston, S.A. (2020). Basic Concepts of Item Response Theory: A Nonmathematical Introduction. ETS RM-20-06, tr. 7–8. Xem tài liệu