Câu đã hiệu chuẩn giúp người thiết kế có thêm thông tin để chọn và sử dụng câu. Nhưng thông tin ấy gắn với một phiên bản, mô hình, thang và điều kiện được nghiên cứu. Khi đưa câu sang một đề mới, cần kiểm xem những điều kiện quan trọng còn phù hợp không và câu có đóng góp đúng vai trò trong đề đang xây hay không.
Hiệu chuẩn mang theo một phạm vi sử dụng
Một kết quả hiệu chuẩn mô tả đặc trưng của câu theo mô hình đã chọn và dữ liệu đã thu. Nếu đường đáp ứng của câu còn ổn định và thang được duy trì phù hợp, các tham số có thể hỗ trợ những lần tạo đề tiếp theo [1]. Đây là lợi ích quan trọng của ngân hàng có thang: đơn vị có thể lựa chọn câu bằng cả nội dung và thông tin đo lường.
Tính ổn định cần được theo dõi. Cách hiển thị, người làm dự kiến, vị trí, câu lân cận, thời gian hoặc việc nội dung đã được phổ biến có thể làm bối cảnh sử dụng khác đi. Không phải thay đổi nào cũng làm tham số mất giá trị, nhưng cần có căn cứ đánh giá thay vì coi mã câu giống nhau là đủ.
Một phiếu sử dụng có thể nhìn như thế nào
Hồ sơ tự dựng xét SP-Q602 v1.0, một câu đọc đồ thị dành cho học sinh THPT. Tham số minh họa theo 2PL, D=1, c=0, thang SP-R là a=1,15(SE 0,12), b=0,30(SE 0,10). Các con số được gán để học cách đọc hồ sơ, không phải kết quả hiệu chuẩn trên dữ liệu thật. Giả định hồ sơ thẩm định ban đầu đã có căn cứ phù hợp cho mục đích được ghi.
| Dự kiến dùng câu | Điều được đối chiếu | Quyết định trong hồ sơ minh họa |
|---|---|---|
| Đề cùng mục tiêu THPT, cùng bản nội dung và thang SP-R | Điều kiện hiển thị, vị trí, thời gian, trạng thái sử dụng và độ ổn định còn phù hợp | Đưa vào danh sách dự tuyển; tiếp tục kiểm toàn đề trước phát hành |
| Đề chuyển sang một nhóm người học rất khác | Nhóm mới có phù hợp mục tiêu và bằng chứng đã có không | Chưa tự mở rộng kết luận; cần thẩm định và dữ liệu bổ sung phù hợp |
| Bản mới đổi đồ thị thành bảng và viết lại yêu cầu | Phiên bản nội dung và cách tạo bằng chứng đã thay | Lưu bản mới; xác định việc kiểm/thử/phân tích lại; không tự kế thừa tham số |
| Đề tính trên thang SP-B chưa liên kết với SP-R | Hai thang chưa có quan hệ được xác nhận | Không gắn trực tiếp các tham số SP-R vào phép tính SP-B; đối soát thang trước |
Trong dòng đầu, “dự tuyển” có nghĩa câu đủ điều kiện để được xem xét khi lắp đề, chưa có nghĩa người dùng được chèn vào bất kỳ vị trí nào. Đề cụ thể còn phải đáp ứng ma trận, thời lượng, đóng góp thông tin, quan hệ giữa các câu và các quy tắc sử dụng khác.
Một câu phù hợp chưa làm cả đề phù hợp
Nhiều câu có thể cùng tốt trong phạm vi riêng nhưng tập hợp lại lệch nội dung hoặc tập trung vào một vùng năng lực quá hẹp. Chọn toàn câu có a cao cũng chưa giải quyết được các yêu cầu còn lại. Người ra đề cần xem cả tập câu, không thay bảng đặc tả bằng một thứ tự xếp hạng tham số.
Tương tự, lấy các câu từ cùng ngân hàng có thang tạo nền tảng để xây đề và báo điểm, nhưng việc thay thế điểm giữa đề vẫn cần bằng chứng phù hợp. Câu đã hiệu chuẩn là một nguồn lực có thể quản lý và kiểm lại; nó không phải chứng chỉ cho mọi cách dùng của toàn đề.
Cần giữ những điều kiện nào trong hồ sơ
Hồ sơ sử dụng nên dẫn tới mã câu/phiên bản, ngữ liệu, khóa, mục tiêu và nhóm người học dự kiến; mã bộ hiệu chuẩn, mô hình, quy ước tham số và thang; các kết quả kiểm cùng hạn chế; lịch sử sử dụng và quyết định hiện tại. Với câu cần thu thêm dữ liệu, trạng thái ấy phải còn nhìn thấy khi hệ thống chọn câu.
Standards 2014 lưu ý các điều kiện giữa thử nghiệm và sử dụng cuối, như động cơ, vị trí, thời gian hay phương thức làm bài, có thể ảnh hưởng hoạt động của câu [2]. Vì vậy, nhật ký thay đổi có ích khi quyết định cần kiểm ở mức nào. Không cần suy rằng mỗi thay đổi nhỏ đều buộc làm lại toàn bộ, cũng không nên bỏ qua thay đổi chỉ vì nó trông nhỏ trên màn hình.
Hiểu đúng lời giới thiệu một đề đã được phân tích
Học sinh có thể hỏi đơn vị về mục đích của đề, đối tượng phù hợp và cách đọc kết quả. Giáo viên tiếp nhận ngân hàng có thể yêu cầu mở một phiếu điều kiện sử dụng như ví dụ, cùng báo cáo kiểm toàn đề. Những câu trả lời cụ thể này cho thấy bằng chứng được áp dụng vào quyết định, vượt khỏi việc nêu tên một mô hình.
Với đề luyện HSA, V-ACT, TSA, thang của chương trình luyện phải được gọi đúng phạm vi. Một câu nằm trên thang riêng có thể phục vụ tốt mục tiêu nội bộ; muốn nói liên hệ với thang thi chính thức cần thêm nghiên cứu xác nhận. Việc dùng lại có căn cứ giúp khai thác ngân hàng hiệu quả, còn việc theo dõi điều kiện giúp các kết quả tiếp tục được giải thích một cách có trách nhiệm.
Nguồn tham khảo
[1] Livingston, S.A. (2020). Basic Concepts of Item Response Theory: A Nonmathematical Introduction. ETS RM-20-06, tr. 4,8,13. Xem tài liệu
[2] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standard 4.10 và phần bình luận, tr. 88–89. Xem tài liệu