Một đơn vị nói “ngân hàng đã có thang đo” thì cần cho người xem thấy nhiều hơn cột độ khó. Điều đáng giá là các câu đã được đặt trong một hệ quy chiếu phù hợp, để có thể dùng đặc trưng của chúng khi lựa chọn đề, tính điểm và theo dõi ngân hàng. Những công việc ấy chỉ có căn cứ khi mối liên hệ giữa dữ liệu, mô hình và thang được kiểm tra rõ.
Cùng thang mới đọc các vị trí cùng một cách
Thang đo quy định cách biểu diễn năng lực đang xét và đặc trưng câu. Hai giá trị b bằng nhau từ hai lần chạy riêng không tự nói hai câu ở cùng một vị trí: mỗi lần có thể dùng gốc, đơn vị hoặc quần thể tham chiếu khác. Cần thiết kế dữ liệu có liên hệ và phương pháp hiệu chuẩn hoặc nối thang phù hợp, cùng bằng chứng rằng việc so sánh ấy có ý nghĩa.
Livingston giải thích việc hiệu chuẩn một tập câu cần dữ liệu nối được các câu trực tiếp hoặc gián tiếp; một kho đã hiệu chuẩn có thể hỗ trợ tạo các dạng đề khi các quan hệ đáp ứng còn phù hợp [1]. Vì vậy, “có thang” là một thuộc tính của cả hệ bằng chứng và cách duy trì nó, không chỉ là có phần mềm xuất ra tham số.
Nhìn vào một danh mục có thể dùng để chọn câu
Danh mục dưới đây hoàn toàn tự dựng. Ba câu 201–203 được gán tham số trên thang giả định SP-A, theo Rasch với độ phân biệt a=1, hệ số logistic D=1 và không có tham số đoán mò. Các số không được ước lượng từ học sinh thật; chúng minh họa sản phẩm có thể đọc sau một quy trình hiệu chuẩn hợp lệ, chưa chứng minh chất lượng câu thực tế.
Kéo ngang bảng để xem đầy đủ các cột.
| Câu | Thang | b giả định | Xác suất đúng tại theta=0 trên SP-A | Gợi ý sử dụng có điều kiện |
|---|---|---|---|---|
| SP-Q201 | SP-A | −1,00 | 73,1% | Cân nhắc khi cần thêm câu ở vùng thấp hơn, nếu khớp nội dung |
| SP-Q202 | SP-A | 0,00 | 50,0% | Cung cấp thông tin quanh vùng theta 0 trong mô hình này |
| SP-Q203 | SP-A | 1,00 | 26,9% | Cân nhắc độ phủ vùng cao hơn; không chọn chỉ vì câu khó |
| SP-Q204 | SP-B | −0,30 | Chưa tính được từ b này trên SP-A | Cần nối/đối soát thang trước khi so với ba câu trên |
Ba đường Rasch trên SP-A do Song Pa tự dựng; tại theta=0 chúng cho khoảng 73,1%,50,0% và 26,9%. Đây là xác suất theo mô hình, không phải phần trăm học sinh thật đã làm đúng. SP-Q204 không được vẽ vì chưa nối với SP-A.
Mỗi đường mô tả một quan hệ người–câu trong giả định đã nêu. Điểm b không phải điểm học sinh và cũng không phải số điểm cộng khi trả lời đúng. Câu 202 không “tốt nhất” vì đạt 50%; vị trí phù hợp phụ thuộc vùng năng lực cần đo, nội dung và mục tiêu của đề. Với 2PL hoặc 3PL, còn phải đọc những tham số và giả định tương ứng, không bê nguyên bảng Rasch sang mọi mô hình.
Từ danh mục tới ba việc đơn vị có thể thực hiện
Khi lắp đề, đơn vị có thể lọc câu đúng nội dung, trạng thái được phép dùng và thang, rồi xem tập câu phủ vùng năng lực cần thiết hay chưa. Nếu cần đo quanh theta 0, câu quá lệch về một phía có thể cung cấp ít thông tin hơn ở vùng đó. Quyết định cuối vẫn phải xét toàn đề, thời lượng, phụ thuộc giữa câu và các ràng buộc khác; vài tham số đẹp không tự tạo ra một đề phù hợp.
Khi bổ sung ngân hàng, bản đồ câu theo thang giúp nhận ra thiếu ở đâu. Có thể kho có nhiều câu chủ đề môi trường nhưng thiếu câu cung cấp thông tin ở vùng năng lực mục tiêu. Khi ấy, viết thêm đúng vùng và đúng nhiệm vụ hữu ích hơn tăng tổng số câu tùy ý. Ngược lại, không nên kéo b của một câu sang vị trí mong muốn chỉ để lấp ô; tham số phải có căn cứ dữ liệu và mô hình.
Khi báo điểm giữa các đề, ngân hàng cùng thang tạo một nền tảng kỹ thuật quan trọng. Tuy nhiên, khả năng so sánh còn cần thiết kế đề, nội dung, độ chính xác, điều kiện tổ chức và bằng chứng nối thang được duy trì. Không thể chỉ rút hai tập câu từ kho rồi mặc định chúng thay thế cho nhau trong mọi mục đích.
Một hồ sơ thang cần được giao kèm
Đơn vị sử dụng nên nhận danh sách mã câu và phiên bản, mô hình và quy ước tham số, mã bộ hiệu chuẩn, mô tả thang tham chiếu, thiết kế dữ liệu/neo và kết quả kiểm liên quan. Các ước lượng cần đi cùng độ bất định và giới hạn sử dụng; câu chưa đủ điều kiện phải được phân biệt với câu sẵn sàng. Đó là những thông tin giúp một bảng tham số trở thành hồ sơ có thể kiểm và dùng.
Trong dịch vụ đề luyện V-ACT, HSA hoặc TSA, giá trị cho học sinh nằm ở việc đề được thiết kế và kết quả được giải thích có căn cứ hơn. Thang của một chương trình luyện riêng chưa tự là thang chính thức của kỳ thi. Muốn diễn giải liên hệ ấy cần thêm nghiên cứu xác nhận, không dùng chung tên theta hoặc một phép đổi điểm để thay bằng chứng.
Nguồn tham khảo
[1] Livingston, S.A. (2020). Basic Concepts of Item Response Theory: A Nonmathematical Introduction. ETS Research Memorandum RM-20-06, tr.7–8, các mục Calibration và A Calibrated Item Pool. Xem tài liệu