Ba câu cùng một đoạn đọc đều có kết quả giống nhau hơn mô hình dự kiến. Có thể đoạn đọc đã tạo một hiệu ứng chung ngoài năng lực đang đo; cũng có thể các câu gợi cách trả lời cho nhau. Trước khi chuyển sang mô hình testlet, người phân tích cần xác định điều dữ liệu đang cho thấy và điều nội dung có thể giải thích.
Một chiều và độc lập cục bộ là hai câu hỏi cần kiểm riêng
Tính đơn hướng, hay một chiều, xét liệu một trục năng lực có đủ cho cách mô tả và sử dụng điểm đang đề xuất không. Độc lập cục bộ xét quan hệ giữa các câu sau khi đã tính đến các biến tiềm ẩn trong mô hình. Một cấu trúc gần một chiều vẫn có thể còn các cặp hoặc cụm câu liên hệ chưa được giải thích.
Vì vậy, nên bắt đầu từ sơ đồ nội dung và cụm ngữ liệu, sau đó xem mô hình cơ sở, hội tụ và độ phù hợp toàn bài. Tiếp theo mở phần dư theo cặp hoặc cụm. Một chỉ số toàn bài chấp nhận được chưa thay cho việc nhìn các quan hệ cục bộ có thể ảnh hưởng điểm và sai số.
Một bản đồ phần dư để đặt câu hỏi thẩm định
Dưới đây là ma trận Q3 hoàn toàn giả định cho sáu câu, chỉ minh họa hình dạng cần quan sát. Q3 là tương quan giữa các phần dư câu sau khi đã xét mô hình. Q1–Q3 cùng một ngữ liệu; Q4–Q6 là các nhiệm vụ khác. Các số được tự đặt, không được tính từ dữ liệu học sinh thật và không phải kết quả kiểm định.
Ma trận giả định do Song Pa xây dựng. Các ô Q1–Q2 = 0,32; Q1–Q3 = 0,28; Q2–Q3 = 0,30 nổi hơn các cặp còn lại. Đường chéo được để trống; màu không biểu thị một ngưỡng nghiệm thu chung.
Dấu hiệu tập trung trong cụm Q1–Q3 khiến người phân tích kiểm nội dung chung: có phải cùng hiểu một từ then chốt, dùng kết quả câu trước, hoặc phụ thuộc một thao tác chưa được mô hình biểu diễn? Đây là hướng tìm nguyên nhân. Chưa thể lấy hình này để nói chắc cần loại cả ba câu hoặc thêm ngay một nhân tố testlet.
Không lấy Q3 lớn hơn 0,2 làm luật chung
Phân bố của Q3 phụ thuộc mô hình, cách ước lượng năng lực, số câu, cỡ mẫu và các điều kiện liên quan. Christensen và cộng sự nghiên cứu giá trị tới hạn của Q3 trong khung Rasch, nhấn mạnh việc đánh giá theo điều kiện dữ liệu thay vì một mốc phổ quát [1]. Khi dùng một chỉ số khác như LD hoặc LDG², phải giữ đúng định nghĩa; chúng không phải những tên khác của cùng một Q3.
Có thể dùng mô phỏng hoặc bootstrap phù hợp dưới mô hình để xem mức phần dư nào đáng chú ý trong thiết kế đang có, đồng thời xét nhiều cặp được kiểm. Một mốc lấy từ nghiên cứu số câu ít, mẫu vừa và mô hình khác không nên được chuyển nguyên sang bài 2PL hoặc 3PL lớn hơn.
Chọn hướng xử lý từ giả thuyết về nguyên nhân
| Bằng chứng cần đối soát | Hướng xem xét | Điều phải kiểm lại |
|---|---|---|
| Câu sau tiết lộ đáp án câu trước | Sửa thiết kế hoặc nội dung liên quan. | Phiên bản mới có còn gợi đáp án và có đúng mục tiêu không? |
| Cùng ngữ liệu tạo hiệu ứng riêng theo người | Xem mô hình testlet phù hợp sơ đồ cụm. | Hội tụ, phần dư còn lại, ổn định và ảnh hưởng điểm/SE. |
| Các nhóm câu đo yêu cầu năng lực khác có ý nghĩa | Xem mô hình nhiều chiều phù hợp nội dung. | Cấu trúc có tái hiện ở mẫu khác và hỗ trợ cách báo điểm không? |
| Dấu hiệu chỉ xuất hiện dưới cấu hình mong manh | Kiểm dữ liệu, mô hình và độ nhạy. | Có đủ bằng chứng trước khi thay hoặc loại câu không? |
Testlet thêm một lớp mô tả, không chữa mọi vấn đề
Mô hình testlet có thể biểu diễn hiệu ứng riêng của một người với một cụm câu, bên cạnh năng lực chung. Ví dụ, hai người cùng năng lực tham khảo có thể khác mức thuận lợi khi xử lý một ngữ liệu; các câu trong cụm cùng chịu ảnh hưởng ấy. Giả định độc lập trong mô hình này được đặt sau khi đã tính cả năng lực chung và hiệu ứng cụm. Mô hình của Bradlow, Wainer và Wang là một cách xây dựng hiệu ứng ngẫu nhiên cho testlet [2].
Có cụm ngữ liệu chưa tự chứng minh mô hình độc lập không dùng được. Cần xem độ lớn của quan hệ chưa được giải thích và ảnh hưởng đến kết quả. Ngược lại, thêm testlet mà vẫn còn phần dư, không hội tụ hoặc tham số bất định thì chưa thể coi công việc đã xong. Kiểm định so mô hình có phương sai nằm ở biên 0 cũng cần phương pháp phù hợp, không mặc nhiên dùng mọi quy tắc chi-bình phương thông thường.
Kết thúc bằng hồ sơ quyết định có thể kiểm lại
Hồ sơ nên lưu sơ đồ cụm, mô hình cơ sở, chỉ số toàn bài, phần dư, giả thuyết nội dung, mô hình hoặc bản sửa được thử, cùng kết quả kiểm lại. Nếu so điểm giữa mô hình, phải giữ căn cứ thang so sánh và xem ảnh hưởng ở vùng quyết định; không chỉ so vài tham số thô khác đơn vị.
Với đề luyện có chùm ngữ liệu như các dạng học sinh gặp khi ôn V-ACT, HSA hoặc TSA, quy trình này giúp tránh cảm giác “nhiều câu” đồng nghĩa “nhiều bằng chứng độc lập”. Mục tiêu cuối cùng là mô tả dữ liệu đủ tốt để điểm và độ chính xác được giải thích đúng, trong khi nội dung vẫn phục vụ năng lực cần đánh giá.
Nguồn tham khảo
[1] Christensen, K. B., Makransky, G. & Horton, M. C. (2017). Critical Values for Yen’s Q3: Identification of Local Dependence in the Rasch Model Using Residual Correlations. Applied Psychological Measurement, 41(3),178–194. DOI 10.1177/0146621616677520. Xem tài liệu
[2] Bradlow, E. T., Wainer, H. & Wang, X. (1998). A Bayesian Random Effects Model for Testlets. ETS Research Report RR–98-03. DOI 10.1002/j.2333-8504.1998.tb01752.x. Xem tài liệu