MLE, MAP và EAP là các cách ước lượng năng lực theo những quy tắc thống kê khác nhau. Cùng một bài làm có thể cho kết quả khác khi đổi cách ước lượng, đặc biệt với bài ngắn; báo cáo cần nêu phương pháp và thông tin độ bất định tương ứng.
Một nhóm phân tích giữ nguyên bài làm và tham số câu nhưng nhận theta 1,532 ở cách tính này, 0,751 ở cách khác. Sự khác biệt có thể đến từ quy tắc ước lượng. MLE, MAP và EAP không chỉ là ba nút phần mềm: chúng chọn hoặc tóm tắt thông tin theo những cách khác nhau, đặc biệt dễ thấy khi bài rất ngắn.
Phân biệt dữ liệu đã thấy với mức năng lực đang tìm
Giả sử đã có một mô hình và các tham số câu phù hợp. Với mỗi theta được thử, mô hình cho mức phù hợp của toàn bộ mẫu trả lời đã quan sát. Đại lượng này gọi là hàm hợp lý, hay likelihood. Nó được xem như hàm của theta khi dữ liệu đã cố định. Bản thân likelihood không tự là một phân bố xác suất của theta.
MLE là maximum likelihood estimation, thường dịch ước lượng hợp lý cực đại. Trong bài này, đó là cách chọn theta làm likelihood lớn nhất. Nó trả lời mức nào khiến mẫu câu trả lời đã quan sát phù hợp nhất theo mô hình và tham số câu đang giữ. Phép ước lượng vẫn có sai số; chữ cực đại không có nghĩa kết quả chắc chắn là năng lực thật.
MAP và EAP dùng thêm phân bố tiên nghiệm
Trong tiếp cận Bayes, prior là phân bố tiên nghiệm về theta, được xác định trước khi xét mẫu trả lời cá nhân trong bước tính này. Kết hợp prior với likelihood rồi chuẩn hóa sẽ cho phân bố hậu nghiệm. MAP chọn vị trí có mật độ hậu nghiệm lớn nhất; EAP lấy trung bình của phân bố hậu nghiệm. Bock và Mislevy trình bày cách tính EAP bằng tích phân số trong nghiên cứu gốc [1].
Mode và mean có thể khác nhau khi phân bố bất đối xứng. Vì vậy MAP và EAP có thể khác dù cùng prior. Prior cần có căn cứ, phù hợp thang và mục đích; nó không phải một nhận xét cảm tính về học sinh. Cũng không nên đổi prior cho từng người để làm kết quả cao hoặc thấp theo mong muốn.
Một bài năm câu để nhìn thấy ba kết quả
Số liệu hoàn toàn tự dựng. Dùng mô hình Rasch logistic với độ phân biệt 1, hệ số D bằng 1 và các độ khó lần lượt −1; −0,5; 0; 0,5; 1. Mẫu 11110 nghĩa là đúng bốn câu đầu và sai câu cuối. Tham số câu giữ cố định. Với hai cách Bayes, trước hết chọn prior chuẩn trung bình 0, độ lệch chuẩn 1.
Kéo ngang bảng để xem đầy đủ các cột.
| Cách ước lượng | Quy tắc trong ví dụ | Theta | Điều cần đọc kèm |
|---|---|---|---|
| MLE | Chọn đỉnh likelihood | 1,532 | Không dùng prior; chưa phải kết quả chắc chắn. |
| MAP | Chọn đỉnh hậu nghiệm | 0,721 | Phụ thuộc prior đã chọn và cách biểu diễn tham số. |
| EAP | Lấy trung bình hậu nghiệm | 0,751 | Phụ thuộc toàn bộ hậu nghiệm; PSD khoảng 0,718. |
Kết quả tính số từ bộ 5 câu minh họa. PSD là độ lệch chuẩn hậu nghiệm, không được đổi tên thành mọi loại sai số chuẩn tần suất. Không phải dữ liệu thật của Song Pa Lab hoặc Empire.
Với bài ngắn này, thông tin từ năm câu trả lời chưa đủ mạnh để làm ảnh hưởng prior nhỏ đi. Hai kết quả Bayes gần trung tâm prior hơn MLE. Đây là hiện tượng co về trung tâm. Nó có thể giảm dao động nhưng cũng tạo lệch có hệ thống ở một số vùng; chất lượng phải được đánh giá theo thiết kế chứ không chọn số lớn nhất làm số tốt nhất.
Thay độ rộng prior để kiểm độ nhạy
Kéo ngang bảng để xem đầy đủ các cột.
| Prior tự dựng | MLE | MAP | EAP | PSD |
|---|---|---|---|---|
| Chuẩn trung bình 0, SD 1 | 1,532 | 0,721 | 0,751 | 0,718 |
| Chuẩn trung bình 0, SD 2 | 1,532 | 1,171 | 1,313 | 1,004 |
Hai dòng dùng đúng cùng mẫu 11110 và tham số câu. Chỉ độ rộng prior thay đổi. N(0,4) có phương sai 4 tức độ lệch chuẩn 2, không phải SD 4.
MLE giữ nguyên vì không dùng prior ở bước này. Prior rộng hơn cho phép kết quả Bayes xa trung tâm hơn và bất định hậu nghiệm cũng lớn hơn trong ví dụ. Kiểm độ nhạy giúp đơn vị phân tích biết kết luận có phụ thuộc mạnh vào một lựa chọn hay không. Nó không cấp quyền thay quy tắc sau khi đã xem điểm của từng học sinh.
Lựa chọn phương pháp cần được thẩm định theo mục đích
Kim, Moses và Yoo cho thấy lựa chọn cách ước lượng có thể tạo khác biệt đáng kể, nhất là ở các vùng năng lực biên trong thiết kế thi nhiều giai đoạn của nghiên cứu [2]. Không nên biến một kết quả mô phỏng thành khẳng định EAP, MAP hoặc MLE luôn tốt nhất. Cần xem độ lệch, sai số, chiều dài đề, prior, chất lượng mô hình và mục đích quyết định.
MLE năng lực cá nhân ở đây cũng khác MML dùng trong một khâu hiệu chuẩn tham số câu. Tên gọi gần nhau không có nghĩa cùng công việc. MAP còn phụ thuộc cách tham số hóa. Dưới phép đổi biến phi tuyến, mode của mật độ mới không nhất thiết là ảnh của mode cũ; EAP cũng phải tính theo đại lượng mới. Khi chuyển thang, quy trình phải nhất quán với đại lượng được báo.
Báo cáo nên cho người dùng biết những gì
Đơn vị phân tích nên ghi mô hình, cách ước lượng, prior nếu có, thang và loại độ bất định. Học sinh xem phiếu ôn V-ACT, HSA hay TSA không cần tự giải các tích phân, nhưng có quyền biết kết quả đang được tạo theo quy tắc nào. Không thể tự suy cách chấm chính thức của một kỳ thi chỉ từ ba chữ IRT.
Khi đối chiếu hai báo cáo khác phương pháp, hãy hỏi sự khác biệt ảnh hưởng đến nhận định học tập nào. Nếu cả hai đều cho thấy cần kiểm kỹ năng lập luận từ dữ liệu, nhiệm vụ tiếp theo vẫn có thể giống nhau. Với quyết định quan trọng gần một ngưỡng, độ nhạy của kết quả và cách diễn giải phải được xem kỹ hơn.
Nguồn tham khảo
[1] Bock, R.D., &Mislevy, R.J. (1982). Adaptive EAP Estimation of Ability in a Microcomputer Environment. Applied Psychological Measurement, 6(4),431–444. DOI 10.1177/014662168200600405. Xem tài liệu
[2] Kim, S., Moses, T., &Yoo, H.H. (2015). Effectiveness of IRT Proficiency Estimation Methods Under Adaptive Multistage Testing. ETS RR–15-11. DOI 10.1002/ets2.12057. Xem tài liệu