Phân tích kỳ thi & đánh giá năng lực theo IRT

Một kỳ thi chất lượng cần bộ đề phù hợp, kết quả đánh giá có căn cứ và độ chính xác đáp ứng mục đích sử dụng. Khi xuất hiện những trường hợp bất thường, đơn vị tổ chức cũng cần có thông tin để kiểm tra và giải thích.

Song Pa Lab cung cấp dịch vụ phân tích dữ liệu khảo thí và đo lường năng lực bằng các phương pháp thống kê hiện đại, đặc biệt là lý thuyết ứng đáp câu hỏi — IRT. Chúng tôi hỗ trợ trường học, trường đại học, trung tâm đào tạo và các đơn vị khảo thí đánh giá chất lượng câu hỏi, kiểm soát điểm số và cải tiến hoạt động đánh giá.

Các mô hình như 2PL, 3PL được lựa chọn theo mục đích đo lường, đặc điểm câu hỏi và điều kiện dữ liệu. Kết quả phân tích được kết hợp với xem xét nội dung và bối cảnh sử dụng để đưa ra khuyến nghị chuyên môn.

Dữ liệu tiếp nhận

Song Pa Lab tiếp nhận dữ liệu trả lời từng câu, đáp án, mã đề, cấu trúc bài thi, nội dung câu hỏi và thông tin phân loại. Dịch vụ có thể triển khai cho một bộ đề, nhiều mã đề hoặc nhiều đợt đánh giá.

Đối tác có thể cung cấp dữ liệu đã có hoặc phối hợp xây dựng phương án thu thập bổ sung. Với những yêu cầu kiểm tra điểm số, sự cố câu hỏi hoặc liên kết kết quả, phạm vi dữ liệu cần thiết được xác định trước khi phân tích.

Sản phẩm bàn giao

A Phân tích chất lượng câu hỏi

Song Pa Lab phân tích độ khó, độ phân biệt, mức độ phù hợp và độ chính xác của ước lượng; nhận diện những câu cần kiểm tra về đáp án, nội dung hoặc phương án nhiễu.

Kết quả giúp bộ phận khảo thí biết câu hỏi đang hoạt động như thế nào và những vấn đề nào cần được phản biện thêm.

Sản phẩm: bảng tham số câu hỏi, báo cáo chất lượng và danh mục khuyến nghị theo từng câu.

B Phân tích chất lượng bộ đề

Dịch vụ đánh giá phân bố câu hỏi, khả năng đo lường tại từng vùng năng lực và mức độ chính xác của kết quả.

Báo cáo chỉ ra những vùng bài thi cung cấp nhiều thông tin hơn, những vùng còn hạn chế và nhu cầu bổ sung câu hỏi theo mục tiêu sử dụng.

Sản phẩm: báo cáo chất lượng đề, đồ thị đo lường và đề xuất cải tiến.

C Phân tích năng lực người học

Song Pa Lab ước lượng kết quả năng lực theo thang đo phù hợp, trình bày thông tin độ chính xác và xây dựng báo cáo cá nhân hoặc theo nhóm.

Việc diễn giải được thực hiện trong phạm vi mà công cụ và dữ liệu cho phép. Khi phân tích các phần thi khác nhau, báo cáo làm rõ thang đo và điều kiện so sánh.

Sản phẩm: bảng kết quả năng lực, báo cáo tổng hợp và hướng dẫn đọc kết quả.

D Kiểm soát độ nhạy và độ ổn định của điểm số

Một thay đổi nhỏ trong câu trả lời có thể dẫn đến những mức thay đổi điểm khác nhau. Những biến động lớn hoặc khó giải thích cần được kiểm tra cùng đặc điểm câu hỏi và phương pháp tính điểm.

Song Pa Lab phân tích mức ảnh hưởng của câu hỏi, tính lại kết quả trong các tình huống được xác định, nhận diện những hồ sơ cần rà soát và đánh giá tác động của các phương án xử lý.

Khi xem xét nhiều câu cùng thay đổi, từng kịch bản được tính lại theo phương pháp phù hợp. Báo cáo phân biệt rõ kết quả tính toán, phát hiện cần kiểm tra và khuyến nghị sử dụng.

Sản phẩm: báo cáo độ nhạy điểm số, danh sách câu hỏi và hồ sơ cần xem xét, kết quả các kịch bản cùng bản giải thích.

E Thẩm định và xử lý sự cố câu hỏi

Dịch vụ dành cho các trường hợp phát sinh khiếu nại, nghi ngờ sai đáp án, câu hỏi có nhiều cách hiểu hoặc có dấu hiệu bất thường trong dữ liệu.

Song Pa Lab kiểm tra nội dung và đáp án, đối chiếu các phương án trả lời, phân tích ảnh hưởng đến kết quả và xem xét những phương án xử lý phù hợp.

Sản phẩm: hồ sơ thẩm định câu hỏi, báo cáo tác động điểm số và khuyến nghị để đơn vị tổ chức quyết định.

F Hiệu chuẩn và liên kết thang đo

Dịch vụ phù hợp với đơn vị tổ chức nhiều mã đề, nhiều đợt thi hoặc muốn sử dụng kết quả trên một thang tham chiếu.

Song Pa Lab kiểm tra thiết kế thu thập dữ liệu, sự khác biệt giữa các bộ đề, tính phù hợp của những câu dùng để liên kết và điều kiện so sánh. Việc hiệu chuẩn, liên kết được thực hiện khi đáp ứng yêu cầu chuyên môn.

Sản phẩm: báo cáo hiệu chuẩn, kết quả liên kết thang khi đủ điều kiện và hướng dẫn sử dụng kết quả giữa các mã đề hoặc đợt thi.

G Rà soát công bằng và những trường hợp bất thường

Song Pa Lab phân tích dấu hiệu khác biệt trong hoạt động của câu hỏi giữa các nhóm thí sinh; xem xét đặc điểm dữ liệu, mức ảnh hưởng và nội dung cần thẩm định thêm.

Một dấu hiệu khác biệt thống kê cần được đối chiếu với nội dung và bối cảnh trước khi đưa ra kết luận về tính công bằng.

Sản phẩm: báo cáo sàng lọc, danh mục câu hỏi hoặc kết quả cần kiểm tra và khuyến nghị chuyên môn.

H Rà soát kết quả trước khi công bố điểm

Dịch vụ cung cấp thêm một bước kiểm soát chuyên môn trước khi phát hành kết quả.

Nội dung rà soát gồm dữ liệu bài làm, khóa đáp án và mã đề, kết quả phân tích, thang đo, phương pháp tính điểm, những câu hỏi bất thường và ảnh hưởng của các phương án hiệu chỉnh.

Sản phẩm: báo cáo kiểm tra trước phát hành, danh mục vấn đề và khuyến nghị theo mức độ cần xử lý:

Có thể xem xét phát hành.

Cần hoàn thiện một số nội dung.

Cần xử lý vấn đề trọng yếu trước khi phát hành.

Quyết định phát hành cuối cùng thuộc đơn vị tổ chức đánh giá.

Kiểm tra dữ liệu trước phân tích

Dữ liệu được đối chiếu về mã đề, đáp án, tính đầy đủ và những trường hợp bất thường trước khi thực hiện đo lường.

Lựa chọn phương pháp phù hợp

Mô hình được lựa chọn trên cơ sở mục đích đánh giá, đặc điểm câu hỏi, dữ liệu và điều kiện áp dụng.

Kiểm soát chất lượng điểm số

Những kết quả có dấu hiệu bất thường được kiểm tra để xác định nguyên nhân, đánh giá mức ảnh hưởng và đề xuất phương án xử lý có căn cứ.

Kết quả có thể giải thích và kiểm tra lại

Báo cáo trình bày dữ liệu sử dụng, kết quả phân tích, phát hiện và giới hạn diễn giải. Những thay đổi liên quan đến điểm số được lưu hồ sơ và kiểm tra trước khi bàn giao.

Bảo mật dữ liệu và phương pháp chuyên môn

Song Pa Lab bảo vệ dữ liệu khảo thí và ngân hàng câu hỏi theo thỏa thuận. Đối tác nhận kết quả, bằng chứng và hướng dẫn sử dụng theo phạm vi dịch vụ; công nghệ xử lý và phương pháp triển khai nội bộ được quản lý riêng.

Đối tác gửi yêu cầu phân tích và mô tả dữ liệu hiện có. Song Pa Lab trao đổi mục tiêu sử dụng, rà soát điều kiện dữ liệu và xác định phạm vi công việc.

Phương án triển khai làm rõ các nội dung phân tích, sản phẩm bàn giao, tiến độ, trách nhiệm phối hợp và chi phí. Những vấn đề cần bổ sung dữ liệu hoặc thẩm định nội dung được thông báo trong quá trình thực hiện.

Gửi yêu cầu phân tích IRT

Kiến thức về IRT, độ khó, độ phân biệt, sai số, liên kết thang đo, độ nhạy điểm số và những tình huống kiểm soát chất lượng khảo thí.

SONG PA LAB – ĐO LƯỜNG CÓ CĂN CỨ, KẾT QUẢ CÓ THỂ GIẢI THÍCH