Song Pa Lab có thể triển khai toàn diện từ ma trận, rà soát câu hỏi, thử nghiệm, phân tích IRT đến hoàn thiện ngân hàng và hướng dẫn sử dụng. Đối tác cũng có thể lựa chọn từng hạng mục phù hợp với hiện trạng.
1 Thiết kế cấu trúc ngân hàng câu hỏi
Xây dựng hệ thống phân loại theo kiến thức, kỹ năng, năng lực và mục tiêu đánh giá. Câu hỏi được tổ chức theo môn học, chủ đề và dạng nhiệm vụ; thiết lập mã định danh, thông tin mô tả và phiên bản.
Công đoạn này xác định quy mô ngân hàng, cơ cấu câu hỏi và những nhóm nội dung còn thiếu.
Sản phẩm: ma trận ngân hàng, hệ thống phân loại và cấu trúc dữ liệu quản lý câu hỏi.
2 Rà soát và chuẩn hóa nội dung câu hỏi
Kiểm tra nội dung, đáp án, lời giải, phương án nhiễu và cách diễn đạt. Các câu có nhiều cách hiểu, điều kiện chưa rõ hoặc chưa phù hợp mục tiêu đánh giá được ghi nhận để xử lý.
Kết quả phản biện nêu rõ đề xuất giữ, sửa, thay thế hoặc thử nghiệm lại, cùng lý do và nội dung cần hiệu chỉnh.
Sản phẩm: bộ câu hỏi đã rà soát, phiếu phản biện và danh mục công việc theo từng câu.
3 Thử nghiệm và thu thập dữ liệu
Với ngân hàng chưa có dữ liệu phù hợp, Song Pa Lab phối hợp thiết kế phương án thử nghiệm, phân bổ câu vào các bộ đề và xây dựng kế hoạch thu thập bài làm.
Dữ liệu được kiểm tra về tính đầy đủ, mã câu, mã đề, đáp án và những bất thường trước khi phân tích.
Sản phẩm: dữ liệu thử nghiệm đã kiểm tra và hồ sơ phục vụ đánh giá chất lượng câu hỏi.
4 Hiệu chuẩn câu hỏi và thang đo IRT
Ứng dụng phương pháp đo lường phù hợp, trong đó có IRT 2PL, 3PL khi đáp ứng điều kiện, để ước lượng đặc điểm câu hỏi và xây dựng hồ sơ thang đo.
Nội dung thực hiện gồm tham số độ khó, độ phân biệt và những tham số theo mô hình; kiểm tra mức phù hợp, độ chính xác của ước lượng, vùng năng lực câu hỏi cung cấp thông tin và mức bao phủ của ngân hàng.
Những câu cần bổ sung dữ liệu hoặc hiệu chuẩn lại được phân biệt rõ trong sản phẩm.
Sản phẩm: bảng tham số, báo cáo hiệu chuẩn, hồ sơ thang đo và khuyến nghị sử dụng.
5 Liên kết và mở rộng ngân hàng
Phù hợp với đơn vị muốn bổ sung câu mới hoặc duy trì chất lượng qua nhiều đợt đánh giá.
Song Pa Lab kiểm tra điều kiện liên kết, hiệu chuẩn câu mới, xem xét khả năng đưa lên thang tham chiếu và theo dõi sự thay đổi đặc tính câu hỏi theo thời gian. Phiên bản và hồ sơ chất lượng được cập nhật theo kết quả kiểm tra.
Sản phẩm: ngân hàng mở rộng, hồ sơ hiệu chuẩn cập nhật và báo cáo chất lượng.
6 Tổ hợp và kiểm soát chất lượng bộ đề
Sử dụng ngân hàng để xây dựng các bộ đề đáp ứng yêu cầu nội dung và đo lường.
Câu hỏi được lựa chọn theo ma trận; kiểm tra phân bố độ khó, độ phân biệt, mức bao phủ nội dung và khả năng đo của toàn đề. Với nhiều mã đề, báo cáo xem xét mức phù hợp và điều kiện sử dụng kết quả.
Những câu có ảnh hưởng đáng chú ý hoặc vấn đề cần xử lý được rà soát trước khi đưa đề vào sử dụng.
Sản phẩm: bộ đề mẫu, ma trận tổ hợp, bảng thông tin chất lượng và khuyến nghị điều chỉnh.
