Người phản biện nói câu hỏi đã rõ, người phân tích gửi hai tham số IRT, người quản lý đánh dấu “được dùng”. Nếu ba việc nằm trong ba tệp không nối với nhau, rất khó biết họ có đang nói về cùng một bản câu hay không. Một hồ sơ câu tốt làm cho quyết định cuối có thể mở ngược về đúng nội dung, nhận xét và dữ liệu đã tạo ra quyết định ấy.
Hồ sơ là nơi nối bằng chứng chứ không chỉ gom tệp
Một câu đi qua nhiều lần xem xét: định nghĩa mục tiêu, biên soạn, kiểm đáp án, rà ngôn ngữ và công bằng, thử nghiệm, phân tích rồi quyết định sử dụng. Không phải chương trình nào cũng dùng cùng trình tự cứng, nhưng phải biết mỗi kết quả thuộc đối tượng nào và còn hiệu lực trong điều kiện nào. Standards 2014 yêu cầu lưu quy trình phát triển, phản biện, thử nghiệm và căn cứ phân tích liên quan [1].
Vì vậy, nên có một bản ghi trung tâm dẫn tới các hồ sơ chuyên môn, thay vì chép mọi thứ vào một ô ghi chú dài. Mã câu và phiên bản là điểm nối; mã ngữ liệu, bản khóa chấm, lần thử và lần phân tích tiếp tục xác định điều đã diễn ra. Người có quyền duyệt cần đọc được cả kết quả thuận lợi và vấn đề chưa giải quyết.
Mở một hồ sơ minh họa
Toàn bộ ví dụ SP-Q314 dưới đây được tự dựng. N=480, các tham số, sai số chuẩn và nhận xét đều giả định để minh họa cách trình bày hồ sơ; không phải kết quả chạy mô hình trên dữ liệu Song Pa Lab hoặc Empire. Chưa có phụ lục kiểm mô hình nên không thể dùng các con số này như chứng nhận chất lượng.
| Nhóm trường | Bản ghi SP-Q314 v1.1 minh họa | Mở bằng chứng nào |
|---|---|---|
| Mục tiêu và vị trí | Đánh giá kết luận từ đồ thị; ô MT-ĐG của ma trận | Đặc tả nêu dấu hiệu suy luận cần quan sát |
| Nội dung và chấm | Ngữ liệu SP-S031 v1.0; khóa K314 v1; lưu đủ phương án và lời giải | Bản hiển thị cùng đáp án đã dùng khi thử |
| Phản biện trước thử | Đã giải quyết nhận xét vòng 1; còn lưu ý theo dõi cách hiểu từ “tăng” | Biên bản nhận xét, giải trình và người duyệt |
| Lần thử và dữ liệu | FT04; 480 phản hồi được giữ sau các quy tắc làm sạch đã ghi | Mô tả mẫu, điều kiện làm bài, dữ liệu gốc và quy tắc loại |
| Phân tích IRT | AN09/CAL09; 2PL, D=1, c=0; thang SP-R; a=1,18(SE 0,16), b=0,42(SE 0,11) | Tệp kết quả đúng bản; mô tả thang/neo và phụ lục kiểm cần được đối soát |
| Tín hiệu sau thử | Có phản hồi cho thấy “tăng” có thể được hiểu là tăng tuyệt đối hoặc tăng tỷ lệ | Nhóm chuyên môn mở lại nội dung; không lấy thống kê để đoán nguyên nhân |
| Quyết định hiện tại | Tạm ngừng chọn v1.1; làm rõ yêu cầu ở v1.2 rồi thẩm định tiếp | Phiếu quyết định nêu người duyệt, lý do và việc phải hoàn tất |
Các mã FT04, AN09, CAL09 là quy ước minh họa cho đợt thử, lần phân tích và bộ hiệu chuẩn. Đơn vị thật có thể tổ chức khác. Giá trị quan trọng là từ một con số b, người kiểm tìm được dữ liệu và bản câu tạo ra con số đó, chứ không chỉ thấy tên một tệp kết quả chung chung.
Tham số hợp mắt chưa giải quyết được câu mơ hồ
Trong hồ sơ, a=1,18 không tự quyết định câu được phát hành. Nhận xét sau thử cho thấy cần làm rõ yêu cầu; đây là vấn đề nội dung phải được đọc và giải quyết trực tiếp. Chưa có đủ bằng chứng để nói sự mơ hồ đã gây ra một tỷ lệ sai cụ thể, nhưng đã có lý do để chặn lựa chọn tự động trong lúc thẩm định. Quyết định tạm ngừng là kết quả giả định của hồ sơ này, không phải một ngưỡng a áp dụng chung.
SE, tức sai số chuẩn của ước lượng, giúp đọc mức bất định của tham số trong phân tích đã chọn. Tuy nhiên, SE nhỏ không sửa được đáp án sai, ngữ liệu thiếu đơn vị hoặc mục tiêu không phù hợp. Hồ sơ còn cần phần kiểm độ phù hợp, phụ thuộc giữa câu và công bằng theo yêu cầu chương trình. Các ô chưa có bằng chứng nên nêu rõ trạng thái, không thay bằng chữ “đạt” do phần mềm tự điền.
Giữ liên hệ giữa bản cũ và bản mới
| Phiên bản | Điều được giữ để truy vết | Điều chưa được mặc định |
|---|---|---|
| v1.1 đã thử | Đúng nội dung, khóa, dữ liệu FT04 và kết quả AN09/CAL09 | Không xóa lịch sử chỉ vì đang viết bản sửa |
| v1.2 đang sửa | Liên kết bản trước, mô tả thay đổi và quyết định thử/kiểm tiếp | Không gắn a, b, SE của v1.1 như kết quả đã xác nhận cho v1.2 |
Một thay đổi nhỏ về câu chữ đôi khi làm nhiệm vụ rõ hơn nhưng cũng có thể làm cách làm bài khác đi. Nhóm chuyên môn cần xác định loại bằng chứng phải bổ sung; quy tắc đó nên có trong hồ sơ quyết định. Việc giữ mã họ câu không chứng minh các phiên bản có cùng đặc tính đo lường.
Thiết kế để người tiếp nhận thực sự sử dụng được
Bản giao cho trường hoặc trung tâm nên cho phép tìm theo ô ma trận, trạng thái và phiên bản; mở được căn cứ duyệt; đồng thời xuất danh sách câu được phép dùng cho một mục đích cụ thể. Phần dữ liệu cá nhân cần được phân quyền phù hợp. Giáo viên sử dụng câu không nhất thiết phải truy cập toàn bộ dữ liệu người làm bài để hiểu vì sao câu được giữ hay chặn.
Với đề luyện HSA, V-ACT, TSA, hồ sơ như vậy giúp đơn vị trả lời thắc mắc của học sinh bằng đúng tài liệu và phiên bản. Sản phẩm bàn giao có thể là một bộ bản ghi kèm các tệp liên kết; dù quy mô nhỏ, đường đi từ câu hỏi tới quyết định cần còn nguyên. Đây là điều làm hồ sơ dùng được sau khi người trực tiếp xây kho đã chuyển sang công việc khác.
Nguồn tham khảo
[1] AERA, APA, & NCME (2014). Standards for Educational and Psychological Testing, Standards 4.7–4.10, tr.87–89. Xem tài liệu