Một bảng số liệu có thể tạo nhiều câu hỏi, nhưng “hỏi được nhiều” chưa chắc làm thành một chùm có giá trị. Nếu ba câu cùng yêu cầu đọc một con số hoặc câu sau chỉ dùng đáp án câu trước, số lượng tăng mà bằng chứng mới có thể ít. Khi biên soạn, cần xác định vai trò từng câu và kiểm cả mối quan hệ giữa chúng.
Bắt đầu từ một ngữ liệu có nguồn và đơn vị rõ
Bảng dưới hoàn toàn tự dựng. Nó mô tả một chuyến của mỗi tuyến xe, thời gian từ lúc xuất phát đến lúc kết thúc theo cùng cách ghi; trong bài toán bỏ qua thời gian dừng riêng. “Số khách” là số người trên chuyến theo quy ước minh họa, không phải công suất xe hay số liệu giao thông thật. Tất cả câu trong chùm tham chiếu cùng phiên bản bảng.
Kéo ngang bảng để xem đầy đủ các cột.
| Tuyến | Quãng đường(km) | Thời gian(phút) | Số khách(người) |
|---|---|---|---|
| A | 12 | 40 | 80 |
| B | 20 | 40 | 120 |
| C | 30 | 45 | 90 |
Trước khi viết câu, nhóm cần kiểm các khái niệm trong tiêu đề cột: quãng đường của một chuyến hay cả ngày, thời gian có bao gồm dừng không, số khách được đếm thế nào? Quy ước phải khớp điều muốn suy ra. Nếu dữ liệu lấy từ nguồn thật, còn phải kiểm quyền sử dụng, niên đại và những biến đổi đã thực hiện; bảng minh họa này không cần mượn uy tín của một cơ quan giao thông.
Ba nhiệm vụ có ba vai trò
Kéo ngang bảng để xem đầy đủ các cột.
| Câu tự dựng | Yêu cầu chính | Căn cứ chấm | Điều cần rà khi ghép chùm |
|---|---|---|---|
| Q1: Tuyến nào có số khách lớn nhất trong bảng? | Trích xuất và so sánh cùng đơn vị | B; 120 lớn hơn 80 và 90 | Không để nhãn màu hoặc cách tô bảng chỉ sẵn tuyến B |
| Q2: Tốc độ trung bình của chuyến C theo km/h là bao nhiêu? | Đổi đơn vị và tính tỷ số | 45 phút=0,75 giờ; 30/0,75=40 km/h | Dữ kiện được lấy từ bảng, không yêu cầu phải trả lời đúng Q1 trước |
| Q3: Có đủ căn cứ nói B tiêu thụ nhiên liệu trên một khách ít nhất chỉ vì chở đông nhất không? | Đánh giá giới hạn bằng chứng | Chưa đủ; bảng không cho lượng nhiên liệu từng chuyến | Nêu rõ đang hỏi tính đủ của kết luận, không hỏi tính một lượng nhiên liệu cụ thể |
Q3 được thiết kế để nhận ra điều bảng chưa hỗ trợ, nên kết quả “chưa đủ” đi đúng mục tiêu của câu. Hướng dẫn chấm cần ghi căn cứ thiếu thông tin về nhiên liệu, thay vì chỉ chấp nhận một từ “không”. Nếu chuyển ba nhiệm vụ thành trắc nghiệm hoặc điền số, phải tạo phương án và quy tắc chấm tương ứng, rồi kiểm lại cách biểu đạt.
Giữ đường giải của từng câu có thể truy về ngữ liệu
Mỗi câu nên có lời giải và bản đồ dữ kiện riêng: Q1 dùng cột số khách; Q2 dùng quãng đường và thời gian của C; Q3 kiểm phạm vi các cột có mặt. Nếu một em trả lời sai Q1, vẫn có thể làm Q2 từ bảng. Một phiên bản Q2 viết “lấy số khách vừa chọn ở câu trước” sẽ tạo phụ thuộc theo thiết kế và có nguy cơ kéo lỗi từ câu trước sang, cần được cân nhắc theo mục tiêu.
Cũng cần rà việc tiết lộ đáp án. Chẳng hạn, một câu sau nhắc nguyên “tuyến B chở 120 khách, lớn nhất trong ba tuyến” sẽ cho sẵn lời giải Q1. Việc dùng cùng dữ liệu là hợp lý; việc câu này làm mất vai trò của câu kia là điều phải kiểm. Rà chùm cần đọc cả chùm theo các thứ tự mà người làm có thể gặp, không chỉ duyệt từng câu đứng riêng.
Thử nghiệm cả ngữ liệu và từng câu
Người đọc thử có thể gặp vấn đề ở một câu, ở cách hiển thị bảng hoặc ở toàn bộ thuật ngữ “số khách”. Hồ sơ phản hồi nên xác định đúng phạm vi sửa. Khi sửa bảng chung, phải mở lại cả ba câu; khi chỉ sửa một yêu cầu, vẫn kiểm các quan hệ còn lại để bảo đảm không tạo một lời gợi mới.
Về đo lường, dùng chung ngữ liệu có thể đi kèm sự phụ thuộc còn lại giữa các phản hồi sau khi đã xét năng lực trong mô hình. Nghiên cứu mô hình testlet của Bradlow, Wainer và Wang cho thấy bỏ qua loại phụ thuộc ấy có thể làm đánh giá độ chính xác quá cao trong điều kiện được nghiên cứu [1]. Tuy nhiên, cùng một bảng tự nó chưa chứng minh đã vi phạm giả định, cũng chưa bắt buộc phải chọn một mô hình testlet cụ thể.
Nhóm cần kiểm dữ liệu, độ phù hợp và mục đích báo điểm để quyết định cách phân tích. Nếu ba câu cùng dựa vào một bước đọc khó, số câu tăng không đồng nghĩa có ba phần bằng chứng hoàn toàn tách biệt. Đây là lý do hồ sơ ngân hàng nên giữ mã ngữ liệu chung, quan hệ câu và các phát hiện sau thử nghiệm.
Sản phẩm bàn giao nên giữ nguyên cấu trúc chùm
Một chùm dùng được cần có bản ngữ liệu, mã và phiên bản, danh sách câu, mục tiêu từng câu, khóa/lời giải và ràng buộc sử dụng. Bảng kiểm quan hệ giữa câu là phần giúp người lắp đề biết điều gì phải giữ khi chọn, tách hoặc đổi thứ tự. Không nên chỉ giao ba câu rời rồi để hệ thống ngẫu nhiên ghép bất kỳ.
Đối với học sinh luyện V-ACT, HSA, TSA, lợi ích là có thể đọc ngữ liệu một lần rồi dùng có chọn lọc cho từng yêu cầu. Ở phía biên soạn, chất lượng nằm ở việc mỗi câu thêm một nhiệm vụ có mục đích và toàn chùm vẫn tạo ra bằng chứng có thể giải thích. Bảng và ba câu trong bài minh họa cách kiểm ấy, không mô phỏng một cấu trúc chính thức của kỳ thi.
Nguồn tham khảo
[1] Bradlow, E.T., Wainer, H., & Wang, X. (1998). A Bayesian Random Effects Model for Testlets. ETS Research Report RR-98-03, tr.2–3,18–19. DOI 10.1002/j.2333-8504.1998.tb01752.x. Xem tài liệu