Một trung tâm luyện thi V-ACT đáng tin khi phụ huynh kiểm được lời giới thiệu bằng tài liệu cụ thể. Tôi sẽ xin một đề mẫu có mã phiên bản, một phiếu kết quả đã ẩn danh và một ví dụ về câu hỏi được rà soát sau thi. Ba tài liệu này cho biết trung tâm có bám cấu trúc thi, có đọc được bài làm của từng em và có dùng dữ liệu để sửa đề hay không.
Công nghệ khảo thí đã đi đến từng câu chưa
Trong hồ sơ Empire, 5.503 bài làm được phân tích theo 120 câu. Bảng tổng quan ghi 17 câu có lưu ý từ lựa chọn, trong đó Tiếng Việt có 10, Tiếng Anh và Toán mỗi phần có 3, Tư duy khoa học có 1. Bảng cũng ghi 17 phương án sai dưới 5% lượt chọn. Đây là hai đơn vị khác nhau. Một câu có thể có nhiều phương án ít được chọn.
Câu 99 Tư duy khoa học cho thấy vì sao cần đọc sâu hơn tỷ lệ sai chung. Phương án D sai được 30,0% toàn mẫu chọn. Nhóm thấp chọn D với tỷ lệ 20,7%, nhóm cao chọn 28,2%. Hai nhóm được xác định từ 29 câu còn lại trong phần. Dấu hiệu này đáng chuyển cho giảng viên xem lại ngữ liệu, lập luận và đáp án. Muốn biết D hấp dẫn vì sao, cần đọc câu hỏi và nghe học sinh giải thích cách suy luận.
Lựa chọn đáp án ở câu 99 trong 5.503 bài
| Phương án | Toàn mẫu | Nhóm thấp 1.568 bài | Nhóm cao 1.576 bài | Cao trừ thấp điểm % |
|---|---|---|---|---|
| A · Đúng | 2.561 (46,5%) | 459 (29,3%) | 1.065 (67,6%) | 38,3 |
| B | 545 (9,9%) | 346 (22,1%) | 36 (2,3%) | -19,8 |
| C | 744 (13,5%) | 438 (27,9%) | 30 (1,9%) | -26,0 |
| D | 1.653 (30,0%) | 325 (20,7%) | 445 (28,2%) | 7,5 |
Hai nhóm so theo số đúng ở 29 câu còn lại trong cùng phần.
Bản đồ tham số của 120 câu
Xem được gì và cần xem tiếp gì
Với Empire, hồ sơ đối chiếu đã có phổ điểm, bảng đáp án A–D theo nhóm, tham số a, b, c và bảng tính lại điểm khi đổi một câu. Công nghệ ở đây giúp giáo viên phát hiện câu cần kiểm tra và học sinh biết phần cần ôn. Mức kiểm chứng cao hơn là xem được nhật ký phiên bản, lý do sửa, dữ liệu thử lại và kết quả của cùng học sinh trên hai lần đo. Mỗi bước cần có dấu vết riêng.
Mẫu báo cáo có ngày, mã đề và số liệu ẩn danh giúp người đọc kiểm tra đúng phiên bản đề đã phân tích.
Trong buổi tư vấn, hãy thử hỏi một câu rất cụ thể. Sau khi phát hiện nhóm học sinh khá thường chọn một phương án sai, ai rà lại câu đó, thay đổi gì và kết quả ở phiên bản sau ra sao? Cách trung tâm trả lời bằng mẫu báo cáo và ngày cập nhật giúp phụ huynh đánh giá uy tín dễ hơn lời giới thiệu chung.
Đối chiếu một tuyên bố về khảo thí
| Tuyên bố | Tài liệu nên xem | Phạm vi hiện có trong hồ sơ |
|---|---|---|
| Đề có rà soát | Mã đề, đáp án, tỷ lệ A–D, cờ chất lượng | Bảng 120 câu và 480 phương án. |
| Chấm theo năng lực | Phiếu ẩn danh, phiên bản tham số, phép chấm lại | Bảng điểm và mô phỏng đổi một câu. |
| Học viên tiến bộ | Bảng ghép cùng người, đề có thể đối chiếu, số mất theo dõi | Cần dữ liệu theo dõi từng khóa để kết luận. |
Đề nhìn có vẻ vừa sức vẫn có câu cần xem lại
Một phép kiểm có thể bắt đầu bằng việc hỏi trung tâm đã dùng tiêu chí nào để đánh dấu câu cần rà soát. Trong hồ sơ 120 câu của Empire, không câu nào có tỷ lệ đúng dưới 20% hoặc trên 90%. Nếu chỉ nhìn hai ngưỡng này, giáo viên sẽ không có câu nào để xem thêm. Khi đọc tham số IRT, có 22 câu chạm ít nhất một ngưỡng nội bộ. Cụ thể, một câu có a dưới 0,5, 17 câu có a trên 3, một câu có độ khó b vượt khoảng −3 đến 3 và năm câu có c trên 0,35. Các nhóm có phần trùng nhau. Đếm số câu có ít nhất một dấu hiệu khác với cộng số lần các dấu hiệu xuất hiện.
Tương tự, 17 phương án sai được chọn dưới 5% nằm ở 14 câu. Một phương án hiếm người chọn có thể do nó quá dễ loại, hoặc do kỹ năng cần đo khiến học sinh có cơ sở loại đúng. Một hệ thống khảo thí có ích phải đưa được dấu hiệu này đến người đọc nội dung câu. Giáo viên kiểm đáp án, xem độ dài và cách diễn đạt các phương án, rồi xem câu có cần sửa hoặc thử lại hay không. Các ngưỡng trên là tiêu chí sàng lọc trong hồ sơ Empire. Quyết định về chất lượng câu còn cần kiểm tra chuyên môn.
Một phép kiểm bằng số thực tế và số dự kiến
Hồ sơ có hai cột dễ nhầm. Tỷ lệ đúng thực tế lấy số bài trả lời đúng chia cho số bài được phân tích. Tỷ lệ dự kiến của nhóm là trung bình xác suất đúng theo mô hình trên các mức năng lực được ước tính. Ở câu 99 Tư duy khoa học, tỷ lệ thực tế là 46,54% và tỷ lệ dự kiến là 46,28%, chênh khoảng 0,26 điểm phần trăm. Có thể mở bảng câu hỏi để đếm 2.561 bài đúng và đối chiếu lại phép chia cho 5.503.
Nếu lấy chênh lệch tuyệt đối của hai cột trên cả 120 câu, trung bình là 0,37 điểm phần trăm và giá trị lớn nhất khoảng 1,36 điểm phần trăm. Đây là mức gần nhau của hai cột trong hồ sơ hiện có. Chênh lệch nhỏ ở tỷ lệ đúng toàn mẫu vẫn có thể che khác biệt ở từng nhóm năng lực. Nếu mô hình đã dùng chính các bài này để hiệu chuẩn, kết quả cũng có thể sát hơn so với khi dùng trên đợt thi mới. Muốn kiểm sâu, lưu tham số trước, lấy một đợt bài độc lập rồi lập lại bảng dự báo và quan sát theo nhóm.
Một câu có thể sát ở mức toàn mẫu nhưng vẫn có phương án gây nhiễu khác thường. Vì vậy, xem độ khớp của mô hình và xem đáp án A–D là hai việc bổ trợ nhau. Trong báo cáo nên ghi mỗi chỉ số trả lời câu hỏi nào. Chẳng hạn, tỷ lệ đúng cho biết câu dễ hay khó với mẫu đã thi. Đường xác suất cho thấy câu thay đổi thế nào theo mức năng lực. Bảng phương án ghi lựa chọn thực tế, qua đó giúp giảng viên đặt giả thuyết về bước học sinh có thể đã vướng.
Hồ sơ phải đọc lại và đối chiếu được
Một bộ hồ sơ đủ để người ngoài kiểm nên ghi ngày báo cáo, mã phiên bản đề, mẫu số và nguồn từng cột. Tách số bài đúng và sai, cộng lại để kiểm mẫu số, rồi đối chiếu tỷ lệ. Với bảng A–D, xem quy ước xử lý câu bỏ trống, vì tổng tỷ lệ chọn có thể thấp hơn 100%. Với bảng điểm theo bốn phần, lấy tổng của bốn điểm thành phần đã hiển thị và so với điểm tổng.
Để kiểm cột dự báo, cần có mô hình, bộ tham số và phiên bản tương ứng. Ghi rõ số liệu đầu vào và công thức của từng phép tính. Nếu thiếu câu hỏi gốc hoặc quy tắc quy đổi, chỉ kiểm những phép tính có đủ dữ liệu. Dùng bài làm đã ẩn danh và mã câu để bảo vệ học sinh và nội dung ngân hàng đề.
Dấu hiệu cuối cùng là cách trung tâm xử lý kết quả sau khi đã phân tích. Một phiếu rà soát nên có hiện tượng phát hiện, người kiểm tra, quyết định giữ hoặc sửa và cách đo lại trên phiên bản tiếp theo. Nếu phụ huynh xem được cả phiếu điểm lẫn một trường hợp đề đã được rà, họ có hai bằng chứng cụ thể để đánh giá mức độ đầu tư vào khảo thí và trách nhiệm với chất lượng đề.