Một bảng điểm ghi chữ IRT mới cho biết cách trung tâm giới thiệu hệ chấm. Để kiểm, hãy yêu cầu trung tâm trình diễn một bài ẩn danh, bảng đúng sai từng câu, tham số của đúng mã đề và kết quả tính lại khi đổi một đáp án. Người đọc cần lần được từ câu trả lời đến điểm trên phiếu.
Hai bài cùng đúng 68 câu và một phép đổi đáp án
Trong hồ sơ Empire, hai bài cùng đúng 68/120 câu, với số câu đúng bốn phần đều là 19, 11, 19 và 19. Điểm tổng lần lượt là 524 và 589. Cặp này chứng minh điểm trong hai phiếu có thể thay đổi theo mẫu câu đúng sai dù số câu đúng mỗi phần giống nhau. Muốn xác nhận mô hình IRT, cần đi tiếp đến tham số câu hỏi, phương pháp ước lượng năng lực và cách quy đổi về thang điểm.
Bảng tính lại của Empire cho phép thử riêng một câu sai thành đúng, giữ 119 câu kia. Chẳng hạn, có hai bài cùng 138 điểm Tiếng Anh và cùng sai câu 48. Sửa riêng câu 48 làm tăng 11 điểm ở một bài và 14 điểm ở bài kia. Ô trống nghĩa là câu đó đã đúng trong bài gốc. Phần dữ liệu kèm theo có bảng đúng sai đủ 120 câu của hai bài này. Mỗi mức tăng là một kịch bản riêng. Khi sửa nhiều câu, hệ thống cần tính lại trên mẫu trả lời mới.
Tập 5.503 bài có 267.172 lượt tính lại một câu. Trong bảng này có hai lượt tăng đúng 25 điểm và không có lượt nào vượt 25. Đây là kết quả kiểm độ nhạy trên dữ liệu thi thử theo ngưỡng nội bộ. Nó cho biết điểm biến động bao nhiêu trong phép thử đã định.
Đúng sai từng câu trong hai bài cùng sai câu 48
| Mẫu | C47 | C48 | C49 | C50 | C51 | C52 | Điểm TA | Tổng |
|---|---|---|---|---|---|---|---|---|
| K1 | 0 | 0 | 0 | 0 | 0 | 0 | 138 | 873 |
| K2 | 0 | 0 | 0 | 0 | 1 | 1 | 138 | 558 |
1 là đúng. 0 là sai. Trích sáu vị trí từ bảng 120 câu đã bỏ định danh.
Tính lại nếu chỉ sửa câu 48
| Mẫu | Tiếng Anh trước → sau | Tổng trước → sau | Chênh |
|---|---|---|---|
| K1 | 138 → 149 | 873 → 884 | +11 |
| K2 | 138 → 152 | 558 → 572 | +14 |
Giữ nguyên 119 câu còn lại.
Phân bố mức tăng khi sửa đúng riêng một câu
So bằng cùng một yêu cầu trình diễn
Đường xác suất theo theta giúp kiểm tra mô hình phản ứng thế nào với năng lực. Bảng đúng sai giúp kiểm tra dữ liệu được đưa vào. Bảng điểm ban đầu và điểm tính lại giúp kiểm tra đầu ra. Khi có đủ ba phần, phụ huynh có thể chọn ngẫu nhiên một trường hợp để xem trung tâm tái hiện kết quả bằng cùng phiên bản đề và quy tắc làm tròn.
Có thể dùng cùng yêu cầu này khi xem trang PAT của HOCMAI, nơi giới thiệu chấm tự động, hoặc trang 5V của Tuyensinh247, nơi có nhắc IRT. Với Empire, các bảng trong bài minh họa phép đổi một câu và cách đọc điểm trước, sau. Để tái lập toàn bộ phép chấm, cần thêm phiên bản tham số dùng khi chấm, phương pháp ước lượng năng lực và quy tắc quy đổi tương ứng.
Đường xác suất đúng câu 48 theo năng lực
Mức tăng điểm khi sửa riêng câu 48
Các bước kiểm tra một hệ chấm IRT
| Cần có | Phép kiểm |
|---|---|
| Mẫu đúng sai cùng phiên bản đề | Khớp đáp án và thứ tự từng câu. |
| a, b, c và cách ước lượng năng lực | Đối chiếu đường xác suất với tham số. |
| Quy tắc đổi thang và làm tròn | Đọc lại điểm đầu ra và tính lại khi đổi riêng một đáp án. |
Đọc đường xác suất của câu 48
Trên trang Xac_suat_dung của tệp 03, câu 48 có đường xác suất tăng từ 11,5% ở θ = −2 lên 15,3% ở θ = −1, 46,4% ở θ = 0, 91,1% ở θ = 1 và 99,3% ở θ = 2. Độ dốc thay đổi theo vị trí trên thang năng lực Tiếng Anh. Từ θ = 0 đến θ = 1, mức tăng dự kiến khoảng 44,7 điểm phần trăm. Khi đã ở vùng xác suất gần 100%, đường thoải hơn. Ba tham số của câu trong cùng hồ sơ là a = 2,612, b = 0,160 và c = 0,112.
Cột quan sát ghi 2.869 trong 5.503 bài chọn đúng, tương ứng 52,1%. Mức 46,4% là dự đoán ở đúng một tọa độ θ, còn 52,1% bao gồm người làm ở nhiều mức năng lực. Khi kiểm độ phù hợp của đường cong, cần gom bài theo từng khoảng năng lực, ghi mẫu số, tính tỷ lệ đúng và đối chiếu với xác suất trung bình dự kiến trong chính khoảng đó. Hai đầu thang có thể ít bài, nên sai số của tỷ lệ có thể lớn. Ưu tiên xem thêm một đợt chưa dùng để hiệu chuẩn và ước lượng năng lực nhóm bằng các câu còn lại khi có thể.
Đối chiếu từng ô trong hai bài cùng điểm Tiếng Anh
Hãy đọc riêng hai hàng K1 và K2. Cả hai có 138 điểm Tiếng Anh và số 0 ở câu 48. Tổng điểm ban đầu là 873 và 558. Trong cửa sổ sáu câu của bảng, người đọc thấy các mẫu đúng sai quanh câu 48 cũng có chỗ khác nhau. Bảng tính lại điểm Tiếng Anh ghi mức tăng ở câu 48 lần lượt là 11 và 14 điểm. Sau khi đổi ô đó sang 1, phần Tiếng Anh tăng từ 138 lên 149 và 152. Tổng lần lượt thành 884 và 572 khi giữ điểm ba phần còn lại.
Cùng một mức điểm được hiển thị có thể tương ứng với các mẫu trả lời khác nhau và giá trị năng lực trước khi làm tròn khác nhau. Hai ví dụ cho biết kết quả của đúng hai phép tính trong hồ sơ. Chúng giúp phát hiện vì sao cách hiểu mỗi câu có một lượng điểm cộng cố định dễ dẫn đến dự báo sai. Với hai câu sai muốn sửa cùng lúc, hãy yêu cầu chạy một lượt trên bài đã sửa cả hai câu. Từng mức tăng riêng đều lấy bài ban đầu làm điểm xuất phát, nên cộng chúng có thể cho kết quả khác với phép chấm lại chung.
Từ một trường hợp đến toàn bộ phép mô phỏng
Trong 267.172 lượt tính lại, đơn vị đếm là một câu sai trên một bài. Một học sinh có nhiều câu sai nên có thể xuất hiện nhiều lần trong biểu đồ. Nếu chỉ lọc câu 48, còn 2.634 bài, với mức tăng từ 4 đến 19 điểm. Các cột ở +11 và +14 chỉ vị trí của hai ví dụ trên phân bố. Biểu đồ toàn bộ 120 câu trả lời câu hỏi rộng hơn về độ nhạy của cả đề. Mỗi đường trong hình dùng mẫu số của chính phần thi nên có thể đọc tỷ lệ mà vẫn giữ được sự khác biệt về số lượt giữa các phần.
Hồ sơ ghi hai phép đổi tăng đúng 25 điểm và không ghi lượt vượt mốc này. Khi rà soát, nên nhìn cả số lượt ở đuôi phân bố và số câu tạo ra chúng. Nếu những lượt tăng cao tập trung vào một câu hoặc một nhóm bài, đó là nơi cần mở lại mã đề, cách xử lý câu và phiên bản tham số. Mốc 25 là quy tắc kiểm nội bộ của phép thử đang xét. Việc phân tích lại trên đề mới cần ghi riêng phạm vi bài, lần chấm và cách xử lý các câu sai hoặc bỏ trống.
Từ đường cong đến một lần chấm có thể tái lập
Đường xác suất mô tả một câu phản ứng ra sao theo năng lực. Công thức dùng để đối chiếu là P(θ) = c + (1 − c) ÷ [1 + exp(−a(θ − b))]. Khi lấy a, b, c ở độ chính xác trong bảng gốc, phép tính tái tạo cả 600 giá trị trong bảng 120 câu ở năm mốc θ, với chênh lệch số học dưới 10⁻¹². Một lần chấm đầy đủ phải dùng mẫu trả lời của cả phần để ước lượng năng lực, rồi quy đổi và làm tròn. Để đối chiếu, hãy yêu cầu trung tâm ghi phiên bản mã đề, khóa đáp án, cách mã hóa câu bỏ trống, tham số từng câu, phương pháp ước lượng và bảng đổi thang. Ví dụ, nếu công bố cách ước lượng MLE hoặc EAP, cần nêu rõ đang dùng phương pháp nào và cách xử lý những mẫu toàn đúng hoặc toàn sai.
Thử chấm lại bài gốc trước và đối chiếu từng điểm thành phần. Sau đó chỉ thay một câu sai, chạy cùng phiên bản chấm và kiểm chênh lệch ở phần tương ứng. Một lần đối chiếu mở được từ dữ liệu vào tới phiếu điểm có giá trị kiểm tra cao hơn một biểu đồ trình chiếu riêng lẻ. Hồ sơ Empire trong bài cung cấp bảng tham số, giá trị xác suất và kết quả mô phỏng. Muốn bên ngoài tự chạy lại số điểm, vẫn cần bộ quy tắc chấm và quy đổi gắn đúng phiên bản của hai bài.
Đáp án đúng và sai của hai bài đã bỏ định danh
Bảng đúng sai đủ 120 câu của hai bài K1 và K2
| Thành phần | Câu | K1 · 873 điểm | K2 · 558 điểm |
|---|---|---|---|
| Tiếng Việt | 1–10 | 1 1 1 0 1 0 0 1 1 1 | 0 1 0 0 1 0 1 0 1 1 |
| Tiếng Việt | 11–20 | 1 0 1 1 0 1 0 1 0 1 | 1 0 1 1 0 1 0 1 0 1 |
| Tiếng Việt | 21–30 | 1 1 1 1 1 1 1 1 1 1 | 0 0 0 0 1 1 0 1 0 0 |
| Tiếng Anh | 31–40 | 1 1 1 1 1 1 1 1 1 1 | 1 1 1 1 1 1 1 1 1 0 |
| Tiếng Anh | 41–50 | 1 1 0 1 1 0 0 0 0 0 | 1 0 0 0 0 0 0 0 0 0 |
| Tiếng Anh | 51–60 | 0 0 0 0 0 0 1 0 1 0 | 1 1 0 0 1 1 1 1 0 1 |
| Toán | 61–70 | 1 1 1 1 1 0 1 0 0 1 | 1 1 1 1 0 1 1 1 0 1 |
| Toán | 71–80 | 1 1 1 1 1 0 1 1 1 1 | 0 1 1 1 1 0 1 1 1 0 |
| Toán | 81–90 | 1 1 1 1 1 1 1 1 1 0 | 1 1 0 1 1 1 0 1 1 1 |
| Tư duy khoa học | 91–100 | 1 1 1 1 1 1 1 1 1 1 | 0 1 0 0 0 0 1 1 0 1 |
| Tư duy khoa học | 101–110 | 1 1 1 1 1 1 1 1 1 1 | 1 1 0 0 0 0 1 0 1 1 |
| Tư duy khoa học | 111–120 | 1 1 1 1 1 1 1 1 1 1 | 1 0 1 1 0 0 1 0 1 0 |
1 là đúng và 0 là sai, đọc từ trái qua phải trong từng nhóm 10 câu. Tên và mã bài gốc đã được bỏ.