Chuẩn hoá chấm tự luận Ngữ văn: năm cơ chế giữ cho hai giám khảo không lệch điểm

Một bài viết được hai giám khảo chấm độc lập. Người thứ nhất cho 6,5. Người thứ hai cho 8,0. Cả hai đều có kinh nghiệm, đều đọc cùng một hướng dẫn chấm, và cả hai đều giải thích được lựa chọn của mình. Đây không phải chuyện hiếm, và nó cũng không phải lỗi của ai trong hai người.

Vì sao một bảng tiêu chí tốt vẫn chưa đủ

Bài trước trong chuyên mục này bàn cách viết một rubric dùng được cho một người chấm. Nhưng Ngữ văn hiếm khi được chấm bởi một người: một kỳ kiểm tra chung toàn khối là năm bảy thầy cô cùng chấm, và kỳ thi tốt nghiệp thì phần tự luận chấm hai vòng độc lập theo quy chế.

Khi số người chấm lớn hơn một, xuất hiện một loại sai mà rubric không tự chặn được: hai người đọc cùng một mô tả mà hiểu khác nhau. Ô "có phân tích dẫn chứng" — người này coi hai câu bình là đủ, người kia đòi phải chỉ ra được tác dụng nghệ thuật. Cả hai đọc đúng chữ trong bảng, và lệch một mức ở ba tiêu chí là lệch một điểm rưỡi.

Điều này không phải chuyện kỹ thuật thuần. Với học sinh cuối cấp, một điểm rưỡi ở môn Ngữ văn đổi được nguyện vọng. Nên câu hỏi phải trả lời không phải "rubric có tốt không" mà là "hai người chấm khác nhau có cho ra cùng kết quả không" — và đó là một câu đo được.

Bản chất: độ tin cậy giữa các giám khảo là một con số, không phải một niềm tin

Giới khảo thí gọi nó là độ tin cậy giữa các giám khảo (inter-rater reliability), và cách đo đơn giản nhất cũng đủ dùng cho một tổ chuyên môn: lấy một tập bài, cho hai người chấm độc lập, rồi đếm.

Cách đo	Cách tính	Đọc thế nào
Tỷ lệ khớp tuyệt đối	Số bài hai người cho cùng điểm chia tổng số bài	Thấp là bình thường với thang 10 bậc nửa điểm; đừng dùng một mình
Tỷ lệ trong dung sai	Số bài lệch không quá một mức, chia tổng	Con số đáng theo dõi nhất với tổ chuyên môn
Lệch trung bình có dấu	Trung bình (điểm người A − điểm người B)	Khác 0 rõ rệt nghĩa là một người chấm chặt hơn có hệ thống

Cột thứ ba là cột hay bị bỏ và lại quan trọng nhất. Hai người có thể lệch nhau nhiều mà không ai chặt hơn ai — lệch ngẫu nhiên, bù trừ nhau. Nhưng nếu lệch trung bình là −0,8 thì người A đang chấm chặt hơn người B trên mọi bài, và bốn mươi học sinh của người A chịu một cái giá mà các em không gây ra. Hai tình huống ấy cần hai cách chữa khác nhau, và chỉ dấu của phép trừ phân biệt được.

Năm cơ chế, mỗi cơ chế chặn một loại lệch

Các hội đồng chấm thi lớn trên thế giới không dựa vào một biện pháp duy nhất. Họ xếp năm lớp, và mỗi lớp bắt một thứ mà bốn lớp kia để lọt:

Một — họp chuẩn hoá trước khi chấm (standardisation meeting). Cả tổ ngồi cùng nhau, chấm vài bài giống nhau, rồi so. Chỗ nào hiểu khác thì bàn tới khi mô tả đủ rõ. Bước này chặn loại lệch "cùng chữ khác nghĩa" — và nó phải xảy ra trước khi ai chấm bài thật, vì sau đó thì đã có điểm phải sửa.

Hai — bài mẫu neo (anchor papers). Sản phẩm của buổi họp trên không phải một biên bản mà là một tập bài thật đã được cả tổ thống nhất điểm, mỗi mức một bài. Từ đó về sau, tranh luận về một bài khó không còn là tranh luận về ý kiến: mang nó ra so với bài neo gần nhất.

Ba — biên độ dung sai và người chấm thứ ba (tolerance and third marker). Khai trước một ngưỡng: hai vòng lệch quá bao nhiêu thì bài đó phải có người thứ ba. Không có ngưỡng khai trước thì việc "thống nhất" biến thành người có tiếng nói hơn quyết định, hoặc lấy trung bình hai điểm — mà trung bình của một điểm đúng và một điểm sai là một điểm sai.

Bốn — bài kiểm định trộn lén (seed scripts). Đây là cơ chế các hệ thống chấm điện tử lớn dùng và tổ chuyên môn ít biết: trộn vào tập bài của mỗi người chấm vài bài đã có điểm chuẩn từ trước mà họ không biết là bài nào. Nó đo trôi chuẩn trong lúc chấm, thứ mà chấm hai vòng không thấy được — vì nếu cả hai người đều trôi cùng chiều theo thời gian, hai vòng vẫn khớp nhau.

Năm — chấm theo câu, không theo bài (item-level marking). Chấm hết câu 1 của cả tập, rồi mới sang câu 2. Mỗi lượt giữ một mô tả trong đầu nên đi nhanh hơn, và nó chặn hiệu ứng vầng sáng giữa các câu: điểm câu nghị luận không còn bị kéo theo ấn tượng từ câu đọc hiểu.

Vì sao "lấy trung bình hai vòng" là một cách chữa tồi

Cách xử lý phổ biến nhất khi hai vòng lệch cũng là cách yếu nhất, nên nói riêng.

Trung bình chỉ đúng khi hai điểm là hai phép đo cùng một thứ có sai số ngẫu nhiên. Nhưng lệch một điểm rưỡi ở Ngữ văn thường không phải sai số — nó là hai cách hiểu khác nhau về một tiêu chí. Khi ấy một trong hai điểm đúng hơn, và trung bình đưa ra một con số không ai trong hai người chấm cho, không có mô tả nào ứng với nó, và không giải thích được nếu học sinh hỏi.

Cách đúng là so theo từng tiêu chí, không so điểm tổng. Hai vòng cùng 6,5 mà một vòng cho Dẫn chứng 3 điểm còn vòng kia cho 1 điểm thì tổng khớp là một sự trùng hợp che mất một chỗ lệch thật. Đây chính là lý do rubric phân tích không chỉ giúp người chấm mà còn giúp người điều phối việc chấm: nó cho một bảng để đối chiếu, thay vì hai con số để trừ.

So sánh trực quan: hai cách tổ chức việc chấm chung

	Chấm chung theo cách quen làm	Chấm chung có chuẩn hoá
Trước khi chấm	Phát hướng dẫn chấm, ai đọc nấy hiểu	Họp chấm thử cùng nhau, chốt bài mẫu neo
Căn cứ khi tranh luận	Kinh nghiệm và thâm niên	Bài neo đã thống nhất
Khi hai vòng lệch	Bàn rồi lấy trung bình	So theo từng tiêu chí; quá ngưỡng thì có người thứ ba
Thứ tự chấm	Hết bài này sang bài khác	Hết câu này sang câu khác, trên cả tập
Trôi chuẩn theo thời gian	Không ai biết	Bài kiểm định lén phát hiện
Sau khi chấm	Không còn dữ liệu gì	Tỷ lệ trong dung sai và lệch trung bình của từng người
Lần sau	Bắt đầu lại từ đầu	Bài neo và rubric đã sửa, dùng lại được

Dòng cuối là chỗ trả vốn: một tổ đã có bộ bài neo cho khối 12 thì năm sau không phải dựng lại. Bộ ấy còn dùng được để giới thiệu cho giáo viên mới — nhanh hơn và chính xác hơn mọi buổi hướng dẫn bằng lời.

Ba bước cho kỳ kiểm tra chung sắp tới

Bước 1 — Một giờ họp chuẩn hoá, có kết quả cầm về được

Chuẩn bị trước: bảy bài đã thu, photo đủ cho mỗi người, che tên và lớp.

Trong buổi họp:

1. Mỗi người chấm ba bài đầu độc lập, không bàn, ghi mức theo từng tiêu chí (không ghi điểm tổng).
2. Mở bảng ra so theo cột tiêu chí. Tiêu chí nào cả tổ khớp thì bỏ qua; tiêu chí nào lệch thì đọc lại mô tả và sửa cho tới khi ai cũng chọn được cùng mức.
3. Chấm bốn bài còn lại để kiểm bản mô tả vừa sửa. Nếu vẫn lệch, sửa tiếp.
4. Chốt: ba bài neo (tốt / trung bình / yếu) kèm mức từng tiêu chí và một dòng lý do cho mỗi mức.

Kết quả buổi họp là một tệp: rubric đã sửa + ba bài neo. Không có tệp ấy thì buổi họp chưa xong.

Bước 2 — Khai ngưỡng dung sai trước khi ai chấm bài nào

Với thang 10 điểm và rubric bốn tiêu chí, ngưỡng dùng được trong thực tế:

Chênh lệch giữa hai vòng	Xử lý
Tới 0,5 điểm	Lấy vòng một, không cần bàn
Trên 0,5 tới 1,0 điểm	Hai người so theo tiêu chí, tự thống nhất
Trên 1,0 điểm	Bắt buộc có người thứ ba chấm độc lập, so với bài neo
Lệch ở tiêu chí nào cũng trên một mức	Dấu hiệu rubric chưa rõ, không phải dấu hiệu bài khó — mang ra tổ

Con số 0,5 và 1,0 không phải hằng số thiêng; điều quan trọng là chúng được khai trước, thành văn, và áp cho mọi bài. Ngưỡng khai sau khi đã thấy bài lệch là một ngưỡng được chọn để hợp với kết luận mình muốn.

Bước 3 — Trộn ba bài neo vào tập của mỗi người, rồi đọc lại hai con số

Đây là bước rẻ nhất mà cho nhiều thông tin nhất. Photo ba bài neo, không ghi dấu gì, xếp vào giữa tập bài của mỗi người chấm — một ở đầu, một ở giữa, một ở cuối.

Chấm xong, so điểm ba bài ấy với mức đã thống nhất. Đọc được ngay ba thứ:

• Bài neo ở cuối lệch nhiều hơn bài ở đầu → trôi chuẩn do mỏi. Chia tập thành nhiều đợt ngắn hơn, đọc lại mô tả trước mỗi đợt.
• Cả ba đều lệch cùng một chiều → người này chấm chặt (hoặc lỏng) có hệ thống. Không phải chuyện thái độ; thường là do một tiêu chí bị hiểu khác. Tìm tiêu chí đó rồi sửa mô tả.
• Ba bài lệch ba chiều khác nhau → lệch ngẫu nhiên, và rubric đang có ô chưa đủ cụ thể.

Cuối kỳ, tính đúng hai con số cho cả tổ: tỷ lệ bài nằm trong dung sai và lệch trung bình có dấu của từng người. Hai con số ấy là thứ duy nhất cho biết việc chuẩn hoá có tác dụng hay không — và là thứ để so với kỳ sau.

Rào cản thật: chấm hai vòng là nhân đôi khối lượng

Mọi cơ chế trên đây đều làm được bằng tay, và một tổ nghiêm túc vẫn làm. Nhưng phải nói thẳng: chấm hai vòng độc lập là nhân đôi số giờ, trộn bài neo là thêm một khâu photo và theo dõi, còn tính hai con số cuối kỳ là một buổi ngồi với máy tính bỏ túi.

Phần máy làm được nằm ở khâu lặp lại. Grade chấm tự luận theo rubric khai dưới dạng cặp tiêu chí — điểm tối đa, mỗi tiêu chí chấm độc lập rồi cộng trong không gian điểm, nên máy không bao giờ "trôi chuẩn" giữa bài thứ 5 và bài thứ 140 — điểm của bài cuối cùng được sinh ra bằng đúng quy trình như bài đầu tiên. Điều đó không làm máy đúng hơn người; nó chỉ làm máy nhất quán hơn, và nhất quán là đúng thứ đang thiếu khi hai vòng lệch nhau.

Cách dùng hợp nhất vì thế không phải để máy thay một vòng chấm, mà để nó làm vòng đối chiếu thứ ba: bài nào điểm máy lệch xa điểm người là bài đáng mở ra xem lại. Thầy cô sửa điểm bất cứ lúc nào, và lý do sửa được ghi lại ở một cột chỉ phía giáo viên đọc — không hiện lên màn hình học sinh.

Bài làm trên giấy vẫn vào được luồng này: học sinh chụp bài, hệ thống chép chữ trước, chấm sau — hai lượt tách rời, vì gộp lại thì bản chép bị sửa cho khớp kết quả vừa nghĩ ra. Chỗ nào máy đọc không chắc thì nó dừng và chuyển sang hàng đợi chấm tay chứ không đoán.

Thầy cô có thể bắt đầu bằng bảng ngưỡng dung sai ở bước 2 — mang ra họp tổ, sửa ba con số cho phù hợp, và chốt thành văn trước kỳ kiểm tra chung gần nhất. Tạo đề miễn phí trên Grade nếu muốn có vòng đối chiếu thứ ba mà không thêm giờ chấm.

Đọc thêm: chấm điểm tự luận bằng rubric — bộ tiêu chí là điều kiện cần cho mọi cơ chế ở bài này, và phản hồi bài viết trong 30 giây cho khâu trả bài.

Nguồn tham khảo

• Quy định đánh giá học sinh THCS và THPT — Thông tư 22/2021/TT-BGDĐT, Bộ GD&ĐT
• Chương trình giáo dục phổ thông 2018, môn Ngữ văn — Thông tư 32/2018/TT-BGDĐT, Bộ GD&ĐT
• Tài liệu về quy trình chuẩn hoá giám khảo và bài mẫu neo trong kỳ thi Advanced Placement, College Board (Hoa Kỳ)
• NAPLAN Writing Marking Guide — quy trình chuẩn hoá và kiểm soát trôi chuẩn của ACARA (Úc)
• Tài liệu kỹ thuật về inter-rater reliability trong chấm bài tự luận — Cambridge Assessment

Ảnh minh hoạ: Pexels.