Khắc phục hạn chế trong kiểm tra trắc nghiệm bằng công nghệ thông tin

Khắc phục hạn chế trong kiểm tra trắc nghiệm với CNTT

Qua nhiều năm nghiên cứu ứng dụng CNTT trong kiểm tra bằng trắc nghiệm khách quan và học tập các chuyên gia, thầy Dương Đức Tuấn - Hiệu trưởng Trường THPT chuyên Trần Hưng Đạo (Bình Thuận) đã đúc kết kinh nghiệm bổ ích về ứng dụng CNTT trong kiểm tra trắc nghiệm.

Thầy Dương Đức Tuấn cho biết, hiện nay tại Trường THPT chuyên Trần Hưng Đạo đã sử dụng máy quét ảnh và phần mềm để chấm bài trắc nghiệm. Và sản phẩm của nó không phải chỉ dừng lại ở bảng kết quả điểm mà còn được khai thác và kết hợp với các phần mềm khác để chuyển qua khâu phân tích, đánh giá bài làm của học sinh, đánh giá độ khó, độ phân biệt của từng câu và cả đề trắc nghiệm.

Các khâu trong kiểm tra bằng hình thức trắc nghiệm khách quan (TNKQ) đã được ứng dụng công nghệ thông tin (CNTT) tạo một chu trình khép kín, hoàn chỉnh và rất hiệu quả, phát huy được hết ưu điểm của hình thức đánh giá, kiểm tra này. Sử dụng phần mềm McMIX trong quản lý, trộn đề thi trắc nghiệm và hỗ trợ cho các khâu chấm bài, xử lý kết quả

Chương trình trộn đề thi trắc nghiệm McMIX là phần mềm miễn phí cho giáo dục. Phần mềm được tải tại website http://www.edusoft.net.vn/. Hiện nay, đã có nhiều thầy, cô giáo sử dụng phần mềm McMIX để trộn đề, làm đáp án. Tuy nhiên, khi chấm bài của học sinh thì theo kiểu thủ công nên nhiều chức năng của phần mềm chưa khai thác hết.

Trong khi đó phần mềm này hỗ trợ rất tốt cho các chương trình chấm thi dùng máy quét, hồi quy về đề chuẩn và xử lý kết quả bài làm của học sinh đó là các file được tạo ra từ chức năng “Xuất đáp án” của chương trình. Gồm _dapan.xls ; xxx_tronde.xls ; xxx_dapancacmade.xls và xxx_dethi.xls ( ký hiệu xxx tên file do người dùng đặt, ví dụ : ly, hoa …)

Một điểm lưu ý là khi dùng McMIX để trộn đề thì từ một đề gốc được hoán vị thành nhiều mã đề. Vì thế câu 1 ở mã đề này có thể không phải là câu 1 của mã đề kia. Do đó, từ phần mềm McMIX có xuất ra một file excel với tên file là xxx_tronde.xls để chỉ ra địa chỉ từng câu trong mỗi mã đề đã lấy ra từ câu nào trong đề gốc. Nhờ đó, mà một phần mềm khác (gọi là công cụ chuyển đổi dữ liệu tuyển sinh) đã làm động tác ngược lại để đưa tất cả các bài làm của thí sinh hồi quy về một đề. Nhờ thế, việc thống kê độ khó, độ phân biệt từng câu thực hiện được.

Sử dụng phần mềm TestSheetReader để chấm bài trắc nghiệm: TestSheet Reader là phần mềm được xây dựng bởi Công ty TNHH Công nghệ Giáo dục và Xử lý số liệu (website website http://www.edtech.com.vn/) để chấm trắc nghiệm và xử lý linh hoạt các phiếu quét từ máy quét ảnh (scanner). TestSheet Reader được số hóa các dữ liệu ảnh theo biểu mẫu được thiết kế phù hợp dễ truy nhập vào các phần mềm xử lý dữ liệu khác.

Phần mềm TestSheet Reader cung cấp 3 chức năng chính :

Chức năng tạo mẫu nhận dạng bài thi: Sử dụng giấy A4 loại dày (85 gms) để làm mẫu phiếu trả lời trắc nghiệm và in sao bằng máy photocopy thông thường để phục vụ cho học sinh làm bài kiểm tra trắc nghiệm. Mẫu nhận dạng bài thi được thiết kế theo chức năng của phần mềm.

Chức năng nhận dạng bài thi: Khi sử dụng chức năng này chúng ta nhập vào chương trình mẫu nhận dạng bài thi và các ảnh quét của phiếu TLTN dưới dạng file ảnh JPG thì phần mềm sẽ chuyển các mỗi file ảnh JPG thành một dòng trong file TXT. Chức năng chấm thi: Khi kích hoạt chức năng này chương trình sẽ yêu cầu nhập đáp án các mã đề (lấy từ phần mềm McMIX tên file là xxx_dapancamade.xls) và danh sách thí sinh trong đó có chứa các cột họ tên, số báo danh …. Kết quả chấm thi được xuất ra báo cáo dưới dạng excel.

Sử dụng công cụ chuyển đổi dữ liệu tuyển sinh

Khi sử dụng phần mềm McMIX để trộn đề thì từ một đề gốc đã được hoán vị thành nhiều mã đề và chương trình đã trộn ngẫu nhiên. Như vậy câu 1 ở đề gốc không còn là câu 1 ở các mã đề và các phương án cũng bị xáo trộn. Vì thế, chúng ta cần phải hồi quy tất cả bài làm thí sinh về một mã đề nào đó hoặc về đề gốc. Sau đó mới thống kê được độ khó từng câu. Để thực hiện công việc này Trường THPT chuyên Trần Hưng Đạo đã sưu tầm, khai thác, tìm tòi thử nghiệm công cụ chuyển dữ liệu tuyển sinh. Đây là phần mềm miễn phí của Bộ GD&ĐT với dung lượng 516KB, không phải cài đặt mà chỉ cần kích hoạt vào biểu tượng để chạy chương trình.

Chương trình này chạy rất nhanh với khoảng 1000 bài thì chỉ mất vài giây.

Sử dụng phần mềm Vitesta để phân tích kết quả bài làm và đánh giá chất lượng đề trắc nghiệm.  Vitesta là một chương trình hỗ trợ phương pháp trắc nghiệm được phát triển bởi Công ty cổ phần Khoa Học và Công Nghệ Giáo Dục Việt Nam. Đây là một chương trình phân tích đánh giá câu hỏi, soạn đề thi, chấm thi trắc nghiệm… được xây dựng dựa trên Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT). Khi sử dụng phần mềm Vitesta, phải khai báo 2 tệp sau đây tại giao diện chính của chương trình:

• Tệp đáp án: Chọn dòng đầu tiên trong file txt được tạo ra từ công cụ chuyển đổi dữ liệu tuyển sinh và đổi định dạng thành dapan.key
• Tệp dữ liệu: Chọn từ dòng thứ hai trong file txt được tạo ra từ công cụ chuyển đổi dữ liệu tuyển sinh và đổi định dạng thành dulieu.dat

Sau đó thực hiện các tính năng của chương trình theo tài liệu hướng dẫn đính kèm sản phẩm. Vitesta cung cấp nhiều báo cáo dưới dạng văn bản và đồ thị giúp cho người sử dụng có thể hình dung trực quan về câu hỏi, đề trắc nghiệm, năng lực của thí sinh và quan hệ giữa các yếu tố đó.

Một số tính năng thiết thực của phần mềm Vitesta

Qua kinh nghiệm sử dụng và nghiên cứu các tài liệu về TNKQ, thầy Dương Đức Tuấn trình bày một số tính năng thiết thực hoặc thầy, cô giáo thường đề cập và sử dụng. Cung cấp các số liệu thống kê theo lý thuyết trắc nghiệm cổ điển:Trong quá trình ước lượng tham số câu hỏi theo IRT, phần mềm cũng tính các tham số độ khó, độ phân biệt theo lý thuyết trắc nghiệm cổ điển, và cung cấp dưới dạng bảng đối với từng câu hỏi của đề trắc nghiệm để người sử dụng dễ dàng nhận biết đặc điểm và chất lượng của từng câu hỏi.

Phần mềm cũng tự động chỉ ra các câu hỏi có độ phân biệt âm, có độ khó quá cao và quá thấp. Các thông tin này là rất cần thiết để lựa chọn các câu hỏi thích hợp nhằm thiết kế các đề trắc nghiệm có chất lượng cao. Độ khó của một câu hỏi trắc nghiệm: Là tỷ số phần trăm thí sinh làm đúng câu hỏi đó trên tổng số thí sinh tham gia làm câu hỏi đó. Các câu hỏi của một đề trắc nghiệm thường phải có các độ khó khác nhau. Theo định nghĩa tính độ khó như trên, rõ ràng gái trị độ khó càng bé thì câu hỏi càng khó và ngược lại.

Thông thường độ khó của một câu hỏi trắc nghiệm có thể chấp nhận được nằm trong khoảng 0,25 – 0,75; câu hỏi có độ khó lớn hơn 0,75 là quá dễ, có độ khó nhỏ hơn 0,25 là quá khó. Khi lựa chọn các câu hỏi trắc nghiệm theo độ khó người ta phải loại các câu quá khó (không ai làm đúng) hoặc quá dễ (ai cũng làm đúng). Một đề trắc nghiệm tốt thường là có nhiều câu hòi có độ khó trung bình.

Độ phân biệt của một câu hỏi trắc nghiệm: Độ phân biệt của một câu hỏi trắc nghiệm có liên quan đến độ khó. Một đề trắc nghiệm dễ đến mức mọi thí sinh đều làm tốt, các điểm số đạt được chụm ở phần điểm cao, thì độ phân biệt của nó rất kém. Cũng vậy, nếu một đề trắc nghiệm khó đến mức mọi thí sinh đều làm không tốt, các điểm số đạt được chụm ở phần điểm thấp, thì độ phân biệt của nó cũng rất kém.

Từ các trường hợp giới hạn nói trên có thể suy ra rằng một đề trắc nghiệm muốn có độ phân biệt tốt thì nó phải bao gồm nhiều câu hỏi trắc nghiệm có độ khó ở mức trung bình. Khi ấy điểm số thu được của nhóm thí sinh sẽ có phổ trải rộng.

Dựa vào điểm bài làm của thí sinh người ta tách từ một nhóm giỏi bao gồm 27% thí sinh đạt điểm cao từ trên xuống và nhóm kém bao gồm 27% thí sinh đạt điểm kém từ dưới lên.

Gọi C là số thí sinh làm đúng câu hỏi thuộc nhóm giỏi, T là số thí sinh làm đúng câu hỏi thuộc nhóm kém, S là số lượng thí sinh của một trong hai nhóm nói trên (27% tổng số) ta có công thức tính độ phân biệt D của câu hỏi rắc nghiệm như sau: D = (C – T) : S Những câu hỏi có độ phân biệt âm là những câu hỏi có chất lượng kém (những thí sinh giỏi không làm được nhưng những thí sinh kém lại làm được nhiều hơn). Thông thường trị số phân biệt của câu hỏi có thể chấp nhận được phải lớn hơn 0,2

Tương quan điểm nhị phân của từng phương án: là tương quan giữa việc chọn phương án của từng thí sinh so với tổng điểm thô của thí sinh. Phương án có độ tương quan điểm nhị phân cao nhất (thường lớn hơn 0) là phương án có khả năng là đáp đúng cao nhất. Nếu điều này không xảy ra, có khả năng câu hỏi có sự nhầm lần về đáp án.

Giá trị p: Đánh giá độ chính xác hay ý nghĩa (signifficance) của đáp án. Thông thường đối với dữ liệu tốt p<0.05. Cung cấp sơ đồ bài làm của từng thí sinh: Chức năng Kidmap là phần cho phép quan sát trực tiếp sơ đồ bài làm của thí sinh đối với từng câu hỏi, các câu hỏi được chia thành 4 loại:

Loại câu hỏi khó không trả lời được; loại câu hỏi khó trả lời được; loại câu hỏi dễ không trả lời được; loại câu hỏi dễ trả lời được:

Quan sát kidmap, giáo viên và thí sinh có thể hiểu rõ hơn về bài làm của mình, biết được câu nào dễ mà thí sinh không làm được hoặc có phải vì chọn hú họa mà câu khó lại làm được (đối với học sinh yếu). Từ đó tìm ra nguyên nhân để điều chỉnh quá trình dạy, học.

Nếu chúng ta khai báo một số thông tin trong đề thi và kết hợp với phần mềm Testpro thì có thể xuất ra được phiếu nhận xét về bài làm của thí sinh. Cung cấp các đặc trưng tổng hợp của đề trắc nghiệm: Hàm thông tin và đường cong điểm thực là hai đặc trưng tổng hợp quan trọng để đánh giá một đề trắc nghiệm. Phần mềm tính toán và cung cấp các đồ thị biểu diễn tường minh các đại lượng đó. Đây là hỗ trợ rất quan trọng cho việc đánh giá và thiết kế các đề trắc nghiệm.

Cung cấp các chức năng hỗ trợ cân bằng đề thi: Những câu hỏi kém chất lượng có độ phân biệt âm hoặc có độ khó không phù hợp sẽ được chương trình chỉ ra trong bảng tổng hợp để người dùng có thể loại bỏ khỏi đề thi.

Theo tác giả Hải Bình, báo Giáo dục Thời đại, link bài viết gốc: http://giaoducthoidai.vn/trao-doi/khac-phuc-han-che-trong-kiem-tra-trac-nghiem-voi-cntt-424247-v.html