KỸ THUẬT THU THẬP THÔNG TIN, MINH CHỨNG
KỸ THUẬT THU THẬP THÔNG TIN, MINH CHỨNG
KỸ THUẬT THU THẬP THÔNG TIN, MINH CHỨNG[1]
I. Kỹ thuật nghiên cứu văn bản, hồ sơ trong tự đánh giá
Nghiên cứu văn bản/hồ sơ là một trong những phương pháp thu thập thông tin quan trọng nhất thường được dùng trong tự đánh giá chất lượng.
1.1. Định nghĩa
Nghiên cứu văn bản/hồ sơ là xem xét có hệ thống các tài liệu dưới dạng văn bản viết như các quy định, kế hoạch, biên bản, báo cáo, hồ sơ, sổ sách, giáo trình, đề cương môn học… nhằm cung cấp thông tin cho quá trình tự đánh giá (ví dụ: tự đánh giá chất lượng chương trình đào tạo, chất lượng giáo dục của trường theo các tiêu chí, tiêu chuẩn,…).
Nghiên cứu, phân tích văn bản/hồ sơ được thực hiện nhằm phân loại, sắp xếp, đánh giá và lựa chọn các thông tin trong văn bản cho phù hợp với nội hàm các tiêu chí để trích dẫn, bình luận,… phục vụ mục đích tự đánh giá.
1.2. Ưu điểm và những hạn chế/điểm cần lưu ý
– Giúp xác định những văn bản nào có nội dung phù hợp để được coi là minh chứng tốt cho một tiêu chí nào đó;
– Văn bản, hồ sơ,… chỉ xác nhận sự tồn tại/sự có mặt,… chưa chắc đã là minh chứng;
– Để xác định một văn bản nào đó như là minh chứng cần xem xét văn bản đó phù hợp đáp ứng đến đâu các yêu cầu của từng tiêu chí… Cần có sự thẩm định của nhóm cán bộ chuyên trách, chịu trách nhiệm thu thập minh chứng, viết báo cáo tiêu chí… và sự thẩm định đánh giá của các chuyên gia về kiểm định chất lượng;
– Dễ bị lạm dụng như quá chú trọng đến hồ sơ văn bản mà không xem xét thực tế.
1.3. Các kỹ thuật xem xét văn bản/hồ sơ
Việc nghiên cứu phân tích văn bản hồ sơ… để xác định liệu nó có thể là một minh chứng tốt cho một tiêu chí nào đó hay không? Cần bám sát nội hàm từng tiêu chí, so sánh với nội dung các chỉ báo của từng tiêu chí, các từ khoá chỉ nội hàm của tiêu chí…
- Những câu hỏi hướng dẫn xem xét phân tích văn bản/hồ sơ
Khi tiếp xúc với một văn bản lần đầu tiên trong quá trình lựa chọn minh chứng cho báo cáo tự đánh giá, các nhóm công tác cần tự đặt ra và trả lời những câu hỏi sau đây:
– Đây là loại văn bản gì? Ai phát hành ?
– Văn bản được viết cho đối tượng nào ?
– Tính hiệu lực của văn bản này ?
– Văn bản/tài liệu này có nội dung phù hợp, đáp ứng nội hàm 1 tiêu chí nào/ những tiêu chí nào ?
– Văn bản/tài liệu này đáp ứng nội dung cụ thể nào trong nội hàm của tiêu chí ?
– Văn bản này có thể là minh chứng tốt cho những tiêu chí nào? Vì sao ?
- Các bước tiến hành
Bước 1: Xác định tên văn bản, loại tài liêu/hồ sơ cần thu thập? Nơi có thể thu thập.
Bước 2: Đọc nội dung văn bản, xác định mức độ tin cậy của văn bản, tìm các câu/phần/nội dung cần thiết đáp ứng các yêu cầu nêu trong nội hàm của từng tiêu chí… ghi những nhận xét ở những chỗ quan trọng.
Bước 3: Thẩm định lại văn bản, xác định mức độ tin cậy, xác định các đoạn phù hợp để trích dẫn, bình luận.
Bước 4: Trao đổi trong nhóm, để xác định liệu văn bản đó có phải là minh chứng tốt, có mâu thuẫn với các nguồn minh chứng khác?
Phương pháp này chỉ thực sự phát huy hiệu quả khi được kết hợp với các phương pháp khác như phỏng vấn cá nhân/ thảo luận nhóm và quan sát.
II. Kỹ thuật quan sát trong tự đánh giá
Quan sát là một trong những phương pháp thu thập thông tin quan trọng thường được dùng trong việc đánh giá các hoạt động đào tạo, tự đánh giá của một đơn vị.
2.1. Định nghĩa
Quan sát là sự viếng thăm hiện trường, xem xét tận mắt,… cơ sở vật chất, điều kiện, môi trường, sự tương tác… hoặc một hoạt động cụ thể nào đó. Ví dụ, quan sát xem xét cơ sở vật chất, tiện nghi khu kí túc xá sinh viên, dự giờ một tiết học, thăm thư viện, thăm nhà ăn sinh viên, thăm phòng thực hành, phòng thí nghiệm, phòng máy tính,…
2.2. Các loại quan sát
Theo Creswell (2000), quan sát có thể chia thành 4 loại:
– Tham gia hoàn toàn – vai trò người quan sát nghiên cứu được giữ kín,
– Quan sát đồng thời tham gia – vai trò quan sát là chính, tham gia chỉ là phụ,
– Tham gia đồng thời là quan sát – tham gia là chính, quan sát là thứ yếu,
– Quan sát hoàn toàn – người nghiên cứu quan sát mà không tham gia.
2.3. Ưu điểm và những hạn chế
– Giúp người quan sát tận mắt chứng kiến hiểu biết tốt hơn về bối cảnh;
– Quan sát giúp thẩm tra lại các số liệu, cung cấp những thông tin, dữ liệu điển hình liên quan đến tình huống;
– Quan sát cũng giúp thẩm tra lại minh chứng/chứng cứ giúp hiểu rõ tình trạng, hiệu quả hoạt động,… mà các phương pháp khác không cho kết quả tin cậy;
– Dễ mang tính phiến diện, chủ quan cao và dễ bị can thiệp.
2.4. Kỹ thuật quan sát
- Các bước tiến hành:
Bước 1: Lên kế hoạch
– Xác định mục đích, đối tượng quan sát;
– Xác định các nội dung, phạm vi quan sát;
– Xác định các hoạt động cụ thể cần quan sát;
– Xác định các yêú tố, các phát hiện cần tìm, cần thẩm tra,…
Bước 2: Thiết lập các tiêu chí và chuẩn bị các công cụ hỗ trợ quan sát
– Thiết lập các tiêu chí quan sát, các mức độ, các biểu hiện có thể quan sát… cách đánh giá;
– Đưa ra các tiêu chí khi quan sát cho từng nội dung quan sát cụ thể;
– Xây dựng bộ công cụ dùng cho quan sát (ví dụ: Xây dựng các phiếu quan sát, bảng kiểm,…);
– Giấy, bút, thiết bị ghi âm, ghi hình như máy ảnh, máy quay,…
– Phiếu ghi các kết quả quan sát.
Bước 3: Xem xét hiện trường và ghi chép thông tin
– Người quan sát ghi chép lại những thông tin chính vào phiếu quan sát;
– Ghi chú những phát hiện của mình trong quá trình quan sát;,
– Xem xét các tài liệu, trang thiết bị,… ví dụ: lịch hoạt động hàng tuần, sổ nhật kí sử dụng, biên bản bảo dưỡng thiết bị,…
– Xem các góp ý của giảng viên và học sinh về phòng thực hành,…
– Trực tiếp kiểm tra: thao tác thật trên thiết bị để xác định chất lượng trang thiết bị,…
Bước 4: Xử lý các thông tin trong quá trình quan sát
– Tóm lược các thông tin;
– So sánh, đối chiếu với các nguồn thông tin, dữ liệu khác;
– Lưu ý các thông tin trái chiều, các phát hiện mới.
Bước 5: Trao đổi trong nhóm, mục đích tìm những bằng chứng, loại bỏ các mâu thuẫn.
– Tìm kiếm các bằng chứng, minh chứng để xác nhận hay bác bỏ một nhận định nào đó;
– Đưa ra các câu hỏi, nhận xét,… trao đổi trong nhóm tham gia quan sát;
– Phát hiện các mâu thuẫn,… tìm hiểu các lý do, nguyên nhân,
– Thống nhất các nhận định.
- Thực hành
Ví dụ: Quan sát cách bài trí lớp học/dự giờ giảng/dự giờ xemina.
– Cách tổ chức giờ dạy/ giờ xemina;
– Sự chuẩn bị của giảng viên cho giờ dạy;
– Các vật liệu hỗ trợ bài giảng;
– Tương tác giữa giảng viên và sinh viên;
– Phương pháp phản hồi, đánh giá;
– Sự tham gia tích cực, chủ động/thụ động của sinh viên ?
Phương pháp này chỉ thực sự phát huy hiệu quả khi được kết hợp với các phương pháp khác như phỏng vấn cá nhân/nhóm và nghiên cứu hồ sơ.
III. Kỹ thuật phỏng vấn trong tự đánh giá
Phỏng vấn là một trong những phương pháp thu thập thông tin rất quan trọng trong tự đánh giá chất lượng giáo dục của nhà trường (ví dụ: phỏng vấn giảng viên và sinh viên về hiệu quả môn học, về mức độ phù hợp, cập nhật… của chương trình đào tạo…).
3.1. Định nghĩa
Phỏng vấn định tính là sử dụng những câu hỏi mở để thu thập thông tin từ các cá nhân/nhóm, nhằm thẩm định hoặc thu thập thông tin, minh chứng cho quá trình tự đánh giá (ví dụ: phỏng vấn hiệu trưởng về kế hoạch chiến lược của trường; phỏng vấn trưởng phòng tổ chức về thiết kế chương trình đào tạo, quy trình tuyển lựa giáo viên, đánh giá giảng viên,…).
3.2. Ưu điểm và những hạn chế
Phỏng vấn là một phương pháp rất có ích và được dùng nhiều trong đánh giá, kiểm định chất lượng. Đôi khi đây là phương pháp duy nhất để thu thập thông tin, để hiểu sâu quan điểm của một cá nhân. Tuy nhiên, phương pháp này dễ mang tính chủ quan, dễ phiến diện (nếu chọn đối tượng phỏng vấn không đúng), không thực hiện được với nhiều đối tượng như điều tra bằng bảng hỏi.
3.3. Quy trình phỏng vấn
- Chuẩn bị phỏng vấn
– Chọn đối tượng phỏng vấn, hình thức phỏng vấn;
– Xác định mục tiêu, nội dung (những vấn đề cần làm rõ) phỏng vấn,
– Chuẩn bị các câu hỏi phỏng vấn;
– Chuẩn bị địa điểm, thời gian,… phỏng vấn;
– Chuẩn bị các công cụ hỗ trợ (ví dụ: máy ghi âm,…).
- Tiến hành phỏng vấn
– Khởi động (giới thiệu/làm quen): nói rõ mục đích phỏng vấn, khẳng định các thông tin được giữ bí mật, chỉ đuợc dùng cho mục đích nghiên cứu,… làm an lòng người được phỏng vấn (xem thêm các bước tiến hành phỏng vấn);
– Phỏng vấn: tập trung vào những câu hỏi chính để khai thác thông tin. Ghi tóm tắt các thông tin, nói lại các tóm tắt để người được phỏng vấn khẳng định mức độ chính xác của các thông tin;,
– Tóm lược các thông tin chính cần thiết;
– Khai thác sâu các thông tin có liên quan làm rõ vấn đề;
– Chính xác hoá các thông tin;
– Kết thúc phỏng vấn.
- Sau phỏng vấn
Kiểm tra lại các thông tin, phát hiện những chỗ mâu thuẫn hoặc không rõ để hỏi lại; khẳng định lại cam kết giữ bí mật thông tin để người được phỏng vấn yên tâm về những thông tin họ đã cung cấp.
3.4. Các bước tiến hành phỏng vấn
Bước 1: Giới thiệu bản thân và mục đích phỏng vấn (để đối tượng yên tâm cung cấp thông tin); Khẳng định với đối tượng rằng thông tin sẽ được giữ bí mật (giải thích rõ cách làm);
Bước 2: Giải thích rõ ý nghĩa, tầm quan trọng của những thông tin chính xác do đối tượng cung cấp; Xin phép ghi âm hoặc ghi chép thông tin; Hỏi các câu hỏi làm quen;
Bước 3: Hỏi các câu hỏi thuộc nội dung nghiên cứu (sử dụng bản câu hỏi mở có sẵn và hỏi thêm những câu hỏi nảy sinh trong tình huống để khác thác thông tin chiều sâu);
Bước 4: Kết thúc phỏng vấn, cám ơn, trả lời các câu hỏi của người được phỏng vấn.
Người phỏng vấn cần tạo được bầu không khí trao đổi cởi mở, ghi chép lại các thông tin và cần có sự kiểm chứng đối chiếu với các nguồn thông tin khác.
Phương pháp này chỉ thực sự phát huy hiệu quả khi được kết hợp với các phương pháp khác như nghiên cứu văn bản, khảo sát điều tra và quan sát.
IV. Kỹ thuật thảo luận nhóm trong tự đánh giá
Thảo luận nhóm là một trong những phương pháp thu thập thông tin rất quan trọng trong tự đánh giá chương trình đào tạo, tự đánh giá chất lượng giáo dục của nhà trường (chẳng hạn, thảo luận nhóm giảng viên về đổi mới phương pháp dạy học, thảo luận nhóm sinh viên về hiệu quả môn học, về mức độ phù hợp, cập nhật… của chương trình đào tạo,…).
4.1. Định nghĩa
Thảo luận nhóm là sử dụng những câu hỏi mở để thu thập thông tin từ một nhóm đối tượng (giảng viên/sinh viên/cán bộ quản lý), nhằm thẩm định hoặc thu thập thông tin, minh chứng cho một nội dung nào đó, thuộc tiêu chí/tiêu chuẩn nào đó trong quá trình tự đánh giá (ví dụ: thảo luận với nhóm giảng viên hoặc sinh viên về đổi mới phương pháp dạy và học, về quy trình, hình thức kiểm tra đánh giá các môn học,…).
4.2. Ưu điểm và những hạn chế
Khi không thể tiến hành phỏng vấn cá nhân, hoặc không cần thiết phải lấy thông tin từ cá nhân, mà chỉ cần thông tin từ nhiều người, từ các nhóm đối tượng khác nhau, thì thảo luận nhóm là một phương pháp rất có ích được dùng nhiều trong đánh giá, kiểm định chất lượng. Đôi khi nó là phương pháp duy nhất để thu thập nhanh chóng các thông tin, để hiểu quan điểm chung của một nhóm đối tượng. Tuy nhiên, phương pháp này dễ mang tính chủ quan, dễ chịu áp lực của một vài cá nhân chi phối nhóm (nếu chọn nhóm đối tượng phỏng vấn không tốt), không thực hiện được phỏng vấn sâu, thể hiện rõ quan điểm cá nhân.
4.3. Quy trình thảo luận nhóm
- Chuẩn bị thảo luận
– Chọn đối tượng tham gia thảo luận nhóm;
– Xác định mục tiêu, nội dung (những vấn đề) cần thảo luận làm rõ;
– Chuẩn bị các câu hỏi thảo luận;
– Chuẩn bị địa điểm, thời gian… thảo luận;
– Chuẩn bị các công cụ hỗ trợ (ví dụ: máy ghi hình/âm,…).
- Tiến hành thảo luận
– Khởi động: giới thiệu/làm quen, nói rõ mục đích, yêu cầu, nêu vấn đề, câu hỏi để mọi người trong nhóm thảo luận. Xin phép được ghi chép/ghi âm… cần làm an lòng những người tham gia thảo luận;
– Thảo luận chính: tập trung vào những câu hỏi chính để khai thác thông tin, lắng nghe ghi chép đầy đủ ý kiến phát biểu của những người tham gia. Ghi tóm tắt các thông tin, tóm lược các quan điểm để những người tham gia thảo luận khẳng định mức độ chính xác của các thông tin (xem thêm các bước tiến hành thảo luận nhóm);
– Tóm lược các thông tin chính cần thiết;,
– Khai thác sâu các thông tin có liên quan làm rõ vấn đề;
– Chính xác hoá các thông tin;
– Kết thúc thảo luận nhóm.
- Sau thảo luận
Kiểm tra lại các thông tin, phát hiện những quan điểm chung, những ý kiến/quan điểm khác biệt giữa các nhóm trong cuộc thảo luận… khẳng định lại mục đích sử dụng thông tin của cuộc thảo luận để những người tham gia yên tâm về những thông tin họ đã cung cấp.
4.4. Các bước tiến hành thảo luận nhóm
Bước 1: Giới thiệu bản thân và mục đích nội dung, thời gian (để đối tượng yên tâm cung cấp thông tin); Khẳng định với đối tượng rằng thông tin sẽ được sử dụng vào mục đích gì; Giải thích rõ ý nghĩa, tầm quan trọng của cuộc thảo luận, kết quả mong muốn (xin phép ghi âm hoặc ghi chép thông tin).
Bước 2: Nêu vấn đề, đặt các câu hỏi thuộc nội dung cần tọa đàm/thảo luận, tập trung vào vấn đề chính, trọng tâm cần thảo luận. Ghi chép đầy đủ ý kiến từng cá nhân, tóm tắt thành quan điểm chung, trao đổi kỹ về các ý kiến khác nhau.
Bước 3: Kết thúc tọa đàm nhóm, người chủ tọa cần cám ơn, trả lời các câu hỏi của những người tham gia tọa đàm.
Các phương pháp này chỉ thực sự phát huy hiệu quả khi được kết hợp với các phương pháp khác như khảo sát, phỏng vấn sâu và quan sát.
V. Kỹ thuật thiết kế các công cụ điều tra
Điều tra khảo sát là một trong những phương pháp thu thập thông tin rất quan trọng. Chẳng hạn, khảo sát hiệu quả môn học; sự hài lòng của sinh viên về chương trình đào tạo,… Phương pháp này thường được dùng nhiều trong tự đánh giá chất lượng chương trình đào tạo, tự đánh giá hiệu quả hoạt động của nhà trường.
5.1. Định nghĩa
Điều tra khảo sát bằng bảng hỏi là thiết lập một hệ thống các câu hỏi dưới dạng văn bản viết và xác định các mức độ đánh giá, thủ tục cho điểm, hướng dẫn và cách xử lý phân tích số liệu nhằm cung cấp thông tin đáng tin cậy cho quá trình tự đánh giá (chẳng hạn, khảo sát sự hài lòng của sinh viên về chương trình đào tạo; khảo sát hiệu quả môn học so với mục tiêu,…).
5.2. Ưu điểm và những hạn chế
Khảo sát là một trong những phương pháp rất phù hợp để hỏi người khác về nhận thức, ý kiến và quan điểm của họ về những vấn đề nào đó. Tuy nhiên, trong trường hợp bạn muốn biết người khác thực sự cư xử hoặc hành động như thế nào thì độ tin cậy của phương pháp này không cao.
5.3. Các nguyên tắc thiết kế công cụ đo
Khi xây dựng, thiết kế công cụ đo, dù ở những hình thức đơn giản nhất như phiếu hỏi (questionaires), bảng kiểm kê (checklists) đến những hình thức phức tạp hơn như các thang đo chuẩn hay các trắc nghiệm chuẩn (standardized tests), người nghiên cứu cần đảm bảo các đặc tính thiết kế (mục tiêu đo lường, đối tượng, nội dung cần đo, các thử tục cho điểm, hướng dẫn,…) và đảm bảo các đặc tính đo lường (độ tin cậy, độ phân biệt/độ khó,… độ hiệu lực), đảm bảo tính đại diện của mẫu thống kê, để khẳng định liệu nó có đưa ra được những thông tin chính xác, có nhiều lợi ích hay không.
5.4. Quy trình thiết kế công cụ điều tra khảo sát
Bước 1: Xác định rõ mục tiêu đo lường.
Công cụ đo được thiết kế để đo cái gì ?
Bước 2: Xác định rõ đối tượng.
– Phép đo này được thiết kế cho đối tượng nào ?
– Phép đo này được làm với cá nhân hay nhóm ?
Bước 3: Xác định rõ các nội dung cần đo lường.
– Xác định rõ các nội dụng cụ thể cần đo: hiểu biết nào, kỹ năng nào, thái độ/hứng thú nào,…
Bước 4: Viết câu hỏi cho từng nội dung cụ thể.
Bước 5: Xác định các thủ tục cho điểm/ lượng hoá.
Bước 6: Thử nghiệm bộ công cụ trên mẫu nhỏ; nhập số liệu (ví dụ vào SPSS) và phân tích số liệu: đánh giá độ tin cậy, loại bỏ các câu hỏi chất lượng kém.
Bước 7: Hoàn thiện bộ công cụ và sử dụng nó để thu thập thông tin.
Phương pháp này chỉ thực sự phát huy hiệu quả khi được kết hợp với các phương pháp khác như phỏng vấn cá nhân/thảo luận nhóm và quan sát.
Thực hành:
Giới thiệu một bộ phiếu đánh giá hiệu quả môn học/điều tra sinh viên tốt nghiệp. Giới thiệu phần mềm xử lý số liệu: SPSS; Conquest.
VI. Kỹ thuật xử lý và phân tích số liệu
Xử lý và phân tích số liệu là một trong những khâu quan trọng trong điều tra khảo sát, làm cho số liệu “biết nói”, có sức thuyết phục người đọc. Chẳng hạn, xử lý và phân tích số liệu khảo sát sinh viên về hiệu quả môn học/ mức độ hài lòng của sinh viên về chương trình đào tạo… Xử lý và phân tích số liệu thường được dùng nhiều trong tự đánh giá chất lượng chương trình đào tạo, tự đánh giá hiệu quả hoạt động của nhà trường.
6.1. Định nghĩa
Xử lý và phân tích số liệu khảo sát là thiết lập một mô hình, quy trình, sử dụng một hệ thống các thủ tục/ thao tác/câu lệnh được lập trình trong các phần mềm chuyên dùng cho xử lý phân tích số liệu để định lượng, để phát hiện, so sánh lý giải,… để kiểm tra/chứng minh các giả thiết nghiên cứu… nhằm cung cấp thông tin đáng tin cậy, có giá trị khoa học cho quá trình tự đánh giá (chẳng hạn, có bao nhiêu % số sinh viên hài lòng về chương trình đào tạo; về hiệu quả môn học,…).
6.2. Ưu điểm và những hạn chế
Xử lý số liệu bằng phần mềm chuyên dụng như SPSS, Conquest và sử dụng các kỹ thuật phân tích số liệu tiên tiến như phân tích độ tin cậy, phân tích độ khó, độ phân biệt của các câu hỏi (item) theo mô hình Rasch, phân tích yếu tố, phân tích phương sai, phân tích hồi quy đơn biến/đa biến,… làm tăng mức độ tin cậy và giá trị khoa học của các số liệu khảo sát (thay vì xử lý đơn giản như tính tỉ lệ % bằng phần mềm Excel, xử lý bằng tay).
Các trường gặp khó khăn vì chưa biết sử dụng các phần mềm này hoặc không biết kỹ thuật xử lý, phân tích chuyên sâu đã nói ở trên. Để nắm các kỹ thuật xử lý và phân tích số liệu này (mức cơ bản) cần phải tham gia các khóa học ngắn hạn về sử dụng các phần mềm nói trên (khoảng 2 tuần).
6.3. Lập mô hình xử lý và phân tích dữ liệu
Mô hình định rõ các thang, tiểu thang đo, cách thức xử lý và phân tích số liệu cho từng kiểu item, kiểu thang đo, đảm bảo đánh giá được các đặc tính đo lường của bộ công cụ (độ tin cậy, độ phân biệt/độ khó… độ hiệu lực). Mô hình này phải đảm bảo sử dụng phù hợp các phép toán thống kê (tính tần suất, trung bình, tương quan hồi quy) trong các phân tích thống kê đánh giá được các mức độ ảnh hưởng, chi phối để khẳng định liệu các số liệu thu được có đưa ra được những thông tin chính xác, có nhiều lợi ích hay không.
6.4. Quy trình xử lý và phân tích số liệu
Bước 1: Mã hóa các câu hỏi/item thành các biến độc lập
– Mã tên biến, chọn kiểu thang đo,
– Gán các giá trị của biến.
Bước 2: Nhập số liệu và làm sạch số liệu
– Loại bỏ các phiếu trả lời ẩu, trả lời bỏ sót (trên 10% thông tin);
– Nhập số liệu, kiểm tra độ chính xác của số liệu nhập;
– Loại bỏ các trường hợp trả lời bất thường, cực đoan.
Bước 3: Phân tích item
– Đánh giá độ tin cậy, độ khó, độ phân biệt,…
– Đánh giá mức độ phù hợp của từng item.
Bước 4: Tính toán
– Đánh giá độ tin cậy, độ khó, độ phân biệt,…
– Đánh giá mức độ phù hợp của từng item;
– Tính toán/lập ra các biến trung gian để có thể áp dụng các phép toán thống kê phân tích sâu.
Bước 5: Áp dụng các phép toán thống kê mô tả, suy luận để kiểm định các câu hỏi/giả thiết nghiên cứu
– Tính tần xuất (%), trung bình, độ lệch chuẩn,…
– So sánh điểm trung bình (phân tích ANOVA, t-test) giữa các nhóm mẫu;
– Xác định mức độ tương quan (phân tích tương quan);
– Xác định mức độ ảnh hưởng, chi phối lẫn nhau giữa các biến (phân tích hồi quy).
Bước 6: Lập các biểu bảng, giải thích bình luận số liệu
– Lập bảng tần xuất (%), trung bình, độ lệch chuẩn, tương quan,…
– Đọc hiểu kết quả: giải thích, bình luận dựa trên các số liệu khảo sát.
Phương pháp này chỉ thực sự phát huy hiệu quả khi được kết hợp với các phương pháp khác như các số liệu qua phỏng vấn cá nhân/ số liệu qua quan sát.
Thực hành
Giới thiệu các file số liệu, file xử lý kết quả khảo sát đánh giá hiệu quả môn học, điều tra sinh viên tốt nghiệp, sử dụng phần mềm SPSS, Conquest và kết quả (out put) phân tích số liệu, các biểu bảng, kỹ năng đọc hiểu số liệu.
VII. Kỹ thuật thiết lập các dữ liệu thống kê
Thiết lập các dữ liệu thống kê rất cần cho quá trình viết báo cáo tự đánh giá. Chẳng hạn, số liệu thống kê về đội ngũ giảng viên (trình độ đào tạo, các công trình nghiên cứu khoa học mà giảng viên đã tham gia, số bài báo, giáo trình đã viết…); tỉ lệ sinh viên/giảng viên; …
7.1. Cách lập các biểu mẫu thống kê
Các biểu bảng thống kê thường được lập theo hướng dẫn trong cấu trúc báo cáo tự đánh giá, các phụ lục kèm theo hoặc theo yêu cầu của từng tiêu chí. Để thiết lập các biểu bảng thống kê cần trả lời các câu hỏi sau:
– Có bao nhiêu loại biểu bảng thống kê cần có ở mỗi phần trong báo cáo tự đánh giá?
– Mục đích của việc thiết lập các biểu bảng này ?
– Đơn vị thống kê là gì ?
– Những số liệu cho các biểu bảng này có thể thu thập ở đâu ? Chẳng hạn, các số liệu thống kê về cơ sở vật chất có thể thu thập ở phòng quản trị; các số liệu thống kê về giáo viên có thể thu thập ở phòng tổ chức,…
– Ai cung cấp nguồn số liệu thống kê ?
– Mức độ tin cậy của các số liệu thống kê này ?
– Thời điểm thu thập các số liệu thống kê ?
7.2. Sử dụng các câu hỏi để kiểm tra các dữ liệu thống kê
– Các dữ liệu thống kê hữu ích nhất đã được đưa vào báo cáo ?
– Mục đích mô tả các dữ liệu thống kê ?
– Thiết lập các biểu bảng, đơn vị thống kê có phù hợp ?
– Các số liệu trong các biểu bảng có chính xác, có đáng tin cậy ?
– Các số liệu thống kê lấy từ nguồn nào/ do ai cung cấp ?
– Sự tích hợp các số liệu thống kê trong mỗi biểu bảng đã phù hợp chưa? Có dễ đọc hiểu ?
– Phân tích số liệu thống kê này giúp gì cho việc hiểu biết bức tranh thực trạng (nội hàm) của tiêu chí, số liệu về chương trình đào tạo, về nguồn tài chính của trường… và chứng minh nhà trường đạt được các yêu cầu, mục tiêu đào tạo… ở mức nào ?
– Số liệu thống kê mô tả có giúp định hướng cho việc khắc phục tồn tại (phát huy điểm mạnh) ?…
Chất lượng một báo cáo tự đánh giá không phụ thuộc vào số lượng các biểu bảng thống kê mà phụ thuộc vào việc đọc hiểu các biểu bảng thống kê. Sự lập luận và phân tích, bình luận, so sánh,…làm cho các con số thống kê trong báo cáo tự đánh giá biết nói./,