Phương pháp xếp hạng ĐH?
Đứng trên quan điểm của “khách hàng” hay sinh viên đang chọn trường, xếp hạng ĐH là một điều có ích vì nó cung cấp thông tin về chất lượng đào tạo của trường ĐH. Hiện ngành giáo dục VN cũng đang tìm cách xếp hạng các trường ĐH nhưng vấn đề ở đây là đo lường chất lượng như thế nào cho khách quan?
Hiện nay có nhiều nhóm truyền thông đứng ra lập những danh sách “top 200” và “top 500” các trường ĐH. Trong các nhóm này phải kể đến nhóm Phụ trang giáo dục ĐH của tờ Thời báo (THES – Times Higher Education Supplement) và nhóm thuộc ĐH Giao thông Thượng Hải (GTTH) được nhiều người biết đến từ năm 2003. Các nhóm này sử dụng nhiều tiêu chí khác nhau để đánh giá chất lượng đào tạo và nghiên cứu của một ĐH.
Thử khảo sát 2 cách xếp hạng
Nhóm GTTH dựa vào 4 tiêu chí chính là số cựu sinh viên tốt nghiệp đoạt giải Nobel và Fields, số giáo sư (GS) đoạt giải Nobel và Fields, số nhà khoa học được trích dẫn nhiều lần, số bài báo khoa học trên hai tập san Nature và Science, số bài báo khoa học trên tập san trong danh bạ SCIE, SSCI và thành tựu của GS và đội ngũ khoa bảng.
Ngược lại, thay vì tập trung vào các tiêu chí nghiên cứu khoa học của nhóm GTTH, nhóm THES dựa vào sự đánh giá của giới khoa bảng từ các trường khác, số sinh viên tốt nghiệp làm việc trong các công ty toàn cầu, phần trăm GS là người nước ngoài, phần trăm sinh viên là người nước ngoài, tỉ số sinh viên/GS và số lần trích dẫn tính trên đầu người GS.
Mỗi tiêu chí được cho một trọng số (weight). Tổng tích số của trọng số và kết quả của mỗi tiêu chí là điểm cuối cùng cho mỗi ĐH. Chẳng hạn như nhóm GTTH định trọng số 10% cho số cựu sinh viên đoạt giải Nobel và Fields và thành tựu của GS; nhưng cho trọng số 20% cho các tiêu chí như số GS đoạt giải Nobel và Fields, số GS có trích dẫn cao, số bài báo trên Science và Nature hay trong danh bạ SSI và SSCI.
Chúng ta có thể xem qua một so sánh giữa hai ĐH A với 300 GS và ĐH B với 500 GS, qua 4 tiêu chí chính mà nhóm GTTH dựa vào để xếp hạng ĐH:
Nhìn qua kết quả của các tiêu chí trên, chúng ta thấy rõ ràng ĐH A mặc dù số GS ít hơn nhưng có thành tựu khoa học cao hơn ĐH B. ĐH A có một cựu sinh đoạt giải Nobel nhưng ĐH B không có; số GS có trích dẫn cao của ĐH A cũng cao gấp 50 lần ĐH B; năng suất khoa học của ĐH A (số bài báo trên Science và Nature hay nói chung trên 300 GS) cũng cao hơn ĐH B. Thế nhưng theo cách tính của nhóm GTTH thì ĐH A có số điểm là 106.15, thấp hơn ĐH B với tổng số điểm là 117.04! Do đó, theo cách xếp hạng của nhóm GTTH thì ĐH B có chất lượng cao hơn ĐH A!
Tại sao có sự khác biệt về xếp hạng đến vô lý như thế? Vấn đề chính ở đây là phương pháp tính toán của nhóm GTTH đặt nặng vào số lượng bài báo và số lượng này tùy thuộc vào lực lượng GS của trường ĐH. Ngoài ra, nhóm GTTH còn xem giá trị của một bài báo trên Science và Nature tương đương với một bài báo trên một tập san dưới trung bình nhưng có trong danh bạ SSI và SSCI!
Phần lớn giới làm khoa học đều biết rằng những tiêu chí như số lần trích dẫn cao và số lượng công trình trong 2 tập san danh tiếng Science và Nature là thước đo quan trọng của nghiên cứu khoa học. Theo đó, giả dụ rằng chúng ta cho trọng số 30% cho những GS có trích dẫn cao và bài báo trên 2 tập san danh tiếng Science và Nature và trọng số 10% cho các tiêu chí còn lại, thì tổng số điểm của ĐH A sẽ là 81,73 và ĐH B là 65,56. Theo cách đánh giá này thì ĐH A có chất lượng cao hơn ĐH B.
Vấn đề phương pháp xác định trọng số
Ví dụ đơn giản trên cho chúng ta thấy một vấn đề nổi cộm: Đó là vấn đề phương pháp xác định trọng số. Câu hỏi quan trọng cần đặt ra là làm thế nào để xác định được trọng số cho mỗi tiêu chí? Phương pháp khách quan nhất là phân tích thống kê. Có nhiều mô hình thống kê để xác định trọng số, và các phương pháp này đòi hỏi một trình độ thống kê học cao mà không phải nhà thống kê học nào cũng có thể làm được. Trong cộng đồng người Việt ở nước ngoài, tôi nghĩ đến hai nhà thống kê học trong lĩnh vực này: đó là GS Huỳnh Huynh thuộc ĐH South Carolina (Mỹ) và GS Phạm Gia Thụ thuộc ĐH Moncton (Canada). Hai GS này là những chuyên gia hàng đầu trên thế giới về thống kê học, đặc biệt GS Huynh là một chuyên gia về đo lường giáo dục lâu năm, nổi tiếng trên thế giới.
Nhưng nếu mô hình phân tích thống kê là một vấn đề kỹ thuật thì vấn đề quan trọng khác là chất lượng của dữ liệu. Nguyên liệu của phân tích thống kê là dữ liệu. Nếu dữ liệu thu thập không tốt thì kết quả phân tích thống kê chỉ là những con số vô nghĩa. Do đó, các dữ liệu về ĐH phải được thu thập một cách có hệ thống, qua nhiều năm và có phương pháp khoa học. Chỉ khi nào dữ liệu thu thập mang tính khoa học theo thời gian thì việc phân tích thống kê mới mang ý nghĩa và trọng số xác định từ phân tích thống kê mới có thể nói là mang tính hợp lý.
Không ai ngoài nhóm GTTH biết phương pháp phân tích và dữ liệu họ thu thập như thế nào, nhưng có điều chắc chắn là kết quả xếp hạng của nhóm GTTH không nhất quán với các danh sách khác. Chẳng hạn như một số trường xuất hiện trên danh sách top 200 của nhóm GTTH không có trong danh sách của nhóm THES và ngược lại. Theo xếp hạng năm 2006, 4 trong số 50 trường hàng đầu của GTTH không nằm trong top 500 của THES! Một số trường trong danh sách top 50 của GTTH thậm chí không nằm trong danh sách top 500 của THES. Tính tổng cộng, chỉ có 133 trường nằm trong cả hai danh sách. Phân tích này một lần nữa cho thấy cách xếp hạng của cả hai nhóm không đáng tin cậy và không có cơ sở khoa học vững vàng.
Một số chuyên gia khi phân tích các tiêu chí và cách làm của GTTH và THES nhận xét rằng các tiêu chí mà hai nhóm này sử dụng thiếu tính khoa học và họ cảnh báo rằng cách xếp hạng hiện nay có thể gây tác hại cho khoa học và giáo dục.
Chính vì tính phi khoa học này nên trong thực tế đã xảy ra chuyện khôi hài. Năm 2004, ĐH Malaya (một ĐH lâu đời nhất của Malaysia) được THES xếp hạng 89. Trước “tin vui” này, hiệu trưởng trường ra chỉ thị treo biển to tướng ở cổng trường với hàng chữ “University of Malaya a world’s top 100 university”. Nhưng chỉ một năm sau, khi THES xếp hạng lại thì ĐH Malaya tụt xuống hạng 169, dù trong thời gian ngắn đó ĐH này chẳng có thay đổi gì về nghiên cứu khoa học hay nhân sự! Hệ quả là sau đó vị hiệu trưởng này bị mất chức.
Xếp hạng ĐH ở VN như thế nào?
Hiện nay, ngành giáo dục nước ta đang có nỗ lực để xếp hạng cho các trường ĐH Việt Nam. Tuy nhiên, các tiêu chí cụ thể sẽ được sử dụng cho việc xếp hạng này vẫn chưa được công bố. Nhưng qua phát biểu của một chuyên gia: “Việc xếp hạng các trường ĐH cần phản ánh được hai hoạt động chính của nhà trường là giảng dạy và nghiên cứu khoa học. Trong nghiên cứu khoa học phải bao hàm cả chuyển giao công nghệ phục vụ nhu cầu phát triển kinh tế - xã hội. Các trường ĐH được xếp hạng theo cùng nhóm theo từng lĩnh vực giảng dạy và nghiên cứu khoa học” thì các tiêu chí mà các giới chức Việt Nam sắp sử dụng có vẻ rất khác với các tiêu chí trên thế giới.
Nhưng vấn đề then chốt vẫn là dữ liệu và phương pháp. Không ai biết phương pháp xác định trọng số mà các chuyên gia Việt Nam sắp sử dụng để xếp hạng ĐH là gì và dữ liệu đã được thu thập hay phân tích ra sao. Trang web của cơ quan quản lý và cấp kinh phí là ĐH Quốc gia Hà Nội không cung cấp những thông tin này.
Hai yêu cầu cơ bản của bất cứ một đo lường nào là độ tin cậy (reliability) và độ chính xác (accuracy). Độ tin cậy phản ánh tính nhất quán của biến đo lường khi được ứng dụng nhiều lần trong một điều kiện. Độ chính xác của một đo lường cung cấp cho chúng ta biết đo lường thật sự phản ánh được bao nhiêu bản chất của vấn đề chúng ta cần biết. Chỉ khi nào các tiêu chuẩn chất lượng đáp ứng hai yêu cầu này mới có thể áp dụng rộng rãi. Thiết tưởng việc xếp hạng ĐH có ảnh hưởng đến nhiều người, vấn đề phương pháp và dữ liệu cần nên được minh bạch hóa và thảo luận trước khi ứng dụng vào thực tế.