среда, 15 марта 2017 г.

Безопасное зеркальце для суверенной страхолюдины

Беда-беда, огорчение: почти все наши вузы уже согласились участвовать в рейтинге, который ставит целью прижучить пиндосов и показать всему миру настоящее место, в котором находятся российские университеты. 

Речь про рекламируемый ректором МГУ В.А. Садовничьим рейтинг "Три миссии университетов" http://mosiur.org, разрабатываемый компанией RAEX ("Эксперт РА") по заказу Российской академии наук и Российского союза ректоров. Экспертный совет рейтинга никак не сподобятся обнародовать, но по моим данным он из тех самых российских ректоров и состоит.  

Зачем им все это нужно? Главный аргумент создатели рейтинга приводят сразу: Путин поручил. На деле, конечно, Путин не поручал делать рейтинг именно таким, здесь элемент лукавства. Зато мы точно знаем, что Путин поручил вузам проекта 5-100 продвигаться в иностранных рейтингах и выделил на это много денег. 

Содержательные аргументы следующие:

"наиболее популярные ныне рейтинги оценивают университеты довольно односторонне. От трети до половины учитываемых ими показателей приходится на репутационные оценки"

"никак не учитываются ни реальное качество знаний выпускников, ни внедрение передовых методов обучения, ни особенности национальных педагогических и научных школ"

"чрезмерный акцент при их составлении на данные избранных наукометрических систем часто приводит к серьезным искажениям"

Никакой конкретики не приводится, но из приведенных пассажей уже очевидно, что старейший и самый известный в развитых странах рейтинг вузов - Шанхайский - авторами в число "наиболее популярных ныне" не включается. 

Напомню, Шанхайский рейтинг не использует репутационные оценки и основан на объективных открытых проверяемых критериях. Кроме того, он, очевидно, даже по мнению псевдопатриотов вряд ли контролируется вашинтонским обкомом и его подхлюстками с Темзы, в отличие от рейтингов THE и QS. Особо суверенные умы найдут руку Вашингтона и в Шанхае, но по моим наблюдениям создатели "Трех миссий" к таковым не относятся, наоборот являясь вполне разумными людьми. Поэтому они просто не упоминают Шанхайский рейтинг вовсе, ибо декларируемый ключевой принцип у них совпадает с тем, что был принят за основу китайцами в 2003 году. Цитирую mosiur.org: 

"Принципиальное отличие нового рейтинга – он основывается на единообразно измеряемых количественных показателях и исключает применение данных, построенных на основе репутационных опросов, что существенно повышает уровень его объективности". 

Прекрасный принцип. Разница между Шанхайским рейтингом и "Тремя миссиями" заключается в том, что китайский рейтинг этому принципу соответствует, а российский - совсем нет. Посмотрите на его компоненты-индикаторы: 

1.1.1 Средний балл национальной тестовой системы при поступлении на 1-й курс бакалавриата и специалитета очного отделения
1.2.2 Средний уровень зарплаты выпускников в течение года, следующего за годом выпуска
3.5.2 Количество выпускников, играющих важные социальные роли в обществе
и т.д.

Что тут вообще может быть единообразно измеримо? Возьмем для примера индикатор 1.1.1. Даже если абстрагироваться от важнейшего вопроса доступности и верификации данных, никуда не деться от того факта, что, например, в США вместо "национальной тестовой системы" есть два ведущих частных теста SAT и ACT, у которых шкалы отличаются, а во многих странах аналога ЕГЭ нет вовсе. 

То же самое касается большинства остальных индикаторов, предлагаемых авторами нового рейтинга. Их благое намерение посчитать то, что еще не учитывали создатели остальных рейтингов - качество образования и инфраструктуры, включенность в местное сообщество и т.д. - априори вдребезги разбивается о невозможность единообразного количественного надежного измерения всех этих вещей. Именно поэтому их и не считают все те, кому важна объективность. А "Три миссии" не только считают, они основываются на такого рода показателях, поэтому мне и приходится заключить, что в объективности они не заинтересованы. 

Видимо, задача рейтинга другая: показать то достойное место, которое по мнению российских ректоров занимают их вузы. Шанхайское зеркальце в этом смысле совсем дурное: у глупых китайцев их лучшие вузы там пока так и не пробились в топ-50. Наших вузов в этом топе тоже нет, а ведь какие они хорошие да толстые... Короче говоря, непорядок. Чтобы был порядок, надо наших повыше. Чтобы наших повыше, надо кого-то пониже. Кого? Естественно, геополитических противников. Весь этот фейковый гей-парад, прикрывающийся дырявой нобелевской занавеской. Ведь там русские учат китайцев, уж мы-то с вами знаем! Впрочем, я кажется увлекся. Лучше послушаем самих авторов рейтинга:

"Инициатива создания рейтинга уже обсуждена и поддержана ведущими университетами России, Китая, Индии, Ирана, Турции, Японии. Все эти университеты крайне заинтересованы в участии в нем. К работе над рейтингом будут привлечены ведущие международные специалисты, авторитетнейшие эксперты и организации". 

Заметьте, в списке стран нет Европы, США, Канады и т.д. В ходе закрытых обсуждений методики, на которых я присутствовал, не раз неявно звучало, что именно их надо понизить. 

Как специалист по наукометрии я остановлюсь в первую очередь на наукометрических критериях, решающих эту задачу:

1.3.5 Количество цитирований публикаций на языках, отличных от официального языка страны расположения университета

За основу собираются брать данные Web of Science, где более 95% публикаций на английском, а среди цитирований таких почти 100%. Это естественно, ведь английский и есть язык современной глобальной науки (кроме совсем локальных дисциплин типа права или литературоведения). В итоге вузы из США, Великобритании, Канады, Австралии, Ирландии получат по этому показателю мало-мало, а все остальные - максимальный балл, ведь их-то будут цитировать на английском. Именно то, что нужно!

Правда, создатели рейтинга видимо не в курсе, что английский язык является официальным еще и в тех странах, к которым они обращают свою alt-риторику. Например, это Индия, Филиппины, десяток африканских государств, включая ЮАР. А также Сингапур. А что с Гонконгом, где сразу несколько университетов мирового уровня? Не дает ответа.  

2.2.1 Нормализованное цитирование (глобальный уровень)
2.2.2 Нормализованное цитирование (национальный уровень)

Сам по себе показатель нормализованной цитируемости вполне рабочий (для крупных вузов) и придуман ведущими наукометристами Европы около 10-12 назад. Он уже рассчитан в InCites (аналитическая надстройка над WoS). Упрощая, число цитирований статьи делится на среднее число цитирований статей того же года в той же тематике, а показатель нормализованной цитируемости вуза равен среднему показателей нормализованной цитируемости статей. Но в "Трех миссиях" он нормализуется дополнительно.

Изначально здесь планировалось брать не только WoS, но и данные национальных БД типа РИНЦ, но все-таки вопиющее отсутствие таких систем в большинстве стран сыграло свою роль и авторы методики, насколько мне известно, решили делить показатель нормализованной цитируемости вуза по WoS на соответствующее среднее по стране. Если брать пятилетнее окно (обсуждалось именно оно), то в итоге делить будут у США на 1,32, у Германии на 1,28, а у России на 0,6. 

Если мы возьмем 82 страны, у которых в 2010-15 гг было более 5000 публикаций в WoS, и ранжируем их по этому самому показателю нормализованной цитируемости, то Россия со своим 0,6 займет последнее (sic!) место, сразу после Украины и Нигерии. Отличный показатель, многие наши ректоры им очень довольны, а некоторые, кажется, уже даже гордятся. 

Следите за руками: у Вышки CNCI 1,53, а у Гарварда 2,15. Делим 1,53 на 0,6 = 2,55. Делим 2,15 на 1,32 = 1,63. 

Это цитирования. А что с объемом научной продукции? Вместо стандартного числа публикаций на НПР мы видим следующее:

3.3.1 Доля вуза в общем объеме публикаций университетов по региону (стране), согласно национальным и международным наукометрическим базам

Иными словами, если в стране много сильных вузов, этим вузам будет плохо, если мало - этим вузам будет хорошо.

В России вузов, имеющих хотя бы 500 публикаций в WoS за пять лет, всего 38. Во Франции 119, в Великобритании 123, в США 404.

"Иван, что же Вам не нравится, ведь Вышке это выгодно!" говорили мне разработчики в ходе обсуждения. 

многозначительный конец не прошел внутреннюю цензуру :)



2 комментария:

  1. Очень сильно! Думается, в кои то веки можно было бы предложить какую-то гибкую формулу со многими входными данными, чтобы адекватно оценивать, например, цитируемость

    ОтветитьУдалить
    Ответы
    1. так уже есть лейденский рейтинг :) http://www.leidenranking.com/

      Удалить