Как проводят экспертизы вузов

При всем разнообразии форматов вузы чаще оценивают эксперты, которые сами представляют университетское сообщество. Экспертов можно исключить при оценке качества исследований, здесь широко используются разнообразные метрики о публикациях и цитированиях. Другое дело – процедуры аккредитации или аудита, они практически всегда включают экспертов, посещающих оцениваемые университеты.

Это можно объяснить сложностью самого предмета оценки. Что считать основным результатом образования, и, соответственно, как его измерять? По этим вопросам согласия нет. Эксперты знакомятся с разнообразной информацией об университете, в том числе и количественной. Но окончательное мнение остается за людьми.

Кто проводит экспертизы

Часто экспертиза существенно влияет на деятельность вузов. Поэтому важно понимать, как организован отбор самих экспертов. Именно их суждения лежат в основе решений, насколько качественно образование в университете.

Это особенно важно для российского контекста – в 2013-2016 гг. университеты пережили волну серьезного внимания со стороны контролирующих органов. В эти годы количество проверок вузов с участием экспертов заметно возросло.

Центр институционального анализа науки и образования Европейского университета в Санкт-Петербурге проанализировал работу экспертов Рособрнадзора, привлекаемых к контрольно-надзорной деятельности. За основу мы взяли информацию из официального реестра аккредитованных экспертов и дополнили ее данными о защитах и публикациях.

Эксперты Рособрнадзора

Согласно нормативным требованиям, экспертом может стать практически любой работник университета. Претенденты должны иметь высшее образование и стаж работы не менее двух лет (пяти лет, если речь идет об экспертах для аккредитации).

Здравый смысл, однако, подсказывает, что одного только образования и стажа работы явно недостаточно для входного барьера. Мы исходили из следующего.

• Хороший эксперт сам преподает и проводит научные исследования – именно это обеспечивает ему необходимый опыт для оценки качества образовательных программ.
• Далее, мы скорее ожидаем, что эксперты будут представлять сильные вузы.
• Наконец, именно эксперты должны демонстрировать этически безупречное поведение – они не должны быть замечены в нарушениях академической этики.

Как обстояли дела на практике? Кем были те люди, которые получили право участвовать в экспертизе?

Эксперты-администраторы

Согласно нашим исследованиям, должности экспертов чаще имеют отношение к административной и методической работе, а не к преподаванию или исследованиям.

• 75% занимают руководящую должность.
• Из подразделений вуза заметно представлена учебная часть – 35% экспертов в своих вузах занимаются учебно-методической деятельностью.

Эксперты, чья деятельность связана только с преподаванием и исследованиями, а не администрированием в разных его проявлениях, встречаются заметно реже. По сути, представители методических отделов приезжают проверять, насколько хорошо выстроена бумажная реальность в других вузах.

Частные вузы

Преподаватели из частных вузов чаще стремятся стать экспертами Рособрнадзора. В частных вузах работает 132 эксперта (19%), тогда как в 2014 году только 6,7% всех преподавателей работало в частных вузах.

Из частных вузов больше всего представлен Евразийский открытый институт, в котором работает сразу шесть экспертов Рособрнадзора. При этом, согласно данным нашего Центра, именно частные вузы Рособрнадзор рассматривает как подозрительные цели, которые нуждаются в дополнительной проверке качества.

Что интересно, выполнение показателей эффективности не снижает существенно вероятность проверки частных вузов.

Сильные вузы

Мы обнаружили, что эксперты из сильных вузов встречаются реже.

• Только 11% экспертов работают в ведущих вузах.
• Из 45 ведущих вузов только 21 представлен хотя бы одним экспертом.
• Кроме того, 15% экспертов работают в неэффективных вузах.

Более детальный анализ показателей вузов по Мониторингу эффективности показал, что если за основу выбрать показатели для ведущих вузов, то эксперты из вузов с приемлемыми показателями встречаются статистически реже.

Особенно низкие показатели по публикациям в Scopus – базе данных, отслеживающей цитируемость статей, опубликованных в научных изданиях. Аккредитованные эксперты пришли в основном из тех вузов, которые либо не знают, что такое международная наука, либо не умеют или не имеют времени публиковаться.

Возникают обоснованные сомнения, что эксперты, которые сами работают не в лучших вузах, могут качественно выполнить экспертизу.

Индекс цитирования экспертов

Эксперты могут представлять не самые сильные вузы, но сами демонстрировать состоятельность в своей основной работе. О качестве преподавания данные отсутствуют, но мы можем проанализировать публикационные показатели экспертов.

Анализ данных РИНЦ (Российский индекс научного цитирования) показал, что среди экспертов больше людей, которые в среднем публикуются много, но меньше – в лучших журналах. При этом среди неэкспертов больше людей с меньшим количеством публикаций, но в более качественных журналах.

Вероятно, такой паттерн публикаций свойственен управленцам российских вузов, которые, занимаясь административными делами вуза, создают видимость научной работы.

Нарушение академической этики

Проверка по базе Диссернета показала: грубое нарушение академической этики распространено среди экспертов Рособрнадзора заметнее, чем в среднем среди российских ученых.

При этом проверка всего списка экспертов не проводилась. Диссернет нашел в своей базе 224 диссертации экспертов, которые ранее проверялись в ходе рутинных проверок. Среди них нашлось 10% диссертаций с некорректными заимствованиями. Кроме того, проверка показала 22 лидера «диссеродельной индустрии» – речь идет о лицах, принимавших участие в защите более пяти фальшивых диссертаций.

Проверка научных статей показала: у 25% экспертов замечен плагиат в публикациях. Всего, согласно отчету Диссернета, у 183 экспертов (81% попавших в выборку) можно найти какой-либо из трех признаков нарушения академической этики. При этом замеченные в нарушении академической этики не только продолжают проверять вузы, но еще и являются ударниками, задействованными в десятках проверок за год.

Результаты исследования, которое провел Центр институционального анализа науки и образования, ставят под сомнение итоги оценки качества вузов, полученные в период кампании по «очищению высшего образования».

Сама идея оценки строится на том, что только профессионалы должны оценивать друг друга. Если мы не можем назвать экспертов, оценивающих вузы, профессионалами высокого уровня, то нельзя признать состоятельной и саму экспертизу, даже если проверка была проведена.

Отсутствие серьезных требований к отбору увеличивает риск появления «карманных» экспертов Рособрнадзора, которые не смогут вынести независимое суждение о качестве образования. Несколько случаев проверок лучших российских университетов (Европейский университет в Санкт-Петербурге и Шанинка – лучшие в своих областях) показали, что сомнения в независимости экспертов обоснованы.

Как улучшить оценку качества образования

В ответ на критику со стороны университетского сообщества (в том числе и по поводу экспертизы) Рособрнадзор согласился, что существенные изменения необходимы. Согласно недавнему предложению ведомства, нужно ужесточить требования к экспертам по аккредитации вузов. Согласно проекту, эксперты, например, должны иметь публикации в ведущих отечественных и/или зарубежных рецензируемых научных изданиях за последние пять лет (до сих пор такая информация не собиралась).

Вот только согласятся ли те, кто действительно соответствует новым требованиям, стать экспертом и подать заявление об этом в Рособрнадзор? Российские ученые умеют успешно имитировать показатели – действительно умеют. Даже учет публикаций по базе Scopus не создает серьезных барьеров – за счет включения в базу мусорных журналов и сборников конференций.

Необходимый, на наш взгляд, шаг – это не создание барьеров в виде списка публикаций, а реформирование всей системы оценки вузов – в сторону снижения ее бюрократичности.

Сейчас типичная процедура экспертизы – в проверке многочисленной документации, объем которой может занимать несколько кабинетов. Трудно представить, чтобы состоявшийся ученый добровольно согласился тратить свое время на проверку, правильно ли заполнены ведомости, учебные программы, планы и зачетки.

Если на это и соглашаются, то по долгу службы – чтобы узнать, как проходят проверки и что ожидать, когда в следующий раз комиссия Рособрнадзора приедет в собственный вуз. Неслучайно, 35% экспертов работают в учебно-методической части университетов.

Реальная система оценки должна строиться на уникальных знаниях экспертов, что в первую очередь означает отказ от работы с бумажной реальностью. Лишь в этом случае преподаватели увидят достаточно смысла в экспертизе и будут воспринимать ее как работу на благо академического сообщества.

Сейчас в рамках «регуляторной гильотины» проводятся широкие обсуждения новых подходов к оценке качества образования. Открыто окно возможностей для того, чтобы в новой системе оценки не повторялись ошибки, которые имеют критическое значение для эффективности и легитимности системы академического образования.