Журнал "Компьютерра" N734

Журнал Компьютерра

Но как решить "проблему двухсот тысяч долларов" при привлечении экспертов любой степени независимости? Юхин считает: только на основе столь зыбких параметров, как общеизвестная репутация или личное доверие. Должна заработать социальная сеть, где формируются такие отношения.

Именно социальная сеть, которую энтузиасты проекта стали выстраивать в сообществе своих коллег по науке задолго до контактов с каким бы то ни было бизнесом, и помогла создать Корпус экспертов.

Корпус экспертов: статистика формирования

Первым шагом при создании Корпуса стал опрос "первичных выборщиков". Их имена брались из

списков российских ученых, чья "цитируемость" - количество ссылок на их научные публикации - превосходит некоторые пороговые величины (см. www.scientific.ru/whoiswho/whoiswho.html; отметим, что количество ссылок могло различаться у разных выборщиков на порядки). Для краткости назовем эти списки "исходными". Разумеется, составление исходных списков именно по уровню цитируемости - не единственный возможный вариант. Например, можно было привлечь к формированию Корпуса экспертов всех докторов наук или всех завлабов - но, как пишут члены рабочей группы, никто не мешает сторонникам этих вариантов реализовать их. В специальном комментарии на www.scientific.ru/expertise сама рабочая группа перечисляет недостатки индекса цитируемости как критерия отбора (и одновременно - возможности их преодоления). Не останавливаясь на этом, перейдем к числовым показателям.

Первичных выборщиков, чьи работы по тематике более-менее укладываются в определение "физика конденсированного состояния" ("cond-mat"), было чуть больше пятисот (подробности - в полугодовом отчете о ходе проекта). На обоих этапах опроса в качестве потенциальных экспертов было названо 1060 человек. Среди них оказалось 122 человека, получивших в итоге 5+ (пять и более) голосов - в основном это специалисты по физике твердого тела (академиков РАН в списке трое, членов-корреспондентов - восемь). Им и предложили войти в Корпус. На момент сдачи номера в печать свое согласие на это подтвердили 94 эксперта, отказались пятеро. На рис. 1 приведена зависимость количества специалистов, получивших "N и более голосов" ("N+"), от N.

Как же соотносится итоговый список экспертов с исходными списками? Другими словами, как связано количество голосов коллег, отданных тому или иному исследователю, с его показателями цитируемости? Ответ далеко не однозначен. График на рис. 2 показывает процент рекомендованных в эксперты, входящих одновременно и в исходные списки - в зависимости от числа поданных "за них" голосов. Из графика видна общая тенденция: больше голосов чаще набирают люди, перешедшие определенный порог цитирования. В то же время зависимость довольно сильно осциллирует - в эксперты рекомендованы и люди со сравнительно невысоким цитированием, и многие представители диаспоры, которые не включены в исходные списки (их доля велика в интервале N от 5 до 12). Зато практически все (немногочисленные, правда) обладатели более чем пятнадцати голосов заведомо переходят порог цитирования и работают при этом в России (правая часть графика).

Рождение Корпуса из духа естественных наук

Механизм формирования корпуса его авторы называют "методом снежного кома". Сначала составляется список ученых с достаточно высоким рейтингом цитирования, работающих в данной области. Это - "первичные выборщики". Им рассылаются письма с просьбой назвать коллег, к чьим профессиональным оценкам они относятся с наибольшим уважением ("Назовите имена русскоязычных экспертов, способных

квалифицированно оценивать проекты в своей и смежных областях науки, ориентировочно 10-15 человек").

Некоторые фамилии, названные первичными выборщиками, объединяются в новый список - туда попадают лишь те, кого упомянули не менее четырех раз. Затем тот же вопрос рассылается лицам из нового списка. Из их ответов опять выбирают тех, кого назвали определенное число раз (в данном случае - пять)… в принципе, процедуру можно повторять снова и снова, но в реальности остановились на второй итерации. Каждому участнику финального списка был задан вопрос - согласен ли он, чтобы его имя, место работы, область экспертизы были опубликованы в списке Корпуса экспертов. Попадание в список, в сущности, не накладывает никаких обязательств, кроме согласия рассматривать предложения об участии в экспертизе научных или научно-производственных проектов. Статистические данные по проекту приведены во врезке на стр. 26.

Читатель понимает, что в этом кратком изложении за кадром осталась масса проблем, которые решала рабочая группа. Приходилось не только вести переписку, но и заниматься концептуально сложными задачами: серьезно анализировать поступающие данные и принципы их обработки (например, выбор "порогов отсечения" - достаточного количества рекомендаций - потребовал длительных обсуждений), а также составлять классификаторы специализаций, отвечающие реальному положению дел в науке.

"Манифест" проекта мы приводим без изменений (см. врезку 1), в том виде, как его сформулировали члены рабочей группы.

О разных аспектах проекта я подробно побеседовал с двумя участниками рабочей группы: Галиной Цирлиной (профессором химического факультета МГУ) и Михаилом Фейгельманом (профессором, заместителем директора Института теоретической физики им. Ландау), а также с Владимиром Мордковичем.

Что привело вас к идее этого проекта и каково, на ваш взгляд, ее возможное развитие?

МФ: Могу разве что вспомнить Андрея Синявского, который говорил, что у него с властью чисто стилистические разногласия. Именно соображения эстетики главным образом и привели меня в этот проект.

ГЦ: Мы не можем сейчас сформулировать, куда мы на этой машине поедем. Мы просто знаем, что без нее мы точно никуда не поедем. Это и есть мотивация, она у всех нас совершенно одинаковая. Первые разговоры начались больше года назад - но сначала обсуждались варианты работы под патронажем министерств или других организаций. А это было бы абсолютно бессмысленно, со всех точек зрения. И тогда в проекте появился Михаил, достаточно решительный человек, который и дал старт независимой, чисто инициативной линии. Большую роль сыграло существование сообщества Scientific.ru, потому что там смогли найти друг друга люди из разных наук, но с более-менее близкой мотивацией. Заодно они обнаружили, как много на свете людей с совсем другой мотивацией. Это тоже стало стимулом.

Какие проблемы с экспертизой в науке сегодня самые острые?

ГЦ: Их знают все, кто занимается наукой. Лоты Миннауки, проекты центров коллективного пользования - на это выделяются огромные деньги, и здесь совершенно необходима прозрачная, независимая, компетентная экспертиза, чтобы эти ресурсы попадали в квалифицированные руки. Уже прошло несколько крупных программ, которые были абсолютно неэффективны по результатам. Есть примеры, когда людям просто нечем было отчитаться за очень большие деньги. Даже неинтересно про все это говорить, такого слишком много.