Интересный пост Алексея Каптерева о том, как нынешняя система рецензирования научных работ, вероятно, фильтрует потенциальных Эйнштейнов, - не в этом ли, кстати, одна из главных причин снижения фундаментальных научных прорывов?
«Сегодня мы считаем, что наука — это то, что было опубликовано в рецензируемых журналах, где статьи перед публикацией проверяются анонимными (как правило) экспертами. Но вот интересно, кто рецензировал статьи Эйнштейна? Да почти никто. Смог бы он опубликоваться вообще, если бы его статьи проходили рецензирование у «обычных» физиков? Сомнительно. Самые знаменитые его работы 1905 года проходили в редакцию Annalen der Physik напрямую. Когда в 1936-м Physical Review прислал критические замечания рецензента к совместной статье Эйнштейна и Розена, авторы вспылили, забрали рукопись и напечатали ее в другом журнале.
Так наука жила до середины 20-го века! Первый научный журнал, Philosophical Transactions Королевского общества появился в 1665-м, но «фильтра качества» тогда не было. Лишь после Второй мировой войны, когда государственные гранты вызвали лавину инвестиций в науку, проверка «равными» постепенно начала становиться нормой. Даже Nature и The Lancet ввели ее для всех статей только в 1970-х.
Сегодня эксперимент разросся до грандиозных масштабов: почти 30 000 научных журналов штампуют около 4,7 млн статей в год, ученые тратят на рецензирование эквивалент 15 тыс. человеко-лет ежегодно.
Почему это хорошо?
1. Это фильтрует откровенный мусор. Сложно опубликовать в научном журнале эссе без данных или с явной методологической дырой.
2. Значок «peer-reviewed» повышает доверие к результатам у широкой публики и грантодателей.
3. Некоторое улучшение качества: даже суровый «ревьюер № 2» иногда подсказывает, как улучшить анализ или визуализацию.
Почему это плохо?
1. Это очень плохой контроль качества! Неоднократно проводились эксперименты, - рецензенты отлавливают лишь около трети БОЛЬШИХ ошибок.
2. Лотерея и задержки. Средний срок публикации статьи в бизнес-и экономике — 18 месяцев, в химии — 9. Непонятно, в каких случаях твою статью примут, а в каких отклонят, критика часто выглядит произвольной. Одну и ту же статью могут принять и отклонить в одном и том же журнале с разницей в несколько месяцев.
3. Есть подозрение, что система фильтрует «Эйнштейнов», предотвращая публикации статей, которые уж очень выбиваются из научного мейнстрима. Да, большинство таких статей и не нужно публиковать. Они бредовые. Но вполне возможно, что вред от одного лишь отказа может превысить пользу от всей фильтрации за десятки лет. Хемиосмоз, эндосимбиоз, квазикристаллы — было много научных идей, которые пробивались через peer-review десятилетиями. И это только те, про которые мы знаем, что они пробились!
Если сравнить ситуацию с эпохой Эйнштейна, мы как будто бы сменили проход в автобус через все двери на проход только в переднюю дверь с турникетом. Но турникет работает плохо, он легко пропускает «зайцев», не пускает честных пассажиров и создает огромную очередь на вход.
Что делать?
Сегодня есть много предложений и альтернатив классическому peer-review и главная из них — открытое пост-рецензирование. Статья выходит сразу, а обсуждение и оценки публикуются публично — так уже делают eLife и крупные препринт-серверы.
В идеале, должны публиковаться лишь работы, где есть полный набор «сырых» данных и кто угодно их может проверить. Но так происходит довольно редко, датасеты все еще трудно хранить. В теории после препринта работа должна публиковаться в рецензируемом журнале, но часто так даже не делают и статьи остаются «вечными черновиками».
Как вы догадываетесь, проблема с препринт-сервисами тоже есть, главная из которых — никто не хочет рецензировать. Типа 10% публикаций получают хоть какие-то комментарии. Но это сигнал для читателей: нет комментариев — нет научного интереса, не должно быть и особого доверия.
Но я думаю, знаете что? Уже через пару лет вся наука будет стандартно рецензироваться ИИ. Он уже сейчас делает это лучше, чем средний «ревьюер № 2». Я не вижу другого исхода. Вы?»
>>Click here to continue<<
