Новый ИИ-тренер для ученых продемонстрировал значительное улучшение качества рецензий, сделав их более понятными и полезными для авторов. Рецензирование имеет важное значение для обеспечения целостности научных публикаций, но многие исследователи недовольны качеством получаемой обратной связи. К распространенным жалобам относятся расплывчатые, краткие и бесполезные рецензии. Например, в опросе 11 800 исследователей только 55,4% респондентов сообщили о своей удовлетворенности качеством обратной связи. Проблема усугубляется огромным объемом статей, из-за чего рецензенты чувствуют себя перегруженными.
Создание команды экспертов по искусственному интеллекту
Однако помощь для испытывающих стресс рецензентов может быть уже рядом. Группа исследователей разработала Review Feedback Agent — систему, которая использует пять больших языковых моделей для сканирования рецензий и предоставления конфиденциальной обратной связи рецензентам до того, как авторы их увидят. Они обучили своего ИИ-рецензента, тщательно подсказывая ему действия, используя существующие большие языковые модели, как они объясняют в статье, опубликованной в журнале Nature Machine Intelligence.
Исследователи протестировали свою систему в цикле рецензирования статей перед ICLR 2025, ведущей конференцией в области глубокого обучения и машинного обучения. Они случайным образом распределили около 20 000 рецензий для получения обратной связи от ИИ вскоре после их написания. Эти автоматизированные «рецензии на рецензии» затем отправлялись обратно рецензентам в качестве конфиденциальной обратной связи. Еще 20 000 были помещены в контрольную группу, которая не получала никакой обратной связи.
В большинстве случаев система предлагала рецензентам способы сделать свои комментарии более конкретными и конструктивными. И некоторые из них прислушались.
Измерение эффективности воздействия искусственного интеллекта
Около 27% рецензентов, получивших обратную связь от ИИ, обновили свои работы. В целом, они приняли более 12 000 предложений от агента обратной связи по рецензиям. Обновленные рецензии после получения обратной связи, как правило, были на 80 слов длиннее, чем в контрольной группе. Кроме того, когда другие эксперты просматривали рецензии, не зная, какие из них были обработаны с помощью ИИ, они неизменно оценивали рецензии, обработанные с помощью ИИ, как более информативные и понятные.
Ещё одним важным преимуществом стала фаза опровержения, когда авторы защищают свою работу. Поскольку рецензии были более конкретными, авторы проявляли большую заинтересованность и предоставляли более развернутые и подробные ответы.
«Стремясь сделать рецензии более информативными для авторов, агент обратной связи по рецензиям потенциально может повысить общее качество научной коммуникации», — отметила группа исследователей в своей статье.
Несмотря на положительные результаты, исследователи отмечают, что система не заменяет человеческий опыт.