Российские исследователи впервые провели систематическое сравнение подходов, повышающих устойчивость языковых моделей к незначительным изменениям в оформлении запросов, таким как добавление пробелов или изменение пунктуации. Результаты показали, что ни один из существующих методов не решает проблему полностью, но работа создала важную основу для разработки более надежных систем.
Как известно, даже незначительные модификации в запросе, такие как добавление пробелов, изменение пунктуации или отступов, могут привести к ухудшению качества ответов ИИ. Специалисты Института AIRI сравнили различные техники пост-обработки, включая калибрацию, направленную на снижение излишней склонности модели к определенным ответам. Исследование оценивало эффективность этих методов как в лабораторных условиях, так и в сценариях, приближенных к реальным.
Результаты показали, что ни один из существующих методов не решает проблему полностью. Даже самые передовые системы, такие как GPT-4, остаются чувствительными к незначительным изменениям в форматировании текста, например, к пунктуации, отступам или пробелам.
В рамках работы ученые также предложили модификацию одного из известных методов, что позволило адаптировать его для современных языковых моделей, где ранее это было невозможно. В итоге исследователи создали открытый репозиторий с инструментами для оценки устойчивости, предоставив сообществу важную основу для будущих разработок.
Повышение устойчивости особенно критично в областях с высокой стоимостью ошибки, например, в медицинских или юридических приложениях, где даже опечатка может привести к серьезным последствиям. Как отметил научный сотрудник Института AIRI Михаил Селезнев, ценность проекта заключается в создании общей точки отсчета для исследований, демонстрации ограничений текущих решений и облегчении разработки более надежных ИИ-инструментов.