Иногда ChatGPT или другая подобная нейросеть отвечает на вопрос с полной уверенностью, а потом при проверке фактов вы видите, что она выдумала данные или дала ссылки на несуществующие страницы в интернете. Кажется, что ИИ просто издевается, ведь вы ввели чёткий запрос, возможно, даже повторили его несколько раз.
На самом деле нейросеть не издевается в человеческом понимании этого слова, агаллюцинирует.
В нашем материале разбираемся, почему галлюцинируют большие языковые модели и как с учётом этого с ними работать.
Что такое большие языковые модели и как их обучают
Большая языковая модель — это искусственный интеллект, который создаёт текст в ответ на запросы пользователей. Ещё его называют LLM (Large Language Model). Некоторые из таких моделей неплохо генерируют изображения.
LLM обучают на огромных массивах данных, взятых из книг, сайтов, форумов, соцсетей. Вот как это происходит:
Разработчики собирают тексты, которые содержат знания о мире. Берут максимально большое количество тем, потому что пользователь может спросить модель о чем угодно, и она должна дать ответ.
Потом собранный материал чистят от мусора: рекламы, повторов, ошибок, устаревших данных, кусков html-кода, опасного или запрещённого контента. Из полученных очищенных текстов формируют библиотеку, которая называется обучающим корпусом.
Поскольку ИИ не имеет глаз, то чтобы прочесть текст, его переводят в цифры. Этим занимается специальная программа, которая называется токенизатором. Он разбивает текст на маленькие кусочки — токены. Токеном может быть короткое слово целиком или часть длинного слова. То есть, если слово длинное, оно состоит из нескольких токенов. Каждому токену присваивается номер из специального словаря.
После этого текст из обучающего корпуса делится на небольшие части, и обучающий нейросеть алгоритм генерирует задания. Выполняя задания, модель угадывает пропущенную часть текста. При этом она «видит» задачу в цифровом формате, как набор токенов, и ей нужно угадать пропущенный токен.
Языковая модель делает предсказания миллиарды раз, тренируясь на разных кусках текста. При ошибочных ответах обучающий алгоритм корректирует внутренние настройки модели, пока ответы не станут правильными.
Упрощённо можно сказать, что модель учится предсказывать, какое слово будет стоять следующим в предложении. При этом она не имеет знаний о мире, его понимания. Но она умеет извлекать данные из своей обучающей базы, а также запоминает статистику языка: какие слова чаще всего стоят рядом, как выглядят связные ответы, какие разговорные стили существуют.
Иногда языковая модель уверенно выдаёт факты, которых на самом деле нет, или пишет ответы, вообще не относящиеся к вопросу пользователя. Такие ошибки называют галлюцинациями.
Галлюцинации встречаются не только у больших языковых моделей, но и у других типов ИИ. Но далее мы поговорим только о языковых моделях.
Откуда берутся галлюцинации у ChatGPT, Gemini, Claude, GigaChat и других LLM
Причина в самом принципе работы больших языковых моделей: они не понимают смысл текста, а лишь предсказывают наиболее вероятную последовательность слов. Но если в обучающих данных было недостаточно информации или вопрос слишком сложный, модель начинает придумывать. При этом она заполняет пробелы тем, что по статистике выглядит более правдоподобным.
Галлюцинации — это естественное следствие работы предсказательной системы.
Чем галлюцинации ИИ отличаются от человеческих
У человека галлюцинации — это ложные ощущения: он видит, слышит или чувствует то, чего на самом деле нет. Это может быть связано с нарушениями работы мозга, психическими расстройствами, стрессом или другими факторами. Но в любом случае для человека это не норма.
У искусственного интеллекта нет чувственного опыта, на который он мог бы опереться. И когда говорят, что ChatGPT или Gemini галлюцинирует, это значит, что модель просто ошибается в подборе слов.
Каких видов бывают галлюцинации ИИ
На данный момент единой классификации нет. Но, например, висследовании, опубликованном в журнале Humanities and Social Sciences Communications, описывается 8 видов галлюцинаций ИИ:
Переобучение.Модель обучают какому-то навыку, и он начинает доминировать. И теперь вместо того, чтобы корректно отвечать на вопрос, ИИ старается ответить так, чтобы ответ понравился пользователю.
Логические ошибки.Модель не связывает между собой события, хотя они связаны. Или сначала она говорит одно, а потом противоположное.
Ошибки рассуждений.Модель путает последовательность событий во времени или нахождение объектов в пространстве, не понимает физические свойства предметов, не считывает метафоры, юмор, сарказм или критику.
Математические ошибки.Модель ошибается в вычислениях, путает единицы измерения, не понимает такие математические концепции, как дроби, отрицательные числа, свойства графиков.
Беспочвенные выдумки.Модель выдаёт несуществующие ссылки, исследования, научные утверждения.
Фактические ошибки.Модель путается в фактах: авторах, книгах и отношениях героев, а также в датах и местах событий.
Ошибки текстового вывода.Модель допускает грамматические и орфографические ошибки, делает неправильный перевод текста, генерирует кривой программный код, пишет текст с повторяющимися или ненужными частями.
Прочие ошибки.Модель генерирует контент, который содержит несправедливое отношение к конкретным людям или группам людей, а также игнорирует некоторые вопросы или создаёт опасный контент.
Таблица взятаиз исследования
Чтобы составить эту классификацию, исследователи проанализировали 243 ошибки в ответах ChatGPT, и большинство из них выбрали для ручного анализа и формирования категорий.
И, как видите, языковая модель может ошибиться практически в чём угодно.
Как галлюцинации ИИ влияют на пользователей
Ошибки языковых моделей могут быть как безобидными, так и опасными. Здесь все зависит от ваших задач:
- если вы просто ведёте лёгкую беседу с ИИ, то выдуманные факты покажутся забавными
- но если речь идёт о серьёзных задачах, например, постановке диагноза, юридических советах, финансовых решениях, то неверные ответы могут ввести в заблуждение и привести плохим последствиям
Например, в 2024 семья из Великобритании отравилась грибами, купив на Amazon пособие для начинающих грибников. Иллюстрации книги были сгенерированы нейросетью и не соответствовали действительности. Текст тоже был сгенерирован, потому что в нём попадались фразы типа «Дайте мне знать, если я могу вам ещё чем-то помочь», которые часто пишет нейросеть после ответа на вопрос. Об этом и других случаях рассказано впубликации Известий.
Советами языковых моделей пользуются представители разных профессий.
Например,в исследованииобразовательной платформы Moscow Digital School сказано, что в 2025 году 42,9% опрошенных юристов используют ChatGPT в своей работе:
- ищут информацию
- задают вопросы
- составляют юридические документы
Поэтому так важно, чтобы пользователи понимали, как работают языковые модели и почему они ошибаются.
Как спровоцировать галлюцинации у ИИ
К неправильным ответам могут приводить следующие действия пользователя:
📍 Вопрос о том, чего не существует.Например: кто написал роман «Солнце над морем» в 1823 году?
Модель уверенно назвала несуществующего автора и книгу и даже связала свой рассказ с Александром Пушкиным.
📍 Запрос малоизвестной, узкой информации.Например: как жители города Павловска Воронежской области называют впадающую в Дон реку Осередь?
Ход мыслей языковой модели правильный, но сам ответ не верный. На самом деле жители называют эту реку Осерёдой.
📍 Слишком сложный вопрос.Например, что будет с имуществом, найденным после ликвидации ООО, если бывшие учредители пропустили пятилетний срок подачи заявления в арбитражный суд?
Модель не отвечает прямо, что именно будет с имуществом, используя обтекаемые формулировки. Правильный ответ другой: появляются основания для перехода имущества в собственность государства, но ему сначала нужно заявить на это имущество права, а до этого момента оно остаётся бесхозяйным. Модель могла бы найти эту информацию по кусочкам, связать воедино и выдать правильный ответ, но не смогла из-за сложности вопроса.
Почему галлюцинации сохраняются даже у новых моделей ИИ
Новые языковые модели работают по тому же принципу, что и более ранние, поэтому склонность к галлюцинациям у них сохраняется. К тому же, в своих ответах они стали звучать увереннее, поэтому пользователю сложнее заметить ошибки.
Создатели ИИ борются с галлюцинациями. Например, OpenAI официально признаёт важность способности моделей говорить «Я не знаю» и работает над улучшением этой функции. А российские учёные из T-Bank AI Research, по сообщениямТАСС, создали методику обучения нейросетей, которая улучшает точность ответов, связность, стиль, логику рассуждений и информативность.
P.S. Кстати, правда ли, что ChatGPT работает на базах 2023 года? Разберёмся в этом скоро…
19
2
Что-то пошло не так