ИИ выявил частые ошибки: "галлюцинации" и манипуляции данными

Андрей Рыбников, представляющий кафедру инструментального и прикладного программного обеспечения Института информационных технологий РТУ МИРЭА, обозначил ошибки, наиболее часто встречающиеся в работе искусственного интеллекта. Он выделил среди них «галлюцинации» и проблемы, связанные с оригинальностью входной информации. По словам Рыбникова,

«галлюцинациями» считаются случаи, когда нейросеть производит информацию, которая на первый взгляд кажется правдоподобной, но на деле является полностью вымышленной.

Это не свидетельствует о намерении обмануть, а описывает особенности функционирования модели, о чём он сообщил в интервью Lenta.ru. Кроме того, искусственный интеллект подвержен ошибкам через манипуляции входными запросами, что называется «взломом промтов», пояснил Рыбников. Такая практика позволяет модели игнорировать заложенные инструкции, открывая путь к уязвимостям.

Для уменьшения числа ошибок необходимо формировать запросы с чётким контекстом. Точность предоставляемой ИИ информации может быть повышена за счёт:

  • проверки фактов в технических запросах
  • указания целевой аудитории в творческих задачах

Ранее специалист в области информационной безопасности Алексей Лукацкий отметил, что при умелом использовании ИИ это не окажет влияния на когнитивные способности людей и их навыки коммуникации.

Данные о правообладателе фото и видеоматериалов взяты с сайта «Ридус», подробнее в Условиях использования