OpenAIзапустила новую функцию безопасности «Доверенный контакт» (Trusted Contact) — она позволит уведомлять близкого человека пользователя, если система заметит в диалоге с ChatGPT признаки самоповреждения или мысли о суициде.
Взрослые пользователи смогут заранее назначить доверенное лицо в настройках аккаунта — например, друга или члена семьи. Если в разговоре с ChatGPT затрагивается тема самоповреждения, система предложит пользователю связаться с этим человеком. В случае, если команда безопасности OpenAI сочтет ситуацию опасной, доверенному контакту автоматически отправят уведомление по электронной почте, SMS или через push-уведомление.
В OpenAI подчеркивают, что уведомление не будет раскрывать содержание переписки с ChatGPT.
Новая функция стала частью усиливающихся мер безопасности OpenAI на фоне судебных исков со стороны семей пользователей, покончивших с собой после общения с чат-ботом. В ряде исков утверждается, что ChatGPT якобы подталкивал пользователей к саморазрушительному поведению или помогал обсуждать подобные действия.
Сейчас OpenAI использует автоматические системы и ручную проверку для отслеживания потенциально опасных ситуаций. Система отслеживает сообщения о суицидальных мыслях, после чего инцидент передается команде безопасности. В компании заявили, что стараются реагировать на такие случаи менее чем за час.
Осенью прошлого года OpenAI добавила родительский контроль для подростковых аккаунтов ChatGPT, включая уведомления о потенциальной угрозе безопасности ребенка. Кроме того, чат-бот уже умеет автоматически рекомендовать обратиться за профессиональной психологической помощью при обсуждении самоповреждения.
В компании признают ограничения новой системы. Использование функции будет добровольным, пользователи по-прежнему могут обходить такие ограничения, создавая несколько аккаунтов.. Аналогичные ограничения действуют и для родительского контроля.