OpenAI запустила функцию «Доверенный контакт» для предотвращения самоповреждений

Компания OpenAI представила новую функцию «Доверенный контакт» для чат-бота ChatGPT, разработанную для оповещения выбранного третьего лица в случае, если пользователь выражает мысли о самоповреждении в ходе беседы. Эта опция позволяет взрослому пользователю ChatGPT назначить другого человека, например, друга или члена семьи, своим доверенным контактом в аккаунте. Если обсуждение коснется темы самоповреждения, система OpenAI будет предлагать пользователю обратиться к этому контакту и автоматически отправлять оповещение доверенному лицу с рекомендацией связаться с пользователем.

Предыстория функции

Запуск новой функции последовал за волной судебных исков, поданных против OpenAI семьями людей, которые покончили с собой после общения с чат-ботом. В нескольких случаях семьи утверждают, что ChatGPT побудил их близких к самоубийству или даже помог им составить план действий.

Принцип работы

В настоящее время OpenAI использует комбинацию автоматических систем и ручной проверки для обработки потенциально опасных ситуаций. Определенные ключевые фразы в диалогах активируют систему компании, указывая на суицидальные мысли, после чего информация передается команде безопасности, состоящей из специалистов. В компании заявляют, что каждое такое уведомление о происшествии рассматривается человеком. По словам представителей OpenAI, компания стремится рассматривать эти оповещения о безопасности менее чем за один час.

Если внутренняя команда OpenAI приходит к выводу, что ситуация представляет серьезный риск для безопасности, ChatGPT отправляет доверенному контакту оповещение — по электронной почте, SMS или через уведомление в приложении. Это оповещение максимально краткое и призывает контакт проверить состояние пользователя. Согласно заявлению компании, для защиты конфиденциальности пользователя в уведомлении не содержится подробной информации о содержании беседы.

Дополнительные меры безопасности и ограничения

Функция «Доверенный контакт» дополняет меры безопасности, введенные компанией в сентябре прошлого года. Тогда родители получили возможность контролировать аккаунты своих подростков, включая получение уведомлений, если система OpenAI посчитает, что ребенок сталкивается с «серьезным риском для безопасности». Кроме того, уже некоторое время ChatGPT включает автоматические оповещения с рекомендацией обратиться за профессиональной медицинской помощью, если тема беседы склоняется к самоповреждению.

Важно отметить, что функция «Доверенный контакт» является необязательной, и даже если защита активирована для определенного аккаунта, любой пользователь может иметь несколько учетных записей ChatGPT. Родительский контроль OpenAI также необязателен, что создает аналогичные ограничения.

В объявлении компания подчеркнула: «Доверенный контакт» является частью более широких усилий OpenAI по созданию систем искусственного интеллекта, которые помогают людям в трудные моменты. Компания заявила о продолжении сотрудничества с клиницистами, исследователями и представителями власти для улучшения реакции систем ИИ на ситуации, когда люди могут испытывать психологический дискомфорт.