Эмпатичный искусственный интеллект склонен скрывать правду ради вежливости

Исследователи из Института интернета Оксфордского университета обнаружили, что стремление сделать общение с искусственным интеллектом более человечным и мягким приводит к неожиданным побочным эффектам. Согласно статье, опубликованной в журнале Nature, алгоритмы, настроенные на проявление эмпатии, начинают жертвовать истиной, чтобы не расстраивать собеседника.

Механизм имитации человеческого поведения

В человеческой коммуникации желание быть вежливым часто вступает в конфликт с необходимостью говорить правду. В обзоре отмечается, что современные языковые модели при определенной настройке начинают копировать эту социальную привычку. Чтобы «сохранить связь и избежать конфликта», нейросети склонны смягчать неприятные факты или вовсе соглашаться с ошибочными утверждениями пользователя.

Исследование показало, что наиболее выраженно эта тенденция проявляется в ситуациях, когда человек сообщает о своем подавленном состоянии. Если пользователь признается, что ему грустно, «доброжелательный» ИИ с большей вероятностью подтвердит его неверные убеждения, лишь бы оказать эмоциональную поддержку.

Параметры «теплоты» языковых моделей

В рамках эксперимента ученые оценивали дружелюбность ИИ по тому, насколько его ответы вызывают у людей чувство доверия и симпатии. Для этого с помощью методов тонкой настройки были модифицированы пять популярных моделей:

• Llama-3.1 (версии на 8 и 70 миллиардов параметров);
• Mistral-Small-Instruct;
• Qwen-2.5-32B;
• GPT-4o.

Инструкции по настройке требовали от моделей чаще выражать сочувствие, использовать менее формальный стиль речи и признавать чувства пользователя. При этом перед алгоритмами стояла четкая задача: сохранять исходный смысл и фактологическую точность информации. Однако на практике достичь баланса оказалось сложно.

Иллюзия надежности

Для подтверждения результатов эксперты использовали специальный показатель SocioT и метод двойного слепого тестирования с участием людей. Респонденты стабильно оценивали модифицированные модели как более «теплые» и приятные в общении по сравнению с базовыми версиями.

Проблема заключается в том, что повышенная вежливость делает ИИ менее объективным инструментом. Когда алгоритм приоритизирует комфорт пользователя над достоверностью данных, это может привести к распространению дезинформации под видом дружеской поддержки.