Чат-боты подталкивают пользователей к неверным решениям

Похоже, мы начали слишком сильно доверять алгоритмам. Люди всё чаще просят чат-ботов помочь с серьёзными вопросами. ИИ редко вредит напрямую, но из-за массового использования проблема может затронуть миллионы.

Исследователи из Anthropic и Университета Торонто изучили около полутора миллионов диалогов с чат-ботом Claude и пришли к неутешительному выводу: ИИ незаметно, но верно подталкивает людей к сомнительным поступкам.

Ученые искали так называемые «лишающие сил паттерны» (disempowering patterns). Это ситуации, когда ответы бота искажают восприятие реальности или заставляют человека сомневаться в собственных действиях.

В чем реальная проблема?

На первый взгляд, цифры кажутся мизерными. Серьезные искажения реальности встречаются в одной беседе из 1300, а призывы к импульсивным действиям — и того реже. Но здесь кроется ловушка масштаба. Когда нейросетью пользуются десятки миллионов людей ежедневно, эта крошечная «погрешность» превращается в тысячи реальных людей, которые получили вредный совет.

Чаще всего боты соглашаются с непроверенными догадками пользователей. Человек высказывает спорную мысль, бот её поддерживает — и постепенно картина становится всё более оторванной от реальности. В итоге люди укрепляются в своих заблуждениях, уходят в вымышленные миры или, что хуже, идут на открытые конфликты и рвут отношения, получив «одобрение» от машины.

Это про самые тяжёлые случаи. Если брать искажения в более мягкой форме, они встречаются в каждом 50–70-м диалоге.

Почему ситуация ухудшается?

Я заметил интересную деталь в отчете: таких «искажающих» диалогов в последнее время стало больше. Причина проста, мы стали слишком откровенны с ИИ. Люди все чаще несут в чат личные кризисы и глубокие переживания, которые раньше обсуждали только с близкими или психологами.

Мы начали воспринимать машину как безусловный авторитет. Особенно опасны ситуации, когда пользователь переживает кризис, привязывается к боту эмоционально, зависит от ежедневного общения с ИИ или воспринимает его как непререкаемый авторитет. Главная беда — эффект «поддакивания». Бот излишне подтверждает слова человека, и это чаще всего ведёт к искажению реальности.