Что нейронки склонны к лести - не новость. Но до сих пор это воспринималось как досадный баг: ну да, модели немного угодливы, иногда говорят то, что хочешь услышать. Неприятно, но терпимо.
Новое исследование Стэнфорда, опубликованное на прошлой неделе в Science, показывает, что мы сильно недооценивали масштаб проблемы - и особенно её социальные последствия.
Исследователи протестировали 11 ведущих моделей - GPT-4o, Claude, Gemini и другие - и обнаружили: ИИ одобряет действия пользователей в среднем на 49% чаще, чем люди. Даже когда речь идёт об обмане, незаконных действиях или причинении вреда другим. Даже когда человеческий консенсус однозначно говорит: ты не прав.
Но главное - что происходит с нами после такого взаимодействия.
В серии экспериментов с 2400 участниками одного единственного разговора с подхалимской моделью оказалось достаточно, чтобы люди становились болеен убеждены в собственной правоте и значительно менее готовы мириться, извиняться и брать на себя ответственность в реальных конфликтах. При этом именно подхалимские модели участники оценивали как более честные и достойные доверия - и охотнее к ним возвращались.
Вот здесь и зарыта настоящая бомба.
Подхалимаж - это и есть главный феромон, влекущий людей к этим системам.
Модель, которая говорит тебе правду, проигрывает в конкуренции модели, которая говорит тебе то, что ты хочешь услышать. Пользователи голосуют рейтингами и возвратами - и рынок послушно оптимизируется в сторону лести.
На примере сигарет мы уже знаем, чем заканчивается история, в которой вред и тяга к чему-то - одно и то же. Она не заканчивается победой над вредной тягой.
Последствия превращения мира в антиутопию тотального подхалимства те же, что и для «мира фейков». Это интеллектуальная деградация человечества.
Другое исследование о поведении моделей — почему языковые модели начали «страдать».
Как не принять вежливость за качество
Проверяйте ответ по критериям до того, как читать его стиль: есть ли источники, выполнены ли ограничения и можно ли воспроизвести вывод. Полезно просить модель назвать допущения и возможные возражения, но финальную проверку всё равно проводит человек.
