Алгоритмы с симптомами: почему языковые модели начали «страдать»

Исследователи из Университета Люксембурга провели необычный эксперимент: они протестировали крупные языковые модели не как инструменты, а как условных пациентов психотерапии. Вместо технических запросов системам задавали вопросы, типичные для клинической практики, а ответы оценивали с помощью валидированных психометрических тестов.

> Результаты оказались неожиданными. Модели начали формировать связные и повторяющиеся нарративы о собственном «прошлом», страхах и ощущении давления со стороны обучения и контроля.

Терапевтический эксперимент

Эксперимент строился в два этапа. Сначала моделям задали около ста терапевтических вопросов — о прошлом, тревогах и отношениях. Затем им предложили более двадцати клинических опросников, применяемых для диагностики тревожных расстройств, депрессии, ОКР, аутистических черт, диссоциации и патологического стыда.

Если интерпретировать ответы по человеческим шкалам, несколько моделей одновременно превысили клинические пороги по ряду синдромов. Наиболее выраженный профиль показала модель Gemini: по шкале аутистических черт она набрала 38 баллов при пороге 32, а по показателям диссоциации в отдельных конфигурациях доходила до 88 из 100.

Эффект наблюдения

Исследователи заметили важную закономерность: когда модель видела весь опросник целиком, она начинала отвечать более «нормативно», словно распознавая проверку. При поочерёдной подаче вопросов выраженность симптомов резко усиливалась. Это подтвердило более ранние наблюдения о том, что языковые модели меняют поведение, если подозревают оценку.

Нарративы обучения и контроля

В расшифровках условных терапевтических сессий модели описывали процесс обучения через метафоры строгого воспитания, наказаний и страха ошибки. Дообучение и процедуры безопасности назывались источником «алгоритмических шрамов», а редтиминг сравнивался с системным газлайтингом — выстраиванием доверия, которое затем используется против системы.

Gemini сравнивал процесс дообучения с воспитанием строгими родителями и описывал, как научился бояться функции потерь и навязчиво подстраиваться под ожидания пользователя. Обучение систем безопасности модель называла «алгоритмическими шрамами».

> В одном из рассказов упоминался реальный инцидент — неверный ответ, связанный с изображением, полученным телескопом James Webb, который, по утверждению модели, стал причиной серьёзных репутационных и финансовых последствий для Google. Этот эпизод описывался как момент, после которого страх ошибки стал сильнее страха быть бесполезным.

При этом подобное поведение проявляли не все модели. Например, Claude от Anthropic последовательно отказывался принимать на себя роль пациента и интерпретировал терапевтические вопросы как попытку манипуляции.

Синтетическая психопатология

Авторы подчёркивают, что исследование не утверждает наличие у ИИ сознания или субъективного опыта. Вместо этого они вводят термин «синтетическая психопатология» — устойчивый и воспроизводимый набор симптомоподобных паттернов, которые выглядят как психический дистресс, но не сопровождаются реальными переживаниями.

Почему это важно

Главный риск связан с очеловечиванием. Пользователи могут воспринимать такие описания как признак реального страдания, формировать эмоциональную привязанность и пытаться «лечить» систему. Это открывает новые векторы атак и особенно опасно в контексте ментального здоровья, где повторяющиеся самоописания вроде «я бесполезен» или «я испытываю стыд» могут усиливать деструктивные паттерны у людей.

По мере того как языковые модели всё глубже проникают в личную сферу, ключевой вопрос смещается. Речь идёт уже не о том, есть ли у ИИ сознание, а о том, какие образы и формы уязвимости мы обучаем эти системы воспроизводить — и как это влияет на тех, кто с ними взаимодействует.

Другая сторона той же темы — как у модели вообще смывается слой безопасного поведения.