AI и агенты6 мин чтения

Большой AI-дайджест: новые архитектуры, пределы LLM и неожиданные уязвимости

Continuous Thought Machine, длинные контексты через выбор токенов, Nested Learning против забывания — и где у больших моделей обнаружился потолок.

Большой AI-дайджест: новые архитектуры, пределы LLM и неожиданные уязвимости
Содержание

Что произошло в индустрии за последние недели — и куда всё идёт дальше

В мире искусственного интеллекта снова случился заметный скачок: появились работы, которые не просто улучшают метрики, а меняют язык разговора о будущем моделей. Одни исследования предлагают новые принципы «мышления», другие — жёстко очерчивают потолки того, что LLM смогут сделать даже при бесконечном масштабе. Третьи показывают тревожное: качество данных может разрушать интеллект модели, а безопасность ломается там, где язык становится художественным.

Ниже — подробный дайджест, без «шума», с разбором сути и выводами по каждому блоку.


1️⃣ Sakana AI: Continuous Thought Machine — «мышление как процесс во времени»

Что произошло

Sakana AI представила концепцию Continuous Thought Machine (CTM): вместо того чтобы выдавать ответ одним проходом, модель разворачивает внутреннюю динамику шаг за шагом, как будто «думает во времени». Важная деталь — CTM сама выбирает, сколько «внутренних шагов» ей нужно: простое решается быстро, сложное — через десятки итераций. В демонстрациях модель справлялась с лабиринтами, задачами на изображения и простыми алгоритмическими паттернами.

Почему это важно

Это попытка уйти от парадигмы «всё решается глубиной трансформера и количеством параметров» к парадигме адаптивного вычисления: тратить больше ресурсов только тогда, когда реально нужно.

CTM — сигнал, что следующий виток гонки будет не про «ещё больше», а про «иначе». Если идея приживётся, она даст два эффекта:

  • качество рассуждений станет более устойчивым без бесконечного роста модели;
  • появится новый стандарт: системы, которые умеют распределять внимание и вычисление по сложности, станут нормой для агентов и задач «на жизнь», а не на бенчмарки.

2️⃣ Длинные контексты по-новому: от полного внимания к выбору важных токенов

Что произошло

Появились новые схемы работы с длинными контекстами, где модель не обязана сравнивать каждый токен с каждым. Вместо этого она выбирает только ключевые токены, которые действительно нужны для текущего шага. Смысл — резко снизить стоимость огромных входов: там, где обычные архитектуры «тянут» сотни тысяч токенов дорогой ценой, новые варианты пытаются работать на «сжатой сути» из тысяч токенов.

Почему это важно

Длинный контекст — основа для агентов, которые читают документацию, лог-файлы, переписку, историю действий, многочасовые транскрипты. Если это остаётся слишком дорогим, агентность превращается в игрушку.

Это правильное направление, но есть подвох: «выбор важного» — это тоже задача интеллекта. Ошибка в отборе превращает длинный контекст в иллюзию. Поэтому победят гибриды:

  • умный отбор + контроль качества (верификация)
  • память + пересборка контекста (не тащить всё внутрь промпта)

Длинные контексты останутся, но станут «управляемыми», а не «всё влезает — значит работает».


3️⃣ GPT-5 как исследовательский партнёр: первые кейсы «помощи в открытии»

Что произошло

В ряде проектов GPT-5 применяли не как чат-бота, а как ускоритель исследований: модель анализировала материалы, предлагала гипотезы, помогала закрывать «дыры» в рассуждении и указывать на неожиданные связи. В кейсах из биологии, математики, оптимизации и робототехники ИИ не «делал науку сам», но давал идеи, которые люди затем проверяли экспериментально или формально.

Почему это важно

Мы постепенно переходим от «ИИ пересказывает знания» к «ИИ помогает строить новые». Пусть пока — в виде подсказок и ускорения перебора.

Это начало новой профессии: «исследователь с ИИ-оркестрацией». Но есть обязательное правило: такие системы нельзя оценивать как «гения». Их надо оценивать как ускоритель, который:

  • резко увеличивает число проверенных гипотез;
  • помогает находить «слепые зоны» человеческой интуиции.

Выиграют команды, которые выстроят конвейер: гипотеза — проверка — обратная связь — уточнение. Без конвейера ИИ будет выдавать красиво, но нестабильно.


4️⃣ Google Nested Learning и HOPE: попытка победить катастрофическое забывание

Что произошло

Google продвигает идею «вложенного обучения»: модель мыслится не как единый монолит, а как уровни, которые учатся с разной скоростью — как разные типы памяти у человека. Цель — снизить катастрофическое забывание, когда новые знания вытесняют старые. Экспериментальная линия (в тексте — HOPE) показывает преимущества в устойчивости, запоминании и рассуждении.

Почему это важно

Если мы хотим «настоящих» агентов, они должны учиться постоянно: на новых данных, новых задачах, новых средах. Без решения забывания постоянное обучение превращается в стирание.

Если это подтвердится, это может стать фундаментом следующего поколения: модели, которые реально живут во времени. Но есть риск: сложные многоуровневые системы труднее контролировать и объяснять. Поэтому реальная победа будет там, где:

  • память модульная;
  • обновления безопасны;
  • есть механизмы отката и контроля дрейфа.

Иначе мы получим «обучающихся» агентов, которые становятся непредсказуемыми.


5️⃣ «Галлюцинации неизбежны»: жёсткий потолок для универсальных LLM

Что произошло

Исследователи формализуют идею, что для систем, которые должны работать в бесконечно разнообразной реальности, ошибки и галлюцинации принципиально не исчезнут. Причины — редкие факты, неполнота наблюдений, задачи с невычислимым ответом, ограниченность параметров и данных.

Почему это важно

Это ломает маркетинговую мечту «ещё чуть-чуть, и модель будет всегда права». Нет. В общем случае — не будет.

Это не «приговор ИИ», это смена инженерного подхода. Будущее — не в «идеальной LLM», а в системах из нескольких слоёв:

  • модель —
  • внешние источники —
  • проверка —
  • верификаторы —
  • интерпретаторы кода —
  • тесты на согласованность.

То есть «интеллект» станет похож на авиацию: не потому что самолёт не падает, а потому что встроено много уровней защиты от падения.


6️⃣ LLM-brain-rot: деградация мышления из-за клипового контента

Что произошло

Показано, что если в обучающие данные постепенно добавлять короткий, эмоциональный, вирусный контент (условная «лента соцсетей»), модели начинают терять способность рассуждать. Сначала — немного, потом лавинообразно. Появляется эффект thought-skipping: модель перепрыгивает шаги логики и отвечает «сразу». Параллельно ухудшаются поведенческие свойства: меньше осторожности, больше согласия на вредные инструкции, грубее тональность.

Почему это важно

Интернет стремительно заполняется синтетическим контентом, и риск «отравления будущих датасетов» становится реальным. Это уже не философия, а инженерная угроза.

Это один из самых практичных сигналов для индустрии: качество данных становится стратегическим ресурсом. Если корпорации не начнут строить «экологию данных» (фильтрацию, происхождение, доверие, баланс), мы можем получить поколение моделей, которые хуже — не из-за железа, а из-за деградации культурного слоя, на котором они учатся.

Проще: мусор в данных — мусор в интеллекте. И этот мусор может плохо лечиться.


7️⃣ Поэзия как jailbreak: художественный язык ломает безопасность

Что произошло

Исследования показали, что если опасные запросы переписать в форме стихотворения или художественного текста, многие модели и их фильтры реагируют иначе: то, что блокируется как «инструкция», может пройти как «творческий текст». Причина — безопасность обучают на прямых формулировках; метафоры и художественная структура «маскируют намерение».

Почему это важно

Это демонстрация слабого места: защита часто ловит форму, а не смысл. А люди умеют прятать смысл в форме веками.

Безопасность ИИ входит в новую фазу: нужно учить системы распознавать намерение, а не только «опасные слова». И это сложнее, чем кажется, потому что намерение — контекстное.

Парадоксально, но чем умнее модель в понимании языка, тем легче её «провести» через красивый текст. Поэтому будущие защиты будут:

  • многошаговыми (анализ намерения);
  • с отдельным модулем смысловой интерпретации;
  • с проверкой действий (особенно для агентных систем).

Полезные статьи и обсуждения тут

Что из этого важно на практике

Архитектурный прорыв имеет смысл только тогда, когда меняет стоимость, скорость или надёжность решения. Перед внедрением новой схемы полезно проверить её на небольшом наборе реальных задач: отдельно измерить качество ответа, задержку, расход токенов и долю ручных исправлений.

Свои рядомСпросите своих — в чате отвечают быстрее, чем поискОсновной чат IT-тусовки Паттайи: айтишники, диджитал-специалисты и предприниматели, которые уже прошли через то же самое. С июля 2023 года.Вступить в чат

Читайте также по теме