GPT-6 может быть «живым»: в MIT показали нейросеть, которая переписывает свои веса после выпуска

Если вы думали, что языковые модели уже достигли потолка, у меня для вас плохие новости. Команда исследователей из MIT выкатила работу, после которой споры о «живом ИИ» перестают звучать как фантастика. Речь про SEAL, Self-Adapting Language Models, и эта штука умеет дообучаться сама, без участия человека и без классического дообучения снаружи.

Если коротко: модель получает новый контекст, генерирует так называемый self-edit, по сути инструкцию о том, как ей самой переписать свои веса, и применяет это через обычный supervised fine-tuning. Дальше включается обратная связь: если после правок модель стала лучше решать задачу, такой self-edit считается удачным и закрепляется через reinforcement learning. То есть модель буквально учится тому, как ей правильно учиться.

Самое интересное даже не в самой идее. Самое интересное в том, что часть авторов этой статьи уже работает в OpenAI. Совпадение? Очень сомневаюсь. Если SEAL или его наследники доедут до GPT-6, мы получим модель, которая после релиза перестает быть статичной и начинает эволюционировать прямо у пользователя.

Что конкретно умеет SEAL по статье и тестам авторов. Модель усваивает новые знания в реальном времени, без классического переобучения с нуля. Она восстанавливает деградировавшее знание, то есть способна чинить свои же провалы в памяти. И что важнее всего для тех, кто строит продукты на LLM, у нее формируются устойчивые «воспоминания» между сессиями, а не просто подкрученный контекст в окне.

В тг экспертно разбираю свежие ИИ-инструменты, показываю фишки по работе с CLaude и другими ИИ

Для практиков это поворот на сто восемьдесят градусов. Сейчас весь стек вокруг LLM построен на том, что модель замороженная, а память приклеена сбоку через RAG, векторные базы и хитрые промпты. SEAL предлагает другой путь: пусть веса меняются сами, локально и под конкретного пользователя или задачу. Это сразу поднимает кучу вопросов про безопасность, воспроизводимость, аудит и стоимость инференса, но для AI-инженеров это новое огромное поле для работы.

Если копнуть в архитектуру глубже, то ключевая идея в том, что модель сама параметризует процесс адаптации, а не полагается на внешние модули вроде LoRA-адаптеров или отдельных сетей памяти. Self-edit это не просто текст, это план перестройки информации: что переформулировать, какие гиперпараметры оптимизации выставить, какие инструменты подключить для аугментации данных. По сути LLM становится и учеником, и преподавателем одновременно.

Авторы показывают результаты на двух типах задач: внедрение новых знаний и few-shot generalization. На обоих сценариях SEAL обходит классические подходы, где данные просто скармливаются модели «как есть» через fine-tuning или in-context learning. Цифры в статье впечатляют, особенно на continued pretraining, где self-edits дают заметный прирост по сравнению с обычным дообучением на синтетических данных от GPT-4.1.

Что это значит для рынка. Если идея self-adapting моделей закрепится, мы увидим сдвиг от «одна большая модель на всех» к персональным или корпоративным моделям, которые живут вместе с пользователем и постепенно подстраиваются под его данные, стиль и задачи. Это бьет одновременно и по чисто облачным игрокам, и по поставщикам RAG-инфраструктуры, потому что часть их функций уезжает внутрь самой модели.

Полезные ссылки для тех, кто хочет копнуть глубже:

Оригинальный пост Matt Dancho в X: https://x.com/mdancho84/status/2048726658622833121

Статья SEAL: Self-Adapting Language Models на arXiv: https://arxiv.org/abs/2506.10943

Сайт проекта с кодом и материалами: https://jyopari.github.io/posts/seal

Если резюмировать одной мыслью: SEAL это не очередной трюк с промптами, а попытка переизобрести то, как языковая модель вообще существует во времени. И если такая концепция действительно ляжет в основу следующих поколений GPT, то фраза «модель учится на лету» перестанет быть маркетинговым штампом и станет технической реальностью.