World Models: риал-тайм AI гейминг не за горами
Только недавно геймеры горели от NVIDIA DLSS — AI дорисовки деталей поверх запущенных игр, которая вносила много кринжа в оригинальную эстетику игр. Но хоронить AI в играх не то что рано — все ровно наоборот — это только начало!
Сразу несколько компаний работают над AI генерацией игровых миров. То есть речь уже не о дорисовке деталей, а о генерации мира налету. И здесь есть несколько подходов, которые борются за жизнь.
Первый — тяжелый
Генерация 3D миров. Этим занимается, например, Worldlabs с их решением Marble — я о нем писал ранее. Главная проблема — подход очень тяжеловесный и пока что сырой. Это больше инструмент для разработчика игр, чтобы сократить цикл разработки. Да и про генерацию налету тут сложно говорить. Ибо вычислений требуется очень много.
Второй — нестабильный
Генерация картинки мира по мере движения камеры персонажа. То есть мир создаётся только там, куда смотрит в моменте юзер.
Но во втором подходе тоже не все гладко.
Во-первых, консистентность мира. В основе подхода лежит генерация видео. Поэтому как только камера юзера отворачивается от сцены — сцена навсегда перестает существовать. Когда юзер туда поворачивается в следующий раз — сцена генерируется с нуля. А значит она будет скорее всего существенно отличаться от своей первой версии.
Во-вторых, физика. Движение и действия персонажей в играх всегда сопряжены с реалистичной (а иногда не очень) физикой. Поэтому генерация игра требует от ИИ понимать как работает гравитация, тяжесть объектов, их изменение в динамике, отражения и тд.
В-третьих, все это нужно уметь генерить быстро и эффективно. В идеале — на устройстве юзера.
Так вот решением этих проблем занимаются генеративные world модели ☀
- Фаворит в этой гонке сейчас — Google Genie 3. По качеству реализации топ. Но модель тяжеловесная и точно не для юзерского железа. Потестить ее могут только подписчики Ultra AI подписки гугла, находящиеся в США
- В конце прошлого года Runway представили GWM-1. Принцип тот же, что и у Genie. Отличается высокой реалистичностью миров. Но открытых демок потыкать вообще нет
- Примерно тогда же и Tencent выпустили HY World 1.5. И что примечательно, в лучших традициях, модельку сделали опенсорсной! Выглядит очень неплохо
- Еще один интересный проект — новая Waypoint 1.5 от Overworld. По визуальному качеству сильно хуже предыдущих ребят, но! Фишка в том, что это первая модель для локального использования прямо на ПК юзера. Да, пока нужна мощная видеокарта, но это уже карта бытового уровня! На видео к посту "геймплей" из анонса как раз этой модели. Скорее всего видос ускорен
- Немного особнячком стоит Oasis. Здесь ребята пошли не вширь, а вглубь. Они обучили модель чисто на Minecraft. Но она позволяет уже не просто ходить и прыгать. Там полноценно есть инвентарь. Можно строить объекты, копать текстуры и тд. То есть это уже настоящая игра! Все также генерируется в реальном времени!
Что дальше?
DLSS от NVIDIA — лишь первая искра применения риал тайм генераций в играх. Со временем мы получим достраивание элементов игрового мира находу. А потом и целые сгенерированные локации, уровни и даже миры!
Придет это к нам все сильно быстрее, чем кажется. Ведь за развитием технологии стоит далеко не только игровой бизнес. В технологии заинтересованы разрабы робототехники — в таких симулированных мирах они тренируют ИИ, который потом управляет реальными роботами в реальном мире. А значит в эту технологию вольют ооочень много денег. Ловите на слове.
Ну а мы с вами сможем испытать абсолютно новые эмоции от игр, где виртуальный мир будет подстраиваться под игроков налету.
Подписывайтесь на Telegram Заместители.