⚙️🧠 Google разделила свои ИИ-чипы на два вида — и вот зачем

Google представила восьмое поколение своих TPU — и на этот раз решила не делать один универсальный процессор, а выпустить сразу два узкоспециализированных: TPU 8t для обучения моделей и TPU 8i для инференса.

TPU 8t отвечает за обучение моделей — грубо говоря, за то, чтобы ИИ «учился». Здесь ставка на масштаб и надёжность: кластеры до 9 600 чипов, 2 петабайта общей памяти и 97% времени железо реально занято делом, а не устраняет собственные сбои. TPU 8i решает другую задачу — отвечает на запросы пользователей и гоняет агентов. Для этого нужна не мощь, а скорость реакции: больше памяти прямо на чипе, значительно меньше внутренних задержек и новая сетевая архитектура Boardfly, которая сокращает путь данных между чипами — это особенно важно, когда десятки агентов работают параллельно и постоянно обмениваются информацией.

Оба чипа впервые работают на собственных ARM-процессорах Google — Axion. Это позволяет компании контролировать весь стек от хоста до ускорителя, не завися от Intel или AMD в части хостовой логики. Энергоэффективность выросла вдвое по сравнению с предыдущим поколением (Ironwood), поддерживается работа с JAX, PyTorch, SGLang и vLLM — без накладных расходов виртуализации, на голом железе.

Доступность — позднее в этом году через Google AI Hypercomputer.

Google наконец признала то, что инженеры знали давно: обучение и инференс — это два принципиально разных режима нагрузки, и пытаться закрыть оба одним чипом — компромисс ради маркетинга. Теперь компромисс убрали. Осталось дождаться, когда это всё станет доступно не только тем, кто может себе позволить суперпод на 9 600 чипов.

Подписывайтесь на Telegram PromtScout.