Илон Маск заявил, что xAI обучает модель на 10 трлн параметров на суперкомпьютере Colossus 2

Глава Tesla Илон Маск рассказал в посте в X, что мощности дата-центра Colossus 2 используют для обучения одновременно семи моделей xAI. Среди них Imagine V2 для генерации изображений и видео, две модели на 1 трлн параметров, ещё две на 1,5 трлн, а также «крупные» версии на 4,6 трлн и 10 трлн параметров (переменных для настройки, которые есть в распоряжении модели).

«Ещё кое-что нужно наверстать», — написал предприниматель. В ноябре 2025 года Маск заявлял, что Grok 5 получит 6 трлн параметров и выйдет в 2026 году.

OpenAI, Google и Anthropic не раскрывают точное число параметров своих закрытых моделей, но некоторые исследователи оценивают размер продвинутых версий, в том числе Gemini 3 Pro, в 1 трлн параметров.

У модели Claude Mythos от Anthropic, которой нет в общем доступе, по слухам, около 10 трлн параметров. Об этом пишут разработчики, которые читали утекшие черновики с сайта компании. Стартап тогда подтвердил, что разрабатывает свою самую крупную модель, но точных данных не привёл. Доступ к файлам ограничили.

В 2024 году xAI запустила первый кластер Colossus в штате Теннесси. Первой моделью, которую на нём обучали, была Grok 3. В 2025 году построили Colossus 2 — более крупный дата-центр площадью 92 тысячи км², который называли первым в мире кластером на 1 ГВт. В нём на июль 2025 года было 550 тысяч чипов.