Кирилл Загоскин

+706
с 2021
3 подписчика
30 подписок

Спасибо коммунистическому Китаю, что за 0 рублей отдает модели и подрывает Антропик, ОпенАИ и прочих ребят с их бизнесами!

Забавно видеть "у Apple всё упущено в области ИИ", когда их самый мощные маки могут предоставлять перфоманс на уровне h200, но стоить чуть дороже 5090 для открытых моделей. И при этом вы имеете полноценный laptop, а не просто железку

(оговорка конечно в контексте локальных моделей для одно / пары пользователей, не вопрос про массовых пользователей на уровне сервера)

5

Скорее из-за их монополии на CUDA и сильный профилировщик на их железо - привел к тому, что в мире большой дефицит GPU/TPU вычислений, но инференс можно тащить на CPU железе, но для этого его надо держать в оперативной памяти горячим - и это получается в 5-10 раз дешевле, но и инференс медленнее в 5-10 раз. Вот поэтому чтобы не улучшать отчетность NVIDIA и не делать ее 10 трлн компанией, мы живем без железа.