Стратегический подбор моделей: Как тестирование 11 LLM сэкономило $200K+ в год

Меня зовут Игорь Масленников. Я управляю компанией DNA IT — традиционной IT-компанией с ~20 специалистами. Но последние 2 года активно развиваю отдельное направление — AI Dev Team.

Реальность такова: всё больше клиентов выбирают AI-подразделение вместо традиционных команд. Почему? Быстрее (1-2 недели vs 2-3 месяца), дешевле (-80% стоимости), лучше качество (автоматизированные проверки).

Сегодня расскажу про один из наших проектов — генерацию образовательных курсов с помощью AI. И про то, как мы протестировали 11 моделей языковых моделей (LLM), чтобы снизить операционные расходы на 64% — с $26,300 до $9,500 в месяц. Это $201,600 экономии в год.

Когда мы запускали систему генерации курсов, первая версия работала на одной модели — Kimi K2 Thinking. Топовая модель, отличное качество (9.6/10), но цена кусалась: $2.63 за 500 генераций.

При объёме 10,000 генераций в месяц получалось $26,300/месяц или $315,600/год. Для стартапа это убийственные цифры.

Варианта два:

Мы выбрали второй путь.

Вместо того, чтобы просто переключиться на "дешёвую" модель и надеяться на лучшее, мы провели систематическую оценку.

Метод:

Критерии оценки:

Цель: найти оптимальный баланс между качеством и ценой для каждой задачи.

Миф: самая дорогая модель даёт лучшее качество.

Реальность:

Разница: всего 1.0 балл (10% качества) при 3.75x разнице в цене.

Бизнес-решение: Использовать Qwen3 для 70% трафика. Да, качество чуть ниже. Но клиенты не заметят разницу между 8.6 и 9.6, зато мы экономим миллионы в масштабе.

ROI-логика:

Миф: одна "лучшая" модель подходит для всех задач.

Реальность:

Почему так происходит?

Каждая модель обучалась на разных датасетах с разными акцентами:

Бизнес-решение: Маршрутизация по типу задачи, а не one-size-fits-all.

Стратегия роутинга:

IF задача == "метаданные курса (русский)" → Qwen3 235B

IF задача == "уроки (русский)" → MiniMax M2

IF задача == "метаданные (английский)" → Grok 4 Fast

IF задача == "критичная по качеству" → Kimi K2 (премиум)

Результат: Каждая модель работает там, где она сильнее всего. Это как нанимать специалистов вместо одного "универсального" сотрудника.

Проблема: как сравнивать модели, если одна дешевле, но хуже, а другая дороже, но лучше?

Решение: метрика качество на доллар (quality per dollar).

Формула: Качество (0-10) / Стоимость ($)

Рейтинг моделей:

Инсайт: Qwen3 даёт 3.3x больше качества на каждый потраченный доллар, чем Kimi K2.

Бизнес-решение: Оптимизировать под quality/$, а не под абсолютное качество.

Практика:

Результат: средневзвешенная стоимость $0.94/генерация при сохранении 94% качества премиум-модели.

Вместо одной модели мы используем стратегический микс:

70% — Qwen3 235B Thinking ($0.70)

Основная рабочая лошадка. Достаточное качество, минимальная цена.

15% — Kimi K2 Thinking ($2.63)

Премиум-качество для критичных задач (финальная генерация, сложные курсы).

10% — Grok 4 Fast ($0.56)

Специалист по английским метаданным. Быстро + дёшево + качественно.

5% — MiniMax M2 ($1.67)

Специалист по русским урокам. Идеальная работа с русским языком.

Средневзвешенная стоимость: $0.94/генерация (64% экономии vs 100% Kimi K2)

Расчёт:

Качество: 94% от премиум-модели (8.6/10 средневзвешенное vs 9.6/10 Kimi K2)

Trade-off: жертвуем 6% качества, получаем 64% экономии. ROI очевиден.

Почему конкуренты не могут просто скопировать наш подход?

Наша инфраструктура оценки включает:

Конкуренты не могут повторить наше преимущество без:

Барьер входа: высокий. Это не "просто переключиться на дешёвую модель". Это система, построенная на данных.

Конкурентный ров: глубокий. Чтобы повторить, нужно инвестировать время, деньги и экспертизу. А мы уже на шаг впереди и продолжаем оптимизировать.

Инвестиции:

Экономия:

Но это ещё не всё.

Альтернативный расчёт (vs 100% Qwen3 Max — ещё дороже):

ROI vs Qwen3 Max: 74x (первый год)

Постоянное преимущество: Экономия НЕ разовая. Каждый год мы экономим $201,600+, а конкуренты платят полную цену.

До оптимизации:

После оптимизации:

Сравнение:

Масштабирование: При росте до 50,000 генераций/месяц:

Чем больше масштаб, тем больше экономия. Это постоянное конкурентное преимущество.

$500 инвестиций (API-вызовы) → $201,600 годовой экономии = 403x возврат инвестиций.

Даже если учитывать инженерное время ($5,500 полных затрат), ROI = 36x.

Qwen3 (12.3 quality/$) vs Kimi K2 (3.7 quality/$) = 3.3x больше качества на каждый доллар.

Это не просто "дешевле". Это эффективнее.

Не "одна модель для всего". 4 модели, каждая на своём месте:

Как нанимать специалистов вместо универсалов.

Trade-off: 6% качества → 64% стоимости.

Это не "пожертвовали качеством ради денег". Это "нашли точку оптимума, где клиенты не видят разницы, а мы экономим миллионы".

120+ API-вызовов, 11 моделей, система валидации качества, логика маршрутизации.

Конкуренты НЕ могут просто скопировать. Нужна инфраструктура, экспертиза, данные.

Барьер входа: высокий. Конкурентное преимущество: устойчивое.

Не верьте маркетинговым заявлениям. Протестируйте сами:

Инвестиции: $500 + 2 недели Возврат: $200,000+/год

Не ищите "самую дешёвую" или "самую качественную" модель. Ищите лучшее соотношение качество/цена для каждой задачи.

Формула: Качество (0-10) / Стоимость ($)

70% базовая модель (достаточное качество, минимальная цена) 15% премиум-модель (критичные задачи) 10-15% специализированные модели (конкретные задачи)

Не "одна модель для всего". Правильная модель для правильной работы.

Каждая модель сильна в чём-то своём. Используйте эту специализацию:

Система тестирования и валидации качества — это НЕ разовая работа. Это постоянный актив, который создаёт барьер для конкурентов.

Постройте её один раз, пользуйтесь годами.

Я понимаю, что эта статья вызовет критику со стороны разработчиков и AI-энтузиастов. "Зачем так сложно?", "Можно просто взять Claude 3.5 Sonnet и не париться", "Это преждевременная оптимизация".

Моя позиция: это реакция скорее страха вперемешку с высокомерием, чем техническая критика.

Страх: "Если AI может генерировать курсы, что будет с моей работой методиста/преподавателя?" Высокомерие: "Только люди могут создавать настоящие курсы, AI — это игрушка."

Реальность: AI не заменяет хороших методистов. Он их усиливает. Наша система — это не про замену людей. Это про снижение стоимости рутинной генерации контента с $1,000 (человек-дизайнер, 2 недели работы) до $0.30-0.40 (AI, 3 минуты).

Методисты остаются нужны для:

Если не согласны — ок. Протестируйте сами 11 моделей, соберите данные, потом скажите, где я ошибаюсь. Я предпочитаю технические аргументы эмоциональным реакциям.

Канал: https://t.me/maslennikovigor

Личный контакт: https://t.me/maslennikovig Нужно поговорить? Пишите напрямую. Всегда рад общению.

Каналы для фидбека:

Если вы:

Попробуйте повторить наш подход:

Инвестиции: $300-500 + 1-2 недели Ожидаемый возврат: 30-50x ROI за первый год

Вопросы? Пишите в Telegram: https://t.me/maslennikovig

P.S. Если эта статья была полезна — поделитесь с коллегами. Чем больше людей оптимизируют AI-расходы, тем быстрее индустрия станет эффективнее.

P.P.S. Все данные в статье — реальные. Проект работает в продакшене 6+ месяцев, обработал 50,000+ курсов. Это не теория, это практика.