Все помешались на больших языковых моделях. Разбираем, что с ними не так

Альфа-Банк объясняет, где эти модели дают эффект, а где стоит выбрать другие ИИ-решения.

Есть такая подмена понятий: «мы внедряем ИИ» часто означает «мы подключили LLM» — большую языковую модель (Large Language Model). Именно на них работают популярные «умные» чат-боты вроде ChatGPT, DeepSeek, Qwen. Но на самом деле искусственный интеллект не ограничивается большими языковыми моделями. Их повсеместное распространение привело к тому, что компании могут использовать LLM даже для тех задач, которые лучше поручить другому типу нейросетей или классическим моделями машинного обучения.

Рассказываем, почему все помешались на LLM, как прагматично подойти к выбору технологии и почему в Альфа-Банке на большие языковые модели приходится менее 20% ИИ-решений.

Главный плюс больших языковых моделей и причина их популярности — универсальность. Если раньше под каждый процесс нужно было разрабатывать свою специфическую модель, сегодня одна LLM закрывает сразу множество задач как в бизнесе, так и в повседневной жизни людей. Получить развёрнутый ответ на вопрос, обобщить данные и создать приложение в одном окне с помощью простых промптов — обычное дело. Поэтому LLM ошибочно воспринимают как решение «для всего».

Секрет в том, что LLM работают через текст, а это привычный для нас способ общения. Чтобы попробовать решить задачу, её достаточно описать словами.

Несмотря на свою многозадачность, большие языковые модели выполняют только часть функций искусственного интеллекта — их возможности далеко не безграничны.

Если систематизировать ИИ-технологии по типу данных, с которыми они работают, можно выделить тексты, изображения, аудио, табличные данные и многие другие. LLM во всём этом многообразии работает только с текстами.

Другое деление — по типу задач. Среди них: классификация, регрессия, кластеризация, прогнозирование, скоринг, ранжирование — и генерация, которой занимаются большие языковые модели (хотя и не только они). Остальные задачи LLM напрямую не решают, хотя и могут это делать опосредованно, превращая в задачи генерации.

Если смотреть в разрезе архитектур, алгоритмы обычно делят на два типа: статистические, к которым относятся традиционные модели машинного обучения (ML), и нейросети, которые включают в себя LLM, — но не только их.

Понятие нейросетей не ограничивается LLM. Например, за задачи компьютерного зрения, такие как распознавание лиц, детекция объектов на производстве или медицинская диагностика по снимкам, отвечают другие типы нейросетей. Отдельно стоят и генеративные модели для создания изображений, видео, звука. Даже для специализированной работы с текстом, например, быстрых ответов на типичные запросы, «лёгкие» нейросети, технологически построенные не на LLM, могут оказаться эффективнее.

Опыт Альфа-Банка показывает, что сила LLM — в автоматизации массовой работы с текстовой информацией. Это ускорение разработки — от copilot-решений для работы с кодом до автотестов и создания документации, — а также поддержка клиентов через чат-боты и помощь специалистам контактного центра, анализ документов и работа с внутренними базами знаний, ассистенты для бизнеса и юристов, генерация контента в маркетинге.

В то же время для задач прогнозирования и аналитики — от кредитного скоринга до рекомендательных систем — больше подходят классические вероятностные ML-модели, такие как градиентный бустинг.

Когда нужно выбрать класс, посчитать вероятность или ранжировать варианты, часто выигрывают ML-модели. Со многими задачами они справляются быстрее, точнее и обходятся несопоставимо дешевле. Кроме того, у моделей машинного обучения прозрачная логика принятия решений. Это важно, когда по закону нужно использовать только интерпретируемые модели — для таких случаев LLM не подойдёт.

Со стороны большие языковые модели могут казаться безоговорочно удачной инвестицией: внедрил — вводишь промпты — получаешь результат — ускоряешь процессы. Но в реальности всё сложнее.

Экономический смысл любой автоматизации, в том числе с помощью ИИ, появляется только при больших объёмах работы. Можно провести аналогию с производством мебели: в маленьких мастерских не ставят конвейеры, потому что они не окупятся.

Так и с LLM: часть задач решаются с помощью промпта, но при усложнении бизнес-логики мы обычно упираемся в необходимость дообучать и настраивать модели. Это не разовый, а постоянный процесс: нужно или нанимать команду дата-сайентистов, которые сейчас в дефиците, либо обращаться к подрядчикам.

Кроме того, когда важна безопасность данных, LLM разворачивают на собственном «железе» — это требует вложений в вычислительную инфраструктуру. В отличие от классических ML-моделей, которые могут работать на относительно недорогих CPU (центральное процессорное устройство, по сути «мозг» любого устройства вроде смартфона или компьютера), для LLM понадобятся мощные видеокарты (GPU), стоимость которых исчисляется сотнями тысяч и миллионами рублей. Альтернативный путь — использовать API и платить за каждый запрос, но часто это невозможно юридически: из-за использования персональных данных система должна находиться в контуре компании.

В задачах, где важен отклик в режиме реального времени, специализированные ML-модели могут оказаться быстрее без ущерба качеству — даже если на рынке аналогичные решения принято отдавать на откуп LLM.

Например, в Альфа-Банке есть система, которая подсказывает специалистам контактного центра ответы прямо во время телефонного разговора с клиентом. И работает она на ML-модели.

Универсальность LLM заканчивается там, где начинаются специфические задачи. Заточенные именно под них ML-модели или небольшие нейросети нередко дают лучший результат.

Пример такой задачи — выделение именованных сущностей из текста, необходимое для автоматического заполнения форм, извлечения из документов юридических данных или медицинских терминов. Эта задача отлично решается стандартной моделью для разметки последовательностей. Причем LLM по бенчмаркам или показывает себя хуже, или выдает те же результаты, но с неоправданно высокими расходами. Это может быть оправдано PR-задачами или желанием разработчиков попробовать новую технологию, — но не бизнес-целями.

Альфа задаёт стандарты финтеха в области искусственного интеллекта, придерживаясь при этом правила: считать деньги и не внедрять технологии ради следования трендам. Именно поэтому на большие языковые модели здесь приходится менее 20% ИИ-решений — там, где они приносят максимальный эффект и экономически выгодны. Для остальных задач используют традиционные модели. А чтобы найти идеальный баланс, в банке комбинируют технологии.

Например, чат-бот поддержки первой линии работает на модели классификации — небольшой нейросети, которая анализирует сообщение и определяет тип запроса пользователя. В отличие от LLM, она не генерирует текст, зато работает быстрее, с хорошим качеством и без видеокарт, что экономичнее. На первой линии это критически важно: именно сюда поступает самое большое количество обращений.

Когда классификационная модель не справляется, в дело вступает чат-бот второй линии — уже на LLM. Затем, если нужно, к диалогу подключается специалист, который тоже работает в паре с ИИ. Отвечать быстро и точно сотрудникам поддержки помогает виртуальный ассистент «Альфа-помощник: оператор». В основе этой системы несколько моделей:

Маршрутизатор — классификатор, который анализирует историю общения клиента с чат-ботом и направляет запрос не к любому свободному оператору, а к тому, который обладает максимальной компетенцией по теме. Так вопрос решается быстрее, а довольных пользователей становится больше.

Подборщики шаблонов и «золотых ответов» — классификаторы, предсказывающие, какой из ответов подойдёт лучше всего. Если запрос базовый, срабатывает рекомендация шаблонов с короткими понятными ответами. Более специфичные обращения покрывает модель «золотых ответов», уже получивших высокие оценки пользователей. Кроме экономии времени, такие подсказки помогают специалистам придерживаться единого стиля общения, принятого в банке.

LLM — срабатывает для нестандартных запросов, где нужен креатив и персонализация. Даёт более гибкий ответ, опираясь на внутреннюю базу знаний банка (благодаря RAG).

Каждая модель «Помощника» отвечает за определённый сегмент запросов: они не пересекаются и дополняют друг друга, работая в синергии. По итогам 2025 года этот подход позволил существенно сократить среднее время ответа специалистов. Качество решения вопросов при этом осталось на прежнем уровне: показатель удовлетворенности клиентов не просел.