Запущен российский API-шлюз для LLM KodikRouter

Сейчас многим IT-проектам требуется обращаться к разным ИИ-моделям от разных производителей. Шлюзы упрощают эту задачу, но при их использовании из России можно столкнуться с региональными ограничениями, поэтому мы создали KodikRouter.

Многие приложения обращаются к сторонним LLM. Например, мы сами делаем редактор кода Kodik. В нём пользователь может поставить кодинговую задачу хоть GPT, хоть DeepSeek, хоть многим другим моделям, легко переключаясь между ними в одном интерфейсе.

Чтобы приложение обращалось к ИИ-модели, его разработчики могут использовать официальный API от создателей этой модели. Но если требуется поддержать сразу много моделей (как в Kodik), для создателей приложения всё усложняется: требуется подключить его сразу ко многим API нейросетей от разных компаний и платить каждой отдельно за использование её модели.

Гораздо удобнее не разбираться по отдельности c Gemini API, DeepSeek API, Qwen API и так далее, а подключить систему к одному API и все запросы отправлять туда (указывая в каждом, какая именно модель должна ответить). Такую роль и выполняют шлюзы.

Самый известный из них — OpenRouter, и недавно появлялись новости, что доступ к нему из России усложняется. Будущее развитие событий неизвестно, но нужно будет готовым к ограничениям.

При работе над Kodik мы уже сами разбирались с доступом к разным LLM API, а теперь увидели, что этот вопрос актуален и для других российских разработчиков. Поэтому запускаем KodikRouter: он не удаляет российские аккаунты, принимает оплату в рублях и обладает русскоязычной поддержкой.

Через KodikRouter на запуске проекта доступны около 400 моделей (полный список можно увидеть на сайте). В их числе флагманские: как закрытые (Claude, GPT, Gemini), так и открытые (DeepSeek, Kimi, Qwen).

Оплата без подписок: тарифицируется только использование по токенам. KodikRouter добавляет наценку 10% к стоимости токенов от провайдера модели. Для крупных компаний возможны индивидуальные условия.

Помимо маршрутизации, сервис может автоматически находить и маскировать персональные данные до отправки их в модель, а затем восстанавливать оригинальные значения в ответах. Это соответствует требованиям 152-ФЗ. Маскирование персональных данных не требует отдельной оплаты.

Кроме основного использования по API, доступен также режим Playground, позволяющий отправлять сообщения моделям на сайте KodikRouter. В нём доступны как стандартные параметры LLM вроде температуры, так и менее стандартное поле «Extractions»: оно показывает, какое именно обезличивание персональных данных происходит при их вводе. Так что, если до «основного применения» хочется разобраться, для начала удобен этот режим.

Проект использует OpenAI-совместимый API, то есть поддерживает стандарт, который широко используется в индустрии. Поэтому для перехода на KodikRouter с любого совместимого решения достаточно изменить значение поля baseURL и указать новый ключ API.

Сервис позволяет в случае недоступности определённой модели автоматически переключаться на «запасную». В запросе можно передать сразу несколько названий моделей, и по умолчанию будет использована первая из них, но при ошибке произойдёт переход далее по списку.

Также KodikRouter поддерживает возможности мультимодальных моделей вроде использования изображений. Например, можно разместить отдельно файл с изображением, а в промпте для соответствующей модели передать ссылку на него и вопрос «Что здесь изображено?»

По умолчанию ответы на промпт возвращаются как цельный JSON, но можно переключиться в stream-режим и получать поток событий data: в формате Server-Sent Events с Content-Type: text/event-stream.

Другие подробности есть на сайте KodikRouter: и техническая документация, и полный список доступных сейчас моделей. Сервис уже запущен, так что уже можно вместо множества API нейросетей пользоваться им.

И напомним, что основной наш продукт — редактор Kodik. При регистрации в нём даётся стартовый набор кредитов для использования LLM, так что попробовать можно бесплатно.