ИИ в сфере автоматизации ИТ- и ИБ-консалтинга

Искусственный интеллект и машинное обучение заметно меняют подход к автоматизации в ИТ- и ИБ-консалтинге, где на них возлагаются различные задачи: от выявления киберугроз и аномалий в корпоративных сетях до оптимизации внутренних процессов.

Попробуем сегодня честно и беспристрастно разобраться, где ИИ уже приносит реальную пользу и какие ошибки совершают компании при его внедрении, а заодно порассуждаем о том, как оценивать результат такого внедрения.

В последние несколько лет ИИ — а точнее, использование ML (машинного обучения) — проникает во всё большее число продуктов и практик в сфере информационной безопасности. Среди самых показательных примеров — PT Network Attack Discovery от Positive Technologies, где алгоритмы машинного обучения выявляют аномалии в сетевом трафике и автоматически блокируют подозрительную активность, и Kaspersky Anti-APT — сервис для обнаружения самых опасных на сегодняшний день целевых атак (Advanced Persistent Threat, APT), использующий ИИ для анализа трафика, состояния элементов инфраструктуры и поведения пользователей в корпоративных системах.

Основная сфера применения ML в ИБ — анализ сверхбольших массивов данных и выявление подозрительных паттернов. Это позволяет обнаруживать следы атак и отслеживать продвижение злоумышленников внутри инфраструктуры компании на самых ранних стадиях, когда классические методы, основанные на сигнатурах, ещё не успевают сработать.

Довольно перспективен и заслуживает особого внимания анализ активности пользователей. Собирая данные, такие системы формируют «цифровые портреты» сотрудников, фиксируя их рабочие привычки. Тогда любое отклонение от нормы, будь то вход в систему в нетипичное время, обращение к нехарактерным ресурсам или аномальный объём скачиваемых данных — может сигнализировать о взломе учётной записи или наличии внутренней угрозы. Схожие алгоритмы давно используются в банках для выявления подозрительных операций и блокировки скомпрометированных аккаунтов — с той лишь разницей, что в банковском секторе эти системы уже прошли многолетнюю «обкатку» на реальных данных.

Что касается «прекрасных маркетинговых обещаний», то так я оцениваю мифы о скором выводе на рынок полностью автономных решений, не требующих участия человека. В текущей реальности ИИ в ИБ — это инструмент «независимого второго мнения» и скорее средство сокращения времени реакции на угрозу, а не полная замена аналитика.

Благодаря громким заявлениям «адвокатов ИИ» и медийному шуму вокруг него многие руководители получают искажённое представление о реальных возможностях подобных инструментов и экономике их использования. Давайте подробнее остановимся на самых распространённых ошибках

Многие планируют проекты без реального понимания возможностей и, главное, существующих ограничений нейросетей. Да, технология развивается стремительно, но пока ещё она далека от совершенства. Неспециализированные облачные модели склонны к «галлюцинациям» — выдаче некорректных ответов или ссылок на несуществующие источники.

Помимо этого, у большинства моделей есть физическое ограничение длины контекста. Для LLM (больших языковых моделей) это, как правило, несколько десятков предыдущих сообщений, ибо модели требуется очень большой объём оперативной памяти, так что на «долгую память» ресурсов у неё попросту нет.

На практике это означает, что модель неплохо справляется со сложными функциями и интерфейсами, но не способна удержать в памяти весь проект целиком. Так что, в отличие от человека-разработчика, она не способна следовать единому архитектурному паттерну, что со временем создаёт проблемы с совершенствованием, обновление и даже производительностью ПО.

Большинство ИИ-инструментов построено на предиктивных алгоритмах, работающих с вероятностями. Даже хороший ML-алгоритм при предсказании оперирует вероятностями, которые часто не превышают 70%, а LLM при подготовке ответа опираются ещё и на такой параметр, как «уверенность в данных».

Таким образом, чем лучше модель обучена — причём желательно на ваших собственных данных — тем выше шанс получить точный или хотя бы близкий к ожидаемому результат. Если не контролировать точность предсказаний и не выстраивать механизм дополнительных проверок, количество ложноположительных результатов может оказаться неприемлемо высоким. Хорошая практика — запускать параллельную верификацию: второй алгоритм или даже контрольную выборку, которая независимо проверяет часть решений основной модели.

ИИ в ряде случаев превращается в весьма дорогую игрушку. Поэтому необходимо заранее, ещё на стадии MVP или PoC (этапе проверки концепции, когда продукт может существовать в виде полуавтоматического процесса) просчитать юнит-экономику, стоимость внедрения и поддержки. Иначе можно обнаружить, что для оптимизации процесса стоимостью 2 млн рублей в год будет потрачено 5 млн на внедрение, а поддержка обойдётся ежегодно ещё в 2 млн.

На примере внедрения ИИ из e-com сферы: компания заменяет обычный поиск по каталогу на облачный ИИ, один запрос к которому стоит всего 3–4 рубля, и кажется, что это недорого. Но если у вас тысячи пользователей, каждый из которых делает несколько поисков в день, то счёт за использование вырастет пропорционально нагрузке. Фиксированная лицензия на локальный модуль поиска за 20 000 рублей в месяц может легко превратиться в счёт на несколько миллионов.

Вывод простой: перед масштабным внедрением нужно обкатать экономику на пилоте с полуавтоматизированными процессами и проверить, в каком проценте случаев ИИ решает задачу правильно, каковы ROI и общий эффект от внедрения. И двигаться дальше можно только после того, как гипотеза об эффективности внедрения чётко подтверждена.

Когда ИИ-инструменты требуют доступа к чувствительным данным, мы рекомендуем иметь в виду следующее.

У использования ИИ есть своя светлая и своя тёмная сторона.

Положительный эффект заключается в том, что ИИ способен значительно ускорить работу с базой знаний и подготовку презентаций для клиентов, а также сократить рутинную нагрузку — например, автоматизировать первичный анализ документов, который обычно выполняют ассистенты или младшие специалисты. Это позволяет перераспределить время команды в пользу задач, требующих глубоко экспертного суждения, и тем самым повысить её эффективность.

Отрицательный эффект проявляется в том, что при работе с вероятностными алгоритмами проблема галлюцинаций никуда не девается. Любой результат работы ИИ требует строгой проверки — в том числе верификации источников. Показательна история адвоката Амира Мостафави, которого суд в Калифорнии оштрафовал на $10 тыс. за подачу документов с поддельными цитатами, сгенерированными ChatGPT. Апелляционная инстанция установила, что из 23 использованных цитат 21 была выдумана. В заявлении суда прямо сказано: ни один поданный документ не должен содержать цитат, которые адвокат лично не прочитал и не проверил. Аналогичные случаи уже есть и в отечественной практике: и суды, и штрафы со стороны регуляторов.

Вывод может быть только один: да, ИИ ускоряет процессы, но он не снимает профессиональную ответственность с компании, оказывающей услуги консалтинга, и конкретных её руководителей.

Пилоты проваливаются по предсказуемым причинам: завышенные ожидания, отсутствие чётких метрик, неверная оценка стоимости, плохо сформулированные гипотезы и общая низкая зрелость бизнес-процессов. Одной из самых характерных ошибок является случай, когда ИИ внедряется в качестве «заплатки» на конкретном этапе, без надлежащего реинжиниринга процессов в целом. В результате хаос не устраняется, а… автоматизируется.

Чтобы этого избежать, успех проекта нужно измерять заранее согласованными критериями.

Если все пять метрик подтверждены на пилоте — можно идти в продакшен.

👉 Если вы интересуетесь темой кибербезопасности, подписывайтесь на мой канал!