OpenAI опубликовала отчёт о злоупотреблениях ChatGPT: преступники используют ИИ для мошенничества и фишинга
Компания OpenAI опубликовала новый 37-страничный отчёт о попытках злоупотребления ChatGPT. Документ описывает десятки случаев, когда преступные группы, государственные структуры и организованные сети пытались использовать языковые модели для мошенничества, кибератак и политического влияния.
В отчёте подчёркивается, что искусственный интеллект редко используется злоумышленниками сам по себе. Обычно он становится частью более широкой схемы, где сочетаются социальные сети, сайты, мессенджеры и другие инструменты. Однако ИИ заметно ускоряет многие операции и снижает стоимость их масштабирования.
Один из наиболее показательных примеров — масштабная сеть романтических мошенничеств. Организаторы использовали ChatGPT для генерации персонализированных сообщений и поддержания длительных переписок с жертвами. В одном из выявленных случаев преступники из Камбоджи создавали фальшивое элитное агентство знакомств, общались с мужчинами из Индонезии через Telegram и убеждали их переводить деньги через криптовалютные кошельки.
В другом эпизоде злоумышленники построили целую инфраструктуру «мошенничества как сервиса». С помощью ChatGPT они переводили сценарии обмана на японский язык, создавали поддельные вакансии и готовили тексты для SMS-сообщений, которыми выманивали деньги у жертв.
Отдельная группа случаев связана с государственными структурами и хакерскими кампаниями. В отчёте говорится, что аккаунты, связанные с Китаем, Ираном и Северной Кореей, использовали ChatGPT для разведки целей, подготовки фишинговых писем и анализа технической информации.
Некоторые операции носили политический характер. OpenAI обнаружила, что один оператор запускал кампании влияния одновременно в нескольких странах, публикуя контент на Facebook, Instagram и X. Ещё один аккаунт, связанный с китайскими структурами, использовал ChatGPT для подготовки материалов, направленных на дискредитацию японского политика после его критики ситуации с правами человека в Монголии.
Во многих случаях ChatGPT отказывался выполнять прямые запросы, нарушающие правила. Однако злоумышленники пытались обходить ограничения — например, маскируя вредоносные задачи под академические или технические вопросы, либо разбивая операции на несколько этапов.
OpenAI подчёркивает, что ИИ пока не даёт преступникам принципиально новых возможностей. Большинство обнаруженных операций основаны на давно известных схемах — мошенничестве, фишинге или пропагандистских кампаниях. Разница в том, что с помощью генеративных моделей такие операции можно запускать быстрее, дешевле и на гораздо большем масштабе.
В компании отмечают, что подобные отчёты публикуются именно для того, чтобы исследователи, платформы и правительства лучше понимали, как злоумышленники начинают встраивать искусственный интеллект в существующие преступные схемы.