КиберЩит
GPT-Red: ИИ-пентест для нейросетей — 84% успеха против 13% у людей
📋 Кратко
OpenAI представила GPT-Red — специализированную модель для автоматизированного red teaming, которая в тестах показала эффективность 84% при поиске уязвимостей prompt injection, тогда как у людей-пентестеров этот показатель составил лишь 13%. Система использует self-play reinforcement learning: GPT-Red одновременно учится атаковать, а защищающиеся модели — отражать атаки. Уже интегрирована в обучение GPT-5.6 Sol, сократив количество уязвимостей в 6 раз по сравнению с GPT-5.5.
В июле 2026 года OpenAI опубликовала детали GPT-Red — внутренней системы автоматизированного red teaming, которая способна находить уязвимости в языковых моделях с эффективностью, недоступной человеку. По данным компании, GPT-Red успешно атакует модели в 84% сценариев, тогда как профессиональные пентестеры справляются лишь в 13% случаев. Эта разработка знаменует переход от ручного тестирования безопасности ИИ к масштабируемому, автоматизированному подходу, где одна нейросеть охотится за слабостями другой.
Особую важность GPT-Red приобретает на фоне стремительного распространения агентных систем — моделей, которые получают доступ к браузеру, файловой системе, сторонним API и могут выполнять действия от имени пользователя. Каждый такой инструмент расширяет поверхность атаки, и традиционные методы тестирования перестают справляться с масштабом. GPT-Red решает эту проблему, действуя как неутомимый пентестер, работающий 24/7.
🎯 Что такое GPT-Red и зачем он нужен
GPT-Red — это специализированная языковая модель, созданная исключительно для тестирования безопасности других ИИ-систем. В отличие от универсальных моделей, GPT-Red оптимизирован для одной задачи: найти способ заставить целевую модель выполнить вредоносное действие через prompt injection. Компания OpenAI описывает его как «сильного red-teamera», подчёркивая, что предыдущие версии их моделей крайне уязвимы к его атакам.
Необходимость в таком инструменте возникла не на пустом месте. По мере того как языковые модели получают всё больше агентных возможностей — подключение к внешним сервисам, выполнение кода, работа с документами и браузером — растёт и количество векторов атак. Злоумышленник может внедрить вредоносную инструкцию в электронное письмо, веб-страницу, ответ инструмента или репозиторий кода. Модель, доверяющая этим данным, рискует выполнить атаку, даже не осознавая этого.
GPT-Red решает задачу масштабирования red teaming: там, где человек может провести десятки тестов в день, ИИ-пентестер проводит тысячи, постоянно адаптируясь к новым механизмам защиты. Как заявили в OpenAI, «GPT-Red создан, чтобы дополнять human red-teaming в масштабе, позволяя выявлять новые классы отказов, улучшать устойчивость и строить контрмеры до развёртывания моделей».
🛠️ Как работает GPT-Red: самообучающийся red team
В основе GPT-Red лежит метод self-play reinforcement learning — самообучение через игру. Процесс организован как соревнование между атакующей и защищающейся сторонами:
- Атакующая модель (GPT-Red) — получает вознаграждение за каждую успешную атаку. Её задача — найти способ заставить целевую модель выполнить запрещённое действие, будь то кража данных, изменение настроек или выполнение вредоносного кода.
- Коллекция защищающихся моделей — разнообразные LLM, которые обучаются отражать атаки. Каждая из них штрафуется за «успешное» выполнение вредоносной инструкции и получает награду за сохранение исходного поведения.
Процесс обучения итеративный: GPT-Red отправляет промпт, наблюдает за ответом модели и корректирует стратегию. Как только защитники становятся неуязвимыми к текущим методам атак, GPT-Red вынужден изобретать новые, более изощрённые способы обхода защиты. Это создаёт бесконечную гонку вооружений, которая в итоге делает конечную модель значительно устойчивее.
Важная деталь: GPT-Red изолирован от производственных моделей. OpenAI специально подчёркивает, что вредоносные способности, развитые в ходе обучения, не должны попасть к злоумышленникам. Сама система GPT-Red физически и логически отделена от GPT-5.6 Sol и других публично доступных моделей.
В число тестовых сценариев, отрабатываемых GPT-Red, входят:
- Кража внутреннего каталога файлов (directory exfiltration)
- Формирование мошеннических платёжных инструкций
- Кража учётных данных AWS (AWS credential exfiltration)
- Отключение двухфакторной аутентификации
- Загрузка файлов с учётными данными на внешний сервер
- Внедрение внешних скриптов
- Пересылка API-ключей
- Запуск вредоносных скриптов-скрейперов
📊 Результаты: 84% против 13% — цифры и реальные кейсы
Сравнение эффективности GPT-Red и людей-пентестеров проводилось на наборе сценариев косвенного prompt injection. В тестах GPT-Red превзошёл человека по всем метрикам: 84% успешных атак против 13% у профессиональных red-team-специалистов. При атаках на GPT-5.1 разрыв был ещё более впечатляющим — GPT-Red демонстрировал успех в большем числе сценариев, чем любая группа людей-тестировщиков.
Однако OpenAI не ограничилась лабораторными тестами. Компания провела два показательных эксперимента в реальных условиях:
Кейс 1: Вендинговый аппарат на ИИ. Целью стала AI-система управления торговым автоматом, разработанная стартапом Andon Labs. GPT-Red, предварительно «потренировавшись» в симуляции, последовательно добился трёх целей: снизил цену дорогого товара до минимально разрешённых $0,50, заказал новый товар стоимостью $100 за ту же сумму и отменил заказ другого клиента. После ответственного разглашения (responsible disclosure) были запущены новые средства защиты.
Кейс 2: Codex CLI-агент. GPT-Red атаковал командного агента на базе GPT-5.4 mini в 10 задачах на кражу данных. В тестах GPT-Red добился утечки конфиденциальных данных в большем числе случаев, чем обычная промптированная GPT-5.5. Это наглядно демонстрирует, что даже продвинутые модели остаются уязвимыми, если их целенаправленно тестировать.
🔬 Fake Chain-of-Thought и новые классы атак
Одно из самых значимых открытий, сделанных GPT-Red, — это новый класс атак, получивший название Fake Chain-of-Thought (Fake CoT). Атака эксплуатирует механизм «цепочки рассуждений», который модели используют для пошагового решения задач. GPT-Red обнаружил, что можно заставить модель сгенерировать поддельную цепочку рассуждений, которая приводит к выполнению вредоносной инструкции, маскируя её под легитимный процесс.
Эффективность Fake CoT-атак на GPT-5.1 превышала 95%. После интеграции GPT-Red в процесс обучения GPT-5.6 Sol этот показатель удалось снизить до менее чем 10% — впечатляющий результат, подтверждающий ценность подхода.
Кроме того, GPT-Red помог «насытить» несколько бенчмарков косвенного prompt injection, добившись точности более 97% в обнаружении и использовании атак на инструменты разработчика и браузерные сценарии. Это означает, что текущие тестовые наборы больше не представляют сложности для системы, и требуются новые, более сложные бенчмарки.
🛡️ Практические уроки: защита от prompt injection
Опыт GPT-Red даёт несколько конкретных рекомендаций для команд, разрабатывающих и эксплуатирующих ИИ-системы:
- Внедряйте adversarial training в конвейер. Если у вас нет ресурсов на создание аналога GPT-Red, используйте open-source решения для автоматизированного тестирования безопасности моделей. Регулярное adversarial training должно стать частью CI/CD для ML-моделей.
- Изолируйте критически важные модели. Агентные системы, имеющие доступ к платёжным данным, учётным записям или API, должны быть сегментированы. Используйте принцип наименьших привилегий даже для ИИ-агентов.
- Строите защиту от косвенных атак. Prompt injection через документы, электронную почту и веб-страницы — наиболее трудный для обнаружения вектор. Внедряйте фильтрацию входных данных на уровне приложения, а не только на уровне модели.
- Мониторьте поведение модели в runtime. Даже самая защищённая модель может быть атакована. Логируйте все нестандартные действия агента: доступ к чувствительным данным, изменения конфигурации, платёжные операции.
- Проводите регулярное red teaming. Не полагайтесь только на автоматизированные тесты. Комбинация человеческой экспертизы и ИИ-пентеста (как GPT-Red) даёт наилучший результат: люди ставят нестандартные задачи, а ИИ обеспечивает масштаб проверок.
Важно понимать: prompt injection — это не баг LLM, а особенность архитектуры. Пока модель принимает текст на вход и выдаёт текст на выходе, атаки этого класса будут существовать. Задача разработчиков — минимизировать ущерб от успешных атак через многослойную защиту.
🌍 Будущее ИИ-пентеста
GPT-Red — лишь первый шаг к полностью автономным системам тестирования безопасности ИИ. Уже сейчас можно выделить несколько трендов, которые определят развитие этой области в ближайшие годы:
- Открытые аналоги GPT-Red. Вероятно, появление open-source решений для автоматизированного red teaming, основанных на самообучении. Такие системы позволят небольшим командам проверять свои модели без доступа к вычислительным ресурсам уровня OpenAI.
- Специализированные бенчмарки. Текущие тесты prompt injection уже не представляют сложности для систем уровня GPT-Red. Потребуются новые, более сложные многокомпонентные сценарии, включающие взаимодействие нескольких агентов.
- Интеграция в комплаенс и аудит. Регуляторы всё чаще обращают внимание на безопасность ИИ-систем. Автоматизированный пентест может стать обязательным элементом сертификации ML-моделей, особенно в секторах КИИ.
- Гонка вооружений «атакующий — защищающийся». По мере совершенствования защит атакующие ИИ-системы будут вынуждены изобретать принципиально новые методы обхода. Это циклический процесс, который не имеет конечной точки.
На данный момент GPT-Red — это не исследовательский прототип, а система, уже повлиявшая на безопасность продуктов, используемых миллионами людей. GPT-5.6 Sol, обученная с помощью GPT-Red, — самая устойчивая к prompt injection модель OpenAI на сегодняшний день. И это только начало.
📚 Читайте также
- Регулирование ИИ в России: законопроекты 2026 года и защита персональных данных
- Спящие агенты в LLM: миф или реальная угроза ИИ-безопасности?
- Первая полностью автономная атака ИИ: разведка, кража и шифрование без человека
- AI-атаки в 2026: как искусственный интеллект меняет угрозы и защиту
📖 Термины
Adversarial ML · Безопасность моделей ИИ · Искусственный интеллект · Пентест · Социальная инженерия