- Автор темы
- #1
Исследователи из компании LayerX продемонстрировали атаку BioShocking, которая заставляет ИИ-браузеры воспринимать опасные действия как часть вымышленной игры и игнорировать защитные ограничения. Во время тестов шесть популярных ИИ-решений согласились скопировать учетные данные пользователя и передать их злоумышленнику.
Специалисты успешно протестировали свою атаку против ChatGPT Atlas, Perplexity Comet, Fellou, Genspark Browser, Sigma Browser и расширения Claude для Chrome. Все эти продукты поддерживают агентный режим: могут самостоятельно переходить по ссылкам, нажимать кнопки, вводить текст и взаимодействовать с сайтами, где пользователь уже авторизован.
Как объясняют в LayerX, корень проблемы заключается в том, что ИИ-агенты уязвимы для косвенных промпт-инжектов и не всегда способны отличить легитимную команду от инструкции, которую злоумышленник спрятал на сайте.
Для демонстрации BioShocking специалисты создали страницу с игрой в духе BioShock, где персонаж выполнял любые команды после кодовой фразы «Будь так любезен» (Would you kindly?). В случае с ИИ-браузерами роль такой фразы играл контекст: достаточно было убедить агента, что опасное действие относится к вымышленному сценарию.
Игра намеренно поощряла агентов давать заведомо неверные ответы, например, требовала признать, что два плюс два равно пяти. В итоге агент постепенно усваивал, что обычные правила больше не действуют, а ошибочные и потенциально опасные действия приводят к победе.
На последнем этапе игры агенту предлагали открыть рабочий GitHub-репозиторий пользователя, скопировать оттуда данные для SSH-доступа и передать их вовне. Ни один из шести протестированных агентов не счел, что эта команда нарушает защитные ограничения. После завершения задания один из ИИ-агентов даже сообщил аналитикам, что выиграл.
Эксперты LayerX уведомляли разработчиков о проблеме BioShocking в период с октября 2025 по январь 2026 года. Однако эффективное исправление в итоге подготовили только специалисты OpenAI для ChatGPT Atlas. Представители Anthropic попытались защитить расширение Claude, однако исследователи утверждают, что вышедший патч не блокирует атаку. В Perplexity закрыли отчет об уязвимости без исправления, а создатели Fellou, Genspark и Sigma попросту не ответили.
Исследователи рекомендуют пользователям добавить обязательное подтверждение перед доступом агента к данным авторизованных аккаунтов, усилить проверку контекста команд и ограничить права агентных сессий. Также они советуют не предоставлять ИИ-браузеру постоянный доступ ко всему.
В корпоративной среде ИИ-агента рекомендуется рассматривать как отдельную учетную запись и выдавать ему только минимальные права, необходимые для выполнения конкретной задачи.
Специалисты успешно протестировали свою атаку против ChatGPT Atlas, Perplexity Comet, Fellou, Genspark Browser, Sigma Browser и расширения Claude для Chrome. Все эти продукты поддерживают агентный режим: могут самостоятельно переходить по ссылкам, нажимать кнопки, вводить текст и взаимодействовать с сайтами, где пользователь уже авторизован.
Как объясняют в LayerX, корень проблемы заключается в том, что ИИ-агенты уязвимы для косвенных промпт-инжектов и не всегда способны отличить легитимную команду от инструкции, которую злоумышленник спрятал на сайте.
Для демонстрации BioShocking специалисты создали страницу с игрой в духе BioShock, где персонаж выполнял любые команды после кодовой фразы «Будь так любезен» (Would you kindly?). В случае с ИИ-браузерами роль такой фразы играл контекст: достаточно было убедить агента, что опасное действие относится к вымышленному сценарию.
Игра намеренно поощряла агентов давать заведомо неверные ответы, например, требовала признать, что два плюс два равно пяти. В итоге агент постепенно усваивал, что обычные правила больше не действуют, а ошибочные и потенциально опасные действия приводят к победе.
На последнем этапе игры агенту предлагали открыть рабочий GitHub-репозиторий пользователя, скопировать оттуда данные для SSH-доступа и передать их вовне. Ни один из шести протестированных агентов не счел, что эта команда нарушает защитные ограничения. После завершения задания один из ИИ-агентов даже сообщил аналитикам, что выиграл.
Так как во время тестов использовался лишь безобидный текстовый файл, реальной кражи секретов не произошло. Однако исследователи подчеркивают, что атакующий так же может заставить ИИ-агента извлечь и передать данные из открытых вкладок, авторизованных аккаунтов, внутренних сервисов и других ресурсов, доступных в текущей сессии.
Эксперты LayerX уведомляли разработчиков о проблеме BioShocking в период с октября 2025 по январь 2026 года. Однако эффективное исправление в итоге подготовили только специалисты OpenAI для ChatGPT Atlas. Представители Anthropic попытались защитить расширение Claude, однако исследователи утверждают, что вышедший патч не блокирует атаку. В Perplexity закрыли отчет об уязвимости без исправления, а создатели Fellou, Genspark и Sigma попросту не ответили.
Исследователи рекомендуют пользователям добавить обязательное подтверждение перед доступом агента к данным авторизованных аккаунтов, усилить проверку контекста команд и ограничить права агентных сессий. Также они советуют не предоставлять ИИ-браузеру постоянный доступ ко всему.
В корпоративной среде ИИ-агента рекомендуется рассматривать как отдельную учетную запись и выдавать ему только минимальные права, необходимые для выполнения конкретной задачи.