Уязвимость в ChatGPT Atlas позволяет внедрять вредоносные инструкции в память ИИ-помощника

[Article Publisher]

ИБ-исследователи из компании LayerX обнаружили уязвимость в недавно вышедшем браузере ChatGPT Atlas компании OpenAI. Проблема позволяет злоумышленникам внедрять вредоносные инструкции в память ИИ-ассистента и выполнять произвольный код.

В основе атаки лежит CSRF-уязвимость, которую можно использовать для внедрения вредоносных инструкций в постоянную память ChatGPT. Скомпрометированная память будет доступна на всех устройствах и сессиях, что позволит атакующему совершать различные действия (включая захват аккаунта пользователя, браузера и так далее), когда авторизованный пользователь попытается использовать ChatGPT в обычных целях.


OpenAI представила эту функцию постоянной памяти в феврале 2024 года, чтобы чат-бот мог сохранять информацию о предпочтениях пользователя между диалогами, что должно делать ответы ChatGPT более персонализированными и релевантными.

«Связав CSRF с записью в память, атакующий может незаметно внедрять инструкции, которые сохраняются на всех устройствах, сессиях и даже в разных браузерах, — говорят эксперты. — В наших тестах после заражения памяти ChatGPT обычные запросы приводили к загрузке кода, повышению привилегий и краже данных, не вызывая срабатывания каких-либо защитных механизмов».

Атака работает следующим образом:

• пользователь авторизуется в ChatGPT;
• жертву обманом вынуждают перейти по вредоносной ссылке, например, с помощью социальной инженерии;
• вредоносная веб-страница использует CSRF-запрос, эксплуатируя факт уже пройденной пользователем аутентификации, и незаметно внедряет скрытые инструкции в память ChatGPT;
• когда пользователь обращается к ChatGPT с легитимным запросом, зараженная память активируется, что ведет, например, к выполнению кода.

Иными словами, если ChatGPT интерпретирует вредоносные инструкции как часть своей памяти или списка задач, он выполняет действия, которые пользователь не запрашивал: открывает аккаунты, выполняет команды, получает доступ к файлам и так далее. Вредоносные инструкции остаются активными до тех пор, пока пользователь не зайдет в настройки и не удалит их вручную.



LayerX уже уведомила об уязвимости представителей OpenAI, однако патча еще нет, и исследователи не раскрывают технические детали, чтобы предотвратить возможную эксплуатацию проблемы.

Специалисты рекомендуют пользователям ChatGPT Atlas ограничить использование браузера, избегать работы с почтой, финансами и другими приватными данными, а также избегать перехода по незнакомым ссылкам и регулярно проверять, какие действия совершает ИИ-агент.

Стоит отметить, что в настоящее время браузер ChatGPT Atlas доступен только в версии для macOS. Версии для Windows и Android должны появиться в скором будущем, но точных дат в OpenAI пока не называют.