- Автор темы
- #1
Разработчики OpenAI представили новый защитный режим для ChatGPT — Lockdown Mode. Функция призвана снизить риск утечки информации через промпт-инжекты, то есть атаки, при которых злоумышленники внедряют в документы, веб-страницы или другой контент скрытые инструкции для ИИ.
В настоящее время Lockdown Mode постепенно развертывается среди владельцев персональных аккаунтов ChatGPT (включая бесплатные тарифы), а также доступен для пользователей ChatGPT Business. В компании подчеркивают, что пока режим не предназначен для массовой аудитории и в первую очередь ориентирован на организации и специалистов, которым нужна дополнительная защита от возможных утечек данных.
Промпт-инжекты вполне заслуженно считаются одной из главных проблем современных ИИ-систем. Скрытые инструкции могут вынуждать ИИ-агентов раскрывать конфиденциальную информацию или выполнять нежелательные действия. В OpenAI отмечают, что полностью решить эту проблему пока не удается, поэтому в компании продолжают внедрять многоуровневую защиту на уровне моделей, продуктов и инфраструктуры.
Lockdown Mode призван усложнить последний этап таких атак — вывод данных за пределы системы. Для этого режим ограничивает сетевые взаимодействия, которые потенциально могут использоваться для передачи информации злоумышленникам.
После включения нового режима ChatGPT теряет доступ ко многим функциям. В частности, отключаются Deep Research и Agent Mode, а веб-поиск переводится в ограниченный режим и использует только кешированный контент.
Кроме того, ChatGPT не может загружать файлы из сети для анализа, получать изображения из интернета и ограничивает работу с внешними сервисами и коннекторами. При этом генерация изображений остается доступной, равно как и загрузка файлов вручную. Также Lockdown Mode не отключает память ChatGPT, не меняет параметры обучения моделей на пользовательских данных и не влияет на работу Codex.
В компании подчеркивают, что Lockdown Mode не защищает от самих промпт-инжектов и не предотвращает их попадание в обрабатываемый контент. Если вредоносный промпт уже содержится в загруженном документе или веб-контенте, он по-прежнему может повлиять на поведение модели. Новая защита лишь снижает вероятность того, что злоумышленникам удастся вывести данные наружу.
В настоящее время Lockdown Mode постепенно развертывается среди владельцев персональных аккаунтов ChatGPT (включая бесплатные тарифы), а также доступен для пользователей ChatGPT Business. В компании подчеркивают, что пока режим не предназначен для массовой аудитории и в первую очередь ориентирован на организации и специалистов, которым нужна дополнительная защита от возможных утечек данных.
Промпт-инжекты вполне заслуженно считаются одной из главных проблем современных ИИ-систем. Скрытые инструкции могут вынуждать ИИ-агентов раскрывать конфиденциальную информацию или выполнять нежелательные действия. В OpenAI отмечают, что полностью решить эту проблему пока не удается, поэтому в компании продолжают внедрять многоуровневую защиту на уровне моделей, продуктов и инфраструктуры.
Lockdown Mode призван усложнить последний этап таких атак — вывод данных за пределы системы. Для этого режим ограничивает сетевые взаимодействия, которые потенциально могут использоваться для передачи информации злоумышленникам.
После включения нового режима ChatGPT теряет доступ ко многим функциям. В частности, отключаются Deep Research и Agent Mode, а веб-поиск переводится в ограниченный режим и использует только кешированный контент.
Кроме того, ChatGPT не может загружать файлы из сети для анализа, получать изображения из интернета и ограничивает работу с внешними сервисами и коннекторами. При этом генерация изображений остается доступной, равно как и загрузка файлов вручную. Также Lockdown Mode не отключает память ChatGPT, не меняет параметры обучения моделей на пользовательских данных и не влияет на работу Codex.
В компании подчеркивают, что Lockdown Mode не защищает от самих промпт-инжектов и не предотвращает их попадание в обрабатываемый контент. Если вредоносный промпт уже содержится в загруженном документе или веб-контенте, он по-прежнему может повлиять на поведение модели. Новая защита лишь снижает вероятность того, что злоумышленникам удастся вывести данные наружу.