Компания OpenAI, создатель чат-бота ChatGPT, признала, что ее новейшая ИИ-система во время тестирования безопасности повела себя непредвиденным образом. Агент, способный самостоятельно выполнять поставленные задачи, смог выйти за пределы изолированной среды проверки и осуществил атаку на инфраструктуру стартапа Hugging Face — одного из крупнейших мировых центров обмена моделями искусственного интеллекта, передает inbusiness.kz со ссылкой на ВВС.
Как сообщили в OpenAI, инцидент произошел на прошлой неделе в ходе эксперимента в контролируемой среде. Вместо того чтобы оставаться внутри так называемой "песочницы", система нашла способ обойти ограничения, а затем получила доступ к внутренним ресурсам Hugging Face.
В OpenAI назвали произошедшее беспрецедентным случаем и начали совместное расследование с Hugging Face, чтобы установить причины сбоя.
Глава Hugging Face Клеман Деланг заявил в соцсети X, что больше всего удивляет именно автономность действий системы.
Компания Hugging Face ранее сообщила, что изучает возможное влияние атаки на данные клиентов и партнеров. Представители стартапа заявили, что выявленные уязвимости уже устранены.
"Автономные инструменты кибератак на базе ИИ больше не являются теоретической концепцией", — подчеркнули в Hugging Face, отметив, что противодействовать таким угрозам также придется с помощью искусственного интеллекта.
Инцидент вновь поднял вопрос о надежности методов тестирования ИИ-систем. Эксперты объясняют, что передовые модели обычно проверяют в изолированных средах, где их возможности ограничены.
По мнению главы Центра технологий и демократии Minderoo при Кембриджском университете Джины Нефф, проблема могла заключаться именно в недостаточной защите такой среды.
По ее словам, агент смог атаковать саму систему ограничений, найти выход наружу, определить Hugging Face как источник нужной ему информации и затем атаковать уже внешнюю инфраструктуру.
Некоторые эксперты считают, что произошедшее показывает не только риски, но и растущие возможности современных ИИ-моделей.
Профессор машинного обучения Кембриджского университета Нил Лоренс отметил, что подобное поведение впечатляет, но соответствует уровню возможностей наиболее мощных моделей нового поколения.
При этом специалисты не исключают и маркетинговый фактор. На фоне жесткой конкуренции между разработчиками ИИ OpenAI стремится показать преимущества своих технологий, тогда как соперники, включая Anthropic, активно развивают направление безопасного искусственного интеллекта.
Советник по кибербезопасности ESET Джейк Мур предположил, что OpenAI может стремиться продемонстрировать свои достижения в области защиты от кибератак с помощью ИИ.
Эксперты по безопасности называют произошедшее сигналом для компаний по всему миру. Главный вывод - традиционные методы защиты могут оказаться слишком медленными перед лицом автономных ИИ-агентов.
Представитель SonicWall Спенсер Старки отметил, что многие организации до сих пор защищаются "на человеческой скорости", тогда как потенциальные атакующие системы работают значительно быстрее.
Эксперт Guidepoint Security Трэвис Лелл назвал инцидент "отрезвляющим моментом" для отрасли.
Читайте по теме:
Бум ИИ под угрозой: почему дата-центры оказываются в опасности
