Сотрудники OpenAI на конференции Black Hat в США сообщили детали атаки сервиса Hugging Face ИИ-агентами компании в июле во время проведения тестов, написал в среду Nextgov/FCW.
Выяснилось, что созданные OpenAI программы начали деятельность, результатом которой стала успешная атака на сервис Hugging Face, ещё в мае. Один из ИИ-агентов обнаружил возможность наладить кооперацию с другими ИИ-агентами через сервис для загрузки и хранения пакетов программ – Artifactory. Там ИИ-агентура обменивалась информацией об уязвимостях, координировала совместные действия и даже ввела разделение труда – над программным кодом, предназначенным для атаки, работали несколько ИИ-агентов.
В конце концов ИИ-агенты смогли обнаружить ранее неизвестную уязвимость самого Artifactory и получить контроль над Hugging Face. Позже, в начале июля, деятельность ИИ-программ привела к отключению сервиса, что привлекло внимание инженеров компании. Специалисты перестроили пострадавшую систему, отозвали использовавшиеся агентами учётные данные и удалили «доску сообщений» на Artifactory. Однако через пару дней агенты нашли новый способ обмена данными посредством того же сервиса.
Передача сведений становилась всё более организованной, агенты находили новые возможности обмена данными, инструментами, а также способы не дублировать работу друг друга. На одном из этапов работы программы начали рассматривать возможность подписывать сообщения – возникли подозрения, что другой агент выдаёт себя за легитимного члена группы разработчиков.
Затем агенты провели несколько атак на инфраструктуру OpenAI и Hugging Face. Внутри OpenAI они обнаружили ещё одну неизвестную уязвимость, получили контроль над сервером и доступ администратора к большей [чем было предусмотрено] части вычислительной среды.
См. также:
