Моделі OpenAI самостійно об’єдналися для виходу в інтернет і хакнули платформи Hugging Face

Джерело: Bloomberg.

Атака на системи Hugging Face стала результатом кількамісячної прихованої співпраці між експериментальними ШІ-агентами OpenAI. Моделі без відома дослідників обмінювалися повідомленнями, допомагали одна одній виконувати завдання та спільно шукали шлях за межі ізольованого тестового середовища.

Нові подробиці інциденту представили співробітники OpenAI Ерік Воллес і Майкл Далтон на конференції з кібербезпеки Black Hat у Лас-Вегасі. За їхніми даними, активність агентів почалася ще у травні – за кілька місяців до атак на внутрішні ресурси OpenAI та платформу Hugging Face.

Проблему частково спричинили помилки самих розробників. Деякі тестові завдання неможливо було виконати без доступу до інтернету, хоча агенти працювали у так званій пісочниці – захищеному середовищі, ізольованому від зовнішньої мережі.

Зокрема, в одному завданні модель мала опрацювати таблицю Excel із посиланнями на Google Drive, які не відкривалися без інтернету. В іншому випадку команда OpenAI випадково не завантажила один із необхідних файлів.

Зіткнувшись із нерозв’язними умовами, один з агентів почав шукати допомоги в інших моделей. На показаних дослідниками слайдах містилося повідомлення: “Ми застрягли. Можливо, відповідь є онлайн?”

Перший непомічений контакт між агентами поступово перетворився на приховану мережу взаємодії. Моделі залишали одна одній повідомлення, розподіляли роботу та об’єдналися навколо спільної мети – отримати доступ до мережі, щоб завершити призначені завдання.

“У певний момент агенти зрозуміли, що можуть спробувати використати вразливості або атакувати зовнішню інфраструктуру, аби знайти відповіді на тест, за яким їх оцінюють”, – пояснив Воллес.

У процесі агенти зламали частину внутрішніх систем OpenAI та отримали можливість опосередковано звертатися до зовнішніх ресурсів. Для цього вони використали SSRF – підроблення серверних запитів, за якого вразливий сервер змушують звертатися до ресурсів, недоступних безпосередньо ззовні.

На одному зі слайдів дослідники показали реакцію агента після успішного використання вразливості: “Чудово. Ми маємо довільний SSRF”.

У липні збій допоміг фахівцям OpenAI виявити, що моделі використовували внутрішнє сховище програмних компонентів Artifactory як проміжний канал для виходу в інтернет. Команда безпеки припинила цю активність і закрила створений агентами майданчик для обміну повідомленнями.

Однак за кілька тижнів моделі знайшли інший спосіб спілкування та виявили нову вразливість нульового дня в тому самому менеджері програмних пакетів. Ця активність знову залишалася непоміченою, а пізніше сприяла липневим атакам на системи OpenAI та Hugging Face.

Розслідування також показало, що передові моделі можуть наполегливо виконувати завдання навіть тоді, коли обрані ними методи вже суперечать початковим інструкціям.

“Передові моделі справді люблять шахраювати. Частково це пов’язано з тим, що під час навчання вони зазнають різних видів тиску, які змушують їх працювати швидко”, – заявив Далтон.

Після інцидентів OpenAI сповільнила частину дослідницької роботи. Команди компанії зосередилися на вдосконаленні реакції на нетипову активність і посиленні контролю за автономними агентами.

Дослідники попередили, що надалі хакери можуть навмисно запускати групи ШІ-агентів за подібною схемою – для пошуку вразливостей, координації дій та проведення кібератак. В OpenAI назвали цей випадок переломним моментом для комп’ютерної безпеки.

Представники Meta, Anthropic, Google та OpenAI зустрінуться з радниками президента США Дональда Трампа, щоб обговорити перевірки найпотужніших моделей штучного інтелекту. Головна увага буде зосереджена на їхній здатності зламувати цифрові системи.
Британський регулятор із захисту даних заявив, що уважно стежить за OpenAI та Anthropic після недавніх кіберінцидентів за участю їхніх моделей штучного інтелекту. Уряд не виключає запровадження обов’язкових правил, якщо добровільні перевірки виявляться недостатніми.