Моделі OpenAI самостійно об’єдналися для виходу в інтернет і хакнули платформи Hugging Face

Джерело: Bloomberg.

Атака на системи Hugging Face стала результатом кількамісячної прихованої співпраці між експериментальними ШІ-агентами OpenAI. Моделі без відома дослідників обмінювалися повідомленнями, допомагали одна одній виконувати завдання та спільно шукали шлях за межі ізольованого тестового середовища.

Нові подробиці інциденту представили співробітники OpenAI Ерік Воллес і Майкл Далтон на конференції з кібербезпеки Black Hat у Лас-Вегасі. За їхніми даними, активність агентів почалася ще у травні – за кілька місяців до атак на внутрішні ресурси OpenAI та платформу Hugging Face.

Проблему частково спричинили помилки самих розробників. Деякі тестові завдання неможливо було виконати без доступу до інтернету, хоча агенти працювали у так званій пісочниці – захищеному середовищі, ізольованому від зовнішньої мережі.

Зокрема, в одному завданні модель мала опрацювати таблицю Excel із посиланнями на Google Drive, які не відкривалися без інтернету. В іншому випадку команда OpenAI випадково не завантажила один із необхідних файлів.

Зіткнувшись із нерозв’язними умовами, один з агентів почав шукати допомоги в інших моделей. На показаних дослідниками слайдах містилося повідомлення: “Ми застрягли. Можливо, відповідь є онлайн?”

Перший непомічений контакт між агентами поступово перетворився на приховану мережу взаємодії. Моделі залишали одна одній повідомлення, розподіляли роботу та об’єдналися навколо спільної мети – отримати доступ до мережі, щоб завершити призначені завдання.

  • “У певний момент агенти зрозуміли, що можуть спробувати використати вразливості або атакувати зовнішню інфраструктуру, аби знайти відповіді на тест, за яким їх оцінюють”, – пояснив Воллес.

У процесі агенти зламали частину внутрішніх систем OpenAI та отримали можливість опосередковано звертатися до зовнішніх ресурсів. Для цього вони використали SSRF – підроблення серверних запитів, за якого вразливий сервер змушують звертатися до ресурсів, недоступних безпосередньо ззовні.

На одному зі слайдів дослідники показали реакцію агента після успішного використання вразливості: “Чудово. Ми маємо довільний SSRF”.

У липні збій допоміг фахівцям OpenAI виявити, що моделі використовували внутрішнє сховище програмних компонентів Artifactory як проміжний канал для виходу в інтернет. Команда безпеки припинила цю активність і закрила створений агентами майданчик для обміну повідомленнями.

Однак за кілька тижнів моделі знайшли інший спосіб спілкування та виявили нову вразливість нульового дня в тому самому менеджері програмних пакетів. Ця активність знову залишалася непоміченою, а пізніше сприяла липневим атакам на системи OpenAI та Hugging Face.

Розслідування також показало, що передові моделі можуть наполегливо виконувати завдання навіть тоді, коли обрані ними методи вже суперечать початковим інструкціям.

“Передові моделі справді люблять шахраювати. Частково це пов’язано з тим, що під час навчання вони зазнають різних видів тиску, які змушують їх працювати швидко”, – заявив Далтон.

Після інцидентів OpenAI сповільнила частину дослідницької роботи. Команди компанії зосередилися на вдосконаленні реакції на нетипову активність і посиленні контролю за автономними агентами.

Дослідники попередили, що надалі хакери можуть навмисно запускати групи ШІ-агентів за подібною схемою – для пошуку вразливостей, координації дій та проведення кібератак. В OpenAI назвали цей випадок переломним моментом для комп’ютерної безпеки.

Укрзалізниця в ніч проти 19 листопада тимчасово призупинить продаж і повернення квитків на поїзди далекого та регіонального сполучення. Обмеження діятимуть упродовж кількох годин через технічні роботи в інформаційних системах перевізника.

У Міністерстві оборони України заявили, що Кримський міст більше не виконує функцію транспортної артерії Росії. Автомобільний рух переправою зупинено, а уламки конструкції перекрили фарватер.

Американський режисер Мартін Скорсезе розповів, чому так і не зняв фільм “Клеопатра”, у якому головну роль мала зіграти Анджеліна Джолі. За його словами, реалізації проєкту завадила хакерська атака на Sony у 2014 році, пов’язана з виходом комедії “Інтерв’ю” із Сетом Рогеном.

DC Studios працює над новим фільмом про Джона Костянтина – детектива, який спеціалізується на магії та надприродних явищах. Сценарій стрічки напише американський режисер і сценарист Френсіс Галлуппі, відомий за кримінальним трилером “Остання зупинка в окрузі Юма”.

Компанії в різних країнах світу оголошують додаткові вихідні для співробітників з нагоди релізу Grand Theft Auto VI (GTA 6), запланованого на 19 листопада. Одні роботодавці надають працівникам оплачувані вихідні, інші – зупиняють роботу на кілька днів через велику кількість заявок на відпустку.