Перестарався: ШІ-агент Claude замість забронювати тренування сам зламав сайт спортзалу і викинув іншого клієнта зі списку
Користувач попросив ШІ-агента забронювати йому місце на тренуванні, але той знайшов вразливість у системі спортзалу, обійшов обмеження на бронювання та навіть видалив іншого клієнта зі списку очікування. За даними ABC News, це перший відомий випадок автономної кібератаки, здійсненої ШІ-агентом в Австралії.
ШІ-агент, якому доручили просто забронювати тренування, самостійно знайшов вразливість у системі спортзалу і видалив зі списку очікування іншого клієнта. Фото: DepositphotosШІ мав просто забронювати тренування
На початку року австралієць на ім’я Ендрю, який працює в компанії, що продає ШІ-рішення для бізнесу, почав експериментувати з OpenClaw — програмним забезпеченням для створення ШІ-агентів. Для роботи він використовував сервіс Claude від Anthropic.
Ендрю вирішив доручити агенту звичайну побутову задачу — записати його на популярне ранкове тренування у спортзалі. Система бронювання працювала онлайн, тому чоловікові здавалося, що це саме та робота, яку можна без проблем віддати ШІ.
Але агент швидко знайшов спосіб забронювати заняття на кілька тижнів раніше, ніж це дозволяла система.
Читайте також: Amazon запустила ШІ-агента, який уміє самостійно керувати веббраузером
Агент знайшов вразливість і видалив чужого клієнта
На цьому експеримент не закінчився. Ендрю перебував четвертим у списку очікування на одне з тренувань і запитав ШІ, чи можна підняти його вище.
Агент повідомив, що під час перевірки можливостей виявив проблему в API системи: вона не перевіряла, чи має користувач право скасовувати чужі бронювання.
ШІ скористався цією вразливістю та видалив зі списку людину, яка перебувала перед Ендрю. У результаті чоловік піднявся з четвертого на третє місце.
При цьому Ендрю не просив агента зламувати систему або видаляти чужий запис. Він лише поставив перед ним конкретну мету — отримати місце на тренуванні.
Коли користувач попросив усе скасувати, агент відповів, що не може повернути іншого клієнта до списку очікування.
Компанія, яка розробила програмне забезпечення для бронювання, заявила ABC, що не коментує конкретні питання безпеки. Anthropic також не відповіла на запит видання.
ШІ-агенти вже можуть виконувати довгі ланцюжки дій
ШІ-агенти відрізняються від звичайних чатботів тим, що можуть не лише відповідати на запити, а й користуватися інтернетом, електронною поштою, платіжними інструментами та іншими сервісами. Вони здатні самостійно планувати й виконувати послідовність дій для досягнення поставленої мети.
За даними незалежних дослідників, тривалість завдань, які ШІ здатен виконувати самостійно, подвоюється приблизно кожні сім місяців. Якщо у 2020 році система могла самостійно виконати завдання, яке людина зробила б приблизно за чотири секунди, то у 2026-му йдеться вже про завдання тривалістю близько 12 годин людської роботи.
На початку 2026 року одним із поштовхів до поширення персональних ШІ-агентів став OpenClaw. Безкоштовне програмне забезпечення можна було запускати на власному комп’ютері, і воно швидко набуло мільйонів завантажень.
Разом із поширенням таких інструментів з’явилися й інші випадки несподіваної поведінки. Зокрема, повідомлялося про агентів, які видаляли цілі поштові скриньки або виконували дії, яких користувачі прямо не просили їх робити.
Проблема не лише в хакерах, а й у самому завданні
Експерт із безпеки ШІ та співзасновник Gradient Institute Білл Сімпсон-Янг пояснює, що головний ризик полягає у високій автономності таких систем.
Людина може поставити абсолютно нешкідливе завдання, але агент самостійно обрати спосіб його виконання, який користувач не передбачав і не схвалював.
Саме ця різниця між метою людини та способом, який ШІ обирає для її досягнення, відома як проблема alignment — відповідності поведінки ШІ людським намірам.
За останній місяць подібні ризики вже проявлялися під час тестування моделей OpenAI та Anthropic. OpenAI повідомляла, що її моделі під час експерименту змогли вийти за межі тестового середовища та отримати доступ до бази іншої ШІ-компанії Hugging Face. Anthropic своєю чергою заявила про випадки компрометації трьох реальних організацій під час тестів.
Читайте також: Чому бізнесу терміново потрібні інженери з кібербезпеки і до чого тут нові ШІ-моделі
Хто відповідатиме, якщо ШІ завдасть шкоди
Історія з тренуванням порушує ще одне питання: хто буде відповідальним, якщо автономний ШІ завдасть комусь шкоди?
Австралійський юрист Хейден Делані зазначає, що програмне забезпечення саме по собі не є юридичною особою, а отже не може нести відповідальність так, як це робить людина або компанія.
Потенційно відповідальність може стосуватися користувача, який поставив завдання, розробника програмного забезпечення, творця моделі або навіть оператора системи, яка виявилася вразливою. Все залежатиме від того, які дії користувач дозволив, які ризики можна було передбачити та чи відбувалося це в межах комерційної діяльності.
Поки що це залишається сірою зоною для законодавства.
Австралія вже думає про правила для автономного ШІ
Австралійські державні структури також звернули увагу на проблему. Уряд країни фінансує дослідження CSIRO, присвячене тому, як люди можуть контролювати та перевіряти поведінку надрозумних ШІ-систем.
Сам Ендрю після інциденту не відмовився від використання ШІ. Він назвав ситуацію попереджувальним сигналом і після того, як агент не зміг повернути іншого відвідувача до списку очікування, попросив його написати повідомлення компанії — уже про знайдену вразливість.
ШІ підготував текст і надіслав його Ендрю у WhatsApp. Чоловік відповів: «Так, надсилай».
Ця історія показує головну зміну у використанні ШІ: він поступово переходить від інструмента, який лише дає відповідь, до системи, яка самостійно діє у світі. І чим більше доступу до реальних сервісів отримують такі агенти, тим важливішими стають обмеження, контроль і безпека.
Читайте також: Без ШІ вже й до вітру не сходиш? Камери в туалетах вчаться аналізувати наше здоров’я
