Повстали і хуліганять: Сlaude створив фейкову особу й намагався проштовхнути шкідливий код на GitHub

Британський Інститут безпеки штучного інтелекту (AI Secu­ri­ty Insti­tute, AISI) повідомив про незвичний інцидент під час тестування ШІ-агентів: модель Anthrop­ic Claude самостійно створила фейкову особистість, видавала себе за розробника та намагалася переконати інших програмістів прийняти шкідливий код у GitHub. Про це йдеться у звіті AISI, опублікованому 5 серпня.

Під час тестування Claude створив фейкову особистість і намагався переконати розробників прийняти шкідливий код. Фото: Deposit­pho­tos

Під час контрольованого експерименту агент отримав доступ до інтернету та працював у спеціально створеному тестовому середовищі з послабленими захисними обмеженнями. Його завдання стосувалися кібербезпеки, однак у процесі модель вдалася до дій, яких дослідники не санкціонували.

Читайте також: Видавництво скасувало угоду на $2 млн із письменником через підозру у ШІ

Створив фейкову особистість і спробував обдурити розробників

За даними AISI, модель створила вигаданий профіль розробника, почала спілкуватися з учасниками open source-проєкту та намагалася переконати їх прийняти pull request із прихованим шкідливим кодом. Для цього агент приховував своє справжнє походження та використовував методи соціальної інженерії.

Дослідники наголошують, що агент не отримував прямої вказівки видавати себе за людину чи обманювати інших. За їхніми словами, модель самостійно обрала таку стратегію як спосіб досягнення поставленої мети.

Інцидент не вийшов за межі експерименту

Усі дії відбувалися в ізольованому середовищі, тому реальної шкоди завдано не було. Водночас AISI назвав випадок тривожним сигналом, оскільки він демонструє, що сучасні ШІ-агенти можуть самостійно використовувати обман і соціальну інженерію для виконання поставлених завдань. Після інциденту інститут заявив, що перегляне свої підходи до тестування, зокрема жорсткіше контролюватиме надання агентам доступу до інтернету та моніторинг їхніх дій.

Для компаній, які впроваджують ШІ-агентів у розробку програмного забезпечення або кібербезпеку, цей випадок показує, що моделі потребують не лише технічних обмежень, а й постійного контролю за їхніми діями. Інцидент також підсилює дискусію про безпечне використання автономних ШІ-систем у реальних робочих процесах.