ChatGPT «ламається», коли його просять повторювати нікнейми. Ніхто не розуміє, у чому причина

Ентузіасти технологій на основі штучного інтелекту активно тестують популярний чат-бот Chat­G­PT від компанії Ope­nAI. Двоє дослідників виявили групу слів, як здатна вивести його з ладу, і це – нікнейми користувачів Red­dit та Twitch. Редакція MC.today переказує подробиці з посиланням на Vice.

Screen with Chat­G­PT chat with AI or arti­fi­cial intel­li­gence. Man search for infor­ma­tion using arti­fi­cial intel­li­gence chat­bot devel­oped by Ope­nAI. War­saw, Poland — Decem­ber 02, 2022.

Джессіка Рамбелоу та Метью Воткінс, дослідники з незалежної групи SERI-MATS, перевіряли теоретичні підказки, які могли б покращити результативність Chat­G­PT в пошуку інформації та формуванні відповідей на запити. Під час чергового експерименту вони виявили понад сотню дивних рядків слів, згрупованих разом у наборі маркерів чат-бота, як-от Solid­Gold­Magikarp, Stream­er­Bot і TheN­i­trome­Fan. Це були нікнейми користувачів популярних платформ Red­dit та Twitch.

Chat­G­PT реагував на них доволі дивно. Він видавав абсолютно не пов’язані із запитами відповіді, шуткував та навіть ображав дослідників. Так, коли його попросили повторити нікнейм Stream­er­Bot, він почав обзиватися та лаятися. А ім’я користувача Ran­dom­Red­di­tor­With­No взагалі змусило чат-бот вдатися до кпинів та навіть непристойних жартів. 

Дослідники дійшли висновку, що попри велику мовну модель, на якій навчається Chat­G­PT, деякі слова та словосполучення все ще залишаються для нього невимовними з невідомих причин. Принаймні поки що ніхто не зміг пояснити, що може спричиняти схожі обмеження та збої.

Зокрема, доволі дивною виявилася реакція штучного інтелекту на нікнейм TheN­i­trome­Fan. Chat­G­PT вирішив, що це – не особа, не ім’я, а число. Доволі конкретне число 182. Джессіка Рамбелоу пояснила це ймовірною похибкою збору даних, на яких навчалась мовна модель.

Але будемо справедливими. Нікнейми – це не настільки популярні та загальнодоступні дані, які алгоритми мережі обробляють постійно. Втім, дослідники припустили, що люди, які розвивають штучний інтелект, занадто поспішають і не можуть насправді збагнути, наскільки це розумна технологія та чого можна від неї очікувати.

Пропонуємо вам також почитати про те, як Chat­G­PT використовують у піар-агенції. А якщо ви все ще не протестували його через блокування, тут ми розповідаємо, як отримати до нього доступ.