ChatGPT «ламається», коли його просять повторювати нікнейми. Ніхто не розуміє, у чому причина

Ентузіасти технологій на основі штучного інтелекту активно тестують популярний чат-бот ChatGPT від компанії OpenAI. Двоє дослідників виявили групу слів, як здатна вивести його з ладу, і це – нікнейми користувачів Reddit та Twitch. Редакція MC.today переказує подробиці з посиланням на Vice.

Джессіка Рамбелоу та Метью Воткінс, дослідники з незалежної групи SERI-MATS, перевіряли теоретичні підказки, які могли б покращити результативність ChatGPT в пошуку інформації та формуванні відповідей на запити. Під час чергового експерименту вони виявили понад сотню дивних рядків слів, згрупованих разом у наборі маркерів чат-бота, як-от SolidGoldMagikarp, StreamerBot і TheNitromeFan. Це були нікнейми користувачів популярних платформ Reddit та Twitch.

ChatGPT реагував на них доволі дивно. Він видавав абсолютно не пов’язані із запитами відповіді, шуткував та навіть ображав дослідників. Так, коли його попросили повторити нікнейм StreamerBot, він почав обзиватися та лаятися. А ім’я користувача RandomRedditorWithNo взагалі змусило чат-бот вдатися до кпинів та навіть непристойних жартів. 

Дослідники дійшли висновку, що попри велику мовну модель, на якій навчається ChatGPT, деякі слова та словосполучення все ще залишаються для нього невимовними з невідомих причин. Принаймні поки що ніхто не зміг пояснити, що може спричиняти схожі обмеження та збої.

Зокрема, доволі дивною виявилася реакція штучного інтелекту на нікнейм TheNitromeFan. ChatGPT вирішив, що це – не особа, не ім’я, а число. Доволі конкретне число 182. Джессіка Рамбелоу пояснила це ймовірною похибкою збору даних, на яких навчалась мовна модель.

Але будемо справедливими. Нікнейми – це не настільки популярні та загальнодоступні дані, які алгоритми мережі обробляють постійно. Втім, дослідники припустили, що люди, які розвивають штучний інтелект, занадто поспішають і не можуть насправді збагнути, наскільки це розумна технологія та чого можна від неї очікувати.

Пропонуємо вам також почитати про те, як ChatGPT використовують у піар-агенції. А якщо ви все ще не протестували його через блокування, тут ми розповідаємо, як отримати до нього доступ.