ChatGPT «ломается», когда его просят повторять никнеймы. Никто не понимает, в чем причина

Энтузиасты технологий на основе искусственного интеллекта активно тестируют популярный чат-бот Chat­G­P­Tот компании Ope­nAI. Двое исследователей обнаружили группу слов, которая вызывает масштабный сбой в его работе, и это никнеймы пользователей Red­dit и Twitch. Редакция MC.today пересказывает подробности со ссылкой на Vice.

Джессика Рамбелоу и Мэтью Уоткинс, исследователи из независимой группы SERI-MATS, проверяли теоретические подсказки, которые могли бы улучшить эффективность Chat­G­PT в поиске информации и составлении ответов на запросы. В ходе очередного эксперимента они обнаружили более сотни странных строк слов, сгруппированных вместе в наборе маркеров чат-бота, таких как Solid­Gold­Magikarp, Stream­er­Bot и The Nitrome­Fan. Это были никнеймы пользователей популярных платформ Red­dit и Twitch.

Chat­G­PT реагировал на них довольно странно. Он выдавал совершенно несвязанные с запросами ответы, шутил и даже оскорблял исследователей. Так, когда его попросили повторить никнейм Stream­er­Bot, он начал обзываться и ругаться. А на имя пользователя Ran­dom­Red­di­tor­With­No вообще отреагировал насмешками и неприличными шутками. 

Исследователи пришли к выводу, что, несмотря на большую языковую модель, на которой учится Chat­G­PT, некоторые слова и словосочетания все еще остаются для него невоспроизводимыми по неизвестным причинам. По крайней мере, пока никто не смог объяснить, что может вызывать подобные ограничения и сбои.

Например, довольно странной оказалась реакция искусственного интеллекта на никнейм TheN­i­trome­Fan. Chat­G­PT решил, что это – не человек, не имя, а число. Достаточно конкретное число 182. Джессика Рамбелоу объяснила это вероятной погрешностью сбора данных, на которых училась языковая модель.

Но будем справедливы. Никнеймы – это не столь популярные и общедоступные данные, которые алгоритмы сети обрабатывают постоянно. Вместе с тем исследователи предположили, что люди, развивающие искусственный интеллект, слишком спешат и не могут понять, насколько умна эта технология и чего можно от нее ожидать.

Предлагаем вам также почитать о том, как Chat­G­PT используют в пиар-агентстве. А если вы все еще не протестовали его из-за блокировки, здесь мы рассказываем, как получить к нему доступ.