ChatGPT «ломается», когда его просят повторять никнеймы. Никто не понимает, в чем причина

Энтузиасты технологий на основе искусственного интеллекта активно тестируют популярный чат-бот ChatGPTот компании OpenAI. Двое исследователей обнаружили группу слов, которая вызывает масштабный сбой в его работе, и это никнеймы пользователей Reddit и Twitch. Редакция MC.today пересказывает подробности со ссылкой на Vice.

Джессика Рамбелоу и Мэтью Уоткинс, исследователи из независимой группы SERI-MATS, проверяли теоретические подсказки, которые могли бы улучшить эффективность ChatGPT в поиске информации и составлении ответов на запросы. В ходе очередного эксперимента они обнаружили более сотни странных строк слов, сгруппированных вместе в наборе маркеров чат-бота, таких как SolidGoldMagikarp, StreamerBot и The NitromeFan. Это были никнеймы пользователей популярных платформ Reddit и Twitch.

ChatGPT реагировал на них довольно странно. Он выдавал совершенно несвязанные с запросами ответы, шутил и даже оскорблял исследователей. Так, когда его попросили повторить никнейм StreamerBot, он начал обзываться и ругаться. А на имя пользователя RandomRedditorWithNo вообще отреагировал насмешками и неприличными шутками. 

Исследователи пришли к выводу, что, несмотря на большую языковую модель, на которой учится ChatGPT, некоторые слова и словосочетания все еще остаются для него невоспроизводимыми по неизвестным причинам. По крайней мере, пока никто не смог объяснить, что может вызывать подобные ограничения и сбои.

Например, довольно странной оказалась реакция искусственного интеллекта на никнейм TheNitromeFan. ChatGPT решил, что это – не человек, не имя, а число. Достаточно конкретное число 182. Джессика Рамбелоу объяснила это вероятной погрешностью сбора данных, на которых училась языковая модель.

Но будем справедливы. Никнеймы – это не столь популярные и общедоступные данные, которые алгоритмы сети обрабатывают постоянно. Вместе с тем исследователи предположили, что люди, развивающие искусственный интеллект, слишком спешат и не могут понять, насколько умна эта технология и чего можно от нее ожидать.

Предлагаем вам также почитать о том, как ChatGPT используют в пиар-агентстве. А если вы все еще не протестовали его из-за блокировки, здесь мы рассказываем, как получить к нему доступ.