Исследовательница ИИ рассказала, почему не стоит доверять детекторам, которые проверяют авторство текстов

Доктор инженерии, исследователь искусственного интеллекта и автор блога AI Weirdness Джанель Шейн рассказала  почему не стоит полагаться на программы, которые определяют оригинальность текста и то, не сгенерировали ли его с помощью нейросетей и чат-ботов. Редакция MC.today пересказывает детали.

3D illustration of robot humanoid reading book in concept of future artificial intelligence and 4th fourth industrial revolution .

Джанель Шейн обратила внимание на недавнее исследование Стэнфордского университета, посвященное продуктам, которые выявляют сгенерированный искусственным интеллектом контент. По данным специалистов, такие программы часто неправильно идентифицируют созданные ИИ тексты как написанные человеком и наоборот.

В ходе исследования анализировали преимущественно англоязычный контент и обнаружили еще одно интересное предубеждение искусственного интеллекта. Он нередко считает, что текст создала нейросеть, если английский для автора не родной. То есть по определенным параметрам он воспринимает настоящего человека как языковую модель.

В 2019 году Шейн выпустила собственную книгу You Look Like a Thing and I Love You («Ты выглядишь как вещь, и я люблю тебя»), посвященную алгоритмам искусственного интеллекта и его будущему. Она решила воспользоваться несколькими детекторами и проверить фрагменты текста из нее.

Одна из программ обозначила отрывок как «сгенерированный с очень большой вероятностью искусственным интеллектом». Другая, которая, по данным исследователей из Стэнфорда, ошибалась меньше всего, также склонялась к авторству ИИ. Впрочем, одно предложение она обозначила как похожее на написанное человеком. В нем автор предлагала читателям представить бутерброд с «джемом, кубиками льда и старыми носками».

Затем Шейн попросила ChatGPT превратить фрагмент ее оригинального текста в стихотворение на староанглийском языке. Детекторы обозначили его как «с большой вероятностью написанный человеком».

Джанель Шейн остается энтузиасткой искусственного интеллекта и уверена, что многие продукты на его основе способны изменить жизнь людей к лучшему. Но эксперимент с детекторами доказал, что разработчики должны учитывать проблемы идентификации и не выпускать несовершенные продукты.

• Мы также рассказывали, что искусственный интеллект временами искажает и даже придумывает факты. Так, он обвинил австралийского политика в связанном со взяточничеством скандале и утверждал, что известный радиоведущий присвоил чужие деньги.