Конец галлюцинациям? OpenAI придумала, как бороться с дезинформацией от ChatGPT

Ope­nAI спровоцировала бум искусственного интеллекта, когда в прошлом году выпустила Chat­G­PT. Вместе с полезными советами и данными чат-бот начал выдавать массу дезинформации, которую еще называют галлюцинациями. Недавно компания предложила свой план решения этой проблемы, однако некоторые эксперты уже выразили скептицизм по поводу идей Ope­nAI. Об этом пишет CNBC.

Open AI

Галлюцинациями называют ту ситуацию, когда ИИ, например Chat­G­PT или Bard, сообщает неправильную информацию, но ведет себя так, будто предоставляет проверенные факты. К примеру, недавно Chat­G­PT ссылался на фейковые дела в заявлении федерального суда.

«Даже самые современные ИИ-модели склонны сообщать ложные сведения. Они демонстрируют тенденцию придумывать факты в моменте неопределенности, говорится в отчете Ope­nAI. – Эти галлюцинации вызывают много проблем в отраслях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать более масштабное решение».

Новая стратегия Ope­nAI состоит в том, чтобы обучать ИИ вознаграждать себя за каждый отдельный, правильный шаг рассуждений, когда он приходит к ответу, вместо вознаграждения за верное окончательное заключение. Этот подход называется «присмотр за процессом», в отличие от «присмотра за результатами», и, по мнению исследователей, он может привести к лучшей работе искусственного интеллекта. Такая стратегия поощряет модели придерживаться подхода, более похожего на человеческую цепочку мыслей.

«Обнаружение и смягчение логических ошибок или галлюцинаций модели является критически важным шагом к построению согласованного AGI (или ИИ общего назначения)», – сказал исследователь Ope­nAI.

Компания открыла доступ к сопроводительному набору данных из 800 тыс. меток, которые она использовала для обучения модели, упомянутой в заявлении.

Однако некоторые ученые скептически настроены к планам компании. Они полагают, что Ope­nAI предоставила слишком мало сведений, поэтому существует большая непрозрачность ее работы.

• Ранее Chat­G­PT утверждал, что написал работы некоторых студентов. Теперь они без дипломов и доказывают свое авторство. Абсурдность ситуации в том, что этот чат-бот не предназначен для проверки на плагиат.