Конец галлюцинациям? OpenAI придумала, как бороться с дезинформацией от ChatGPT

OpenAI спровоцировала бум искусственного интеллекта, когда в прошлом году выпустила ChatGPT. Вместе с полезными советами и данными чат-бот начал выдавать массу дезинформации, которую еще называют галлюцинациями. Недавно компания предложила свой план решения этой проблемы, однако некоторые эксперты уже выразили скептицизм по поводу идей OpenAI. Об этом пишет CNBC.

Open AI

Галлюцинациями называют ту ситуацию, когда ИИ, например ChatGPT или Bard, сообщает неправильную информацию, но ведет себя так, будто предоставляет проверенные факты. К примеру, недавно ChatGPT ссылался на фейковые дела в заявлении федерального суда.

«Даже самые современные ИИ-модели склонны сообщать ложные сведения. Они демонстрируют тенденцию придумывать факты в моменте неопределенности, говорится в отчете OpenAI. – Эти галлюцинации вызывают много проблем в отраслях, требующих многоступенчатых рассуждений, поскольку одной логической ошибки достаточно, чтобы сорвать более масштабное решение».

Новая стратегия OpenAI состоит в том, чтобы обучать ИИ вознаграждать себя за каждый отдельный, правильный шаг рассуждений, когда он приходит к ответу, вместо вознаграждения за верное окончательное заключение. Этот подход называется «присмотр за процессом», в отличие от «присмотра за результатами», и, по мнению исследователей, он может привести к лучшей работе искусственного интеллекта. Такая стратегия поощряет модели придерживаться подхода, более похожего на человеческую цепочку мыслей.

«Обнаружение и смягчение логических ошибок или галлюцинаций модели является критически важным шагом к построению согласованного AGI (или ИИ общего назначения)», – сказал исследователь OpenAI.

Компания открыла доступ к сопроводительному набору данных из 800 тыс. меток, которые она использовала для обучения модели, упомянутой в заявлении.

Однако некоторые ученые скептически настроены к планам компании. Они полагают, что OpenAI предоставила слишком мало сведений, поэтому существует большая непрозрачность ее работы.

• Ранее ChatGPT утверждал, что написал работы некоторых студентов. Теперь они без дипломов и доказывают свое авторство. Абсурдность ситуации в том, что этот чат-бот не предназначен для проверки на плагиат.