Кінець галюцинаціям? OpenAI придумала, як боротися з дезінформацією від ChatGPT

OpenAI спровокувала бум штучного інтелекту, коли торік випустила ChatGPT. Разом із корисними даними й порадами чат-бот часто-густо видає масу дезінформації, яку ще називають галюцинаціями. Нещодавно компанія запропонувала свій план розв’язання цієї проблеми, однак деякі експерти вже висловили скептицизм щодо ідей OpenAI. Про це пише CNBC.

Галюцинаціями називають ту ситуацію, коли ШІ, як-от ChatGPT або Bard, повідомляє неправильну інформацію, але поводиться так, ніби надає перевірені факти. Наприклад, нещодавно ChatGPT посилався на фейкові справи у заяві федерального суду.

«Навіть найсучасніші ШІ-моделі схильні видавати хибні відомості. Вони демонструють тенденцію вигадувати факти в моменти невизначеності, – йдеться у звіті OpenAI. – Ці галюцинації викликають багато проблем у галузях, що вимагають багатоступеневих міркувань, оскільки однієї логічної помилки достатньо, щоб зірвати набагато масштабніше рішення».

Нова стратегія OpenAI полягає в тому, щоб навчати ШІ винагороджувати себе за кожен окремий, правильний крок міркувань, коли він приходить до відповіді, замість винагороди за правильний остаточний висновок. Цей підхід називається «нагляд за процесом», на відміну від «нагляду за результатами», і, на думку дослідників, він може призвести до кращої роботи штучного інтелекту. Така стратегія заохочує моделі дотримуватись підходу, більш схожого на людський ланцюжок думок.

«Виявлення та пом’якшення логічних помилок або галюцинацій моделі є критично важливим кроком до побудови узгодженого AGI (або загального штучного інтелекту)», – сказав дослідник OpenAI.

Компанія відкрила доступ до супровідного набору даних із 800 тис. міток, які вона використовувала для навчання моделі, згаданої у заяві.

Однак деякі вчені скептично налаштовані до планів компанії. Вони вважають, що OpenAI надала занадто мало відомостей, тому існує велика непрозорість її роботи.

• Раніше ChatGPT стверджував, що написав роботи деяких студентів. Тепер вони без дипломів і доводять своє авторство. Абсурдність ситуації в тому, що цей чат-бот не призначений для перевірки на плагіат.