ChatGPT не зміг правильно відповісти на половину запитань на іспиті з програмування

Генеративний штучний інтелект часто помиляється, тому навіть розробники не рекомендують використовувати його для створення програмного коду. Щоб перевірити загальні здібності та знання ChatGPT у цій галузі, системі поставили понад 500 запитань щодо розробки програмного забезпечення. Відповіді більш як на половину з них були помилковими, пише TechSpot.

Дослідники з Університету Пердью в Індіані, США, поставили ChatGPT 517 запитань із популярного ресурсу для професійних програмістів та ентузіастів Stack Overflow. Вони оцінювали відповіді не лише за правильністю, а й за послідовністю, вичерпністю та лаконічністю. Також аналізували мовний стиль і настрої відповідей.

За результатами експерименту, ChatGPT дав лише 48% правильних відповідей. Водночас 77% відповідей були описані дослідниками як багатослівні. Вичерпність і підручниковий стиль написання бота сприяли тому, що фактично помилкова відповідь здавалася волонтерам правильною.

У дослідженні йдеться про те, що навіть коли відповідь ChatGPT була явно помилковою, двоє з 12 учасників однаково віддавали їй перевагу через приємний, впевнений і позитивний тон ШІ.

Ми також розповідали, що викладачі медичної школи Beth Israel Deaconess у Бостоні, США, почали використовувати ChatGPT для того, щоби студенти опановували доволі складну навичку, а саме здатність думати як лікарі.

Нещодавні статті

«Бріджертони», сезон 4: дата виходу, сюжет, актори та відмінності від романів Джулії Квінн

Прем’єра третього сезону серіалу «Бріджертони» ще навіть не відбулася, а шанувальники вже з нетерпінням чекають…

10/05/2024

Скільки коштує відкрити салон краси в Україні – Марія Терехова з Fast Line Studio

Співзасновниця мережі салонів краси Fast Line Studio Марія Терехова розповіла, скільки коштує відкрити beauty-бізнес в…

10/05/2024

Хто і де зможе видати повістку – розбір мобілізаційного закону

З новим мобілізаційним законом, який набуває чинності вже 18 травня, змінюють правила вручення повісток. Зокрема,…

10/05/2024

Майже 90% українців жодного разу не грали в азартні ігри – КРАІЛ

На тлі активного обговорення питань ігрової залежності в Україні Комісія з регулювання азартних ігор та…

10/05/2024

H&M відкрив новий двоповерховий магазин в Blockbuster Mall. Як він виглядає (відео)

Шведський ритейлер H&M 10 травня відкрив двоповерховий магазин у столичному ТРЦ Blockbuster Mall. Він став…

10/05/2024

Fintech Farm Дубілета залучила $32 млн фінансування. Які плани в «конвеєра» необанків

Британський стартап Дмитра Дубілета Fintech Farm, який спеціалізується на розробці необанків, залучив фінансування в розмірі…

10/05/2024