ChatGPT не зміг правильно відповісти на половину запитань на іспиті з програмування

Генеративний штучний інтелект часто помиляється, тому навіть розробники не рекомендують використовувати його для створення програмного коду. Щоб перевірити загальні здібності та знання ChatGPT у цій галузі, системі поставили понад 500 запитань щодо розробки програмного забезпечення. Відповіді більш як на половину з них були помилковими, пише TechSpot.

Дослідники з Університету Пердью в Індіані, США, поставили ChatGPT 517 запитань із популярного ресурсу для професійних програмістів та ентузіастів Stack Overflow. Вони оцінювали відповіді не лише за правильністю, а й за послідовністю, вичерпністю та лаконічністю. Також аналізували мовний стиль і настрої відповідей.

За результатами експерименту, ChatGPT дав лише 48% правильних відповідей. Водночас 77% відповідей були описані дослідниками як багатослівні. Вичерпність і підручниковий стиль написання бота сприяли тому, що фактично помилкова відповідь здавалася волонтерам правильною.

У дослідженні йдеться про те, що навіть коли відповідь ChatGPT була явно помилковою, двоє з 12 учасників однаково віддавали їй перевагу через приємний, впевнений і позитивний тон ШІ.

Ми також розповідали, що викладачі медичної школи Beth Israel Deaconess у Бостоні, США, почали використовувати ChatGPT для того, щоби студенти опановували доволі складну навичку, а саме здатність думати як лікарі.

Нещодавні статті

Найкращий тиждень з 2021 року – вартість Ethereum зросла на третину

Другий за величиною цифровий токен Ethereum цієї п’ятниці різко зріс у ціні, збільшивши свій тижневий…

09/05/2025

«Раніше це писали копірайтери, зараз – ШІ». Бородатюк про використання ШІ в Netpeak Group

CEO Netpeak Group Артем Бородатюк поділився, як у групі впроваджують інструменти штучного інтелекту та роботу…

09/05/2025

Як застосунок tTravel перетворює досвід мандрівників на контент, що приносить пасивний дохід

Засновуючи tTravel, Олександр Буратинський та Артем Шамбальов, маючи за плечима роки дружби, подорожей та спільної…

09/05/2025

ChatGPT тепер зможе аналізувати код у GitHub. Що відомо про інтеграцію

Компанія OpenAI почала тестувати оновлення Deep Research у ChatGPT. Функція буде працювати з репозиторіями GitHub…

09/05/2025

В EPAM Systems змінюється керівництво. Що відомо про нового CEO

EPAM Systems змінює керівництво. Засновник ІТ-компанії та генеральний директор Аркадій Добкін йде з посади. Він…

09/05/2025

Поперешнюк розповів, який стартап запустив би, якби не займався «Новою поштою»

Співзасновник «Нової пошти» Володимир Поперешнюк у Школі бізнесу НП розповів, який стартап запустив би, якби…

09/05/2025