ChatGPT не зміг правильно відповісти на половину запитань на іспиті з програмування

Генеративний штучний інтелект часто помиляється, тому навіть розробники не рекомендують використовувати його для створення програмного коду. Щоб перевірити загальні здібності та знання ChatGPT у цій галузі, системі поставили понад 500 запитань щодо розробки програмного забезпечення. Відповіді більш як на половину з них були помилковими, пише TechSpot.

Дослідники з Університету Пердью в Індіані, США, поставили ChatGPT 517 запитань із популярного ресурсу для професійних програмістів та ентузіастів Stack Overflow. Вони оцінювали відповіді не лише за правильністю, а й за послідовністю, вичерпністю та лаконічністю. Також аналізували мовний стиль і настрої відповідей.

За результатами експерименту, ChatGPT дав лише 48% правильних відповідей. Водночас 77% відповідей були описані дослідниками як багатослівні. Вичерпність і підручниковий стиль написання бота сприяли тому, що фактично помилкова відповідь здавалася волонтерам правильною.

У дослідженні йдеться про те, що навіть коли відповідь ChatGPT була явно помилковою, двоє з 12 учасників однаково віддавали їй перевагу через приємний, впевнений і позитивний тон ШІ.

Ми також розповідали, що викладачі медичної школи Beth Israel Deaconess у Бостоні, США, почали використовувати ChatGPT для того, щоби студенти опановували доволі складну навичку, а саме здатність думати як лікарі.

Нещодавні статті

Genesis Academy запускає безплатний онлайн-курс для ШІ-креаторів. Як долучитись

Genesis Academy запускає безплатний освітній проєкт для ШІ-креаторів. Вони навчаться створювати сценарії та креативи за…

30/05/2025

Ліміти на карткові перекази ще знизяться. Що потрібно знати українцям про зміни з 1 червня

З 1 червня в Україні посилюються обмеження на карткові перекази коштів та через реквізити IBAN.…

30/05/2025

Штучний інтелект для HR: загроза професії або крок до її еволюції? Колонка за підсумками «Своє.IT»

Майбутнє HR виглядає як симбіоз технологій та людяності. Процеси найму дедалі більше рухаються у бік…

30/05/2025

Програміст MacPaw запустив власний застосунок. Як працює Huusion

Senior Research Engineer в українській MacPaw Євгеній Петелієв запустив фоторедактор Huusion. Він зазначив, що застосунок…

30/05/2025

«Подекуди може йтися навіть про зменшення». Як можуть змінитися податки після вступу до ЄС – Гетманцев

Голова комітету ВРУ з питань фінансів, податкової та митної політики Данило Гетманцев розповів, як можуть…

30/05/2025

Бар’єр для входу високий. CEO Genesis розповів, що потрібно для початку власного ІТ-бізнесу

Співзасновник і CEO Genesis Володимир Многолєтній розповів, що потрібно для того, аби почати власну справу…

30/05/2025