ChatGPT не зміг правильно відповісти на половину запитань на іспиті з програмування

Генеративний штучний інтелект часто помиляється, тому навіть розробники не рекомендують використовувати його для створення програмного коду. Щоб перевірити загальні здібності та знання ChatGPT у цій галузі, системі поставили понад 500 запитань щодо розробки програмного забезпечення. Відповіді більш як на половину з них були помилковими, пише TechSpot.

Дослідники з Університету Пердью в Індіані, США, поставили ChatGPT 517 запитань із популярного ресурсу для професійних програмістів та ентузіастів Stack Overflow. Вони оцінювали відповіді не лише за правильністю, а й за послідовністю, вичерпністю та лаконічністю. Також аналізували мовний стиль і настрої відповідей.

За результатами експерименту, ChatGPT дав лише 48% правильних відповідей. Водночас 77% відповідей були описані дослідниками як багатослівні. Вичерпність і підручниковий стиль написання бота сприяли тому, що фактично помилкова відповідь здавалася волонтерам правильною.

У дослідженні йдеться про те, що навіть коли відповідь ChatGPT була явно помилковою, двоє з 12 учасників однаково віддавали їй перевагу через приємний, впевнений і позитивний тон ШІ.

Ми також розповідали, що викладачі медичної школи Beth Israel Deaconess у Бостоні, США, почали використовувати ChatGPT для того, щоби студенти опановували доволі складну навичку, а саме здатність думати як лікарі.

Нещодавні статті

Начальник Управління IT в Міноборони Берестовий іде з посади за півтора року служби

Айтівець і начальник Управління ІТ Міністерства оборони України Олег Берестовий іде з посади. На цій…

18/04/2025

Visa запустила в Україні оплату за обличчям та відбитком пальця – що відомо

Транснаціональна компанія Visa запустила в Україні технологію, що дозволяє підтверджувати онлайн-покупки за допомогою біометрії –…

18/04/2025

Майже 1750 компаній є резидентами «Дія.City». Скільки податків вони сплатили в першому кварталі 2025-го

Очільник Міністерства цифрової трансформації Михайло Федоров повідомив, скільки податків сплатили резиденти «Дія.City» в І кварталі…

18/04/2025

Для обʼєднання менторів і менті. Українські айтівці запустили платформу mentor.sh

Українські айтівці Влад Кампов та Діма Малєєв запустили власний стартап mentor.sh – платформу для пошуку…

18/04/2025

CEO BetterMe Рєпа назвала пораду, про яку хотіла б знати 8 років тому

Засновниця та CEO BetterMe Вікторія Рєпа назвала пораду, яку вона хотіла б дати собі 8…

18/04/2025

Будують кар’єру та стають впевненими в собі. Як можна зростати в «Аврорі»: три мотивуючі історії

Станіслав Деркач все життя працював у сфері шоубізу, потім кинув собі виклик, пішов у кардинально…

18/04/2025