ChatGPT не смог правильно ответить на половину вопросов на экзамене по программированию

Генеративный искусственный интеллект часто ошибается, поэтому даже разработчики не рекомендуют использовать его для создания программного кода. Чтобы проверить общие способности и знания ChatGPT в этой области, система задала более 500 вопросов по разработке программного обеспечения. Ответы более чем на половину из них были ошибочными, пишет TechSpot.

Исследователи из Университета Пердью, Индиана, США, задали ChatGPT 517 вопросов с популярного ресурса для профессиональных программистов и энтузиастов Stack Overflow. Они оценивали ответы не только по правильности, но и по последовательности, исчерпываемости и лаконичности. Также анализировали речевой стиль и настроения ответов.

По результатам эксперимента ChatGPT дал лишь 48% правильных ответов. При этом 77% ответов были описаны исследователями как многословные. Исчерпывающий и учебный стиль написания бота способствовали тому, что фактически ошибочный ответ казался волонтерам правильным.

В исследовании говорится, что даже когда ответ ChatGPT был явно ошибочным, двое из 12 участников все равно предпочитали его благодаря приятному, уверенному и положительному тону ИИ.

Мы также рассказывали, что преподаватели медицинской школы Beth Israel Deaconess в Бостоне, США, начали использовать ChatGPT для того, чтобы студенты овладевали довольно сложным навыком, а именно способностью думать как врачи.