ChatGPT не смог правильно ответить на половину вопросов на экзамене по программированию

Генеративный искусственный интеллект часто ошибается, поэтому даже разработчики не рекомендуют использовать его для создания программного кода. Чтобы проверить общие способности и знания Chat­G­PT в этой области, система задала более 500 вопросов по разработке программного обеспечения. Ответы более чем на половину из них были ошибочными, пишет TechSpot.

Исследователи из Университета Пердью, Индиана, США, задали Chat­G­PT 517 вопросов с популярного ресурса для профессиональных программистов и энтузиастов Stack Over­flow. Они оценивали ответы не только по правильности, но и по последовательности, исчерпываемости и лаконичности. Также анализировали речевой стиль и настроения ответов.

По результатам эксперимента Chat­G­PT дал лишь 48% правильных ответов. При этом 77% ответов были описаны исследователями как многословные. Исчерпывающий и учебный стиль написания бота способствовали тому, что фактически ошибочный ответ казался волонтерам правильным.

В исследовании говорится, что даже когда ответ Chat­G­PT был явно ошибочным, двое из 12 участников все равно предпочитали его благодаря приятному, уверенному и положительному тону ИИ.

Мы также рассказывали, что преподаватели медицинской школы Beth Israel Dea­coness в Бостоне, США, начали использовать Chat­G­PT для того, чтобы студенты овладевали довольно сложным навыком, а именно способностью думать как врачи.