Генеративный искусственный интеллект часто ошибается, даже разработчики не рекомендуют их для создания кода программ. Чтобы проверить насколько, команда Университета Пердью в США провела исследование, передает TechSpot.
Курс QA. Стань неперевершеним QA спеціалістом! Стань технічною хрещеною феєю, яка оберігає від помилок і багів. Використай цей шанс! Дізнатись про курс
В общем ChatGPT задали 517 вопросов из Stack Overflow (популярный ресурс вопросов и ответов для профессиональных программистов и энтузиастов). Ответы оценивали не только по правильности, но и по последовательности, исчерпанности и лаконичности.
Инструмент OpenAI справился с задачей далеко не отлично. ChatGPT дал лишь 48% правильных ответов, а 77% описали как многословные. При этом стиль и качество определений часто убеждали волонтеров в правильности, хотя это было не так.
Мы заметили, что только тогда, когда ошибка в ответе ChatGPT очевидна, пользователи могут ее идентифицировать.
Однако когда ошибка более комплексная, требующая дополнительных знаний или изучения документации, пользователи часто не способны определить ошибку, или недооценивают ее степень.
Даже если ответ ChatGPT был явно неправильным, двое из 12 участников все равно отдавали предпочтение ему из-за приятного, уверенного и позитивного тона ИИ. Его исчерпывающий и педагогический стиль написания также способствовали тому, что фактически неправильный ответ казался правильным.
Ответы ChatGPT на основе GPT-4 стали хуже за последние месяцы, а GPT-3.5 улучшила результат – исследование
Курс QA. Стань неперевершеним QA спеціалістом! Стань технічною хрещеною феєю, яка оберігає від помилок і багів. Використай цей шанс! Дізнатись про курс
Голосуй за переможця конкурсу блогів. Голосування проходить з 25 липня по 8 серпня включно. Головний приз – сучасний ігровий ПК ASGARD (i7 13700, 32Gb RAM, SSD 1Tb, GF RTX 4060Ti 8Gb) від інтернет-магазину click.ua. Віддай свій голос за найкращого! Деталі тут.
