52% відповідей згенерованих ChatGPT містять помилки

Інтерес до ШІ не минув програмістів, і багато з них вважають, що для отримання поради краще звертатися до ChatGPT, а не до спеціалізованих ресурсів. Це призвело до звільнення 30% співробітників Stack Overflow. Однак виявилося, що покладатися на нову технологію ще рано – вона частіше припускається помилки, ніж у половині випадків.

Аналіз відповідей ChatGPT для програмістів

Згідно з дослідженням, представленим командою фахівців з Університету Пердью на конференції Computer-Human Interaction, ChatGPT виявився непостійним порадником для програмістів. Вчені встановили, що 52% відповідей, згенерованих ChatGPT, містять помилки та неточності. Аналізуючи 517 запитань зі Stack Overflow, вони також виявили, що 77% відповідей від ChatGPT є більш деталізованими, ніж ті, які надають люди, і 78% відповідей відрізняються від людських за ступенем непрямої відповідності.

Дослідження також охоплювало лінгвістичний аналіз 2000 випадкових відповідей ChatGPT. Команда встановила, що відповіді ШІ мають більш формальний характер і водночас виражають менше негативних емоцій. Іншими словами, типова відповідь ChatGPT нагадує параграф з доступно написаного підручника, а сам чат-бот не схильний до критики тих, хто його запитує. Він залишається максимально ввічливим навіть тоді, коли відповідає на найбезглуздіші питання.

Вплив стилю мови ChatGPT на сприйняття його відповідей програмістами

Під час аналізу 12 програмістів виявлено, що 35% з них віддають перевагу відповідям ChatGPT, не помічаючи помилок у 39% випадків. Ця тенденція може бути пов’язана з характерним тоном мови ШІ, який підсвідомо надає довіру людей. Дослідження вказує, що багато користувачів знижують рівень уваги через ввічливе звернення, ясно сформульовані відповіді в стилі підручника та їхню повноту. Це робить поради ChatGPT більш переконливими, попри помилки в них. Крім того, до чат-бота можуть звертатися люди, які уникають критики та грубості з боку консультантів-людей.

Аналіз демонструє, що у ChatGPT ще значно недоробок. З усім тим, це не розслабляє колег з Stack Overflow та програмістів, яким доводиться розшукувати помилки в коді, створеному штучним інтелектом.

Нещодавно було опубліковано, що експерти Вашингтонського університету в Сіетлі розробили навушники з шумозаглушенням, використовуючи штучний інтелект (ШІ).