ChatGPT пройшов п’ятихвилинний тест Тьюринга: що це значить

В 54% випадків люди вважали бота ChatGPT-4 за людину під час п’ятихвилинного текстового листування. Однак експеримент має свої обмеження.

Тест Тьюринга використовується для оцінки того, наскільки схожий штучний інтелект на людину. Суть тесту полягає в тому, що якщо під час спілкування з мовною моделлю люди плутають її з реальною людиною або не можуть однозначно визначити, хто їхній співрозмовник, то поведінка моделі досить близька до людської.

Поведінкові аспекти тесту Тьюрінга та їх вплив на оцінку штучного інтелекту

Алан Т’юрінг, який створив тест на початку 1950-х років, визнавав його недосконалість. Він вважав, що для штучного інтелекту найкраще видати себе за людину шляхом ухилення від запитань, жартів та перепитувань співрозмовника. Така поведінка здавалася людям більш природною, хоча вона не демонструвала складності та багатогранності мислення, що є характерним для “нештучного” інтелекту.

Тест Тьюрінга залишається важливим інструментом для оцінки можливостей штучного інтелекту, яке успішне проходження є однією з цілей нових мовних моделей. З’явилося декілька його варіантів, які відрізняються завданнями та тривалістю, що ставляться перед моделями та експериментаторами. Згідно з дослідженням вчених з Каліфорнійського університету в Сан-Дієго, робота ChatGPT-4 від компанії OpenAI успішно впоралася з п’ятихвилинним тестом Тьюрінга, що було опубліковано на сайті arxiv.org.

Прогрес та обмеження в оцінці «людяності» штучного інтелекту через тест Тьюрінга

У дослідженні брали участь 402 учасники, середня вікова група яких становила 35 років. Кожному з них запропонували протягом п’яти хвилин листуватися з випадково обраним співрозмовником, яким можна було бути інша людина або одна з трьох мовних моделей: ELIZA, яка імітує поведінку психолога, і дві сучасні моделі, зокрема ChatGPT-4. Учасникам експерименту потрібно було визначити, з ким вони спілкуються, і обґрунтувати своє рішення, тоді як мовні моделі намагалися видати себе за людей.

Результати показали, що ChatGPT-4 зміг обдурити учасників у 54% випадків, що є значним покращенням порівняно з попередніми моделями, такими як ChatGPT-3.5 та ELIZA. Водночас правильно ідентифікувати людину учасникам вдалося у 67% випадків.

Дослідники підкреслили, що успіх ChatGPT-4 свідчить про значний прогрес у сфері штучного інтелекту, але також вказали на потенційні проблеми, пов’язані зі здатністю відрізняти машини від людей. Це може мати наслідки як для автоматизації роботи, так і для поширення дезінформації та шахрайства через технології. Результати експерименту також підкреслили обмеження тесту Т’юрінга, зокрема те, що судження про «людяність» може ґрунтуватися на соціально-емоційних характеристиках, які не завжди відповідають традиційним уявленням про інтелект та його функції.

Компанія Amazon розробляє свій власний чат-бот під назвою Metis, що має стати конкурентом для ChatGPT.