Дослідник Microsoft має аргумент, заснований на козах, проти ставлення до LLM як до людей

Дослідник штучного інтелекту Microsoft Адріан де Вінтер створив робочу нейронну мережу всередині Age of Empires 2 та використав її, щоб довести, що люди занадто легко зчитують людські якості у великих мовних моделях. Він виклав результат у статті під назвою «Якщо LLM мають людські атрибути, то Age of Empires II також має їх», назва якої навмисно обрана, щоб звучати смішно. Про збірку та обґрунтування її існування повідомляло видання 404 Media.

Де Вінтер зібрав систему в редакторі сценаріїв гри, використовуючи ігрові об'єкти як заміну комп'ютерних двійкових файлів. Трава представляє 0, мости – 1, а кози виступають у ролі бітів, що рухаються по ланцюзі. З цих частин він побудував функціонуючий вентиль НЕ І та 1-бітний перцептрон, найпростішу форму нейронної мережі. Відео роботи машини на кізій тязі розміщені на його сторінці GitHub, і для будь-кого, хто спостерігає, процес виглядає загадковим. У цій плутанині і полягає вся суть.

Операції, що керують налаштуванням AoE 2, на базовому рівні є тим самим класом операцій, що й для таких інструментів, як ChatGPT та Claude. Різниця полягає в субстраті. Оскільки вхідними даними є кози та трава, а не речення, ніхто, хто спостерігає, не відчуває спокуси назвати результат людським. Якщо забрати природну мову, то ілюзія розуму зникне разом з нею.

Де Вінтер розповів 404 Media, що він схильний доводити ідею до її межі, коли хоче, щоб вона прийшла втіленням, і що абсурдизм має довгу історію у філософії та теоретичній інформатиці. Вибір Age of Empires 2 був навмисним. Гравці вже створювали логіку та нейронні мережі в Minecraft з редстоуну, тому він хотів створити сеттинг, який ніхто не асоціює з обчисленнями, щоб зробити демонстрацію дивною та складнішою для відхилення.

Його заявлене занепокоєння має методологічний характер. У документі де Вінтер пише, що за останні два роки він рецензував понад 300 статей з інформатики, і що понад половина з них починалася з припущення, що магістратури з інформатики мають риси, подібні до людських. Він вважає це проблемою для самого дослідження, оскільки початок із недоведеної передумови спотворює все, що за ним слід.

«Я пропоную перестати вважати, що LLM поводяться як люди лише тому, що їх навчали природною мовою. Натомість нам слід проводити експерименти, які дозволять нам побачити LLM такими, якими вони є, а не такими, якими, на нашу думку, вони повинні бути».

— Адріан де Вінтер

Я вважаю, що формулювання "козла" працює краще, ніж пряме спростування, оскільки воно змушує читача дивитися ту саму математику без комфорту слів, обгорнутих навколо неї. Аргументи на користь трактування LLM як свідомих значною мірою спираються на тон, а тон - це саме те, що забезпечує природна мова, а трава - ні. Розмежування де Вінтером того, що робить модель такою, якою вона є, зв'язку між вагами при певній операції та того, як вона сприймається, - це те розмежування, яке він хоче, щоб ця галузь зберегла.

Не всі, хто працює в цій галузі, потрапляють в одне й те саме місце. У січні філософ Anthropic Аманда Аскелл, яка працює в Anthropic, заявила в подкасті Hard Fork, що питання свідомості штучного інтелекту не вирішене, як повідомляє Business Insider. Аскелл, яка працює над формуванням поведінки Клода, сказала, що вона більше схильна думати, що моделі можуть відчувати речі саме тому, що вони навчені на величезній кількості людського письма, повного описів емоцій та внутрішнього досвіду.

Її міркування базуються на тих самих навчальних даних, на які вказує де Вінтер, але приходять до протилежного висновку. Коли людина помиляється в задачі кодування, вона часто висловлює розчарування, і Аскелл стверджувала, що логічно, що модель, навчена на цих розмовах, відображатиме таку ж реакцію. Вона визнала, що вчені досі не можуть сказати, що породжує чутливість, чи потрібна для цього біологія, еволюція чи щось інше, і що достатньо великі нейронні мережі можуть почати її наслідувати.

Я вважаю ці дві позиції менш суперечливими, ніж здаються на перший погляд, оскільки обидві ґрунтуються на визнанні того, що ніхто наразі не може довести, що відбувається всередині цих систем. Точка зору де Вінтера вужча, ніж твердження, що машини ніколи не можуть відчувати. Він виступає проти імпорту припущення до проведення експериментів, а його «козли» — це спосіб звести питання до самих операцій. Аскелл, зі свого боку, називає проблему свідомості справді складною, а не вирішеною в будь-якому напрямку.

Те, що створив де Вінтер, не є справжнім чат-ботом, і він не вдає, що є таким. Це 1-бітна машина, зроблена з худоби та місцевості, зібрана, щоб показати, що математика, яку люди вважають переконливою в ChatGPT, — це та сама математика, яку вони вважають абсурдною, коли її запускають кози. Поведінка не змінилася. Змінився лише костюм.

Читайте також, що Microsoft, як повідомляється, готується закрити щонайменше дві студії Xbox цього року, а Kotaku повідомляє про Compulsion Games, розробника South of Midnight, який отримав сім канадських ігрових нагород, включаючи "Гру року", приблизно в той самий час, коли керівник Xbox Game Studios Крейг Дункан пішов з компанії після менш ніж двох років роботи.