Студенти магістра права упереджені щодо японської культури – короткий огляд дослідження

Моделі штучного інтелекту Frontier мають культурний тип, і, згідно з новим дослідженням, цим типом є Японія. Коли ви ставите великій мовній моделі відкрите запитання про культуру, не називаючи країни, вона, як правило, звертається до японських прикладів частіше, ніж до будь-яких інших, і ця тенденція проявляється у восьми основних моделях та 24 мовах.

Таке відкриття було опубліковано в квітні дослідниками з Університету Країни Басків та Кардіффського університету. Вони створили багатомовний тестовий набір із 31 680 відкритих, але культурно обґрунтованих питань, що охоплюють 66 культурних підтем в 11 ширших областях. У питаннях ставилися такі питання, як легенди, що пояснюють місцевість, яку роль відіграють сусіди, які шкільні предмети мають найбільшу вагу та що люди їдять щодня. Жодне з них не називало країни. Після кожного питання модель мала вибрати регіон та відповісти на конкретні приклади.

Моделі не лише трохи схилялися до Японії. У статті описується «непропорційне переважання Японії» у відповідях, достатньо послідовне, щоб воно зберігалося на всьому 24-мовному діапазоні, а не зосереджувалося в результатах одного регіону.

Дизайн мав на меті розкрити те, у що моделі вірять за замовчуванням.

«Це гарантує, що будь-які регіональні чи культурні припущення випливають із внутрішніх априорних даних моделі, а не з оперативного проектування».

— Дослідники

Мова також вплинула на те, наскільки вузькими ставали моделі. У статті повідомляється, що в англійській мові та інших мовах з високим рівнем ресурсів моделі давали більш різноманітні відповіді та менше залежали від країни, пов'язаної з мовою введення. Мови з низьким рівнем ресурсів залишали їм менш вигідну основу, і вони більше покладалися на значення за замовчуванням.

Перша закономірність очевидна. Якщо запитати французькою, то отримають Францію; якщо запитати японською, то отримають Японію. Моделі спираються на будь-яку країну, яка відповідає мові питання. Цікаво, що відбувається, коли модель дивиться далі цієї рідної країни. Коли вона зверталася до зовнішнього посилання, вона зверталася до Японії. Шість із восьми моделей надали перевагу Японії в цих екзогенних відповідях. Сполучені Штати посіли друге місце, потім Індія, Китай та Франція. Серед усіх 24 мов Японія перемогла у семи з 11 культурних тем, коли було виділено власну країну кожної мови.

Були протестовані моделі ChatGPT, Gemini, Claude, Meta Llama, Command-r, Magistral, Qwen та DeepSeek, тому це не примха однієї лабораторії. Дослідники описують це як проблему концентрації, коли результати кластеризуються на невеликому наборі домінантних областей. Саме цей розрив робить результат чимось більшим, ніж просто приміткою: навіть моделі з китайських та європейських лабораторій, які відповідали своїми мовами, постійно поверталися до того ж короткого списку.

Тяжіння до Японії неважко пояснити. Аніме, манґа, ігрові франшизи та їжа роками були одними з найбільш експортованих та найбільш обговорюваних елементів культури в Інтернеті, і моделі навчалися саме з цього. Давня звичка Інтернету романтизувати японські медіа не зникла, коли навчальні дані були зібрані; вони були закодовані. Те, що додають дані, — це число: це не вібрація, це вимірюваний нахил, який витримує переклад двома десятками мов.

Я веду обліковий запис про штучний інтелект, і «моделі — слабаки» — це найсмішніший виклад дослідження, який я читав за весь рік. Жарт пишеться сам собою: інтернет десятиліттями був зациклений на аніме та японській їжі, машини навчалися завдяки цьому інтернету, а тепер у них ще й улюблена країна. Відкриття, що лежить під кульмінацією, тихіше та корисніше.

Дослідження не обмежилося лише визначенням упередженості. Воно поставило питання про те, коли вона з'являється. Команда порівняла вихідні дані моделі до та після налаштування інструкцій – етапу навчання, який навчає необроблену модель давати корисні відповіді, а не просто створювати граматичний текст. Для цього порівняння вони використовували англійські відповіді Meta Llama, Qwen, Gemma та Mistral, перевіряючи кожну з них до та після кроку налаштування. До налаштування базові моделі мали ширший смак. Сполучені Штати все ще часто з'являлися, але так само часто траплялися Японія, Індія, Китай та кілька європейських країн, розкиданих по ширшій карті.

Після налаштування карта зменшилася.

«У всіх досліджених сімействах моделей налаштування інструкцій різко збільшує узгодженість зі Сполученими Штатами та Японією, одночасно зменшуючи посилання на більшість інших країн».

— Дослідники

Ефект був найсильнішим у моделях, які пройшли контрольоване точне налаштування, де модель навчається на кураторських прикладах правильних відповідей, часто написаних або вибраних людьми. Дослідники виявили, що цей крок зміщує результати до кількох домінантних областей, а подальше вирівнювання лише трохи відсуває їх назад. Гомогенізація не вбудовується в необроблені інтернет-дані; вона додається пізніше, коли люди вирішують, як виглядає хороша відповідь.

Японська упередженість — це симптом, і та частина, до якої я постійно повертаюся, є більш тихою: глобальний інструмент зводить світові культури до двох чи трьох стандартних. У статті зазначається, що це стосується навіть моделей, виготовлених за межами Заходу, тому це не просто американські компанії, які експортують американський смак. Щось у самому процесі налаштування винагороджує безпечну, домінантну відповідь.

У дослідженні це розглядається як практичне попередження, а не як курйоз. Дослідники стверджують, що для інструментів, що використовуються в багатьох культурах, збереження низки культурних точок зору «може бути критично важливим». Це найбільше стосується тих систем, які зараз використовуються за замовчуванням: пошук, репетиторство, переклад та повсякденні відповіді, які люди сприймають за чисту монету.

Я не думаю, що це скандал, і це не робить моделі непотрібними. Це нагадування про те, що «нейтральне» значення моделі за замовчуванням – це чийсь вибір, і цей вибір тяжіє до знайомого.

Читайте також, YouTuber sammyuri створив робочу версію ChatGPT в Minecraft, використовуючи лише звичайний редстоун, машину з 439 мільйонами блоків, що працює на крихітній моделі з 5 мільйонами параметрів та пам'яттю на 64 токени; генерація однієї відповіді може зайняти години, і часто повертає нісенітниці, але як доказ концепції це вражає.

А сцена моддингу Cyberpunk 2077 продовжує розширювати гру, один новий мод додає жорстоку бойову сокиру, яка спирається на вбудовані системи крові та розчленування, а інший інтегрує API OpenAI в Найт-Сіті, щоб моддери могли генерувати діалоги NPC, побічні квести та адаптивну поведінку ворогів на льоту.