Meta планує масштабне розширення штучного інтелекту за допомогою 1,3 мільйона графічних процесорів і рекордного центру обробки даних

Змагання за перевагу ШІ посилюються, і Meta робить сміливі кроки, щоб залишитися попереду. Генеральний директор Марк Цукерберг оголосив, що компанія планує закінчити 2024 рік із понад 1,3 мільйонами графічних процесорів — це більш ніж удвічі більше, ніж поточний запас корпоративних графічних процесорів. Це розширення має на меті прискорити розвиток можливостей штучного інтелекту Meta, включаючи майбутню модель Llama 4, яка буде конкурувати з ChatGPT від OpenAI і Gemini від Google.

Автор зображення: Девід Пол Морріс | Bloomberg через Getty Images

Амбітні цілі Meta включають забезпечення роботи помічників штучного інтелекту для понад мільярда користувачів і створення «інженера штучного інтелекту», здатного безпосередньо брати участь у дослідженнях і розробках. Щоб підтримати ці ініціативи, Цукерберг оприлюднив плани побудувати величезний центр обробки даних, здатний забезпечити 1 гігават обчислювальної потужності до кінця року, а кінцева потужність перевищить 2 гігавати – безпрецедентний масштаб у обчисленнях ШІ. Очікується, що об’єкт займатиме площу, яку можна порівняти зі значною частиною Манхеттена, і стане частиною капітальних інвестицій у розмірі 65 мільярдів доларів у 2025 році.

Цей крок відбувається в умовах жорсткої конкуренції. Суперкомп’ютер зі штучним інтелектом Ілона Маска в Мемфісі орієнтований на 1 мільйон графічних процесорів, а проект Сема Альтмана вартістю 500 мільярдів доларів США спрямований на створення центрів обробки даних із штучним інтелектом у США. Microsoft також виділила 80 мільярдів доларів на інфраструктуру з підтримкою штучного інтелекту, включаючи перезапуск ядерного об’єкта для задоволення потреб потреби в енергії.

Оскільки потреби в електроенергії для центрів обробки даних зі штучним інтелектом стрімко зростають, за деякими прогнозами, сягаючи 5 гігават, обчислювальна гонка зі штучним інтелектом не має ознак сповільнення. Інвестиції Meta підкреслюють її прагнення лідирувати в наступному поколінні технологічних інновацій.

Llama, або Large Language Model Meta AI, — це серія авторегресійних мовних моделей, розроблених Meta AI, які вперше були запущені в лютому 2023 року. Початкова модель Llama була доступна лише як базова модель, з ваговими значеннями, обмеженими академічними та дослідницькими організаціями згідно з не - комерційна ліцензія. Незважаючи на суворий доступ, ваги моделі просочилися в Інтернет незабаром після її випуску, викликавши дебати про доступність і неправильне використання в розробці ШІ.

Llama 2, представлена в липні 2023 року, ознаменувала переломний момент, включивши тонко налаштовані моделі для чату та розширивши ліцензування, щоб дозволити певне комерційне використання. Він також покращив продуктивність завдяки навчанню на 40% більше даних, ніж його попередник. У серпні 2023 року Meta випустила Code Llama, варіант, спеціально розроблений для завдань кодування, демонструючи універсальність платформи.

Llama 3, представлена в квітні 2024 року, розширила межі завдяки багатомовним і мультимодальним можливостям, розширеним міркуванням і розширеним вікнам контексту. Його найбільша модель із 70 мільярдами параметрів була попередньо навчена на 15 трильйонах токенів, перевершуючи таких конкурентів, як Gemini Pro 1.5, за ключовими тестами. У липні 2024 року Llama 3.1 представила новаторську версію з 405 мільярдами параметрів, що ще більше утвердило позицію Meta в ландшафті ШІ.

Упродовж своїх ітерацій Llama сприяла вдосконаленню віртуальних помічників Meta та інструментів кодування, одночасно впроваджуючи інновації в багатомовні та мультимодальні системи ШІ.