Meta презентувала нове покоління відкритих моделей Llama 4, про це йдеться на сайті компанії. Розповідаємо, у чому їхня унікальність.
Що сталося
Meta представила нове покоління мультимодальних відкритих моделей штучного інтелекту — Llama 4. Нові моделі можуть розрізняти зображення, відео та текст в одній архітектурі. Ці моделі є першими нативно мультимодальними з відкритим кодом, що дозволяє розробникам та підприємствам працювати з ними для вирішення широкого спектру завдань.
Llama 4 Scout — невелика модель, здатна «поміститися в один графічний процесор Nvidia H100» — і Llama 4 Maverick, яка більше схожа на GPT-4o та Gemini 2.0 Flash. Meta каже, що все ще триває тренування Llama 4 Behemoth, який, за словами генерального директора Meta Марка Цукерберга, є «найефективнішою базовою моделлю у світі».
Llama 4 Scout має контекстне вікно в 10 мільйонів токенів — робочу пам’ять моделі штучного інтелекту — і перевершує моделі Gemma 3 і Gemini 2.0 Flash-Lite від Google, а також Mistral 3.1 з відкритим вихідним кодом. Meta стверджує, що її нові моделі перевершують моделі OpenAI і Google у «широкому діапазоні» тестів. Також у компанії кажуть, що моделі тепер забезпечують роботу помічника Meta AI в інтернеті, WhatsApp, Messenger та Instagram.
Тим часом Llama 4 Behemoth має 288 мільярдів активних параметрів із загальною кількістю 2 трлн параметрів. Хоча модель ще не випущена, Meta каже, що Behemoth може перевершити своїх конкурентів (у цьому випадку GPT-4.5 і Claude Sonnet 3.7) у кількох тестах STEM.
Чому це цікаво
У Llama 4 компанія Meta заявляє, що перейшла на архітектуру «суміші експертів» (MoE) — підхід, який дозволяє економити ресурси, використовуючи лише ті частини моделі, які потрібні для виконання конкретного завдання.
Як і у випадку з попередніми моделями, Meta називає колекцію Llama 4 «відкритим вихідним кодом», хоча Llama критикують за ліцензійні обмеження. Наприклад, ліцензія Llama 4 вимагає від комерційних організацій з більш ніж 700 млн активних користувачів щомісяця запитувати дозвіл у Meta перед використанням її моделей, що вже виводить її «з категорії відкритого вихідного коду».