Медіа Gizmodo пише, що Meta обдурила тести ШІ які проводила для своїх нових моделей ШІ Llama 4. Розповідаємо, як це стало можливим.
Що сталося
Прагнення стати номером один, ймовірно, змусило піти компанію Meta на невелике шахрайство. Минулого тижня Meta випустила дві нові моделі ШІ на основі своєї великої мовної моделі Llama 4. Нові моделі — Scout, менша модель, призначена для швидких запитів, і Maverick, яка має стати конкурентом більш відомих моделей, таких як GPT-4o від OpenAi.
Після анонсу нових моделей у публікації в блозі Meta розмістили купу високотехнічних даних, тестів та документації, щоб похвалитися тим, що їхній штучний інтелект розумніший та і ефективніший за моделі конкурентів:
- Google;
- OpenAI;
- Anthropic.
Ці високотехнологічні дані є надзвичайно корисними для дослідників ШІ, і багато тих, хто цікавиться штучним інтелектом, відразу помітили розбіжності у результатах тесту.
Наприклад, виявилося, що модель Maveric, яка за результатами тесту LMArena стояла вище GPT-4o і трохи нижче Gemini 2.5 Pro, відрізняється від тої версії, до якої мають доступ користувачі. Про це Meta зазначила у документації дрібним шрифтом. Компанія запрограмувала цю модель як більш схильну до підтримки діалогу ніж зазвичай. Це і відволікло увагу на тестуванні.
Іншими словами, Llama-4-Maverick-03-26-Experimental була налаштованою моделлю для оптимізації людських уподобань. У результаті компанія, що тестувала модель, оновила таблицю лідерів та ввела додаткові правила, щоб такого не відбувалося у майбутньому.
Чому це цікаво
Щоб покращити результати в умовах зростальної конкуренції, моделі штучного інтелекту стають більш «балакучими», оскільки компанії намагаються стати першими, та відрізнятися на ринку мовних моделей. У ситуації, коли базові можливості стають схожими, навіть незначні переваги, як-от вища енергоефективність чи швидкість виконання задач, набувають значення як спосіб виділити свій продукт.
У майбутньому, коли ШІ стануть звичними споживацькими продуктами, компанії активно використовуватимуть тести для демонстрації їхніх переваг. Однак для переконливого доведення вищості своїх моделей їм знадобиться більше, ніж просто тести, особливо зважаючи на здатність деяких ШІ обходити формальні оцінки.