Штучний інтелект не вміє грати в «Маріо» (поки що) — яка модель впоралась краще

TechChrunch пише, що дослідники з Каліфорнійського університету в Сан-Дієго використовують гру Super Mario Bros. для тестування штучного інтелекту. Розповідаємо про результати дослідження.

Що сталося

Дослідники з Каліфорнійського університету в Сан-Дієго використовують гру Super Mario Bros. для тестування штучного інтелекту. Вони виявили, що ця гра є складнішим випробуванням для ШІ, ніж Pokеmon, в який штучний інтелект грав доволі повільно.

Для експерименту залучали різні моделі ШІ:

• Claude 3.7;
• Gemini 1.5 Pro;
• GPT-4o;

Claude 3.7 показав найкращі результати, тоді як інші моделі мали труднощі.

Для тестування використовувалася модифікована версія гри, запущена в емуляторі та інтегрована з фреймворком GamingAgent. Цей фреймворк надавав ШІ базові інструкції та знімки екрана, а ШІ, своєю чергою, генерував код Python для керування Маріо.

У чому різниця між іграми

Дослідження показало, що моделі ШІ, які використовують покрокове міркування, показали гірші результати в цій грі, оскільки їм потрібен час для прийняття рішень, що є критичним фактором у Super Mario Bros. порівняно з Pokеmon.

Хоча ігри вже давно використовуються для тестування ШІ, досі немає чіткого зв’язку між ігровими навичками ШІ та реальним прогресом. Нібито ігри є абстрактними та спрощеними в порівнянні з реальним світом. Проте, експеримент з Super Mario Bros. дозволяє спостерігати за тим, як ШІ справляється зі складними завданнями в реальному часі.