TechChrunch пише, що дослідники з Каліфорнійського університету в Сан-Дієго використовують гру Super Mario Bros. для тестування штучного інтелекту. Розповідаємо про результати дослідження.
Що сталося
Дослідники з Каліфорнійського університету в Сан-Дієго використовують гру Super Mario Bros. для тестування штучного інтелекту. Вони виявили, що ця гра є складнішим випробуванням для ШІ, ніж Pokеmon, в який штучний інтелект грав доволі повільно.
Для експерименту залучали різні моделі ШІ:
- Claude 3.7;
- Gemini 1.5 Pro;
- GPT-4o;
Claude 3.7 показав найкращі результати, тоді як інші моделі мали труднощі.
Для тестування використовувалася модифікована версія гри, запущена в емуляторі та інтегрована з фреймворком GamingAgent. Цей фреймворк надавав ШІ базові інструкції та знімки екрана, а ШІ, своєю чергою, генерував код Python для керування Маріо.
У чому різниця між іграми
Дослідження показало, що моделі ШІ, які використовують покрокове міркування, показали гірші результати в цій грі, оскільки їм потрібен час для прийняття рішень, що є критичним фактором у Super Mario Bros. порівняно з Pokеmon.
Хоча ігри вже давно використовуються для тестування ШІ, досі немає чіткого зв’язку між ігровими навичками ШІ та реальним прогресом. Нібито ігри є абстрактними та спрощеними в порівнянні з реальним світом. Проте, експеримент з Super Mario Bros. дозволяє спостерігати за тим, як ШІ справляється зі складними завданнями в реальному часі.