Искусственный интеллект научили обыгрывать людей в Quake III

Разработчики из DeepMind при помощи нейросетей научили систему искусственного интеллекта играть в Quake III Arena как человек, сообщается в блоге лаборатории.
Агенты-боты при этом использовали лишь информацию, которая доступна и человеку — изображение на экране.
Нейросети и системы искусственного интеллекта все чаще используются в играх. Они могут выступать как в роли компьютерных игроков, например, как в игре Elite Dangerous, так и в роли главного соперника — как это было в случае программой для игры в го Alpha Go. Их главное достоинство заключается в том, что они умеют учиться на прошлых ошибках, как это делают люди. Однако компьютерные программы все равно часто оказываются негибкими и вырабатывают стратегии действия только для определенной среды.

Программисты из лаборатории DeepMind научили алгоритм искусственного интеллекта адаптироваться к постоянно меняющимся картам в игре Quake III Arena: они натренировали 30 ботов на 450 тысячах пятиминутных игр в режиме «захват флага». При этом каждый матч проходил на карте, созданной методом процедурной генерации — так «игроки» не могли научиться лишь стратегиям, которые работают в строго определённых условиях.
Боты самостоятельно узнали правила игры, и даже выработали несколько типов поведения. К примеру, некоторые из агентов стали охранять флаг, а некоторые — строить засады, оставаясь на вражеской базе. В процессе тренировки ИИ получал отклик от среды — например, очки за успешное прохождение уровня или штрафные баллы за ошибки — и благодаря этому улучшал свою работу.
Позже в DeepMind устроили турниры, чтобы проверить способности ИИ. Каждая команда состояла из двух игроков — людей, ботов или одного человека и одного бота.
Наиболее эффективными оказались команды, в которых людей не было — вероятность победы искусственного интеллекта составила 74%. Для среднего игрока этот показатель составляет 43%, а для умелого — около 52%.

По словам создателей, в будущем система ИИ вероятно сможет быть адаптирована и для более сложных игр, например StarCraft II или Dota 2. Подход к обучению алгоритма является достаточно общим, что позволяет использовать его в других условиях