ИИ DeepMind научился играть в Quake 3 на уровне людей

Исследования в области ИИ происходят не только для обучения беспилотной езды автомобилей, искать новые планеты и синтезировать лекарства от болезней. Также ИИ развивается и в пользу игровой индустрии. Технология позволяет делать NPC правдоподобнее, наделять персонажей и монстров личностями и даже улучшать графику. Кроме того исследователи в этой области занимаются обучением ботов самим играм. Команда DeepMind научила искусственный интеллект игре в кастомную версию Quake III Arena, словно это человек.

Команда сосредоточила внимание на режиме Захват Флага, при этом карта меняется после каждого матча. ИИ-агенты должны были обучиться стратегиям для адаптации к каждой новой карте — что людям дается без большого труда. Кроме того агенты должны кооперироваться с членами команды, в то же время конкурировать с противникам и адаптироваться под разные стили игры противника.

Исследователи подробно описали работу в блоге.

Наши агенты обучаются с нуля — как видеть, как действовать, кооперироваться и состязаться в неизвестной среде, и все на основе одной цели матча: выиграла ли команда или нет.

Ученые начала тренировать серию ИИ-агентов в процессе самой игры — как это делают люди. Каждый индивидуальный агент мотивирован внутренней системой наград, что укрепляет их стремление к цели, вроде захвата флага. Агенты играют друг с другом и людьми-оппонентами в быстрых и медленных матчах, чтобы укрепить их память и сохранить постоянство поведения. 

Ученые обнаружили, что ИИ-агенты побеждают чаще людей, но также они чаще работают вместе. Более того, ИИ научился вести себя, словно человек, следуя за товарищами по команде и кемперствуя на базе врага.

По мнению разработчиков, подобный ИИ может использоваться в более комплексных играх, вроде StarCraft 2 и Dota 2, чтобы ИИ-товарищи и враги вели себя подобно людям.