ИИ Facebook превращает людей в управляемых персонажей

Исследовательская команда Facebook разработала ИИ под названием Vid2Play, который способен создать играбельных персонажей из роликов в реальном времени. Система осуществляет процесс на основе нейросети, анализирующей случайные ролики, в которых люди делают специфические действия. После этого система воссоздает персонажа и осуществляемые действия в любой среде, позволяя управлять виртуальным человеком при помощи джойстика.

Для осуществления данного процесса команда разработала две нейросети — Pose2Pose и Pose2Frame. Сначала видео загружается в нейросеть Pose2Pose, где происходит анализ различных движений, вроде игры в теннис, танцев и фехтования. Далее нейросеть отделяет человека и его позы. После вторая нейросеть Pose2Frame берет вырезанную часть с человеком, а также его тенями и предметами в руках, вставляя их в новую сцену с минимальным объемом артефактов. 

Осуществив перенос человек становится управляемым на основе тех поз и движений, которые были проанализированы ИИ.

Для тренировки системы требуется всего пара коротких видео. Алгоритмы настолько эффективны, что способны фильтровать других людей и компенсировать углы камеры. Движения нельзя назвать правдоподобными и есть ограничения по доступным действиям. 

Гипотетически такая система может использоваться для переноса самого себя или кого-то еще в игры, однако нечто подобное уже существует — обычно достаточно сделать не больше нескольких фото, чтобы сгенерировать модель.