Neuralangelo от NVIDIA — ИИ для генерации 3D-объектов из 2D-видео

NVIDIA представила новую модель искусственного интеллекта под названием Neuralangelo, способную создавать 3D-копии объектов на основе 2D-видео, будь то классические скульптуры, обычные грузовики или здания. Neuralangelo выбирает несколько кадров, показывающих объект с разных ракурсов в 2D-видео, чтобы получить четкое представление о его глубине, размере и форме. Затем он создает грубое 3D-представление объекта, после чего оптимизирует его, чтобы максимально точно передать детали реального объекта.

Как заявляет компания, новая модель использует технологии своего предшественника — Instant NeRF, чтобы точно воспроизводить самые тонкие детали любого объекта. Это включает в себя текстуру, узоры и цветовые оттенки. NVIDIA отмечает, что способность Neuralangelo передавать сложные текстуры, такие как шероховатость кровельной черепицы и гладкость мрамора, "значительно превосходит предыдущие методы". Она даже достаточно хороша для создания виртуальных объектов из видео, снятых на смартфоны, что может облегчить задачу создания 3D-реконструкций для проектов. Более того, это быстрое решение: из NVIDIA Research сообщили, что инструмент может создавать 3D-сцены всего за два часа.

Минг-Ю Лю, соавтор статьи о Neuralangelo, заявил, что это "в конечном итоге позволит разработчикам импортировать детализированные объекты — будь то маленькие статуи или огромные здания — в виртуальные среды для видеоигр или цифровых двойников в промышленности". В видео выше, демонстрируются возможности этой технологии.

NVIDIA утверждает, что она может создавать пейзажи в большом масштабе из видео с дронов, облегчая разработчикам воссоздание реальных мест в их играх. У нее есть и множество других потенциальных применений, включая робототехнику, виртуальную реальность, архитектуру и, конечно же, искусство.

Исследовательский отдел компании представит Neuralangelo на конференции по компьютерному зрению и распознаванию образов, которая пройдет с 18 по 22 июня в Ванкувере.