ElevenLabs создает универсальный ИИ для дублирования

После того как Disney выпускает новый фильм на английском языке, компания приступает к его локализации на 46 языках, чтобы сделать продукт доступным для как можно более широкой аудитории. Это колоссальная задача, для решения которой у Disney есть целое подразделение — Disney Character Voices International Inc. Естественно не стоит рассчитывать, что Крис Пратт вернется в студию дублирования, чтобы озвучить свои реплики из "Стражей Галактики III" на исландском и свахили — каждая версия звучит несколько иначе благодаря местным актерам озвучивания. Однако с новой системой ИИ для дублирования от ElevenLabs мы вскоре сможем получить почти точное воссоздание голоса Пратта, независимо от языка, который звучит на экране.

ElevenLabs — это стартап в области искусственного интеллекта, предлагающий услугу клонирования голоса, позволяющую подписчикам создавать практически идентичные вокализации с помощью ИИ, основанные на загрузке нескольких минут аудиообразцов. Неудивительно, что как только функция была запущена в бета-версии, ее тут же использовали для имитации голосов знаменитостей, порой без их предварительного знания и согласия.

Новая функция ИИ для дублирования делает по сути то же самое — на более чем 20 различных языках, включая хинди, португальский, испанский, японский, украинский, польский и арабский — но законно и с разрешения. Этот инструмент предназначен для использования медиакомпаниями, преподавателями и интернет-инфлюенсерами, у которых нет финансовых возможностей Disney для финансирования своих глобальных адаптационных усилий.

ElevenLabs утверждает, что система сможет не только перевести "устный контент на другой язык за несколько минут", но и сгенерировать новый устный диалог на целевом языке с использованием голоса актера. Или, по крайней мере, создать его ИИ-вариант. Сообщается, что система даже способна сохранять "эмоциональность и интонацию" существующего диалога и переносить их на созданный перевод.

"Это поможет зрителям наслаждаться любым контентом, который они хотят, независимо от языка, на котором говорят," — сказал генеральный директор ElevenLabs Мати Станисжевски в пресс-релизе. "И это означает, что создатели контента смогут легко и убедительно донести свои идеи до гораздо более широкой аудитории по всему миру."