Новый генеративный ИИ от Adobe для создания музыки — это "Фотошоп" для музыкального творчества
Последний эксперимент Adobe в области генеративного ИИ нацелен на помощь людям в создании и редактировании музыки без необходимости профессиональных навыков.
Анонсированный во время саммита Hot Pod Summit в Бруклине, прототип Project Music GenAI Control позволяет пользователям генерировать музыку при помощи текстовых запросов, а затем редактировать аудио без перехода в специализированное ПО.
Пользователи начинают с ввода текстового описания, которое сгенерирует музыку в указанном стиле, например "веселый танец" или "грустный джаз". Adobe заявляет, что встроенные средства редактирования затем дают возможность настраивать результаты, изменяя любые повторяющиеся паттерны, темп, громкость и структуру. Фрагменты композиций можно смешивать, а аудио генерировать в виде бесконечной зацикленной дорожки для создания, например, фоновой музыки.
По словам Adobe, инструмент также может корректировать сгенерированное аудио "на основе базовой мелодии" и удлинять аудиофрагменты, если вы захотите сделать трек достаточно длинным, скажем, для подкаста или анимации. Пока что интерфейс редактирования сгенерированного звука не раскрывается, так что придётся довольствоваться воображением.
В Adobe заявляют, что для публичной демонстрации Project Music GenAI Control использовался контент из общественного достояния, но неясно, сможет ли сам инструмент принимать для обработки любое аудио напрямую или как долго можно растягивать фрагменты.
Похожие инструменты уже доступны или разрабатываются другими компаниями, включая MusicLM от Google и AudioCraft от Meta. Но они позволяют лишь генерировать музыку по текстовым запросам без возможности редактирования. Это значит, приходится либо генерировать аудио заново до получения желаемого результата, либо самостоятельно править в аудиоредакторах.
Одна из самых захватывающих особенностей этих новых инструментов в том, что они не ограничиваются генерацией аудио. Они выводят всё на уровень Фотошопа, предоставляя создателям контента такой же глубокий контроль для изменения, настройки и правки их аудио. Это пиксельный уровень управления для музыки.
Разработка Project Music GenAI ведётся в сотрудничестве с Калифорнийским университетом и Школой компьютерных наук университета Карнеги-Меллона. В Adobe описывают его как "начальную стадию" эксперимента. Значит, несмотря на потенциал встраивания этих возможностей в текущие инструменты Adobe типа Audition и Premiere, для полноценного внедрения потребуется время.
Пока инструмент недоступен широкой публике и дата выхода не анонсирована, но за разработкой Project Music GenAI наряду с другими экспериментами Adobe можно следить на сайте Adobe Labs.
- Adobe представила ИИ-инструмент для массовой обработки фотографий
- Благодаря ИИ The Beatles номинированы на две премии Грэмми
- Adobe представила новые ИИ-инструменты для создания звуков, ремикса изображений, генерации анимаций и другие полезные функции
16 комментария
наконец-то у них появляется заветная кнопка "СДЕЛАТЬ ПИ*ДАТО"
@SOPLI, нет)
@Normal, ну хорошо, это пока нет) но оно учится. сейчас это как пинать детсадовца что он читать не умеет. научится
@Normal, бро, тебя и искал тут 😂😂 Нет конечно, но мы оба юзаем озон 11, нейрон, с нейросетями, фокусрайт, и топовые эквалайзеры и компрессоры, сейчас 2 вышло, 22 век, ты видел? Можно сейчас в Eq настроить все! И что круто он покажет тебе все дорожки, конфликты частот, ну а вишенка на торте, подстраивпетя и автоматическое срезание пиков, без динамики и компрессий, удаление не нужных гармоник и тп, это же экономит вермя раз в 20) А еще в этом эквалайзере все типы винтажных от ссл и заканчивая Neve железками, если не юзал, скину тебе это чудо техники))) Помогают но, не заменят) Аа брат по разуму))) Позитива как обычно) Опять тебя минусят, поправил 😂😂 Парни он прав, заменить не смогут слишком много нюансов, тут на статью выйдет, но 90 проц работы скинут) Для затравки подскажу: Вокал)) Ну а про запись Симфонии, для кино я молчу, ксть спец оркестр залы) Хотя и их сняли уже в виде импульсов 😎😎
@SOPLI, Нет) это как пинать мечты о вечном двигателе)
@master_chubos,
Не понял у кого?)
Это да, круто сейчас все, но блин, сложнее всего все равно найти баланс между громкостью и звуком без пореза, ппц как это сложно, особенно с крутым бассом)
Я так и не понял что это за эквалайзер или компания))
Да мне реально на это до лампочки, от слова совсем, не обращаю внимание, а если и вижу то меня это больгше веселит и чем больше минусят тем больше веселит, реально такая реакция))
Интересно сможет ли оное создать какой нить мелодик дет или блек метал)
@Anriseons, легко. тока скорее всего без вокала.
Как же часто хочется приписать приписку "Де" к таким новостям)
Простите.
@shKreyt, а Коэну нравиться)
Я думаю, это идеальный инструмент реставрирования: потому что очень часто приходится на спектрограмме вручную за штамповать и перерисовывать частоты как Фотошопе.
Глядя на то, как неронки закрывают и генерят области будет очень удобно.
@Romario1985, нет, идеальным не будет, качество не то, для этого есть другие плагины которые делают это лучше, с теми же нейронками на борту, уже все есть, adobe как всегда хочет присоседится
)))лупы и миди воровать у оригинальных авторов...
Пользовался я как то таким ии...
Шляпа это все, для создания интро может и подойдёт, а для написания полноценного трека, совершенно не то!
фотошоп это в первую очередь редактор, а подобных редакторов сегодня много, ращипление на дорожки- вокал, драмсы, инструментал, бас- все что хочешь, плюс гора умных шумоадавов итд итп, adobe пытается запрыгнуть в последний вогон поезда очень далекого от него, у них и аудишн сегодня хз кому нужен, а тут это
@Normal, незабывай что то что ты перечислил это хорошо но не для того кто в этом не шарит совсем. а так ии на основе запросов сделает болванку или банально подкинет идеи для реализации в живую. (какойто красивый переход, интересный риф и тд.)
так что потенциально кто первый сделает чтото подобное которое не требует кучи знаний может озолотиться.
@mrGrim,
Так о чем и речь, в статье указали что такие уже есть решения, якобы тут отличное редактирование, но в два клика редактирование везде уже есть, с тем же ии на любой вкус в два клика, adobe просто пиарит себя
Лет 8назад или больше, они так же в аудишене показывали возможность имитации речи, редактировании проищносимых слов и добавления новых. Но так и не выпустили для публики, видимо побоялись использованич для мошенников и пранка. Да и для индустрии в целом теперь не нужен музыкант или певец, все может сделать нейронка.