Нейросеть Spawn перепевает мировые хиты. Чем она интересна и как ею воспользоваться

Авангардный композитор и саунд-дизайнер Холли Херндон выпустила необычный клип-кавер на песню Долли Партон Jolene, в котором на самом деле поет не сама девушка, а нейросеть Spawn. Об этом сообщает The Byte. Редакция MC.today пересказывает самые интересные детали.

Holly Herndon Jolene

В последнее время большое внимание привлекают к себе продукты на базе искусственного интеллекта. Они могут рисовать иллюстрации и картины по текстовому или голосовому описанию, создавать аватары по фото и многое другое. Теперь машинного обучения Spawn поет человеческим голосом.

Ее в соавторстве с Мэттом Драйхерстом создала Холли Херндон. Она же «дала» ей свой голос. Девушка много лет работает с нейронными сетями. Она училась в Центре компьютерных исследований музыки и акустики и провела множество экспериментов в области взаимодействия искусственного интеллекта с человеческим голосом.

Чтобы озвучить Spawn, Холли сделала немало записей своего голоса, использовала инструменты для преобразования текста в речь и обработки аудио.

Херндон также выпустила клип на одну из своих композиций, в котором главная героиня – цифровой аватар девушки, а единственный солист – нейросеть Spawn. Этот кавер на песню Долли Партон Jolene звучит достаточно реалистично.

Конечно, если прислушаться, можно заметить неправильное произношение некоторых слов и не самые естественные паузы в местах, в которых аватар делает очередной «вдох». Но композиция получилась довольно целостной. Это говорит о том, что искусственный интеллект можно интегрировать практически в любой вид творчества.

Девушка также создала платформу Holly+, которую каждый музыкант может использовать, чтобы прослушать свою композицию в исполнении Холли. Вернее, нейросети Spawn. Забавы ради можно загрузить любой аудиофайл (например, любимую песню) длиной до пяти минут, и искусственный интеллект перепоет его. 

Напомним, ранее мы рассказывали о том, что благодаря нейросети TikTok можно создавать картины по украиноязычному описанию, а также публиковали гайд по работе с популярным инструментом для творчества Midjourney.