Разработчики Stable Diffusion представили искусственный интеллект, превращающий текст в музыку

Компания Sta­bil­i­ty AI, которая стала известной после релиза популярного генератора изображений с искусственным интеллектом Sta­ble Dif­fu­sion, выпустила новый ИИ-продукт Sta­ble Audio. Это платформа для преобразования текста в аудио. Редакция MC.today передает подробности со ссылкой на сайт компании.

Robot Plays the Piano. 3d Illus­tra­tion

Sta­ble Audio использует диффузию, или ту же модель искусственного интеллекта, которая работает на более популярной платформе для создания изображений Sta­ble Dif­fu­sion. Но ее учили не на картинках, а на большом массиве аудиозаписей.

Sta­ble Audio: Craft­ing Music with AI Just Got Sim­pler!
🔊🆙
Sta­ble Audio by Sta­bil­i­ty AI is the new go-to tool for AI music and sound gen­er­a­tion. It’s incred­i­bly user-friend­ly, allow­ing you to cre­ate cap­ti­vat­ing tunes in no time.

Train­ing Data: The first mod­el is trained on… pic.twitter.com/OmvafUAiqr

— AshutoshShri­vas­ta­va (@ai_for_success) Sep­tem­ber 14, 2023

Большинство похожих моделей искусственного интеллекта, как правило, генерируют достаточно короткие ролики с фиксированной длиной. Это не очень удобно для создателей, например, музыкальных треков, ведь их продолжительность может быть разной.

Sta­bil­i­ty AI нашла способ обойти подобные ограничения, а настройки модели теперь позволяют пользователям Sta­ble Audio иметь больше контроля над тем, насколько длинной будет композиция.

Wow, After Sta­ble dif­fu­sion, Sta­bleLM, Sta­ble­Code, now Sta­bleAu­dio!! @StabilityAI is just so awe­some! Is there a way to con­tribute to the devel­op­ment?

pic.twitter.com/7jYK0oOcsC

— Jib­in Math­ew (@jibinmathew_69) Sep­tem­ber 14, 2023

«Мы продолжаем совершенствовать наши архитектуры моделей, наборы данных и протоколы обучения, чтобы улучшить качество воспроизведения, управляемость, скорость вывода и продолжительность трека», – сообщили в компании.

Для тренировки модели использовали более 800 тысяч аудиофайлов с музыкой, звуковыми эффектами, инструментальными композициями и текстовые метаданные от компании AudioSparx, которая лицензирует фондовую музыку. Sta­bil­i­ty AI утверждает, что получила необходимые разрешения на использование материалов, защищенных авторским правом. Учебный набор содержит более 19,5 тыс. часов звуков.

Sta­ble Audio: text-to-music gen­er­a­tion by @StabilityAI

Try it out now! →https://t.co/z8XD6j3NXx

How does it work? ↓ pic.twitter.com/zZHFtAjW2p

— Tan­ishq Math­ew Abra­ham, PhD (@iScienceLuvr) Sep­tem­ber 13, 2023

В бесплатной версии Sta­ble Audio можно производить до 20 треков в месяц продолжительностью до 45 секунд. Подписка профессионального уровня стоит $11,99 в месяц. За эти деньги можно создать до пятисот 90-секундных треков. В тарифе Enter­prise цену формируют в соответствии с потребностями пользователей.

В Sta­bil­i­ty AI считают, что новую платформу будут использовать прежде всего для создания фоновой музыки для подкастов или видео.

• Ранее компания сообщила о планах расширять свое присутствие в области искусственного интеллекта, в частности, для создания аудио и видеоконтента. Интересно, что, несмотря на это, глава Sta­bil­i­ty AI Эмад Мостак предсказал исчезновение программистов-людей из-за ИИ и заявлял, что эта технология подорвет мировую экономику сильнее пандемии COVID-19.