Розробники Stable Diffusion представили штучний інтелект, що перетворює текст на музику

Юлія Фещенко

Редакторка новин MC.today

Компанія Stability AI, яка стала відомою після релізу популярного генератора зображень зі штучним інтелектом Stable Diffusion, випустила новий ШІ-продукт Stable Audio. Це платформа для перетворення тексту в аудіо. Редакція MC.today переповідає подробиці з посиланням на сайт компанії.

Robot Plays the Piano. 3d Illustration

Stable Audio використовує дифузію, або ту саму модель штучного інтелекту, яка працює на більш популярній платформі для створення зображень Stable Diffusion. Але її навчали не на картинках, а на великому масиві аудіозаписів.

Stable Audio: Crafting Music with AI Just Got Simpler!
🔊🆙
Stable Audio by Stability AI is the new go-to tool for AI music and sound generation. It’s incredibly user-friendly, allowing you to create captivating tunes in no time.

Training Data: The first model is trained on… pic.twitter.com/OmvafUAiqr

— AshutoshShrivastava (@ai_for_success) September 14, 2023

Більшість схожих моделей штучного інтелекту, як правило, генерують доволі короткі ролики з фіксованою довжиною. Це не дуже зручно для творців, наприклад, музичних треків, адже їхня тривалість може бути різною.

Stability AI знайшла спосіб обійти подібні обмеження, а налаштування платформи тепер дозволяють користувачам Stable Audio мати більше контролю над тим, наскільки довгою буде композиція.

Wow, After Stable diffusion, StableLM, StableCode, now StableAudio!! @StabilityAI is just so awesome! Is there a way to contribute to the development?

pic.twitter.com/7jYK0oOcsC

— Jibin Mathew (@jibinmathew_69) September 14, 2023

«Ми продовжуємо вдосконалювати наші архітектури моделей, набори даних і протоколи навчання, щоби покращити якість відтворення, керованість, швидкість висновку та тривалість треку», – повідомили в компанії.

Для тренування моделі використали понад 800 тис. аудіофайлів з музикою, звуковими ефектами, інструментальними композиціями та текстові метадані від компанії AudioSparx, що ліцензує фондову музику. Stability AI стверджує, що має дозвіл на використання матеріалів, захищених авторським правом. Навчальний набір містить понад 19,5 тис. годин звуків.

Stable Audio: text-to-music generation by @StabilityAI

Try it out now! →https://t.co/z8XD6j3NXx

How does it work? ↓ pic.twitter.com/zZHFtAjW2p

— Tanishq Mathew Abraham, PhD (@iScienceLuvr) September 13, 2023

У безплатній версії Stable Audio можна створювати до 20 треків на місяць тривалістю до 45 секунд. Підписка професійного рівня коштує $11,99 на місяць. За ці гроші можна створити до 500 90-секундних треків. У тарифі Enterprise ціну формують відповідно до потреб користувачів.

В Stability AI вважають, що нову платформу використовуватимуть насамперед для створення фонової музики для подкастів або відео.

• Раніше компанія повідомила про плани розширювати свою присутність у галузі штучного інтелекту, зокрема для створення аудіо та відеоконтенту. Цікаво, що попри це очільник Stability AI Емад Мостак передрік зникнення програмістів-людей через ШІ та заявляв, що ця технологія підірве світову економіку сильніше за пандемію COVID-19.