Тепер і музика. Нейромережу навчили створювати треки з тексту

Останнім часом особливу увагу привертає штучний інтелект (ШІ), який потрохи замінює творчість людини. Уже відомо про нейромережі, які можуть намалювати картину, згенерувати аватар або ж написати сценарій, а зараз ШІ дібрався і до музики. Дослідники Сет Форгсен і Гайк Мартірос запустили нейромережу Riffusion, яка генерує музику на основі тексту. Створити мелодію може кожен охочий. MC.today розповідає, як нею користуватися.

За допомогою нейромережі Stable Diffusion можна створити зображення на основі тексту, однак її можна використовувати інакше. Так, нейромережу налаштували на створення спектрограм (візуальне зображення звукових частот у треці), які описують музичні жанри. Riffusion аналізує спектрограми, отримує інформацію про частоти звуку та амплітуду і вже на базі цієї інформації генерує музику.

Для того, щоби створити мелодію, потрібно лише ввести текст та натиснути кнопку «Відтворити». Користувач може вказувати свої улюблені музичні інструменти та жанри, або ж обрати випадкову комбінацію, яку запропонує нейромережа. Можна проекспериментувати зі звуками дощу і скрипки, або ж церковних дзвонів і року – усе, на що вистачить уяви.

Ви можете ввести слова, яких немає в базі нейромережі, але вона, за допомогою асоціацій, згенерує музику. Якщо вказати невідомий жанр, то якість мелодії буде гіршою, однак нейромережа поступово покращуватиме результати.

Створені треки плавно перетікають один в один, а тому слухач може навіть не помітити переходу між ними.

Ми з редакцією перевірили, що нейромережа створюватиме різні мелодії, навіть якщо ввести ті ж самі слова.

Ось приклад звучання слова «guitar» . Так можна створювати різну музику за одним описом.

На жаль, нейромережа не змогла створити щось схоже на звучання українських інструментів (бандура, трембіта, кобза), однак звуки клацання та церковних дзвонів згенеровано дуже правдоподібно.

Звісно, таким способом поки не можна замінити музику, створену людиною. Адже деякі мелодії досить різкі або ж просто незрозумілі. Але за цим цікаво спостерігати та все ж таки можна створити щось, що буде приємно слухати.

Раніше ми розповідали про проєкт Cities and Memory, який створив велику бібліотеку звуків застарілої техніки, що опинилися під «загрозою зникнення». Там можна послухати звук друкарської машинки або незабутні страждання dial-up-модема.

Також ми розповідали про ChatGPT, який створив фурор у мережі, але поки що, на жаль, недоступний в нашій державі. Ми, до речі, написали запит в Open AI щодо цієї несправедливості. Але мусимо визнати, були вражені деякими аспектами спілкування й нейромережею: чат-бот написав дуже піднесений вірш про Україну.