Теперь и музыка. Нейросеть научили создавать треки из текста

В последнее время особое внимание привлекает искусственный интеллект (ИИ), понемногу заменяющий творчество человека. Уже известно о нейросетях, которые могут нарисовать картину, сгенерировать аватар или написать сценарий, а сейчас ИИ добрался и до музыки. Исследователи Сэт Форгсен и Гайк Мартирос запустили нейросеть Riffusion, генерирующую музыку на основе текста. Создать мелодию может любой желающий. MC.today рассказывает, как ею пользоваться.

introducing mr discoball. a cool club character DJing in a club

С помощью нейросети Stable Diffusion можно создать изображение на основе текста, однако его можно использовать иначе. Так, нейросеть настроили на создание спектрограмм (визуальное изображение звуковых частот в треке), описывающих музыкальные жанры. Riffusion анализирует спектрограмму, получает информацию о частотах звука и амплитуду и уже на базе этой информации генерирует музыку.

Чтобы создать мелодию, нужно только ввести текст и нажать кнопку «Воспроизвести». Пользователь может указывать свои любимые музыкальные инструменты и жанры, или выбрать случайную комбинацию, которую предложит нейросеть. Можно поэкспериментировать со звуками дождя и скрипки, или церковных колоколов и рока – все, на что хватит воображения.

Вы можете ввести слова, которых нет в базе нейросети, но она с помощью ассоциаций сгенерирует музыку. Если указать неизвестный жанр, то качество мелодии будет хуже, однако нейросеть будет постепенно улучшать результаты.

Созданные треки плавно перетекают друг в друга, поэтому слушатель может даже не заметить перехода между ними.

Мы с редакцией проверили, что нейросеть будет создавать разные мелодии, даже если ввести одинаковые слова.

Вот пример звучания слова «guitar». Таким образом можно создавать разную музыку по одному описанию.

К сожалению, нейросеть не смогла создать что-то похожее на звучание украинских инструментов (бандура, трембита, кобза), однако звуки щелчка и церковных колоколов сгенерированы очень правдоподобно.

Конечно, таким способом пока нельзя заменить музыку, созданную человеком. Ведь некоторые мелодии достаточно резкие или просто непонятные. Но за этим интересно наблюдать, и все же можно создать что-то, что будет приятно слушать.

Ранее мы рассказывали о проекте Cities and Memory, который создал обширную библиотеку звуков устаревшей техники, оказавшихся под угрозой исчезновения. Там можно послушать звук пишущей машинки или незабываемые страдания dial-up-модема.

Также мы рассказывали о ChatGPT, который произвел фурор в сети, но пока, к сожалению, недоступен в нашем государстве. Мы кстати написали запрос в Open AI по поводу этой несправедливости. Но должны признать, были поражены некоторыми аспектами общения и нейросетью: чат-бот написал очень приподнятое стихотворение об Украине.