Навіть емоції й тон. ШІ від Microsoft може імітувати будь-чий голос по трьохсекундному зразку

Корпорація Microsoft розробила нову модель штучного інтелекту для перетворення тексту в мовлення під назвою VALL‑E. ШІ може імітувати голос людини із 3‑секундного зразка. Про це з посиланням на ArsTech­ni­ca пише MC.today.

Зазначається, що VALL‑E розпізнає голос та на його основі синтезує аудіо. Створений звук імітує не лише тембр голосу людини, а і її емоційний тон і акустику кімнати.

Модель ШІ навчали на 60 тис. годин аудіозаписів мовлення понад 7 тис. людей, які розмовляють англійською. Для цього використали аудіотеку Meta Lib­ri­Light. 

Для імітації голосу потрібен трьохсекундний зразок мовлення людини, а також текст, який треба перетворити на аудіоформат. Голос, який VALL‑E намагається імітувати, має бути близьким до голосу з навчальних зразків. Тоді ШІ використовує навчальні дані, щоб зробити висновок, як би звучав голос людини при озвучуванні вказаного тексту.

Microsoft не надали код VALL‑E, тому не можна самостійно перевірити роботу ШІ. Це пов’язано з тим, що підроблений голос людини можна використати в незаконних цілях. Наприклад, зловмисники можуть підробити голосову ідентифікацію або видати себе за конкретного мовця.

Хоча корпорація не опублікувала код, на GitHub є результати роботи моделі ШІ. З ними ви можете ознайомитися за посиланням. Спойлер: деякі голоси звучать дуже реалістично, а деякі навпаки – ні, відразу помітно, що це комп’ютерний голос. Також VALL‑E вдалось добре імітувати інтонацію мовця, а також акустику приміщення.

Раніше ми розповідали про нейромережу, яка генерує музику з тексту. На відміну від розробки Microsoft, «музичною» нейромережею може скористатися кожен охочий