Nvidia створила нейромережу, яка за текстовими підказками генерує відео високої роздільної здатності

Компанія Nvidia презентувала новий продукт на основі штучного інтелекту під назвою VideoLDM, який перетворює текст на відеоролики високої роздільної здатності. В його створенні також брали участь дослідники з Корнелльського університету, пише Tech News Space.

VideoLDM генерує відео з роздільною здатністю до 2048×1280 пікселів та частотою 24 кадри. Штучний інтелект використовує в роботі понад чотири мільярди параметрів, проте на реальних відеороликах розробники навчили приблизно 2,7 млрд. Це досить скромно для сучасної індустрії ШІ. Втім, завдяки ефективному підходу до моделі латентної дифузії (LDM) інженери навчили цю нейромережу створювати різноманітні та узгоджені за часом ролики.

З-поміж особливостей нейромережі варто виокремити персоналізовану генерацію відео та синтез тимчасової згортки. Тимчасові шари, які використовуються для перетворення тексту у відео, вбудовуються в опорні мережі в наборі зображень DreamBooth.

Ще одна родзинка – VideoLDM може створювати відеосцени водіння тривалістю до 5 хвилин. Для цього достатньо обрати вихідне зображення та прописати характеристики цікавого середовища в текстових підказках. До речі, модель може робити мультимодальні прогнози сценаріїв руху та генерувати кілька вірогідних місій на основі одного початкового кадру.

Нейромережу презентують на Конференції з машинного зору та розпізнавання образів, яка відбудеться 18–22 червня у Ванкувері, Канада. Поки що це лише дослідницький проєкт, коли він стане доступним громадськості, ще не повідомляють.

• До речі, Nvidia скоро може втратити важливого клієнта. Раніше ми розповідали, що Microsoft створила суперкомп’ютер за сотні мільйонів доларів для розробки ChatGPT з використанням чипів виробництва цієї компанії. Нещодавно стало відомо, що тепер вона працює над власними аналогами.