NVIDIA VideoLDM collage
Компанія Nvidia презентувала новий продукт на основі штучного інтелекту під назвою VideoLDM, який перетворює текст на відеоролики високої роздільної здатності. В його створенні також брали участь дослідники з Корнелльського університету, пише Tech News Space.
VideoLDM генерує відео з роздільною здатністю до 2048×1280 пікселів та частотою 24 кадри. Штучний інтелект використовує в роботі понад чотири мільярди параметрів, проте на реальних відеороликах розробники навчили приблизно 2,7 млрд. Це досить скромно для сучасної індустрії ШІ. Втім, завдяки ефективному підходу до моделі латентної дифузії (LDM) інженери навчили цю нейромережу створювати різноманітні та узгоджені за часом ролики.
З-поміж особливостей нейромережі варто виокремити персоналізовану генерацію відео та синтез тимчасової згортки. Тимчасові шари, які використовуються для перетворення тексту у відео, вбудовуються в опорні мережі в наборі зображень DreamBooth.
Ще одна родзинка – VideoLDM може створювати відеосцени водіння тривалістю до 5 хвилин. Для цього достатньо обрати вихідне зображення та прописати характеристики цікавого середовища в текстових підказках. До речі, модель може робити мультимодальні прогнози сценаріїв руху та генерувати кілька вірогідних місій на основі одного початкового кадру.
Нейромережу презентують на Конференції з машинного зору та розпізнавання образів, яка відбудеться 18–22 червня у Ванкувері, Канада. Поки що це лише дослідницький проєкт, коли він стане доступним громадськості, ще не повідомляють.
Universal Bank (до якого належить monobank) звернувся до суду для стягнення заборгованості з клієнта розміром…
Світова криптобіржа та Web3-компанія Bitget офіційно відкрила реєстрацію на KCGI 2025 – трейдинговий турнір року…
Провідна світова криптовалютна біржа та Web3-компанія Bitget оголосила про підтримку токенізованих акцій на своїй платформі…
Довгострокове інвестування – це не про миттєвий прибуток, а про розуміння трендів, які формують майбутнє.…
Навіть власне хобі та дружбу можна перетворити на підробіток. Таким чином улюблене заняття та люди,…
19 липня на арені «Вемблі» в Лондоні відбудеться поєдинок за звання абсолютного чемпіона світу у…