Meta представила искусственный интеллект ImageBind, который воспринимает окружающую среду, как человек

Компания американского техномагната Марка Цукерберга представила новаторский инструмент на базе искусственного интеллекта под названием Image­Bind, говорится в блоге Meta. Разработчики утверждают, что эта модель воспринимает окружающую среду так, как это делают люди. Редакция MC.today пересказывает подробности.

Mark Zucker­berg TV set

Если визуальные генераторы изображений вроде Mid­jour­ney, Sta­ble Dif­fu­sion и DALL‑E 2 создают визуальные сцены по текстовому описанию, то новая разработка Цукерберга может работать в значительно более сложной среде, как фрагменты видео, аудио, и их комбинациями.

Image­Bind может связывать текст, медиафайлы, производить 3D-измерение глубины объекта, который нужно создать, а также учитывает данные о его гипотетических тепловых качествах и перемещениях. Это мультимодальный инструмент, обучающийся на целой совокупности разных моделей, поэтому он умеет имитировать мультисенсорные связи, как это делает человек и большинство животных.

Представьте, что вы оказались где-то на оживленном перекрестке большого города. Для создания целостной картинки ваш мозг анализирует множество сенсорных впечатлений: звуки, информацию о проезжающих мимо пешеходах и машинах вокруг здания и деревья. Люди обрабатывают эту информацию благодаря определенным генетическим преимуществам и приобретенному опыту. А алгоритмы Image­Bind создают полноценные сцены из реальной жизни на фрагментах данных из разных обучающих моделей.

Реалистичность и определенная трехмерность – то, что отличает этот продукт из аналогов. Если вы попросите нейросеть Mid­jour­ney изобразить бассет-хаунда в костюме Гендальфа, балансирующего на мячике для пляжного волейбола, то, вероятно, получите вполне реалистичное изображение смешного песика. Но не больше.

Image­Bind по аналогичному текстовому запросу создаст полноценное видео, как собака «катится» верхом на мяче в определенном окружении, наполненном соответствующими звуками и эффектами. Например, по живописной сельской улочке, которая тонет в цветах и ​​пении птиц. Или посреди детской комнаты с разбросанными игрушками и веселым смехом. Разработчики также утверждают, что каждая сцена воспроизводится в логической видеопоследовательности, то есть так, как она могла бы выглядеть в реальной жизни.

$META Meta just announced Image­Bind.

The com­pa­ny is open-sourc­ing a new AI mod­el that com­bines dif­fer­ent sens­es. It under­stands images, video, audio, depth, ther­mal, and spa­tial move­ment.

Image­Bind joins a recent series of Meta’s open-source AI tools. pic.twitter.com/7d6HLRKGgC

— App Econ­o­my Insights (@EconomyApp) May 9, 2023

В настоящее время Image­Bind работает в шести модальностях: текст, изображение, видео, аудио, тепловые и инертные данные. Впрочем, в Meta не планируют останавливаться на этом. В перспективе разработчики научат искусственный интеллект распознавать и имитировать осязание, аромат и даже мозговые сигналы. То есть следующие модели будут еще более ориентированы на человека.

• Это не первый высокотехнологичный продукт, который Цукерберг представил в этом году. Так, в начале апреля компания презентовала модель искусственного интеллекта, которая распознает объекты на изображениях и видео, и анонсировала ИИ-технологию для создания и настройки рекламы в Face­book и Insta­gram.