«Человек “выходит” из экрана компьютера на клавиатуру». Как мы придумали новую AR-технологию и выиграли 2,7 млн грн на нее

В феврале 2020 года руководители украинской Платформы современного танца и немецкого Post Theater обсуждали по видеосвязи новые проекты и гастроли. В какой-то момент взгляд художественного руководителя Post Theater Макса Шумахера задержался на ноутбуке. Он повертел в руках смартфон и сказал: «А зачем нам ездить? Пусть наши танцовщики появляются прямо на клавиатурах ноутбуков зрителей – как в фантастических фильмах». 

Эта идея сразу же показалась нам интересной. А через месяц, когда мир погрузился в череду локдаунов, мы поняли, что воплощать ее нужно обязательно. Так появился проект ALTstage: благодаря новой технологии плоскость экрана и пространство сцены больше не отделены друг от друга.

Человек прямо на глазах зрителей становится то плоским, то объемным и может свободно передвигаться между двумя реальностями – экранной и сценической.

О продукте

В основе нашего продукта – технология дополненной реальности (augmented reality, AR). Мы придумали, как использовать ее необычным способом и применить в сочетании с живыми мероприятиями или традиционным 2D-видео.

Найти разработчика программного обеспечения для такого проекта было непросто. Во-первых, только немногие украинские IT-компании работают на украинский рынок. Во-вторых, не все были готовы браться за разработку, ведь предстояло решать нестандартные задачи и взять на себя обязательства довести проект до успешного результата. 

В мире уже существует много AR-приложений, в которых в дополненную реальность выводят цифровые объекты, вроде покемонов из нашумевшей игры Pokemon Go.

А мы хотели показывать не компьютерную модель, а иллюзию живого человека. Причем она должна синхронизироваться во времени со спектаклем, чтобы персонаж на клавиатуре мог общаться с персонажем на экране. Такого в мире еще никто не делал.

В результате поисков и переговоров нашим IT-партнером стала компания WeAR Studio. В январе 2021-го мы приступили к технической разработке. В команде ALTstage около 30 человек, в том числе восемь IT-специалистов и семь хореографов и танцовщиков, которые создавали экспериментальные спектакли.

Выиграли 2,7 млн грн на разработку новой технологии и производство прототипа

Сначала мы думали создать один танцевальный спектакль с использованием AR. Идея была в том, чтобы зрители смотрели на экран компьютера через смартфон, а фигурки танцовщиков становились трехмерными и «выходили» на клавиатуру.

Мы подали заявку на грант для воплощения нашей задумки, но не прошли отбор. Стало понятно, что в нашей концепции не хватает чего-то важного. Так родилась идея разработать полноценную платформу, с помощью которой создавать проекты с использованием AR смогут все желающие. Эти проекты будут служить как искусству, так и бизнесу.

После этого мы начали писать следующие заявки на гранты – теперь уже для создания платформы ALTstage. На одном из грантовых конкурсов просили подать визуализацию, которая покажет, как все должно работать. Но у нас еще не было даже прототипа продукта, так что первые эскизы просто рисовали и анимировали в фотошопе.

По нашему опыту с президентом Платформы современного танца Антоном Овчинниковым, обычно из десяти грантовых заявок «выстреливает» одна, но в случае с ALTstage из пяти попыток две принесли результат. К декабрю 2020 года мы привлекли 2,7 млн грн, выиграв гранты от программы Европейского союза House of Europe и Украинского культурного фонда.

Придумали, как удешевить технологию в десятки раз

Мы разработали два основных сценария, как можно использовать продукт:

• вживую: зрители смотрят на сцену через смартфоны и видят, как рядом с реальными людьми появляются виртуальные фигуры;
• домашний просмотр: сценой становится ноутбук, а человек делает шаг из экрана и появляется в дополненной реальности на клавиатуре.

Чтобы виртуальные актеры казались реальными, они не должны быть плоскими. В результате съемок нужно получить объемное (волюметрическое) видео, которое и будет отображаться в AR.

Обычно такие видео записывают на специальных студиях с десятками камер, расположенных в полусфере, а полученные данные обрабатывают на сверхмощных компьютерах. Поэтому основная проблема создания объемных видео связана с высокой стоимостью – от 1 тыс. евро за минуту.

Еще одна проблема – большой объем данных. Волюметрическое видео «весит» в десятки раз больше, чем анимация, которую моделируют на компьютере. Видео получается слишком «тяжелым» для передачи через интернет и слишком сложным для обработки процессором смартфона. Самые мощные смартфоны потянут только несколько секунд воспроизведения такого видео в дополненной реальности.

Чтобы обойти эти трудности, мы воплотили несколько инновационных решений:

1. Использовали для съемок приборы Azure Kinect с датчиками глубины

Видеокамера в Kinect записывает обычное двумерное изображение, а инфракрасный датчик определяет расстояние от камеры до каждого пикселя в этом изображении. Так видео из двумерного превращается в трехмерное. Несколько таких приборов за $400 заменяют десятки камер, которые нужны для записи «традиционного» объемного видео. 

Изначально Azure Kinect создавали для любителей компьютерных игр. Например, человек играет в виртуальный пинг-понг и управляет ракеткой не с помощью мышки, а двигает кистью – и Kinect считывает эти движения. На момент начала проекта наша коллега Мария Пяткова из Post Theater уже имела опыт использования Kinect в танце, и мы решили применить эти устройства и в ALTstage.

В перспективе при помощи Kinect будут снимать объемные видео с обзором в 360 градусов – зритель со смартфоном сможет «облетать» виртуальный объект со всех сторон. Сейчас для ALTstage эта опция – не ключевая: достаточно угла обзора в 20–30 градусов, так как одновременно с дополненной реальностью зритель смотрит на экран ноутбука, с которым она связана.

2. Нашли способ сжатия объемного видео

Сначала задача передавать объемное видео на смартфон звучала как попытка установить двигатель от океанского лайнера под капот легкового авто. Это стало главным технологическим вызовом проекта. Нам удалось достичь впечатляющих результатов: сейчас видео, которые мы создали в рамках разработки прототипа технологии, «весят» до 200 MБ.

3. Синхронизировали AR с видеопотоком

Проигрыватель видео на сайте и приложение в смартфоне подключены к облачному серверу и одновременно получают от него команды на запуск видео и дополненной реальности. Благодаря этому фигуры на экране и перед ним оказываются связанными между собой во времени. Один из персонажей может, например, выйти из экрана на клавиатуру и вернуться обратно, сохраняя при этом связь с остальными персонажами. 

Кому полезен ALTstage: от онлайн-лекций до бизнес-презентаций

Театральное искусство – не единственная сфера для применения ALTstage. С помощью этой платформы можно проводить бизнес-презентации, образовательные лекции, модные дефиле и различные шоу. Например: студенты смотрят видеолекцию, а преподаватель выходит перед ними на клавиатуру и показывает на доску, которой является экран компьютера. Это вызовет вау-эффект и изменит способ восприятия.

Можно снимать не только людей, но и предметы. Допустим, во время видеопрезентации с экрана на стол выезжает автомобиль, и возникает иллюзия, что он находится прямо здесь, в помещении. Это интересно для любого типа бизнеса, который стремится к продвижению своего продукта нестандартными способами. 

Поэтому на презентации ALTstage в Киеве и Харькове мы пригласили представителей индустрий, которым эта технология могла бы быть полезна. Среди гостей был генеральный продюсер Ukrainian Fashion Week Владимир Нечипорук. Мы представили, что клавиатура ноутбука может превратиться в подиум, на который из экрана выйдут трехмерные манекенщицы. И то, как он с интересом слушал, говорит, что у этой идеи есть перспективы.

Еще в числе посетителей презентации был Ростислав Русаков, соучредитель и артдиректор ЮБК и Hedonism Festival. После демонстрации продукта он сразу подошел к нам и стал интересоваться совершенно конкретными вещами: как сделать подобное в режиме реального времени и транслировать в дополненной реальности на нескольких локациях диджея, который физически находится в съемочной зоне.

Разумеется, было много людей искусства – например, художник Bob Basset. И Влад Троицкий, основатель театра «Дах», продюсер группы «ДахаБраха» и создатель «Гогольfest». Нам было очень интересно получить от него обратную связь – как от художника с хватким к новациям взглядом. С Владом получился очень интересный разговор. 

Презентацию также посетила одна из руководительниц Госагентства по вопросам искусств и образования в сфере искусства Ольга Россошанская. По ее словам, использовать смартфоны в образовательных проектах – одна из трендовых идей современной педагогики, ведь ученики не представляют свою жизнь без гаджетов. Если на обычных уроках преподаватели чаще всего требуют их отложить, то благодаря ALTstage смартфоны могут стать не помехой, а, наоборот, одним из ключевых инструментов учебного процесса.

Но, честно говоря, самым неожиданным был интерес от большого агрохолдинга. Оказывается, их маркетологи также ищут инструменты продвижения своей продукции инновационными методами.

Команда ALTstage

Кто и как может использовать продукт

Когда осенью 2021 года платформа ALTstage запустится, ей сможет воспользоваться каждый. Достаточно продумать сценарий, подготовить материалы для экранной и дополненной реальностей и загрузить их на сайт. Обычный двумерный ролик можно снять даже в домашних условиях на фоне зеленой стены. А если нужен обязательно трехмерный, мы пригласим в нашу студию с камерами Azure Kinect.

Стоимость создания видео зависит от длительности съемок, продолжительности ролика, сложности задач постобработки – цены будем обсуждать с клиентами индивидуально.

А вот посмотреть AR-видео, которые мы создали в ходе разработки технологии, можно бесплатно. Для этого нужно выбрать один из четырех спектаклей на сайте проекта и запустить его на любом экране – компьютере, ноутбуке, планшете. А чтобы увидеть дополненную реальность, достаточно посмотреть на экран через смартфон, следуя инструкциям в мобильном приложении ALTstage. Все будет выглядеть так, будто люди выходят из экрана и появляются буквально на столе.

Для дальнейшего развития технологии нам понадобятся новые инвестиции – как грантовые, так и бизнес-вложения. Мы верим в коммерческий потенциал платформы, ведь теперь объемная видеозапись доступна для проектов с небольшими бюджетами и ее можно воспроизводить на обычных устройствах. 

А с появлением новых моделей телефонов и 5G можно будет даже транслировать трехмерные видео в реальном времени. Мы со Святославом Криворучко из WeAR уже обсуждаем эту возможность. Эффект от присутствия виртуальных объектов в дополненной реальности в режиме стриминга будет еще более впечатляющим.