Шаг с экрана. Как украинские художники и программисты поместили живых людей в AR для проекта ALTstage
В конце лета в Киеве и Харькове состоялась презентация проекта «ALTstage. Шаг с экрана». Это новая технология использования дополненной реальности вместе с live-событиями или видеоконтентом. Над ней работают украинская «Платформа современного танца», немецкий Post Theater и IT-компания WeAR Studio. Авторы проекта рассказали Vector об особенностях работы технологии, ошибках и трудностях, с которыми столкнулись при реализации.
Как появилась идея
В один из зимних дней в начале 2020 года двое украинских хореографов из «Платформы современного танца» — Александр Маншилин и Антон Овчинников — общались через Skype с Максом Шумахером и Марией Пятковой из берлинского Post Theatre. Они обсуждали совместные проекты и как раз дискутировали о логистике — сколько людей могут поехать, когда, как их размещать в гостиницах и другое.
«Неожиданно Макс взял в руки смартфон и начал сквозь него смотреть на наше изображение в своем ноутбуке, — вспоминает Александр Маншилин. — Мы спросили его, в чем дело. И Макс спросил нас: а нам нужны эти проблемы с гостиницами и переездами? Не можем ли мы доставить спектакль и танцоров к каждому зрителю домой?».
Александр Маншилин, менеджер ALTstage
Сам Макс Шумахер объясняет эту свою мысль так: «Я действительно помню, как это сказал и как появилась следующая идея: мы можем не просто смотреть двухмерные видео танца или иных перформативных искусств на экранах наших ноутбуков. Нужно, чтобы они сошли с экранов».
В начале все в команде ALTstage представляли себе такую картинку: танцовщик или танцовщица «выходит» из экрана на клавиатуру ноутбука, чтобы продолжить там свой танец. Именно поэтому лозунгом ALTstage является фраза «Шаг с экрана». Пока «бесшовности» достичь не удалось — сейчас в ALTstage танцовщик просто появляется на клавиатуре «из воздуха».
«Уже были проекты, где объекты дополняли до формата трех измерений перед телевизором. Обычно это делалось для рекламных роликов, но это не делали с живыми актерами или в контексте искусства. Кроме того, такие попытки не были произведением искусства, а скорее техническими экспериментами», — объясняет Макс Шумахер.
Что такое ALTstage
Технология похожа на обычную дополненную реальность (сокращенно AR, от augmented reality), которую можно видеть в Google Animals, Pokemon Go и других продуктах. В популярных AR-приложениях на экране смартфона на фоне физического пространства появляется компьютерная модель животного, здания или игрового персонажа. В ALTstage пошли дальше — там в дополненной реальности «живут» реальные люди.
Так как изначально проектом занимались хореографы, виртуальными первопроходцами стали танцовщики. Но это не принципиально — на экране может появляться актер, модель, лектор, ведущий, учитель, промоутер.
«Мы готовим к запуску платформу, где пользователь — автор спектакля, презентации, рекламных материалов — может зайти в личный кабинет и научиться создавать нужный контент. Затем этот контент можно загружать и использовать в соответствии с потребностями пользователя — размещать на сайте для домашнего просмотра или сделать частью офлайн-ивента», — объясняет замысел менеджер проекта ALTstage Александр Маншилин.
Сейчас ALTstage имеет приложение и сайт. Но это — внешняя сторона технологии. Надо было придумать еще две важные детали. Во-первых, найти дешевый способ создавать объемное (волюметрическое) видео. Во-вторых, идеально синхронизировать дополненную реальность и классическое «плоское» видео, с которым взаимодействует AR.
Как разрабатывали ALTstage
Технология
«Европейские студии, которые делают объемное видео для крупных компаний, имеют большие полусферические павильоны с десятками или сотнями камер. Плоское видео из них объединяют в одну объемную модель, — говорит президент «Платформы современного танца», креативный продюсер ALTstage Антон Овчинников. — Но, во-первых, такой продукт стоит несколько тысяч евро в минуту. Во-вторых, это огромный объем данных. Ни один смартфон в мире не сможет его принять и обработать. Мы нуждались в дешевом и „легком“ решении».
Художники пригласили в команду IT-специалистов по WeAR Studio, которые уже имели большой опыт в работе с дополненной реальностью, работали с Pepsi и Okko. С отраслью современного танца они столкнулись впервые.
Проектный менеджер WeAR Studio Святослав Криворучко вспоминает, как Александр Маншилин объяснял идею ALTstage, рисуя три слоя реальности на бумажке.
«Видео, сцена с реальными танцовщиками и дополненная реальность. Или для домашнего просмотра — виртуальная сцена на экране ноутбука, видео на заднем плане на ней и дополненная реальность на клавиатуре. Это было для нас понятно, и мы ухватились за это как ядро идеи».
Святослав Криворучко, проектный менеджер WeAR Studio
Снимали в Киеве — арендовали студию, приобрели несколько камер Azure Kinect и снимали танцовщиков на зеленом фоне — хромакее. Камеры записывали обычное плоское видео. В дополнение к нему создавали карту расстояний для каждого кадра — так каждый пиксель плоского изображения получил третью пространственную координату. Затем это видео обрабатывали, соединяя несколько видеопотоков в настоящее объемное видео.
Другой важной задачей для программистов WeAR Studio была синхронизация того, что происходит на экране ноутбука или видеопроекции с тем, что происходит в дополненной реальности. Они взаимосвязаны — AR ориентируется на маркеры, которые появляются в видео в нужный момент. Все удалось благодаря облачным технологиям.
«Плеер на сайте синхронизирован и с сервером, где размещен видеоконтент, и с приложением в смартфоне зрителя. Мы назвали это „святым треугольником“», — смеется Святослав Криворучко.
Контент
На открытом конкурсе для участия в проектах организаторы ALTstage отобрали четыре перформанса: «Метаморфоза» (Ярослав Кайнар, Киев), In Between (Ирина Башук, Киев), «Повторите, пожалуйста» (Ольга Безгинова и Анастасия Кузьмичева, Днепр) и «Вне время »(Ольга Дробыш, Харьков).
Харьковский хореограф Ольга Дробыш, которая создала для проекта один из спектаклей («Вне времени»), вспоминает, что работать было очень необычно.
«Я была и автором спектакля, и посредником, который передает информацию от продюсеров и режиссеров к танцовщицам. Девушки до последнего дня не понимали, как это будет выглядеть, — вспоминает хореограф. — Только когда они увидели первый „прогон“, сказали: „Вот оно как! Интересно“».
Одна из этих танцовщиц, Юлия Цыб, вспоминает, что оказалась перед необычными трудностями. «Здесь три реальности, три сцены, и ты должен существовать одновременно во всех трех. Но втрое сложнее быть там не просто технически, а эмоционально — проживать танец в каждой из реальностей», — объясняет танцовщица.
Всего на проект работало 28 человек — это менеджеры, хореографы, танцоры, программисты, пиарщики, операторы, дизайнеры постпродакшна и другие специалисты. Для создания следующих видео с дополненной реальностью потребуется гораздо меньше людей. Изготовление одного ролика продлится от шести до восьми недель, в зависимости от сложности замысла.
Стоимость такого видео пока невозможно точно оценить. «Со временем, когда мы реализуем несколько десятков кейсов и отработаем стандартные рабочие модели производства, можно будет говорить о стандартной стоимости уже на уровне замысла», — считает Александр Маншилин. На начальном этапе House of Europe и Украинский культурный фонд предоставили проекту 2,7 млн грантовой поддержки.
Как это работает
- Нужны iPhone 7 (или новее), смартфон на Android 8.0 (или новее) с поддержкой ARCore.
- Загрузите приложение ALTstage, предоставьте необходимые доступы.
- На главном экране приложения выберите представление и загрузите его (каждый спектакль — примерно 200 МБ). После завершения загрузки — нажмите «Перейти к сканированию».
- Чтобы воспроизведения началось, выберите «Начать просмотр» на ноутбуке, отсканируйте телефоном QR-код — и воспроизведение начнется.
- Во время воспроизведения смартфон сообщит о приближении дополненной реальности обратным отсчетом. Следует навести камеру смартфона на экран так, чтобы захватить его полностью. В определенный момент AR-танцовщик появится на клавиатуре.
Перспективы ALTstage
По словам Александра Маншилин, команда уже понимает свои следующие шаги: «Мы работаем над спектаклем P.A.N.T.E.R. И это будет ответ на многочисленные вопросы — а где драматургия, где история, где цифровые спецэффекты».
- Спектакль в формате мультидисциплинарного искусства станет еще одной, на этот раз расширенной презентацией технологии ALTstage. Перформанс на основе рассказа Франца Кафки «Голодарь» покажут в октябре в Киеве и Харькове.
- Еще один шаг — открытие сайта и приложения для всего мира. До сих пор за пределами Украины ALTstage не промоутировали.
- Наконец, самая сложная цель — дать желающим возможность создать свой ALTstage-перформанс и поделиться ими со всеми.
Макс Шумахер уверен: «В будущем эту технологию можно будет использовать как для популярных развлечений, так и для высокого искусства, в перформативных жанрах или медиа-арте. Есть множество возможностей, но их можно будет реализовать тогда, когда мы не будем пытаться адаптировать имеющиеся произведения к ALTstage, а будем создавать оригинальные произведения в этом формате».