КРЕАТИВ

Шаг с экрана. Как украинские художники и программисты поместили живых людей в AR для проекта ALTstage

02 октября 2021, 10:00
9 мин чтения
Материал успешно добавлен в закладки Достигнуто максимальное количество закладок
Добавить в закладки

Любую статью можно сохранить в закладки на сайте, чтобы прочесть ее позже.

Режим чтения увеличивает текст, убирает всё лишнее со страницы и даёт возможность сосредоточиться на материале. Здесь вы можете отключить его в любой момент.
Режим чтения

Режим чтения увеличивает текст, убирает всё лишнее со страницы и даёт возможность сосредоточиться на материале. Здесь вы можете отключить его в любой момент.

В конце лета в Киеве и Харькове состоялась презентация проекта «ALTstage. Шаг с экрана». Это новая технология использования дополненной реальности вместе с live-событиями или видеоконтентом. Над ней работают украинская «Платформа современного танца», немецкий Post Theater и IT-компания WeAR Studio. Авторы проекта рассказали Vector об особенностях работы технологии, ошибках и трудностях, с которыми столкнулись при реализации.

Как появилась идея

В один из зимних дней в начале 2020 года двое украинских хореографов из «Платформы современного танца» — Александр Маншилин и Антон Овчинников — общались через Skype с Максом Шумахером и Марией Пятковой из берлинского Post Theatre. Они обсуждали совместные проекты и как раз дискутировали о логистике — сколько людей могут поехать, когда, как их размещать в гостиницах и другое.

«Неожиданно Макс взял в руки смартфон и начал сквозь него смотреть на наше изображение в своем ноутбуке, — вспоминает Александр Маншилин. — Мы спросили его, в чем дело. И Макс спросил нас: а нам нужны эти проблемы с гостиницами и переездами? Не можем ли мы доставить спектакль и танцоров к каждому зрителю домой?».

Александр Маншилин, менеджер ALTstage

Сам Макс Шумахер объясняет эту свою мысль так: «Я действительно помню, как это сказал и как появилась следующая идея: мы можем не просто смотреть двухмерные видео танца или иных перформативных искусств на экранах наших ноутбуков. Нужно, чтобы они сошли с экранов».

В начале все в команде ALTstage представляли себе такую картинку: танцовщик или танцовщица «выходит» из экрана на клавиатуру ноутбука, чтобы продолжить там свой танец. Именно поэтому лозунгом ALTstage является фраза «Шаг с экрана». Пока «бесшовности» достичь не удалось — сейчас в ALTstage танцовщик просто появляется на клавиатуре «из воздуха».

«Уже были проекты, где объекты дополняли до формата трех измерений перед телевизором. Обычно это делалось для рекламных роликов, но это не делали с живыми актерами или в контексте искусства. Кроме того, такие попытки не были произведением искусства, а скорее техническими экспериментами», — объясняет Макс Шумахер.

Что такое ALTstage

Технология похожа на обычную дополненную реальность (сокращенно AR, от augmented reality), которую можно видеть в Google Animals, Pokemon Go и других продуктах. В популярных AR-приложениях на экране смартфона на фоне физического пространства появляется компьютерная модель животного, здания или игрового персонажа. В ALTstage пошли дальше — там в дополненной реальности «живут» реальные люди.

Так как изначально проектом занимались хореографы, виртуальными первопроходцами стали танцовщики. Но это не принципиально — на экране может появляться актер, модель, лектор, ведущий, учитель, промоутер.

«Мы готовим к запуску платформу, где пользователь — автор спектакля, презентации, рекламных материалов — может зайти в личный кабинет и научиться создавать нужный контент. Затем этот контент можно загружать и использовать в соответствии с потребностями пользователя — размещать на сайте для домашнего просмотра или сделать частью офлайн-ивента», — объясняет замысел менеджер проекта ALTstage Александр Маншилин.

Сейчас ALTstage имеет приложение и сайт. Но это — внешняя сторона технологии. Надо было придумать еще две важные детали. Во-первых, найти дешевый способ создавать объемное (волюметрическое) видео. Во-вторых, идеально синхронизировать дополненную реальность и классическое «плоское» видео, с которым взаимодействует AR.

Как разрабатывали ALTstage

Технология

«Европейские студии, которые делают объемное видео для крупных компаний, имеют большие полусферические павильоны с десятками или сотнями камер. Плоское видео из них объединяют в одну объемную модель, — говорит президент «Платформы современного танца», креативный продюсер ALTstage Антон Овчинников. — Но, во-первых, такой продукт стоит несколько тысяч евро в минуту. Во-вторых, это огромный объем данных. Ни один смартфон в мире не сможет его принять и обработать. Мы нуждались в дешевом и „легком“ решении».

Художники пригласили в команду IT-специалистов по WeAR Studio, которые уже имели большой опыт в работе с дополненной реальностью, работали с Pepsi и Okko. С отраслью современного танца они столкнулись впервые.

Проектный менеджер WeAR Studio Святослав Криворучко вспоминает, как Александр Маншилин объяснял идею ALTstage, рисуя три слоя реальности на бумажке.

«Видео, сцена с реальными танцовщиками и дополненная реальность. Или для домашнего просмотра — виртуальная сцена на экране ноутбука, видео на заднем плане на ней и дополненная реальность на клавиатуре. Это было для нас понятно, и мы ухватились за это как ядро идеи».

Святослав Криворучко, проектный менеджер WeAR Studio

Снимали в Киеве — арендовали студию, приобрели несколько камер Azure Kinect и снимали танцовщиков на зеленом фоне — хромакее. Камеры записывали обычное плоское видео. В дополнение к нему создавали карту расстояний для каждого кадра — так каждый пиксель плоского изображения получил третью пространственную координату. Затем это видео обрабатывали, соединяя несколько видеопотоков в настоящее объемное видео.

Другой важной задачей для программистов WeAR Studio была синхронизация того, что происходит на экране ноутбука или видеопроекции с тем, что происходит в дополненной реальности. Они взаимосвязаны — AR ориентируется на маркеры, которые появляются в видео в нужный момент. Все удалось благодаря облачным технологиям.

«Плеер на сайте синхронизирован и с сервером, где размещен видеоконтент, и с приложением в смартфоне зрителя. Мы назвали это „святым треугольником“», — смеется Святослав Криворучко.

Контент

На открытом конкурсе для участия в проектах организаторы ALTstage отобрали четыре перформанса: «Метаморфоза» (Ярослав Кайнар, Киев), In Between (Ирина Башук, Киев), «Повторите, пожалуйста» (Ольга Безгинова и Анастасия Кузьмичева, Днепр) и «Вне время »(Ольга Дробыш, Харьков).

Харьковский хореограф Ольга Дробыш, которая создала для проекта один из спектаклей («Вне времени»), вспоминает, что работать было очень необычно.

«Я была и автором спектакля, и посредником, который передает информацию от продюсеров и режиссеров к танцовщицам. Девушки до последнего дня не понимали, как это будет выглядеть, — вспоминает хореограф. — Только когда они увидели первый „прогон“, сказали: „Вот оно как! Интересно“».

ALTstage перформансы в AR

Одна из этих танцовщиц, Юлия Цыб, вспоминает, что оказалась перед необычными трудностями. «Здесь три реальности, три сцены, и ты должен существовать одновременно во всех трех. Но втрое сложнее быть там не просто технически, а эмоционально — проживать танец в каждой из реальностей», — объясняет танцовщица.

Всего на проект работало 28 человек — это менеджеры, хореографы, танцоры, программисты, пиарщики, операторы, дизайнеры постпродакшна и другие специалисты. Для создания следующих видео с дополненной реальностью потребуется гораздо меньше людей. Изготовление одного ролика продлится от шести до восьми недель, в зависимости от сложности замысла.

Стоимость такого видео пока невозможно точно оценить. «Со временем, когда мы реализуем несколько десятков кейсов и отработаем стандартные рабочие модели производства, можно будет говорить о стандартной стоимости уже на уровне замысла», — считает Александр Маншилин. На начальном этапе House of Europe и Украинский культурный фонд предоставили проекту 2,7 млн грантовой поддержки.

Как это работает

  1. Нужны iPhone 7 (или новее), смартфон на Android 8.0 (или новее) с поддержкой ARCore.
  2. Загрузите приложение ALTstage, предоставьте необходимые доступы.
  3. На главном экране приложения выберите представление и загрузите его (каждый спектакль — примерно 200 МБ). После завершения загрузки — нажмите «Перейти к сканированию».
  4. Чтобы воспроизведения началось, выберите «Начать просмотр» на ноутбуке, отсканируйте телефоном QR-код — и воспроизведение начнется.
  5. Во время воспроизведения смартфон сообщит о приближении дополненной реальности обратным отсчетом. Следует навести камеру смартфона на экран так, чтобы захватить его полностью. В определенный момент AR-танцовщик появится на клавиатуре.

Перспективы ALTstage

По словам Александра Маншилин, команда уже понимает свои следующие шаги: «Мы работаем над спектаклем P.A.N.T.E.R. И это будет ответ на многочисленные вопросы — а где драматургия, где история, где цифровые спецэффекты».

  • Спектакль в формате мультидисциплинарного искусства станет еще одной, на этот раз расширенной презентацией технологии ALTstage. Перформанс на основе рассказа Франца Кафки «Голодарь» покажут в октябре в Киеве и Харькове.
  • Еще один шаг — открытие сайта и приложения для всего мира. До сих пор за пределами Украины ALTstage не промоутировали.
  • Наконец, самая сложная цель — дать желающим возможность создать свой ALTstage-перформанс и поделиться ими со всеми.

Макс Шумахер уверен: «В будущем эту технологию можно будет использовать как для популярных развлечений, так и для высокого искусства, в перформативных жанрах или медиа-арте. Есть множество возможностей, но их можно будет реализовать тогда, когда мы не будем пытаться адаптировать имеющиеся произведения к ALTstage, а будем создавать оригинальные произведения в этом формате».

Нашли ошибку? Выделите ее и нажмите Ctrl+Enter

ЧИТАЙТЕ ТАКЖЕ
Как они работают
От пакета «АТБ» на голове до виртуального инфлюенсера. Как работает студия FFFACE.ME
Материал успешно добавлен в закладки Достигнуто максимальное количество закладок
24 декабря 2021, 12:00 14 мин чтения
КРЕАТИВ Вебплатформа дивних послуг Services
Вышивка вашими волосами и похоронный перформанс. Украинские художники запустили платформу странных услуг
Материал успешно добавлен в закладки Достигнуто максимальное количество закладок
22 октября 2021, 09:30 9 мин чтения
КРЕАТИВ Vector запускает PR-неделю. Главредом стал Владимир Дегтярев
Vector запускает PR-неделю. Главредом стал Владимир Дегтярев
Материал успешно добавлен в закладки Достигнуто максимальное количество закладок
12 апреля 2021, 09:00 12 мин чтения
КРЕАТИВ Как украинский моушн-дизайнер Эдуард Михайлов в 23 года продает NFT на десятки тысяч долларов
Как украинский моушн-дизайнер Эдуард Михайлов в 23 года продает NFT на десятки тысяч долларов
Материал успешно добавлен в закладки Достигнуто максимальное количество закладок
18 марта 2021, 08:00 8 мин чтения
Загрузка...