Крок з екрана. Як українські митці та програмісти помістили живих людей в AR для проєкту ALTstage
Будь-яку статтю можна зберегти в закладки на сайті, щоб прочитати її пізніше.
Режим читання збільшує текст, прибирає все зайве зі сторінки та дає можливість зосередитися на матеріалі. Тут ви можете вимкнути його в будь-який момент.
Наприкінці літа в Києві та Харкові відбулися презентації проєкту «ALTstage. Крок з екрана». Це нова технологія використання доповненої реальності разом із live-подіями чи відеоконтентом. Над нею працюють українська «Платформа сучасного танцю», німецький Post Theater та IT-компанія WeAR Studio. Автори проєкту розповіли Vector про особливості роботи технології, помилки та труднощі, з якими зіткнулися під час реалізації.
Як з’явилась ідея
Одного зимового дня на початку 2020 року двоє українських хореографів із «Платформи сучасного танцю» — Олександр Маншилін та Антон Овчінніков — спілкувалися через Skype з Максом Шумахером і Марією П’ятковою з берлінського Post Theatre. Вони обговорювали спільні проєкти та якраз дискутували про логістику — скільки людей можуть поїхати, коли, як їх розміщувати в готелях тощо.
«Несподівано Макс узяв у руки смартфон і почав крізь нього дивитися на наше зображення у своєму ноутбуці. Він запитав нас: а чи справді нам потрібні ці проблеми з готелями та переїздами? Чи не можемо ми доставити виставу й танцівників до кожного глядача додому?».
Олександр Маншилін, менеджер ALTstage
Сам Макс Шумахер пояснює ту свою думку так: «Я дійсно пам’ятаю, як це сказав і як з’явилася наступна ідея: ми можемо не просто дивитися двовимірні відео танцю чи інших перформативних мистецтв на екранах наших ноутбуків. Потрібно, щоб вони зійшли з екранів».
На початку всі в команді ALTstage уявляли собі таку картинку: танцівник або танцівниця «виходить» з екрана на клавіатуру ноутбука, щоб продовжити там свій танець. Саме тому гаслом ALTstage є фраза «Крок з екрана». Поки «безшовності» досягти не вдалося — зараз в ALTstage танцівник просто з’являється на клавіатурі «з повітря».
«Уже існували проєкти, де об’єкти доповнювали до формату трьох вимірів перед телевізором. Зазвичай це робилося для рекламних роликів, але це не робили з живими акторами чи в контексті мистецтва. Крім того, такі спроби не були твором мистецтва, а радше технічними експериментами», — пояснює Макс Шумахер.
Що таке ALTstage
Технологія схожа на звичайну доповнену реальність (скорочено AR, від augmented reality), яку можна бачити в Google Animals, Pokemon Go й інших продуктах. У популярних AR-застосунках на екрані смартфона на фоні фізичного простору з’являється комп’ютерна модель тварини, будівлі або ігрового персонажа. В ALTstage пішли далі — там у доповненій реальності «мешкають» реальні люди.
Через те, що від самого початку проєктом займалися хореографи, віртуальними першопрохідцями стали танцівники. Але це не принципово — на екрані може з’являтися актор, модель, лектор, ведучий, учитель, промоутер.
«Ми готуємо до запуску платформу, де користувач — автор вистави, презентації, рекламних матеріалів — може зайти в особистий кабінет і навчитися створювати потрібний контент. Потім цей контент можна завантажувати та використовувати згідно з потребами користувача — розміщувати на сайті для домашнього перегляду або зробити частиною офлайн-івенту», — пояснює задум менеджер проєкту ALTstage Олександр Маншилін.
Зараз ALTstage має додаток і сайт. Але це — зовнішній бік технології. Треба було вигадати ще дві важливі деталі. По-перше, знайти дешевий спосіб створювати об’ємне (волюметричне) відео. По-друге, ідеально синхронізувати доповнену реальність і класичне «пласке» відео, з яким взаємодіє AR.
Як розробляли ALTstage
Технологія
«Європейські студії, які роблять об’ємне відео для великих компаній, мають великі напівсферичні павільйони з десятками або сотнями камер. Пласке відео з них поєднують в одну об’ємну модель, — говорить президент «Платформи сучасного танцю», креативний продюсер ALTstage Антон Овчінніков. — Але, по-перше, такий продукт коштує кілька тисяч євро за хвилину. По-друге, це величезний обсяг даних. Жоден смартфон у світі не зможе його прийняти й обробити. Ми потребували дешевшого та „легшого“ рішення».
Митці запросили до команди IT-фахівців із WeAR Studio, які вже мали чималий досвід у роботі з доповненою реальністю, працювали з Pepsi й Okko. З галуззю сучасного танцю вони зіткнулися вперше.
Проєктний менеджер WeAR Studio Святослав Криворучко пригадує, як Олександр Маншилін пояснював ідею ALTstage, малюючи три шари реальності на папірці.
«Відео, сцена з реальними танцівниками та доповнена реальність. Або для домашнього перегляду — віртуальна сцена в екрані ноутбука, відео на задньому плані на ній і доповнена реальність на клавіатурі. Це було для нас зрозуміло, й ми вхопилися за це як ядро ідеї».
Святослав Криворучко, проєктний менеджер WeAR Studio
Знімали в Києві — орендували студію, придбали кілька камер Azure Kinect і фільмували танцівників на зеленому тлі — хромакеї. Камери записували звичайне пласке відео. На додачу до нього створювали мапу відстаней для кожного кадру — так кожен піксель плаского зображення отримав третю просторову координату. Потім це відео обробляли, поєднуючи декілька відеопотоків у справжнє об’ємне відео.
Іншим важливим завданням для програмістів WeAR Studio була синхронізація того, що відбувається на екрані ноутбука, або відеопроєкції з тим, що відбувається в доповненій реальності. Вони взаємозалежні — AR орієнтується на маркери, які з’являються у відео в потрібний момент. Усе вдалося завдяки хмарним технологіям.
«Плеєр на сайті синхронізований і із сервером, де розміщений відеоконтент, і із застосунком у смартфоні глядача. Ми назвали це „святим трикутником“», — сміється Святослав Криворучко.
Контент
На відкритому конкурсі для участі у проєкті організатори ALTstage відібрали чотири перформанси: «Метаморфоза» (Ярослав Кайнар, Київ), In Between (Ірина Башук, Київ), «Повторіть, будь ласка» (Ольга Безгінова й Анастасія Кузьмічьова, Дніпро) та «Поза часом» (Ольга Дробиш, Харків).
Харківська хореографиня Ольга Дробиш, яка створила для проєкту одну з вистав («Поза часом»), пригадує, що працювати було дуже незвично.
«Я була й автором вистави, і посередником, який передає інформацію від продюсерів і режисерів до танцівниць. Дівчата до останнього дня не розуміли, який вигляд це матиме, — пригадує хореографка. — Лише коли вони побачили перший «прогін», сказали: «Он воно як! Цікаво».
Одна з цих танцівниць, Юлія Циб, згадує, що постала перед незвичними труднощами. «Тут три реальності, три сцени, і ти маєш існувати одночасно у всіх трьох. Але втричі складніше бути там не просто технічно, а емоційно — проживати танець у кожній із реальностей», — пояснює танцівниця.
Загалом на проєкті працювало 28 людей — це менеджери, хореографи, танцівники, програмісти, піарники, оператори, дизайнери постпродакшну й інші спеціалісти. Для створення наступних відео з доповненою реальністю буде потрібно набагато менше людей. Виготовлення одного ролика триватиме від шести до восьми тижнів, у залежності від складності задуму.
Вартість такого відео поки що неможливо точно оцінити. «З часом, коли ми реалізуємо кілька десятків кейсів і відпрацюємо стандартні робочі моделі виробництва, можна буде говорити про стандартну вартість уже на рівні задуму», — вважає Олександр Маншилін. На початковому етапі House of Europe й Український культурний фонд надали проєкту 2,7 млн грн грантової підтримки.
Як це працює
- Потрібні iPhone 7 (або новіший), смартфон на Android 8.0 (або новіший) із підтримкою ARCore.
- Завантажте застосунок ALTstage, надайте необхідні доступи.
- На головному екрані додатка оберіть виставу та завантажте її (кожна вистава — приблизно 200 МБ). Після завершення завантаження — натисніть «Перейти до сканування».
- Аби відтворення почалося, оберіть «Розпочати перегляд» на ноутбуці, проскануйте телефоном QR-код — і відтворення розпочнеться.
- Під час відтворення смартфон повідомить про наближення доповненої реальності зворотним відліком. Слід навести камеру смартфона на екран так, аби захопити його повністю. У певний момент AR-танцівник з’явиться на клавіатурі.
Перспективи ALTstage
За словами Олександра Маншиліна, команда вже розуміє свої наступні кроки: «Ми працюємо над виставою P.A.N.T.ER. І це буде відповідь на численні запитання — а де драматургія, де історія, де цифрові спецефекти».
- Вистава у форматі мультидисциплінарного мистецтва стане ще однією, цього разу розширеною презентацією технології ALTstage. Перформанс на основі оповідання Франца Кафки «Голодар» покажуть у жовтні в Києві та Харкові.
- Ще один крок — відкриття сайту та застосунку для всього світу. Досі за межами України ALTstage не промотували.
- Нарешті, найскладніша мета — дати охочим можливість створити свій ALTstage-перформанс і поділитися ними з усіма.
Макс Шумахер упевнений: «У майбутньому цю технологію можна буде використовувати як для популярних розваг, так і для високого мистецтва, в перформативних жанрах чи медіаарті. Є безліч можливостей, але їх можна буде реалізувати тоді, коли ми не будемо намагатись адаптувати наявні твори до ALTstage, а створювати оригінальні твори в цьому форматі».
