VR и захват движения (Motion Capture): что у них общего?

Казалось бы, все уже давно привыкли, что человеческие движения легко повторяются в видеоиграх, кино и анимации и кажутся нам совершенно естественными. Зачастую мы охотно верим всему, что происходит на экране, и редко задумываемся: а насколько легко было, например, воссоздать движения человекоподобных существ в фильме "Планета Обезьян 3" (2017 год)? Ведь все эти персонажи животных — трехмерные модели! Как же режиссеру удается передать естественность их движений, словно это живые актеры? Для этого на службе кино и анимации уже почти сто лет работают технологии захвата движения, с помощью которых и происходит волшебное превращение — "слияние" реального актера и его цифрового персонажа.

Давайте разберемся, как это работает!

Еще в начале XX века аниматор Макс Флейшер изобрел метод ротоскопирования — мультипликационную технику переноса кадров живой съемки в нарисованный мир. Изображение каждого кадра при этом вручную обрисовывалось художником на отдельных листах кальки для последующего создания мультфильма. Зачем он это делал? Для того, чтобы добиться реалистичной плавности движения персонажей в мультипликационном фильме, — ведь в то время еще не существовало современной компьютерной анимации и методов "захвата движения". Позднее с помощью ротоскопирования были сняты диснеевские полнометражные мультфильмы "Белоснежка и семь гномов", "Питер Пэн" и "Спящая красавица", а также советский мультфильм "Аленький цветочек" (1952 год). Именно в конце 1950-х гг. начали появляться первые костюмы с датчиками захвата движения, или "мокап"-костюмы (дословный перевод с названия технологии на английском языке: "Motion Capture", или "mocap"). Тогда к костюму крепились специальные измерительные приборы — потенциометры. В первых проектах с использованием подобного костюма актер выглядел на экране как двигающийся светящийся "скелетик" с линиями вместо конечностей. Конечно, это были эксперименты, и полученные результаты еще никак нельзя было использовать в кинематографе и мультипликации. Но главное было сделано — появилась возможность перенести движения реального человека в цифровой мир!

К восьмидесятым годам мир увидел первые полноценные костюмы с маркерами, которые считывали движения героя, отслеживаемые с помощью камер. В те времена это был достаточно трудоемкий процесс, ведь тогда камеры для трекинга (от англ. "tracking" — отслеживание перемещения и ориентации объекта в пространстве) не обладали высокими техническими характеристиками и к тому же были очень громоздкими и дорогими. С появлением доступных потребителю достаточно мощных компьютеров на технологию Motion Capture обратили внимание и разработчики компьютерных игр.

Возможно, вы удивитесь, но такие "древние" игры как, например, "Принц Персии" ("Prince of Persia"), были созданы при помощи Motion Capture! Массу прыжков, падений, ударов пришлось совершить актерам на камеру для воссоздания движений персонажей этой игры. Именно поэтому принц в этой игре выглядит почти как живой, несмотря на то, что мы с вами видим его лишь в двумерной плоскости экрана. Спустя несколько лет таким же способом, но с помощью уже технически улучшенных костюмов появилась на свет знаменитая компьютерная игра-файтинг "Mortal Combat".

Наиболее широко распространенный тип костюма захвата движения — оптический. Особенность этой технологии в том, что, кроме костюма с датчиками, здесь используется от 2 до 32 и даже более камер, находящихся под разными углами, которые снимают все перемещения в пространстве маркеров-отражателей, расположенных на костюме актера. После этого специальное программное обеспечение определяет координаты каждого маркера в пространстве в определенные моменты времени и сопоставляет данные с каждой камеры, формируя единую картину. Маркеры при этом имеют три степени свободы, а информация о вращении вычисляется из относительной ориентации трех или более маркеров (например, плеча, локтя и запястья).

Однако, чтобы пользоваться оптическими системами захвата, необходимо оборудовать целую студию, что для пользователей, которым необходимо решать не такие большие задачи, как съемка анимационного фильма, весьма затруднительно. В таких случаях на помощь разработчикам игр приходят инерционные костюмы с незаметными и удобными для движения трекерами. Такие системы, кстати, сегодня уже доступны всем желающим попробовать себя в роли режиссера, актера или разработчика.

В 1990-х гг. произошел стремительный скачок в скорости вычислений и развитии многопоточности. Производительность компьютеров стремительно возросла, открывая перед пользователями новые возможности. В это же время "мокап" пришел в киноиндустрию. Заметим, что далеко не всегда при съемках с технологией захвата движения используются реальные актеры. Например, в фильме "Парк Юрского периода" аниматоры копировали движения виртуальных динозавров с их кукольных двойников, которые управлялись вручную. Даже сегодня, при съемках популярного сериала "Игра престолов" в качестве драконов выступали управляемые роботы и манекены с маркерами для трекинга, и уже после съемок в кадр монтировалась высококачественная 3D модель дракона. Однако есть в истории кино и примеры, когда дракон и даже его мимика были оживлены человеком. Так, в фильме "Хоббит: пустошь Смауга" Бенедикт Камбербэтч сыграл дракона Смауга в костюме захвата движения и мимики.

Интересно было бы узнать, как аниматорам удалось совместить живую мимику лица человека с совершенно непохожим на него лицом, или лучше сказать, мордой дракона? Самым первым актером, оживившим виртуального персонажа, стал Энди Серкис, после игры которого "мокап" стал отдельным видом актерского направления. Выход второй части "Властелина Колец", в которой появился виртуальный герой Голлум, дал отсчет новой жизни и применению "мокапа". Неудивительно, что Голлум получил номинацию "Лучший виртуальный персонаж" в кинопремии MTV, а "мокап" — игру актера Энди Серкиса впереди ожидали роли в таких киношедеврах как "Планета обезьян" и "Хоббит", а еще в "Кинг Конге" (да-да, именно он сыграл самого Кинг Конга!) и других.

На сегодня список фильмов, в которых используется "мокап", составил уже более сотни. Из наиболее известных зрителю — это "Аватар", "Пираты Карибского моря", "Полярный Экспресс", "Звездные воины", "Мстители" и многие другие. Кстати, кино- и игровой индустрией использование технологии "мокап" вовсе не ограничивается. Не так давно ее стали использовать и в театральных постановках. Ключевое отличие и самая большая сложность при создании цифрового персонажа в театре — то, что действие происходит прямо здесь и сейчас, на этой сцене. В кино и играх мы видим так называемый "постпродакшн" — то, что получилось в результате множества отснятых дублей и кропотливой работы аниматоров, соединяющих на компьютере реального актера с его цифровой копией.

В театре же времени на обработку отснятых кадров просто нет. Актер в "мокап" костюме играет в реальном времени, а зрители видят его виртуального персонажа на проекционном экране. Именно так была создана уникальная постановка пьесы Шекспира "Буря" в одном из Лондонских театров в 2014 году.

Об этой постановке было снято несколько видео и интервью: тогда это был действительно большой шаг вперед в использовании технологии "мокап" в сфере искусства. Благодаря таким необычным применениям "мокап" сегодня представляет собой особую форму слияния искусства и технологий. Например, становится возможным создавать и оживлять цифровые копии трехмерных аватаров, которые могут ходить, импровизировать, произносить любые фразы в реальном времени, повторяя за актером в точности все его действия. Находясь в виртуальном пространстве, аватар может взаимодействовать с виртуальным окружением, самостоятельно развивая сценарную логику анимационного фильма и влияя на ход сюжета.

Именно эту идею постарались воплотить с помощью технологии Motion Capture и конструктора проектов виртуальной и дополненной реальности EV Toolbox участники и организаторы мастерской интерактивной анимации от компании EligoVision на форуме молодых деятелей культуры и искусств "Таврида 5.0" летом 2019 года. Кураторы и творческие участники мастерской решили показать, как можно влиять на ход сюжета интерактивной постановки при помощи "мокапа". В иммерсивной пьесе "Буря", речь о которой шла выше, виртуальный герой лишь играл свою роль в сюжете, не имея возможности как-то на него воздействовать. В мастерской же интерактивной анимации было решено создать нечто новое, а за основу проекта была взята сказка Льюиса Кэрролла "Приключения Алисы в Стране чудес".

Подготовка к работе над проектом началась за несколько недель до начала форума: шли встречи и обсуждения, проводилось тестирование оборудования и подключение инерциального костюма Motion Capture "Neuron" к конструктору проектов виртуальной и дополненной реальности EV Toolbox. Перед экспертами мастерской стояли следующие задачи: показать участникам, как создаются интерактивные проекты, продемонстрировать новые возможности в анимации и создать целостный проект для показа на закрытии смены. Для работы над проектом на конкурсной основе были отобраны 10 участников: режиссеры, сценаристы, 2D и 3D дизайнеры, программисты, технические художники для работы в EV Toolbox и танцор-хореограф в качестве "мокап"-актера.

В течение первых дней смены участники выбрали сюжет и представили несколько сценариев для проекта. Одновременно с этим началась работа над созданием 2D скетчей и 3D моделей. После того как все модели были готовы и протестированы, закипела основная работа по созданию виртуальной сцены в конструкторе EV Toolbox с использованием "мокап"-костюма. Участники смены столкнулись с ожидаемой трудностью при перевоплощении актера в ту или иную интерактивную модель. Дело в том, что все используемые в проекте модели оказались, мягко говоря, с разными габаритами. Алиса была похожа на обычную девочку, Стражник выглядел как игральная карта, Королева стала дородной женщиной с высоченной прической, а Гусеница – и вовсе не человек!

В итоге участникам и экспертам мастерской пришлось привыкать к костюму, долго репетировать, чтобы соотнести свои движения с той или иной 3D моделью проекта. Ведь на финальном показе права на ошибку не было! Так, если вы посмотрите на модель Королевы, то заметите, что ее голова существенно больше человеческих физических размеров, поэтому актеру приходилось вытягивать руки над собой, чтобы Королева могла, например, поправить прическу.

Как же был реализован интерактив в реальном времени постановки?

Виртуальная сцена совмещается с координатами реального пространства, где находится актер в "мокап"-костюме. Система трекинга костюма определяет положение и движения актера, позволяя запускать различные действия в виртуальной сцене в зависимости от логики работы проекта, созданной с помощью редактора визуального скриптинга – сценария в конструкторе EV Toolbox. Последовательность своих действий при этом актер определяет самостоятельно. Например, он может перемещаться в пространстве, а его герой на экране в этот момент становится на определенную шахматную клетку виртуального окружения, перемещение на которую, в свою очередь, запускает смену 3D модели в сцене. Также герой может взаимодействовать с объектами виртуального окружения, менять их цвет при прикосновении, запускать анимации и т. д.

Этот интерактивный проект не просто показал всем возможности "мокапа", но и продемонстрировал его эффективное сочетание с интерактивной анимацией в реальном времени для создания уникальных цифровых постановок, в которых могут быть воплощены самые различные многовариантные сценарии и сюжеты. Подобные технологии можно смело использовать в сфере искусства, кино, мультипликации и анимации, а также в театральной деятельности, где актер за несколько минут будет перевоплощаться в сказочного персонажа. И, что самое важное, варианты развития событий герой или зритель может выбирать самостоятельно в реальном времени без привязки к сюжету. Теперь, надевая "мокап"-костюм и запуская конструктор EV Toolbox с его новыми возможностями, вы сможете почувствовать себя настоящим творцом и смело создавать потрясающие инновационные и интерактивные проекты.

Статья впервые была опубликована в журнале КИШ в 2019 г.