Надати реалістичності віртуальній реальності складно, але ці розробники знайшли вихід у голограмах

Почитайте будь-яку розгорнуту статтю про віртуальну реальність і, безсумнівно, хоча б раз чи два натрапите на слово “занурення”. Це відносно розпливчастий термін для позначення відчуття присутності у віртуальному світі, але він максимально наближений до єдиної точки відліку для оцінки успіху розробника віртуальної реальності в створенні правдоподібного досвіду.

• Прощавайте м’ячики для пінг-понгу, привіт голограми
• Правильний партнер для танцю
• Від зірок до екранів
• Гра з голограмами
• (Ясні) мрії про майбутнє

Більшість розробників використовують схожу техніку для досягнення занурення. Вони працюють в рамках існуючих гарнітур віртуальної реальності і створюють невеликі сцени високої точності з бінауральним звуковим супроводом. Якщо вони роблять достатньо хорошу роботу, ви можете виявити, що блукаєте в дивовижній долині. Рідко вдається піднятися на підйом з іншого боку – але це саме те, що намагається зробити продюсерський дім віртуальної реальності Start VR у фільмі “Пробудження”.

Його приблизно 20-хвилинний перший епізод – це злегка інтерактивний кінематографічний VR-досвід, який розповідає захоплюючу історію на тему усвідомлених сновидінь. Але якою б інтригуючою не була розповідь, найяскравішим елементом Awake є техніка об’ємної зйомки, що використовується для її створення.

Кінцевим результатом є персонажі з неймовірно реалістичними виразами обличчя, рухами та жестами. Це не захоплення руху м’ячика для пінг-понгу. Це щось зовсім інше.

**У наступному інтерв’ю можуть бути присутні легкі спойлери історії Awake.

Прощавайте м’ячики для пінг-понгу, привіт голограми

“Техніка, навколо якої був написаний Awake, – це об’ємне відео, – пояснив творець і режисер Мартін Тейлор. “Таким чином, це новий тип зйомки виступу актора, який бере повну гру актора, включаючи весь гардероб і повну міміку, і фіксує їх у вигляді кінематографічної голограми”.

Об’ємне захоплення не було чимось, що Start VR могла виконати самостійно. Їй потрібна була допомога Microsoft.

Це дуже відрізняється від методів захоплення руху, які використовуються для створення більшості ігрових персонажів як для віртуальної реальності, так і для більш традиційних 2D-ігор. В той час як ті використовують зразки рухів для створення 3D-моделей, які обтягуються шкірою, щоб оживити віртуальних персонажів, об’ємне захоплення записує всю людину. Так би мовити, зсередини і зовні.

“Для цього використовується спеціальна установка з 106 камерами з датчиками глибини, які спрямовані на циліндричний об’єм в центрі, і до двох акторів можуть стояти в цьому об’ємі і виконувати свою роль.

“Ми провели кілька дуже грубих ранніх тестів з цією технологією за допомогою Microsoft Kinect і камери Canon 7D, об’єднаних разом, і результати були комічно грубими”, – пояснив Тейлор. “Але було щось таке в досвіді перебування у віртуальній реальності і знанні того, що ви дивитеся на реальну людину […] Це дозволило вам трохи наблизитися до того, щоб перетнути дивовижну долину, щоб дати вам дуже пов’язаний досвід. Це був дійсно захоплюючий момент і дуже ранній в нашому бізнесі”.

Спочатку Start VR розглядала можливість розробки власної установки для об’ємної зйомки, але складність управління таким об’єктом, а також авансові витрати, пов’язані з придбанням і налаштуванням такої кількості камер і датчиків глибини, були занадто великими, щоб їх розглядати.

“Я думав, що ми не зможемо зробити це без таких зусиль”.

Команда провела пару років, вивчаючи місцевих постачальників і студії з власними установками об’ємного захоплення. Жодна з них не могла зробити те, що хотіла Start VR, а саме: не тільки записувати виступи, але й мати можливість повторно освітлювати їх після запису. Одним з найбільш унікальних аспектів Awake є те, що гравець, хоча і обмежений в інтерактивних можливостях, може випускати невеликі промінчики світла зі своїх віртуальних рук, які можуть висвітлити затінені ділянки досвіду.

Єдиною компанією, яка зробила б це можливим, а також надала систему захоплення руху, необхідну Start VR, була Microsoft.

“Тільки коли ми опинилися в їхній студії, ми зрозуміли, що потрібно для того, щоб все вийшло”, – продовжив Тейлор. “Кількість комп’ютерів, необроблена обчислювальна потужність, обладнання та інфраструктура змусили нас задуматися. Я одразу ж подумав, що немає жодного шансу, що ми зможемо впоратися з цим без такого рівня зусиль”.

Від зірок до екранів

Після того, як виступи акторів були записані, перенести їх в ігрове середовище було нелегким завданням. Start VR проклала шлях як в програмному, так і в апаратному забезпеченні.

Від зірок до екранів

“Ми, безумовно, змушуємо движок робити те, що він не вміє. Ми працюємо над цим щодня”.

Після того, як це було вирішено і досвід почав накопичуватися, наступною великою проблемою стала оптимізація. Start VR тісно співпрацювала з Nvidia, щоб забезпечити безперебійну роботу досвіду на відеокарті GTX 1080 Ti, а потім почала працювати над тим, щоб побачити, які скорочення можна зробити, щоб забезпечити роботу досвіду на слабшому обладнанні.

В даний час Awake пропонує два режими гри. Варіант з високою точністю, безумовно, більш приємний, хоча Start VR пропонує використовувати GTX 1080 як мінімально необхідну специфікацію. Нам вдалося змусити його працювати на AMD Radeon Fury X, але частота кадрів іноді заїкалася. Стандартний варіант

“Ніхто не написав нічого конкретного для обробки такого роду рендерингу”, – сказав він. “У міру того, як попит зростає і виробництво починає ставати більш поширеним, я думаю, ми побачимо, що Nvidia пропонує спеціальне апаратне прискорення, щоб зробити вистави більш якісними і реалістичними”.

Розмір інсталяції також був основною проблемою для Start VR.

“Об’єм об’ємного захоплення становить 10 Гб в секунду, тому потрібно докласти чимало зусиль, щоб втиснути 15 хвилин в 10 Гб [завантаження]”, – сказав Тейлор. “Він використовує найновіші та найкращі з усіх плагінів в Unreal Engine. Ми, безумовно, підштовхуємо рушій робити те, що він не робить за замовчуванням. Ми працюємо над цим щодня”.

Ви не є учасником цього світу. Ви вуайєрист. Для Start VR це був план з самого початку.

Start VR може вибрати моделі ще більш високої точності, ніж ті, що використовуються зараз. Більш ранні реалізації об’ємного захоплення, такі як освітня програма “Тримай світ” від Factory 42, яку проводив Девід Аттенборо, в деяких сенсах виглядають краще, ніж Awake. Це тому, що вони забезпечують лише три ступені віртуальної реальності з можливістю руху. Вони також фокусують всю увагу на обличчі і верхній частині тіла.

“Ви можете підштовхнути кількість полігонів, яку ми дозволяємо [в Awake], просто в обличчя, і тоді воно стане надзвичайно високою роздільною здатністю”, – пояснив Тейлор. “Є деякі компроміси, на які ми йдемо. Ми вирішили знімати все тіло, тому що ми хочемо, щоб люди могли бачити кожну частину персонажа, ходити навколо нього. Я бачив, як люди каталися по підлозі, щоб перевірити, чи стійкі персонажі”.

Гра з голограмами

Після всіх зусиль і особливої уваги, необхідних для створення об’ємного досвіду Awake, кінцевий результат – це щось дуже відмінне від того, до чого звикли більшість геймерів. “Текстура” персонажів варіюється від надзвичайно деталізованої на обличчях до грубої та розмитої у важкодоступних місцях. Поєднання надзвичайно реалістичних рухів та дещо блокованих моделей нагадало нам реліз 2011 року від Rockstar, LA Noire, з його унікальним візуальним стилем. Або так, ніби хтось наклав UHD-відео на оригінальну оболонку персонажа Xbox.

Воно далеке від досконалості, технологія бореться, зокрема, з проміжками між пальцями та волоссям, а також з дещо блокованим контуром персонажів. Але це захоплює так, як рідко можна зустріти у віртуальній або будь-якій іншій симуляції реальності, і це має величезний потенціал для іншого виду інтерактивного досвіду.

Гра з голограмами

“Навіть розуміння того, як ми освітлюємо та режисуємо вистави, також зміниться”.

Це занурення у віртуальний світ також якимось чином посилюється, змушуючи вас зробити крок назад

“[Інші режисери] завжди відчувають потребу в тому, щоб виконавці на сцені дивилися на вас, на камеру, і я не знаю, чи завжди це спрацьовує”, – сказав Тітцель в інтерв’ю Digital Trends. “Якщо з вами постійно поводяться так, ніби на вас треба дивитися, я думаю, що це змінює природу виступу, і я думаю, що рідко можна побачити правдоподібні вистави, де актори грають на камеру, і ви повинні реагувати на них”.

Це не означає, що ви ніколи не відчуваєте себе залученим до сцени в “Неспання”. Є моменти, спеціально створені, коли ви опиняєтеся в полі зору персонажа, що викликає у вас поштовхи здивування, чи бачать вони вас чи ні. Це не вириває вас з досвіду, але нагадує вам про вашу вуайєристичну роль у сцені. Якщо вже на те пішло, це підкреслює, наскільки особистою є історія, незважаючи на натяки на більш розгорнуту розповідь, що виходить за рамки цього першого епізоду.

(Ясні) мрії про майбутнє

Start VR вже запланувала вісім епізодів для серії Awake, причому Тейлор вже витратив роки на створення історії, яка є одночасно особистою і розгорнутою. У міру розгортання цих епізодів ми можемо очікувати багато поліпшень, кажуть нам.

“Технологія, точність, частота кадрів кардинально зміниться”, – сказав Тітцель в інтерв’ю Digital Trends. “Навіть розуміння того, як ми освітлюємо і направляємо вистави – який найкращий спосіб отримати виступ від акторів у цьому просторі, також зміниться. Це досвід навчання”.

(Ясні) мрії про майбутнє

Окрім розширення власного досвіду в режисурі акторів та розробці VR-ігор, Start VR також співпрацює з Microsoft, щоб продовжувати вдосконалювати техніку об’ємного захоплення, щоб додати нові зморшки на віртуальному полотні.

“Коли персонаж помічає вас – це один із способів розповісти історію, і я вже думаю, що з’являються варіації, де ми можемо додати лінію очей”, – підкреслив Тейлор. “Ми працюємо з Microsoft над тим, щоб контролювати рух голови персонажа, щоб він міг повернутися і зафіксуватися на вас приблизно на 30 градусів в обидва боки від зафіксованого положення […] Також ми змушуємо людей робити реактивні дії. Тож є моменти, коли персонаж тягнеться до вас, щоб дати вам щось. Чи відчуваєте ви себе змушеними спробувати і забрати це у них? Ми намагаємося знайти різні способи зв’язку з персонажем, а не просто дивитися на нього”.

Start VR також планує експериментувати з кількома середовищами (“Неспання: Episode One відбувається майже виключно в одному. Можливо, півтора), але це виходить за рамки віртуальної реальності, в якій, на думку Тейлора і Тітцеля, їх експерименти з об’ємним захопленням будуть найбільш відчутні.

“Ми вже досліджуємо, що може означати перенесення такого роду захоплення в доповнену реальність, і наступним кроком будуть реальні виступи в реальному світі”, – сказав Тітцель. “Ранні тести в цій області дали деякі захоплюючі результати”.

Цей досвід і перший епізод “Неспання” від Start VR підкреслюють захоплюючий потенціал об’ємного захоплення. Вони дозволяють обійти проблеми з продуктивністю таких технологій, як трасування променів для реалістичного освітлення в грі, і створюють те, що виглядає правдоподібно зблизька, навіть якщо в ньому все ще є кілька недоліків.

Пробудження: Перший епізод – це захоплюючий перший крок у сюжетній подорожі, але це ще більший стрибок для технологічного вдосконалення, яке допомогло йому з’явитися на світ. Ми з нетерпінням чекаємо, на що може перетворитися історія Awake та технології зйомки, які вона представляє, і сподіваємося, що в майбутньому ми побачимо набагато більше і того, і іншого.

Awake: Episode One доступна в Steam та Viveport за ціною $8.

За лаштунками зйомок захоплення руху Awake VR

Awake: Епізод перший | Запустити VR

Awake: Епізод перший | Start VR

Source: digitaltrends.com