Цей алгоритм перетворює ігри Чемпіонату світу з футболу в 3D доповнену реальність

Цього тижня стартує чоловічий Чемпіонат світу з футболу. Однак, яким би захоплюючим він не обіцяв бути, більшість з нас зможуть спостерігати за ним лише на плоских телевізорах, на відміну від тривимірного досвіду, який можна отримати, побачивши його наживо. Проте дослідники з Вашингтонського університету запропонували альтернативу доповненій реальності. Хоча вона, ймовірно, не буде доступна широким масам до цьогорічного турніру, вона натякає на один із способів, яким вболівальники вдома зможуть насолоджуватися спортивними іграми в майбутньому.

Дослідники розробили алгоритм машинного навчання, здатний перетворювати двомірні футбольні кліпи в тривимірні реконструкції, які можна переглядати за допомогою гарнітури доповненої реальності, наприклад, HoloLens від Microsoft. Результати дозволяють глядачам перетворювати плоскі поверхні, такі як письмовий або кухонний стіл, на віртуальне поле, доповнене тривимірними діями, які можна кружляти навколо, щоб переглянути під різними кутами.

Це не зовсім еквівалент особистого перегляду, але це набагато ближче, ніж звичайне телебачення. І значно дешевше!

• Масові поставки гарнітури змішаної реальності від Apple можуть затриматися
• Кращі ігри Meta Quest 2
• Чому DisplayPort 2.1 може стати великою подією для комп’ютерних ігор у 2023 році

“Наша мета – поліпшити досвід перегляду спортивних змагань”, – сказав Костянтинос Рематас, один з дослідників проекту, в інтерв’ю Digital Trends. “Замість того, щоб дивитися футбольний матч або основні моменти на плоскому 2D-екрані, ми перетворюємо оригінальне відео в 3D і візуалізуємо його в доповненій реальності. По суті, гра стає голограмою, де ви можете переміщатися і дивитися з різних точок зору, створюючи більш захоплюючий досвід”.

В якості вхідних даних алгоритму, що генерує досвід доповненої реальності, потрібно лише одне футбольне відео з YouTube. Оскільки цієї інформації недостатньо, щоб навчити цілу систему рендеринга “конвертувати” 2D-гравців в 3D, нейромережа навчилася оцінювати глибину, граючи в відеогру FIFA 2018 від EA. Використовуючи сукупність цієї інформації, вона може виконувати прохідну роботу з точного визначення місця розташування гравців на полі.

Наразі система все ще перебуває на стадії розробки. Наприклад, м’яч поки що не відображається належним чином (що виявляється дуже важливим у футболі), а гравці залишаються двовимірними фігурами. Це два покращення, які дослідники сподіваються зробити.

“Наступні кроки будуть спрямовані на підвищення якості реконструкції гри”, – продовжив Рематас. “Зокрема, ми хочемо точно оцінити місцезнаходження м’яча і краще реконструювати гравців – оклюзії, повну 3D оцінку форми [і багато іншого]”. Крім того, дослідники планують розширити рамки дослідження на інші види спорту, такі як баскетбол, хокей і футбол.

Рекомендації редакції

• Гарнітура змішаної реальності Apple: Все, що ми знаємо про VR-гарнітуру від Apple
• VR-гарнітура Apple може бути запущена найближчим часом, інтригуючий витік свідчить про це
• AR-окуляри отримають спеціальний чіп Qualcomm в 2023 році
• Meta тільки що тихо оголосила, коли відбудеться запуск Quest 3
• Не купуйте Meta Quest Pro для ігор. Це насамперед метаверсійна гарнітура

Source: digitaltrends.com