Samsung звернулася до голлівудських талантів, щоб втілити в життя AR Emoji

Вбудована в додаток камери Samsung Galaxy S9, AR Emoji дозволяє використовувати фронтальну камеру для створення та надсилання цифрових мультяшних аватарів. Подібно до концепції Animojis від Apple, AR Emoji фіксує рухи вашого обличчя і відображає їх у вигляді персонажа або тварини. Але за допомогою функції “Створити свій емодзі” ви також можете створити свій власний, просто зробивши селфі, обравши відтінок шкіри, одяг, зачіску, колір волосся та окуляри.

За допомогою AR Emoji компанія Samsung вирішила вирішити те, що вона вважає проблемою – знайти спосіб замінити існуючі емодзі на інтерактивні. Компанія хотіла зробити це простим способом, надавши користувачам правильні інструменти для передачі емоцій, але при цьому дозволивши їм легко ділитися результатом на різних платформах обміну повідомленнями.

Отже, як Samsung створила свої AR Emojis? Для початку компанія звернулася до експертів з 3D-анімації, які втілили в життя деяких з найпопулярніших персонажів Голлівуду.

• Підступне оновлення iOS змусило мене знову захопитися iPhone 14 Pro
• Щойно придбали новий iPhone? Ось 12 порад і підказок, як його освоїти
• Apple може скасувати iPhone SE 4 в наступному році – і я радий цьому

Від великого екрану до камери смартфона

Для реалізації нової функції Samsung співпрацювала з Loom.ai – стартапом із Сан-Франциско, що спеціалізується на 3D-анімації. Програмне забезпечення компанії дозволяє користувачам створювати повністю персоналізовані та настроювані 3D-аватари з однієї фотографії, без спеціального обладнання або датчиків глибини. Завдяки партнерству та комплекту розробки програмного забезпечення (SDK), Samsung об’єднав технологію Loom.ai з технологією камери S9 (доповнена реальність та розпізнавання обличчя), щоб зробити можливим створення власних AR-емодзі.

Samsung хоче знайти спосіб замінити існуючі емодзі на інтерактивні.

Бачення Loom.ai почалося з фільмів – мультфільмів та супергероїв, якщо бути точним. Засновники Loom.ai – Махеш Рамасубраманіан і Кіран Бхат, які раніше працювали в таких популярних компаніях, що займаються візуальними ефектами, як DreamWorks і Lucasfilm, допомогли вивести на великий екран таких відомих персонажів, як Шрек і Халк.

Щоб надати цим персонажам індивідуальності, вони використовували технологію захоплення акторів, які їх грали, – записуючи рухи актора, а не його зовнішній вигляд. Але побачивши, як кіноаудиторія реагує на їхні 3D творіння, Рамасубраманіан і Бхат вирішили вивести цю технологію далі – за межі Голлівуду – і заснували Loom.ai, який орієнтований на смартфони.

“Люди миттєво реагують на те, що ці персонажі оживають, коли ними керують людські актори”, – сказав Рамасубраманіан, який є генеральним директором і співзасновником компанії, в інтерв’ю Digital Trends. “Ми запустили Loom.ai з метою знайти простий спосіб для кожної людини побачити себе в 3D, і для цього нам потрібно було створити нову технологію”.

У художніх фільмах створення 3D-аватару вимагає тонни обладнання – дорогого апаратного і програмного забезпечення, гриму і студійної обстановки. Але Loom.ai знайшов спосіб спростити процес захоплення рис людини без звичних інструментів; замість цього його запатентована технологія використовує одну фотографію і глибоке навчання для аналізу зображення. Якщо на фотографії немає виразу обличчя, алгоритм глибокого навчання розглядає пікселі і автоматично створює обличчя, яке інкапсулює правильний рух м’язів.

“Коли партнерство з Samsung розгорнулося, у нас з’явився шанс реалізувати цю складну технологію на пристрої, що, як ми вважаємо, вже саме по собі є досить складним інженерним завданням”, – сказав Бхат, технічний директор і співзасновник Loom.ai, в інтерв’ю Digital Trends. “Це великий технологічний стрибок в можливості взяти деякі з цих ідей і прагнень з великого екрану і перенести їх на мобільні пристрої”.

Для створення AR Emoji компанія Samsung заручилася підтримкою Loom.ai – стартапу з Сан-Франциско, що спеціалізується на 3D-анімації.

Вбудовування цієї технології в апаратне забезпечення Galaxy S9 вимагало від Loom.ai перебудови алгоритмів для запуску на пристрої. Але Loom.ai створив AR Emoji не один: І Рамасубраманіан, і Бхат відзначають, що компанія Samsung доклала величезних зусиль для оптимізації програмного забезпечення. Надаючи SDK для інтеграції в смартфони, засновники Loom.ai вважають, що Samsung може зробити фреймворк набагато багатшим, додавши більше контенту і можливостей налаштування в майбутньому.

Як Galaxy S9 створює цифровий аватар

Отже, як саме S9 (і S9 Plus) створює AR Emojis? Хоча Samsung не розкрила свій секретний соус, вона дозволила Digital Trends зазирнути під капот.

Працюючи за технологією Loom.ai, камера телефону захоплює і обробляє 2D-зображення в 3D. Щоб ще більше покращити цей процес, S9 використовує додаткове програмне забезпечення – відстеження обличчя та технологію Blend Shape від Samsung – для забезпечення виразу обличчя для AR Emoji.

Ви отримуєте мультяшну версію себе, яка може виражати 18 різних емоцій – які Samsung планує поступово розширити до 54 – від радості і задоволення до смутку і гніву. Усі дані також локальні для пристрою і ніде більше не зберігаються.

Працюючи разом, технологія відстеження обличчя відстежує понад 100 рис обличчя в режимі реального часу (наприклад, підморгування або посмішку), щоб зафіксувати окремі емоції, в той час як Blend Shape допомагає передати більший діапазон емоцій, поєднуючи вирази обличчя на основі 75 основних рис людського обличчя. Samsung заявляє, що для Blend Shape вона проводила щонайменше 100 тестів щотижня у своїх лабораторіях, щоб переконатися, що є достатньо даних, які могли б зацікавити користувачів. (Blend Shape також використовується для створення AR-емодзі Disney, таких як Міккі і Мінні Маус).

У нашому власному тесті AR Emoji більшість з нас вважали, що наші персонажі виглядають вкрай неточно. Один автор вважав, що не вистачало варіантів відтінків шкіри, і не було жодного темного відтінку на вибір. Інші вважали, що їхні AR-емодзі зовсім не схожі на них, через що редагування аватарки здавалося більше рутинною роботою, ніж приємним заняттям.

За даними Loom.ai, створення точного AR-емодзі значною мірою залежить від способу зйомки селфі. Користувачі повинні підходити до фотографування так само, як до фотографування на паспорт. “Вам потрібне рівномірне освітлення, щоб ніщо не закривало обличчя, і нейтральний вираз, щоб ми могли додати вираз пізніше”, – пояснив Рамасубраманян. “Це питання того, щоб люди трохи звикли до цього, а потім побачили можливості анімації та використання”.

Рамасубраманіан також сказав, що користувачі повинні ставитися до нього так само, як і до звичайного селфі – тобто, ви можете робити тонни фотографій, поки не будете задоволені фотографією. Оскільки AR Emoji дозволяє створювати кілька аватарів, ви можете порівнювати їх, щоб знайти той, який вам найбільше подобається. Кожен створений вами аватар також зберігається на вашому телефоні, тому ви можете змінювати версію залежно від вашого настрою.

Останнє оновлення AR Emoji включає додаткові зачіски, головні убори, такі як хіджаб, та інші опції. Наразі оновлення поширюється на розблоковані версії Samsung Galaxy S9 та S9 Plus у Кореї, Китаї та Європі. Пристрої європейських операторів і розблоковані пристрої в США повинні отримати оновлення для завантаження на цьому тижні. Оновлення для пристроїв американських операторів буде розгортатися протягом найближчих тижнів. Samsung заявляє, що AR Emoji буде продовжувати розвиватися в майбутньому, але поки що не розкриває точних деталей.

Рекомендації редакції

• Samsung Galaxy S23: дата виходу, характеристики, ціна, чутки та новини
• Як iPhone 14 Plus став одним з найбільших технологічних провалів 2022 року
• Як налаштувати новий телефон Samsung Galaxy як професіонал
• Фотографічні стилі – найбільш недооцінена функція камери iPhone 14, яку ви не використовуєте
• У Pixel 8 Google потрібно вирішити проблему з камерою, що набридла

Source: digitaltrends.com