ModiFace замінює пензлі для макіяжу нейромережами, і це наближається до S9

Samsung Galaxy S9 і S9 Plus поставляються з безліччю нових функцій камери, включаючи AR Emoji, Super Slow Motion і змінну діафрагму. Але є ще одна нова фішка, яку ми ніколи раніше не бачили в смартфонах – інструмент для макіяжу з доповненою реальністю Bixby Vision.

Функція “Макіяж”, вбудована в додаток камери S9, дозволяє наносити різні засоби на обличчя за допомогою доповненої реальності. Наведіть селфі-камеру на своє обличчя, і обрані вами стилі макіяжу будуть накладені на ваше обличчя, точно так само, як фільтри Snapchat. Перевага полягає в тому, що ви приміряєте макіяж в комфорті власного будинку, а також уникаєте необхідності прибирати за собою. Ми вперше бачимо таку функцію, вбудовану в смартфон, але технологія далеко не нова. Samsung звернувся до ModiFace, компанії з більш ніж десятирічним досвідом досліджень у цій галузі, щоб інтегрувати свою технологію доповненої реальності в камеру.

Від догляду за шкірою до макіяжу з доповненою реальністю

Якщо ви коли-небудь використовували додаток Sephora, щоб віртуально приміряти макіяж, або додаток Brow Try-On від Benefit, щоб протестувати нову форму брів, тоді ви використовували технологію доповненої реальності ModiFace. Зараз компанія розробляє понад 200 користувацьких додатків доповненої реальності для елітних косметичних брендів, але спочатку все починалося з догляду за шкірою.

Популярність смартфонів надихнула ModiFace протестувати свою технологію з доповненою реальністю.

До революції смартфонів ModiFace працювала з дерматологами та певними брендами, щоб допомогти людям знайти рішення для догляду за шкірою.

Люди могли завантажити свою фотографію у веб-додаток, а компанія обробляла її, щоб визначити проблемні зони та запропонувати покращення догляду за шкірою.

Спочатку ModiFace використовувала 2D-зображення у веб-додатку, але з розвитком технологій компанія незабаром змогла перейти до завантаження відео. Коли смартфони стали популярними, ModiFace почала тестувати свою технологію з доповненою реальністю і додала макіяж і зачіску до переліку підтримуваних функцій.

“З бумом смартфонів це була ідеальна можливість для нас розширитися, оскільки це дозволило нам принести AR прямо до наших користувачів на долоні”, – сказав Джефф Хоутон, віце-президент з технологій ModiFace, в інтерв’ю Digital Trends.

Поточні набори для розробки програмного забезпечення (SDK) є кульмінацією 10 років інженерних розробок. Тісно співпрацюючи з косметичними брендами, ModiFace здатна забезпечити блискавичний і простий у використанні користувальницький досвід, а також заохочувати відкриття продуктів.

Технологія ModiFace використовується в більш ніж 200 додатках доповненої реальності для брендів косметики високого класу, включаючи численні розумні дзеркала, які дозволяють клієнтам віртуально приміряти макіяж в режимі реального часу. Фото: ModiFace.

Технологія не обмежується додатками для смартфонів, а поширюється і на роздрібні магазини. Ще в листопаді MAC Cosmetics дебютувала з віртуальним дзеркалом MAC Virtual Try-On Mirror в певних місцях. Дзеркало дозволяє клієнтам віртуально приміряти макіяж в режимі реального часу, проводячи пальцем по інтерфейсу. Це допомагає усунути необхідність тестувати багато продуктів в магазині, звужуючи його до стилів, які вам найбільше подобаються.

Переносимо свої технології на Galaxy S9

Та ж технологія і концепція – це те, що доступно на новому Galaxy S9. Співпрацюючи з Samsung, ModiFace змогла оптимізувати досвід.

Партнерство також може започаткувати нову тенденцію для виробників телефонів.

“Починаючи з дому, ми тренуємо наші нейронні мережі на тисячах зображень, щоб створити базу для відстеження та аналізу облич для наших додатків”, – сказав Хоутон. “Потім ця нейронна мережа вбудовується в додаток Samsung. Ми працювали з Samsung, щоб налаштувати кілька параметрів, щоб переконатися, що ми досягаємо ефектів, які хочуть бачити бренди і кінцеві користувачі”.

Партнерство між двома компаніями може започаткувати новий тренд для виробників телефонів. Хоча б’юті-технології все ще перебувають у зародковому стані, макіяж вже багато років потрапляє на наші екрани через соціальні мережі. Будь то YouTube або уроки в Instagram, люди постійно звертаються до своїх смартфонів, щоб знайти нове натхнення, коли справа доходить до макіяжу. З Galaxy S9 все, що вам потрібно зробити, це провести пальцем по камері, і ви отримаєте каталог макіяжу у своєму розпорядженні.

На Galaxy S9 ви можете шукати різноманітні косметичні продукти, доступні як від Sephora, так і від Cover Girl, і ви можете придбати їх на місці. Коли ви прокручуєте кожен продукт, він буде застосовуватися до вашого обличчя, як фільтри Snapchat.

За допомогою відстеження обличчя та 3D-відео рендерингу фільтри макіяжу наносяться на обличчя зі швидкістю 30 кадрів в секунду. Ніяких затримок, і нічого не зміщується. Це працює так само миттєво, як ви натискаєте на наступний продукт, який хочете приміряти. Ви можете приміряти повний образ, який включає помаду, тональний крем, тіні, рум’яна, туш для вій і підводку для очей, або ж ви можете приміряти їх окремо.

Примірка тонального крему може бути надзвичайно складною, майже завжди вимагає присутності в магазині і допомоги співробітника, який допоможе вам знайти ваш точний відтінок. Також слід враховувати різні типи тональних засобів – матові, прозорі, на водній основі або ті, що забезпечують повне покриття. Щоб переконатися, що відтінки є максимально точними, команда ModiFace виснажливо пройшла через кожен продукт і порівняла, як він виглядає в реальному житті та як він виглядає на смартфоні. Вони працювали як з Samsung, так і з брендами безпосередньо, щоб створити відповідний рендеринг.

“Я сам брав участь у цьому процесі, і це дуже весело”, – сказав Хаутон. “Ви можете приміряти багато різних речей, а потім витирати їх і дивитися, як вони виглядають в додатку. Це включає в себе багато порівнянь скріншотів і ручної роботи, щоб переконатися, що продукт, який ми включили, просто ідеальний”.

Команда пройшла через кожен продукт і порівняла, як він виглядає в реальному житті і як він виглядає на смартфоні.

Але завжди є місце для вдосконалення. Використовуючи глибоке навчання та дослідження зображень, команда вивчає внутрішні дані, зібрані від тих, хто тестує кінцевий продукт, щоб дізнатися більше про обличчя користувача, щоб навчити свої алгоритми. Це допомагає отримати кращі результати, коли мова йде про такі фактори, як те, як кольори змішуються на губах, як світло додається до цих кольорів, і як ваше обличчя повинно виглядати при різному освітленні, якщо ви використовуєте певний тональний крем. Ці дані також допомагають покращити текстуру та загальне покриття макіяжу.

Завдяки такому глибокому навчанню компанія може створювати нові та більш реалістичні ефекти. Нещодавно ModiFace у партнерстві з L’Oreal створила систему 3D-відстеження волосся, яка може перефарбовувати волосся в режимі реального часу. Компанія планує співпрацювати з Samsung, щоб привнести подібні ефекти в свої телефони.

Але для тих, хто турбується про конфіденційність, Modiface не збирає і не контролює будь-які дані зі своїх додатків, коли вони знаходяться в руках користувачів. Будь-які зображення, які ви робите за допомогою додатків, ніколи не покинуть ваш пристрій.

Рекомендації редакції

• Apple проти Samsung: У кого буде найкраща кастомізація екрану блокування у 2022 році?
• Samsung One UI 5 запускає найкрутішу функцію iOS 16
• Погляньте, динамічний острів iPhone прийшов на … Android.
• Ці два смарт-годинника розкривають темну сторону Wear OS 3
• iOS 16: все, що потрібно знати про велике оновлення iPhone 2022 року

Source: digitaltrends.com