Я використовував додаток для створення 3D-моделей на своєму iPhone, і це шокуюче круто

Темпи інновацій в галузі створення зображень за допомогою штучного інтелекту просто феноменальні. Одна компанія – Luma Labs – є чудовим прикладом практичного, але надзвичайно цікавого використання новітніх технологій, що застосовуються до 3D-зображень.

• Що таке Luma AI?
• Сумісність Luma AI з iPhone
• Як використовувати Luma AI
• Постійне вдосконалення
• Максимуми та мінімуми 3D-сканування
• Ціна та наявність Luma AI Показати ще 1 товар

Luma AI проходить бета-тестування на iPhone і з часом буде доступний і на Android. Я потрапив до групи бета-тестувальників і можу поділитися деякою інформацією про те, що робить цей дивовижний додаток і як легко отримати неймовірні результати.

Що таке Luma AI?

Luma AI – це додаток і сервіс, розроблений компанією Luma Labs. Він захоплює тривимірні зображення, використовуючи техніку, відому як нейронні поля випромінювання (NeRF). Це схоже на техніку трасування променів, яка робить графіку в іграх високого класу такою реалістичною.

• Як iPhone 14 Plus став одним з найбільших технологічних провалів 2022 року
• Як налаштувати новий телефон Samsung Galaxy як професіонал
• Я знайшов прихований підсумок кінця 2022 року на своєму iPhone, але краще б я цього не робив

Нейтральні радіочастоти існують вже кілька років, але до недавнього часу вони використовувалися в основному в дослідницьких установах. З вибухом генерації зображень зі штучним інтелектом, очолюваним фотореалістичним рендерингом Dall-E, NeRF починають вивчати набагато ширша аудиторія. Перша хвиля нового програмного забезпечення NeRF вимагала певних навичок розробника і встановлення програмних пакетів з GitHub, а потім навчання ШІ на наборі фотографій. Це було трохи забагато для пересічної людини.

Luma Labs збирається значно спростити цей процес за допомогою свого додатку Luma AI. Від початку до кінця всім процесом можна керувати з iPhone, а кінцевий результат стане більш доступним.

Сумісність Luma AI з iPhone

Оскільки компанія Apple продемонструвала можливості 3D-вимірювання глибини за допомогою LiDAR-датчиків, можна було б очікувати, що для зйомки 3D-моделей Luma AI знадобиться більш дорогий iPhone 14 Pro або iPhone 14 Pro Max. Однак розумні розробники з Luma Labs замість цього використовують штучний інтелект. Це робить цю технологію сумісною з iPhone настільки старими моделями, як iPhone 11.

У майбутньому додаток стане доступним на Android, а також вже існує веб-версія, яка проходить бета-тестування. В одному з інтерв’ю генеральний директор Luma Labs Аміт Джайн (Amit Jain) сказав, що очікується, що додаток для iPhone буде готовий до публічного релізу через кілька тижнів.

Як використовувати Luma AI

Щоб використовувати Luma AI, ви просто повільно обводите об’єкт на трьох різних висотах. Накладення доповненої реальності направляє вас через процес, який займає кілька хвилин і стає простішим після декількох спроб, коли ви знайомитеся з процесом. Незабаром ви зможете захопити об’єкт середнього розміру, наприклад, стілець, за пару хвилин.

Об’єкт будь-якого розміру може бути оброблений, тому що для Luma AI це просто серія зображень – незалежно від того, наскільки великий об’єкт. Якщо ви обводите чашку, статую або будівлю, загальна ідея залишається незмінною.

Додаток дасть вам знати, коли у нього буде достатньо зображень, і коли це станеться, з’явиться кнопка “Завершити”. Ви також можете продовжувати обводити і заповнювати прогалини в хмарі доповненої реальності з кілець і прямокутників, які представляють зроблені до цього часу фотографії. Додаток автоматично зупинить зйомку, коли буде зібрано ідеальну кількість фотографій. Існує також режим вільної форми, який дозволяє робити ще більше фотографій під різними кутами та з різних відстаней. Ви можете побачити процес у відео на YouTube, яке я створив нижче. Це додаток для iPhone, тому це портретне відео.

Бета-демонстрація Luma AI для Digital Trends

Наступний крок – обробка, яка відбувається на серверах Luma Labs. Приблизно через годину готовий NeRF буде доступний в додатку в декількох різних формах. Першим видом є згенероване відео, що показує проліт об’єкта в його природному середовищі. Далі йде інтерактивна версія, яка дозволяє обертати зображення, проводячи пальцем або мишею по зображенню.

Найбільш вражаючим є те, що об’єкт зйомки, виокремлений з фону, також доступний. За допомогою цього представлення можна обертати 3D-об’єкт навколо будь-якої осі і збільшувати масштаб, щоб розглянути його ближче. Різкість залежить від того, скільки зображень було зібрано і наскільки повільним і стабільним був процес зйомки.

Постійне вдосконалення

Luma Labs оновлює додаток та сервіс вражаючими темпами. Протягом тижня після отримання запрошення на бета-тестування було додано дві нові потужні функції, які значно розширюють можливості. Перша – це опція веб-завантаження, яка дозволяє знімати відео без додатку, а потім завантажувати його на сайт Luma Labs для обробки. Результати з’являються онлайн і в додатку.

Це означає, що можна використовувати будь-який з режимів камери iPhone, знімати відео на спеціальну камеру або навіть записувати відео за допомогою AR-окулярів, таких як Ray-Ban Stories. Наприклад, відео з дрона стає ще більш епічним, коли ви можете згладити рух і змінити напрямок після того, як ви вже приземлилися. Luma Labs поділилася хорошим прикладом, показавши в цьому твіті вид на осіннє листя з висоти пташиного польоту.

Інша нова функція відкриває можливості 3D-редагування, малювання та 3D-друку. 3D-сітки можна експортувати з текстурами у форматі OBJ або GLTF. Вони не оптимізовані, але їх можна переглядати з текстурами без змін навіть за допомогою онлайн-переглядача, наприклад, безкоштовного веб-сайту з відкритим вихідним кодом Online3DViewer.

Також можна відкрити 3D-файли у редакторі сіток, наприклад, у безкоштовному MeshLab, щоб видалити будь-які випадкові артефакти, які з’являються у вигляді плаваючих згустків, а також очистити і спростити модель перед експортом у різні формати. Фігурка, зображена вище, має висоту близько трьох дюймів і була виліплена моєю дружиною Трейсі для її бізнесу ALittleCharacter. Luma AI захопив надзвичайну кількість деталей у скульптурі та колоді, на яку вона спиралася. Колода також могла бути вибрана і видалена MeshLab.

Максимуми та мінімуми 3D-сканування

Кайл Бруссел поділився десертом з вечірки, згадавши, що попросив дорослих зачекати на частування, щоб він міг зафіксувати його у вигляді цифрової діорами.

Використовував @LumaLabsAI на вечірці з нагоди дня народження вчора ввечері, змусив купу дорослих не їсти десерт, щоб я міг обійти стіл зі своїм телефоном, щоб зробити 3D ШІ, який мріє про налаштування, як дуже крута людина pic.twitter.com/sP0vVPB3yx

Кайл Рассел (@kylebrussell) 30 жовтня 2022 р.

Хоча Luma AI може обробляти відео, для побудови тривимірної сцени він покладається на нерухомі зображення. Це означає, що якщо об’єкт рухається, це може знизити якість або чіткість захоплення. 3D-зображення людини, яка сидить, як показано в твіті Альберта Бозесана, буде гарним. У тому ж твіті другий знімок скульптури показує, що відбувається, коли на сцені відбувається рух. На задньому плані видно, що люди, які проходили поруч з об’єктом, виглядають як спотворені фігури.

Зробив два знімки @LumaLabsAI #NeRF біля баварського озера сьогодні. Чудовий спосіб зафіксувати спогади, наче “Особлива думка”. #Тегернзее pic.twitter.com/HLC0ekF7uD

Альберт Бозесан (@AlbertBozesan) 30 жовтня 2022 р.

Ціна та доступність Luma AI

В даний час Luma AI знаходиться в стадії бета-тестування, запрошення на яке періодично розсилаються через Twitter-акаунт компанії. Якщо у вас є сумісний iPhone і інтерес до цієї технології, ви можете отримати ранній доступ. На сайті Luma Labs також є список очікування.

Генеральний директор Luma Labs Джайн зазначив, що ціна ще не визначена і залежить від того, наскільки широкою виявиться база користувачів і як будуть використовуватися результати сканування. Виходячи з цих заяв, може з’явитися професійна підписка з більш розширеними можливостями і персональна підписка за меншу ціну. Поки що вона залишатиметься безкоштовною.

Рекомендації редакції

• Підступне оновлення iOS змусило мене знову захопитися iPhone 14 Pro
• Щойно придбали новий iPhone? Ось 12 порад і підказок, як його освоїти
• У 2023 році Apple повинна виправити свій ганебний ліміт в 5 ГБ iCloud
• Apple може скасувати iPhone SE 4 в наступному році – і я радий
• Фотографічні стилі – це найбільш недооцінена функція камери iPhone 14, яку ви не використовуєте

Source: digitaltrends.com