Стенфордський ШІ може реалістично озвучувати комп’ютерні анімації, просто дивлячись на них

На початку розвитку кінематографа органісти додавали звукові ефекти до німого кіно, підігруючи тому, що відбувалося на екрані. Перенесемося у 2018 рік, і варіація цієї ідеї лягла в основу нової роботи комп’ютерників Стенфордського університету. Вони розробили систему штучного інтелекту, яка здатна синтезувати реалістичні звуки для комп’ютерної анімації повністю на основі зображень, які вона бачить, і своїх знань про фізичний світ. Результатом є синтезовані звуки одним натисканням кнопки.

“Ми розробили першу систему автоматичного синтезу звуків для комп’ютерної анімації, заснованої на фізиці”, – розповів Digital Trends аспірант Стенфордського інституту обчислювальної та математичної інженерії (ICME) Цзюй-Сіен Ван (Jui-Hsien Wang). “Наш підхід є загальним, [це означає, що] він може обчислювати реалістичні джерела звуку для широкого спектру анімованих явищ – таких як тверді тіла, такі як керамічна чаша або гнучка тарілка, а також рідина, що наливається в чашку”.

Технологія, яка забезпечує роботу системи, є дуже розумною. Вона враховує різне положення об’єктів на сцені, зібраних під час процесу 3D-моделювання. Вона визначає, що це за об’єкти, а потім прогнозує, як вони впливатимуть на звуки, що відтворюються – відбиватимуть, розсіюватимуть або дифрагуватимуть їх.

• Смішна формула: Чому машинний гумор – це святий грааль ШІ.
• Новий голосовий ШІ від Nvidia звучить як жива людина
• Чи може ШІ перевершити людей-інженерів у проектуванні мікросхем? У Google вважають, що так

“Чудовою особливістю нашого підходу є те, що не потрібно ніяких навчальних даних”, – продовжив Ванг. “Він імітує звук з перших фізичних принципів”.

Крім того, що ця технологія допомагає швидше додавати звукові ефекти до анімаційних фільмів, вона також може бути використана для того, щоб допомогти дизайнерам з’ясувати, як будуть звучати продукти ще до того, як вони будуть фізично виготовлені.

Поки що не повідомляється, коли цей інструмент може стати загальнодоступним, але Ванг сказав, що команда наразі “вивчає варіанти, як зробити його доступним”. Однак, перш ніж це стане можливим, дослідники хочуть покращити здатність системи моделювати більш складні об’єкти, такі як пишні ревербераційні тони скрипки Страдіварі.

Дослідження буде представлено в рамках ACM SIGGRAPH 2018, провідної світової конференції з комп’ютерної графіки та інтерактивних технологій. Витратьте секунду на те, щоб пожаліти бідолашного піксарівського художника-фоліанта в кінці залу, який щойно купив

Source: digitaltrends.com