Фотореалістичний інструмент штучного інтелекту може заповнювати прогалини на зображеннях, в тому числі на обличчях

Досить подивитися останній голлівудський блокбастер або взяти в руки нову AAA гру, щоб згадати, що комп’ютерна графіка може бути використана для створення сліпучих потойбічних образів, коли це потрібно. Але деякі з найбільш вражаючих прикладів машинних зображень – це не обов’язково інопланетні пейзажі або гігантські монстри, це модифікації зображень, які ми навіть не помічаємо.

Саме таким прикладом є нова демонстрація ШІ, створена комп’ютерними вченими з Китаю. У співпраці між Університетом Сунь Ятсена в Гуанчжоу і дослідницькою лабораторією Microsoft в Пекіні вони розробили розумний штучний інтелект, який може бути використаний для точного заповнення порожніх місць на зображенні: чи то відсутнє обличчя, чи фасад будівлі.

Цей метод, який називається “зафарбовуванням”, використовує технологію глибокого навчання для заповнення цих прогалин або шляхом копіювання ділянок зображення на решту зображення, або шляхом створення нових ділянок, які виглядають переконливо точними. Інструмент, який його творці називають PEN-Net (Pyramid-context ENcoder Network), робить це відновлення зображення шляхом “кодування контекстної семантики з вхідних даних повної роздільної здатності і декодування вивчених семантичних особливостей назад в зображення”. Отримані в результаті зображення Attention Transfer Network (ATN) не лише вражають своєю реалістичністю, але й тим, що інструмент дуже швидкий в освоєнні.

• Я використовував додаток для створення 3D-моделей на своєму iPhone, і він шокуюче чудовий
• Meta створила DALL-E для відео, і це одночасно моторошно і дивовижно
• Міні-комп’ютер Nvidia Jetson Orin Nano вартістю 200 доларів у 80 разів швидший за попередню версію

“[У цій роботі ми запропонували] глибоку генеративну модель для завдань високоякісного розфарбовування зображень”, – розповів Digital Trends провідний автор проекту Янхонг Зенг (Yanhong Zeng), який пов’язаний як зі Школою даних та комп’ютерних наук Університету Сунь Ятсена, так і з ключовою лабораторією машинного інтелекту і передових обчислень. “Наша модель заповнює відсутні регіони від глибоких до дрібних на всіх рівнях, заснована на механізмі міжшарової уваги, щоб забезпечити узгодженість структури і текстури в результатах фарбування. Ми раді бачити, що наша модель здатна генерувати більш чіткі текстури і більш розумні структури, ніж попередні роботи”.

Як зазначає Зенг, це не перший випадок, коли дослідники розробляють інструменти для здійснення розпису. Однак система PEN-Net команди демонструє вражаючі результати поряд з класичним методом PatchMatch і навіть іншими сучасними підходами.

“Нанесення зображень має широкий спектр застосувань у нашому повсякденному житті, – продовжив Зенг. “Зараз ми плануємо застосувати нашу технологію в редагуванні зображень – особливо для видалення об’єктів [і] реставрації старих фотографій”.

Стаття з описом роботи під назвою “Навчання мережі пірамідно-контекстних кодерів для високоякісного розфарбовування зображень” доступна для читання в репозиторії препринтів Arxiv.

Рекомендації редакторів

• Я використовував чат-бота ChatGPT AI для святкового шопінгу цього року
• 10 найкращих АІ-генераторів зображень для створення мистецтва з тексту
• Чому АІ ніколи не буде правити світом
• Я подав свою безглузду ідею стартапу роботові-інвестору
• Оптичні ілюзії можуть допомогти нам створити наступне покоління АІ

Source: digitaltrends.com