Новий інструмент для редагування зображень зі штучним інтелектом від Массачусетського технологічного інституту та IBM дозволяє малювати за допомогою нейронів

Чи то автоматичне позначення об’єктів на фотографіях, чи можливість налаштовувати освітлення і відокремлювати об’єкти від фону за допомогою “портретного режиму” iPhone, немає сумнівів, що штучний інтелект є потужною силою в сучасних інструментах для редагування фотографій.

• Майбутнє творчих інструментів
• Виклик уяві

Але що, якби можна було піти ще на крок далі і використати новітні передові технології для розробки, можливо, найамбітнішої (і по-своєму творчої) програми для малювання – такої, що виходить далеко за рамки простого підфарбовування або холодного аналізу вже існуючих фотографій?

За допомогою такої програми все, що потрібно зробити людині, щоб прибрати непривабливу лінію автомобілів, що псує зображення її родинного дому, – це провести по ній пензлем. Як за помахом чарівної палички, на місці автомобілів з’явиться фотореалістичний трав’янистий берег. Хочете усунути цього фотобомбардувальника з одного з ваших знімків з відпустки? Без проблем: просто клацніть, щоб вибрати їх, і вони зникнуть на місці стовпа, який виглядає так, ніби він завжди там був. Як щодо додавання автентично старовинних дверей до фотографії старої церкви? Клацніть і все готово. Ви зрозуміли ідею.

• Мета зробила DALL-E для відео, і це одночасно моторошно і дивовижно
• Чому штучний інтелект ніколи не буде правити світом
• Оптичні ілюзії можуть допомогти нам створити наступне покоління ШІ

Редагування зображень за допомогою нейронних мереж

Саме над цим працюють дослідники з Массачусетського технологічного інституту і компанії IBM, створюючи нову дивовижну технологічну демонстрацію, яку вони називають “GAN Paint Studio”. Описана її творцями як така, що надає можливість “малювати нейронами” – маючи на увазі штучні нейрони нейронної мережі машинного навчання – це один з найбільш потенційно трансформаційних інструментів для редагування фотографій, які ще не були створені.

Він дозволяє користувачам завантажувати зображення за власним вибором, а потім змінювати будь-який його аспект за власним бажанням, чи то зміна розміру об’єктів, чи то додавання абсолютно нових елементів і об’єктів. Думайте про це як про Photoshop для покоління “глибоких підробок”, хоча наразі це скоріше перевірка концепції, ніж готовий продукт.

Майбутнє творчих інструментів

“Те, що ми створили в рамках цієї роботи, є відправною точкою для того, щоб показати, як можуть працювати творчі інструменти в майбутньому”, – розповів Digital Trends Хендрік Штробельт, науковий співробітник лабораторії MIT-IBM Watson A.I. Lab. “Ми почали з нейронної мережі [під назвою] GAN, яка може створювати власні зображення певної категорії – наприклад, зображення кухні – і проаналізували, які внутрішні частини мережі відповідають за це.

GAN, або генеративна змагальна мережа, є одним з найпотужніших інструментів, що використовуються в генеративному штучному інтелекті. GAN протиставляє дві штучні нейронні мережі одна одній. Одна мережа генерує нові зображення, в той час як інша намагається з’ясувати, які зображення створені комп’ютером, а які ні. З часом цей генеративний змагальний процес призводить до того, що мережа-“генератор” стає достатньо вправною у створенні зображень, щоб кожного разу успішно обманювати “дискримінатор”. GAN – це технологія, що лежить в основі роботи штучного інтелекту, яка була продана за великі гроші на аукціоні Christie’s у 2018 році.

Система, розроблена дослідниками з MIT та IBM, демонструє деякі хитромудрі здібності. Подібно до Deep Dream, триппі-інструменту генерації зображень, розробленого дослідниками Google кілька років тому, вона демонструє вражаюче розуміння того, які зображення підходять один до одного. В результаті навчання на великому архіві зображень він набуває розуміння основних правил, що регулюють відносини між об’єктами. Наприклад, попросіть його додати об’єкт у небі, і він не намалює вікно – оскільки знає, що вікна там зазвичай (або ніколи) не зустрічаються.

Як зазначає Штробельт, GAN Paint Studio ще не зовсім готова до прайм-тайму. Хоча представники громадськості можуть спробувати скористатися нею, є ще багато роботи, яку потрібно зробити. Зокрема, демонстраційна версія наразі має низьку роздільну здатність. Проте вона демонструє величезні перспективи цієї технології.

Виклик уяві

“Найцікавіше [в технології] насправді відбувається тоді, коли ваша уява кидає виклик”, – сказав Штробельт. “Спробуйте додати двері до зображення Палаццо Веккьо; це просто приголомшливо, якщо ви знаєте це місце. Система далека від досконалості, і не кожне зображення можна модифікувати однаково добре. Потрібні подальші дослідження, як оптимізувати всі частини. Наприклад, коли модель GAN намагається представити вхідну модель, вона цілком може використовувати неправильні семантичні одиниці для відтворення особливостей – вона [може] просто згенерувати двері з одиниць дерева. З’ясування того, коли і як вона робить правильно чи неправильно, насправді є дуже цікавою майбутньою роботою”.

“Я розглядаю це як передовий інструмент, який допоможе людям, які думають, що вони не є творчими, спростувати цю думку”.

Подібно до того, як GAN стають кращими з часом, так само Штробельт вважає, що додатки для GAN Paint Studio будуть відкриватися. “Очевидною першою ідеєю був би фоторедактор з цими семантичними пензлями і гумками”, – сказав він. “Це могло б допомогти вам редагувати фотографії з відпустки, наприклад. Це також може дозволити архітекторам швидко створювати варіації вбудовування своїх візуалізацій будівель. Розробники ігор могли б [також використовувати її для] швидшої модифікації карт рівнів”.

Якби таку технологію можна було б додати до відеоефектів, вона також виявилась би надзвичайно потужною. Це дозволило б розміщувати об’єкти в кадрі лише одним натисканням кнопки. Якщо режисер зрозуміє, що він забув включити важливий для сюжету об’єкт у завершену сцену, його можна буде швидко додати – без необхідності в нинішніх дорогих і трудомістких процесах створення візуальних ефектів.

Штробельт рішуче заявляє, що він не вважає студію GAN Pain Studio по-справжньому автономно творчою. “Ні”, – рішуче заявив він. “Я розглядаю це як передовий інструмент, який допоможе людям, які думають, що вони не є творчими, кинути виклик цій думці”.

Знову ж таки, що таке творчість? Як і у випадку з багатьма іншими аспектами нашого життя, такими як робота, яку, як ми вважаємо, може виконувати тільки людина, здається, що ШІ готовий поставити великі питання.

Рекомендації редакції

• Генератори зображень зі штучним інтелектом, схоже, поширюють гендерні та расові стереотипи
• Новий інструмент конфіденційності від Google дозволяє дізнатися, чи був витік вашої особистої інформації
• Я представив свою безглузду ідею стартапу роботові-венчурному інвестору
• Як ми дізнаємося, коли штучний інтелект стане розумним?
• Microsoft відмовляється від свого моторошного штучного інтелекту, що зчитує емоції

Source: digitaltrends.com