Штучний інтелект може згенерувати зображення готової страви на основі лише написаного рецепта

У кулінарних книгах є фотографії. Знаєте, чому? Тому що більшість з нас не здатні прочитати список інгредієнтів і відповідні інструкції та уявити, що саме повинно вийти з духовки або іншого кухонного приладу в кінці процесу. Штучний інтелект, схоже, не має такої проблеми – принаймні, згідно з проектом, здійсненим дослідниками з Тель-Авівського університету в Ізраїлі.

Використовуючи навчальний набір даних з приблизно 52 000 письмових рецептів, а також зображення готових страв, дослідники змогли розробити систему, яка може прочитати рецепт, а потім згенерувати картинку, що показує, як може виглядати кінцевий результат.

“Наша система приймає рецепт в якості вхідних даних і генерує з нуля зображення, яке відображає їжу, яку, на думку системи, описує цей рецепт”, – розповів Digital Trends Орі Бар Ель, один із співавторів статті. “Важливим аспектом є те, що система не має доступу до назви рецепта – інакше це завдання було б досить простим – і що текст рецепта одночасно довгий і не описує візуальний зміст зображення безпосередньо. [Цей факт] робить це завдання дуже складним навіть для людини, а тим більше для комп’ютера”.

Нейромережа, відповідальна за подвиг, генерує свої зображення за допомогою двоетапного процесу. Спочатку текст рецепту перетворюється на вектор чисел у процесі, який називається вбудовуванням тексту. Це числове представлення намагається передати зміст тексту шляхом зіставлення семантично схожих фрагментів тексту з близькими векторами в просторі вбудовування. Після цього окрема мережа зіставляє текстові вектори і зображення, щоб вирівняти їх.

На другому етапі команда використовує генеративну змагальну мережу (Generative Adversarial Network, GAN), яка генерує нові зображення та оцінює їх. Саме цей процес призвів до створення картини, яка була продана на аукціоні Christie’s минулого року. Завдяки тому, що GAN намагається обдурити себе, вважаючи згенероване зображення реальною фотографією, картини, які створює система, виглядають дедалі реалістичніше.

“Одна з проблем, з якою ми зіткнулися, полягала в тому, що якість зображень у наборі даних, який ми використовували, була низькою”, – продовжив Бар Ель. “Про це свідчить велика кількість розмитих зображень з поганим освітленням”. Система також виявилася кращою в генеруванні певних, більш безформних продуктів (макарони, рис, супи і салати), ніж інших, які мають чітку форму, таких як гамбургери.

Хоча результати можуть бути досить хорошими для того, щоб ділитися ними в Instagram, це, тим не менш, вражаючий приклад машинного навчання. Поєднайте його з рецептами Chef Watson від IBM, що генерують рецепти, і він буде ще більш вражаючим.

Рекомендації редакції

• Оптичні ілюзії можуть допомогти нам створити наступне покоління ШІ
• Аналоговий ШІ? Звучить божевільно, але за ним може бути майбутнє
• Формула сміху: Чому машинний гумор – це святий грааль АІ
• Новий голосовий ШІ від Nvidia звучить як жива людина
• Nvidia знижує бар’єр входу в ШІ з Fleet Command і LaunchPad

Source: digitaltrends.com