Забудьте про ключові слова – нова система дозволяє шукати за елементарними ескізами

Чи може майбутнє онлайн-покупок бути настільки простим, що ви просто накидаєте ескіз того, що ви шукаєте, і дозволяєте комп’ютеру знайти все інше? Це робоча теорія двох дослідників зі Школи електронної інженерії і комп’ютерних наук Лондонського університету королеви Марії (QMUL). Вони навчили нейронну мережу глибокого навчання – неймовірно потужний інструмент, який імітує роботу людського мозку – розпізнавати намальовані від руки ескізи і використовувати їх для пошуку реальних продуктів.

Мережа була “навчена” зіставляти ескізи з фотографіями на основі набору даних, що складається з близько 30 000 порівнянь ескізів з фотографіями. На їх основі вона навчилася інтерпретувати те, як люди зображують реальні об’єкти в малюнках від руки. Найбільш вражаючим є той факт, що ескізи, намальовані користувачами, навіть не обов’язково повинні бути дуже детальними – але чим більше деталей додають користувачі, тим точнішими стають результати пошуку.

“Я сподіваюся, що протягом півроку ви зможете зайти на сайт інтернет-магазину і скористатися цією технологією”.

“Sketch – це дуже гнучкий інструмент, – сказав Digital Trends співрозробник І-Же Сонг, директор дослідницької лабораторії SketchX в QMUL. “Наприклад, ви можете побачити пару взуття, яка вам подобається, але не схвалюєте кожну її деталь – наприклад, пряжку або каблук. У такому випадку ви можете намалювати туфлі, які хотіли б бачити, а потім дозволити комп’ютеру шукати найближчий відповідник”.

Але яким би вражаючим не був цей проект з інформатики, навіщо комусь витрачати час на малювання малюнків замість того, щоб ввести швидкий текстовий пошук або зробити фотографію, як це зараз дозволяють робити такі компанії, як Amazon? Сонг має відповідь.

“Обидва ці способи пошуку мають проблеми”, – каже він. “Текстовий пошук означає, що вам потрібно спробувати описати предмет, який ви шукаєте. Це особливо складно, коли ви хочете описати щось докладно, тому що пошук стає менш точним, чим більше тексту ви вводите. З іншого боку, пошук за фотографіями дозволяє Вам сфотографувати предмет, а потім знайти саме цей продукт. Це дуже прямолінійно, але також і надто обмежено, дозволяючи знайти лише один конкретний продукт замість того, щоб запропонувати інші подібні товари, які також можуть вас зацікавити”.

Хоча Сонг і його колега Тімоті Хоспедейлс, директор Лабораторії прикладного машинного навчання QMUL, визнають, що обидва ці методи пошуку мають свої сфери застосування, і вони вважають, що настав час для того, щоб до них приєднався пошук на основі ескізів.

“Сьогодні майже у всіх нас є смартфони, планшети і навіть смарт-годинники з сенсорними екранами, на яких можна малювати, – зазначає Сонг. “Це те, що було відносно рідкісним всього 10 років тому”.

Сонг і Hospedales отримують

Source: digitaltrends.com