Data scientist Netflix навчив АІ розпізнавати сцени поцілунків у фільмах

Старший науковий співробітник Netflix навчив алгоритм штучного інтелекту (ШІ) розпізнавати поцілунки. Амір Зіай розробив інструмент, який здатний дивитися фільми і розпізнавати сцени, в яких герої змикаються губами, в рамках своєї роботи над отриманням сертифікату випускника Стенфордського університету зі штучного інтелекту.

Він обрав сцени поцілунків, тому що, як він розповів Digital Trends, їх важко виявити за допомогою традиційних методів обробки відео. Це пов’язано з тим, що машини легко плутаються і видають помилкові спрацьовування, коли бачать інші сценарії, в яких двоє людей тримають голови близько один до одного – наприклад, сцени розмови або ті, в яких персонажі йдуть в безпосередній близькості один від одного.

“Тренування проводилося з використанням бази даних голлівудських фільмів, що охоплюють кілька десятиліть і жанрів”, – сказав Зіяй. “Я прокоментував сегменти з поцілунками і без поцілунків у 100 з цих фільмів і використав ці сегменти для навчання мультимодальної нейронної мережі, яка використовує як аудіо, так і візуальні характеристики з 1-секундних сегментів. Основна проблема при навчанні цих моделей полягає в двох аспектах. По-перше, я повинен був переконатися, що я анотував репрезентативний набір навчальних прикладів, який допоможе з узагальненням для різноманітного набору фільмів. По-друге, навчання моделей глибокого навчання на відео може бути дуже ресурсномістким”.

• Я використовував чат-бота ChatGPT AI для святкового шопінгу цього року
• Я замінив свій MacBook на Quest Pro на цілий робочий тиждень. Ось що сталося
• Витік даних Microsoft викрив конфіденційні дані 65 000 компаній

Тим не менш, він впорався з поставленим завданням, і отриманий інструмент виявився вражаюче точним. Система використовує двофазний процес. Спочатку вона використовує двійковий класифікатор, щоб передбачити, чи відбувається поцілунок чи ні, використовуючи ознаки, витягнуті з нерухомих кадрів і звукових хвиль. Другий компонент потім об’єднує бінарні мітки для “суміжних сегментів, що не перекриваються” в набір сцен поцілунків. Кінцевий результат досягає валідаційної оцінки F1 0,95 на різноманітній базі даних фільмів.

Слід зазначити, що Ziai – не єдина людина, зацікавлена в тому, щоб машинний інтелект розпізнавав поцілунки. Нещодавно Google представила нову функцію для свого інструменту Photobooth, яка спонукає смартфони Pixel автоматично робити фотографії, коли вони розпізнають, що суб’єкти в кадрі цілуються.

“Система, подібна до детектора поцілунків, може бути використана для автоматичного додавання метаданих до фільмів”, – сказав Зяй. “Ці метадані можуть бути використані для пошуку та отримання відповідних фрагментів. Наприклад

Source: digitaltrends.com