У штучного інтелекту з розпізнавання зображень є велике слабке місце. Це може бути рішенням

Ви, напевно, знайомі з глибокими підробками, зміненими цифровим способом “синтетичними медіа”, які здатні обдурити людей, змусивши їх побачити або почути те, чого насправді ніколи не було. Приклади зловмисників схожі на підробки для систем штучного інтелекту, що розпізнають зображення – і хоча вони не виглядають навіть трохи дивними для нас, вони здатні збити з пантелику машини.

• Захист від ворожих атак
• Ще багато роботи попереду

Кілька років тому дослідники з Лабораторії комп’ютерних наук і штучного інтелекту Массачусетського технологічного інституту (CSAIL) виявили, що вони можуть обдурити навіть складні алгоритми розпізнавання зображень і заплутати об’єкти, просто трохи змінивши текстуру їхньої поверхні. І це не були незначні плутанини.

У своїй демонстрації дослідники показали, що можна змусити найсучаснішу нейронну мережу дивитися на надруковану на 3D-принтері черепаху, а бачити замість неї гвинтівку. Або дивитися на бейсбольний м’яч і робити висновок, що це еспресо. Якби така візуальна агнозія проявилася у людини, це був би такий неврологічний випадок, який би знайшов своє місце в книзі на кшталт класичного твору Олівера Сакса “Чоловік, який прийняв свою дружину за капелюх”.

Приклади з протистояння представляють захоплюючу вразливість, коли справа доходить до того, як візуальні системи ШІ бачать світ. Але вони також, як і можна було б очікувати від вади, яка плутає нову іграшкову черепашку з гвинтівкою, представляють собою потенційно тривожну проблему. Дослідники відчайдушно намагаються з’ясувати, як її виправити.

Тепер інша група дослідників з Массачусетського технологічного інституту розробила нову систему, яка може допомогти ухилитися від “ворожих” входів. В процесі роботи вони уявили собі відверто жахливий варіант використання “ворожих” прикладів, який може бути використаний хакерами зі смертельними наслідками.

Сценарій такий: Автономні автомобілі все краще і краще сприймають навколишній світ. Але що, як раптом бортові камери автомобіля, що базуються на візуальному сприйнятті, чи то навмисно, чи то випадково, будуть не в змозі ідентифікувати те, що знаходиться перед ними? Неправильна класифікація об’єкта на дорозі – наприклад, нездатність правильно ідентифікувати і визначити місцезнаходження пішохода – потенційно може закінчитися дуже і дуже погано.

Захист від ворожих атак

“Наша група вже кілька років працює на стику глибокого навчання, робототехніки і теорії управління – в тому числі над використанням глибокого RL [навчання з підкріпленням] для навчання роботів соціально усвідомленої навігації навколо пішоходів”, – розповів Digital Trends Майкл Еверетт, постдокторський науковий співробітник Департаменту аеронавтики і астронавтики Массачусетського технологічного інституту (MIT). “Коли ми думали про те, як перенести ці ідеї на більші та швидші транспортні засоби, питання безпеки та надійності стали найбільшим викликом. Ми побачили чудову можливість вивчити цю проблему в глибокому навчанні з точки зору надійного управління і надійної оптимізації”.

Соціально-орієнтоване планування руху з глибоким навчанням з підкріпленням

Підкріплювальне навчання – це підхід до машинного навчання, заснований на методі спроб і помилок, який, як відомо, був використаний дослідниками для того, щоб навчити комп’ютери грати у відеоігри без явного навчання цьому. Новий алгоритм команди, заснований на навчанні з підкріпленням і глибокій нейронній мережі, називається CARRL, скорочено від Certified Adversarial Robustness for Deep Reinforcement Learning (Сертифікована стійкість до протистояння для глибокого навчання з підкріпленням). По суті, це нейронна мережа з додатковою дозою скептицизму, коли справа доходить до того, що вона бачить.

В одній з демонстрацій своєї роботи, яка була підтримана Ford Motor Company, дослідники побудували алгоритм навчання з підкріпленням, здатний грати в класичну гру Atari Pong. Але, на відміну від попередніх гравців RL, у своїй версії вони застосували атаку супротивника, яка збила оцінку агента ШІ щодо положення м’яча в грі, змусивши його думати, що він був на кілька пікселів нижче, ніж це було насправді. Зазвичай це ставило б гравця зі штучним інтелектом у дуже невигідне становище, змушуючи його неодноразово програвати комп’ютерному супернику. У цьому випадку, однак, агент RL думає про всі місця, де може бути м’яч, а потім поміщає весло туди, де він не промахнеться, незалежно від зміни позиції.

“Ця нова категорія надійних алгоритмів глибокого навчання буде мати важливе значення для впровадження перспективних методів ШІ в реальний світ”.

Звичайно, ігри набагато більш спрощені, ніж реальний світ, як охоче визнає Еверетт.

“У реальному світі набагато більше невизначеності, ніж у відеоіграх, від недосконалих датчиків або ворожих атак, яких може бути достатньо, щоб обдурити системи глибокого навчання для прийняття небезпечних рішень – [наприклад,] зафарбувати точку на дорозі [що може змусити самокерований автомобіль] звернути на іншу смугу”, – пояснив він. “Наша робота представляє глибокий алгоритм RL, який сертифіковано стійкий до недосконалих вимірювань. Ключова інновація полягає в тому, що замість того, щоб сліпо довіряти своїм вимірам, як це робиться сьогодні, наш алгоритм продумує всі можливі виміри, які могли б бути зроблені, і приймає рішення, яке враховує найгірший результат”.

В іншій демонстрації вони показали, що алгоритм може в імітованому контексті водіння уникати зіткнень навіть тоді, коли його датчики атакує супротивник, який хоче зіткнення з агентом. “Ця нова категорія надійних алгоритмів глибокого навчання матиме важливе значення для впровадження перспективних технологій ШІ в реальний світ”, – сказав Еверетт.

Ще багато роботи попереду

Ця робота ще тільки починається, і багато чого ще належить зробити. Існує також потенційна проблема, що в деяких сценаріях це може призвести до того, що агент ШІ поводитиметься надто консервативно, що зробить його менш ефективним. Проте це цінне дослідження, яке може мати глибокі наслідки в майбутньому.

“[Існують інші дослідницькі проекти], які зосереджені на захисті від [певних типів] прикладів противника, де робота нейронної мережі полягає в тому, щоб класифікувати зображення, і воно або правильне, або неправильне, і на цьому історія закінчується”, – сказав Еверетт, відповідаючи на запитання про класичну проблему “черепаха проти гвинтівки”. “Наша робота ґрунтується на деяких з цих ідей, але зосереджена на навчанні з підкріпленням, коли агент повинен діяти і отримує певну винагороду, якщо він робить це добре. Тому ми розглядаємо довгострокове питання: “Якщо я скажу, що це черепаха, які будуть майбутні наслідки цього рішення?”, і саме тут наш алгоритм може дійсно допомогти. Наш алгоритм буде думати про найгірші майбутні наслідки вибору черепахи або гвинтівки, що може стати важливим кроком до вирішення важливих питань безпеки, коли рішення ШІ-агентів мають довгостроковий ефект”.

Рекомендації редакції

• Чому ШІ ніколи не буде правити світом
• Оптичні ілюзії можуть допомогти нам створити наступне покоління ШІ
• Аналоговий штучний інтелект? Звучить божевільно, але за цим може бути майбутнє
• Вчені вважають, що наступна велика сонячна буря може спричинити “інтернет-апокаліпсис
• Підключений до 4G дрон Anafi Ai від Parrot – це небесна машина Google Maps

• HBO Max
• Особливості
• Що буде далі: Як технології допомагають суспільству знову відкритися після коронавірусу

Source: digitaltrends.com