Цей робот Google навчився ходити без сторонньої допомоги за дві години

Пам’ятаєте ту сцену в мультфільмі Уолта Діснея “Бембі”, де титуловане оленятко вчиться вставати і ходити самостійно? Це чарівна віньєтка у фільмі, яка демонструє навички, що їх набувають багато дитинчат тварин – від свиней до жирафів і, так, оленів – за лічені хвилини після свого народження. Протягом перших кількох годин життя ці тварини швидко вдосконалюють свої моторні навички, поки не отримають повний контроль над власним пересуванням. Люди, які вчаться стояти, тримаючись за предмети, приблизно в сім місяців і починають ходити в 15 місяців, у порівнянні з ними безнадійно повільні.

• Позитивне підкріплення
• Створення кращих роботів

Вгадайте, в якому останньому завданні роботи перевершили нас? У новому дослідженні, проведеному дослідниками з Google, інженери навчили чотириногого робота Minitaur ходити повз, причому, насправді, його не треба було особливо навчати. Навпаки, вони використали тип цілеспрямованого штучного інтелекту, щоб змусити чотириногого робота навчитися ходити вперед, назад і повертати ліворуч і праворуч повністю самостійно. Він зміг успішно навчитися робити це на трьох різних поверхнях, включаючи рівну землю, м’який матрац і килимок з щілинами.

“Ногасті роботи можуть мати велику мобільність, оскільки ноги необхідні для навігації по ґрунтових дорогах і місцях, призначених для людей”, – розповів Digital Trends Цзе Тан, головний дослідник проекту і керівник відділу Google по розробці засобів пересування, – “Ми зацікавлені в тому, щоб робот міг пересуватися. “Ми зацікавлені в тому, щоб дати можливість ногастим роботам орієнтуватися в нашому різноманітному і складному реальному середовищі, але важко вручну розробити робототехнічні контролери, які можуть впоратися з такою різноманітністю і складністю. Тому важливо, щоб роботи могли навчатися самостійно. Ця робота захоплююча, тому що це перша демонстрація того, що за допомогою нашої системи ногастий робот може успішно навчитися ходити самостійно”.

Позитивне підкріплення

Навчання ходьбі в реальному світі з мінімальними зусиллями людини

Технологія, що лежить в основі цього конкретного проекту, – це так зване навчання з глибоким підкріпленням, специфічний підхід до глибокого навчання, натхненний біхевіористською психологією і методом спроб і помилок. Програмні агенти, яким наказано максимізувати певну винагороду, вчаться діяти в середовищі, яке дозволить досягти цих результатів у найбільш точний і ефективний спосіб. Сила навчання з підкріпленням була знаменито продемонстрована в 2013 році, коли компанія Google DeepMind опублікувала статтю, в якій показала, як вона навчила штучний інтелект грати в класичні відеоігри Atari. Це було досягнуто без жодних інструкцій, окрім екранного рахунку та приблизно 30 000 пікселів, які складали кожен кадр гри.

Відеоігри, або, принаймні, симулятори, часто використовуються дослідниками робототехніки. Теоретично симуляція має ідеальний сенс, оскільки дозволяє робототехнікам тренувати свою машину у віртуальному світі перед тим, як вийти в реальний. Це рятує роботів від неминучих падінь і зносу, яких вони зазнають, навчаючись виконувати конкретні завдання. Як аналогію, уявіть собі, що всі ваші уроки водіння проходили б на автосимуляторі. Можна навести аргумент, що ви навчилися б швидше, тому що вам не потрібно було б так обережно ставитися до ризику своєї фізичної безпеки або пошкодження свого автомобіля (або чийогось іншого). Ви також могли б тренуватися швидше, не чекаючи на виділені уроки або на ліцензованого водія, який був би готовий вас підвезти.

Проблема з цим полягає в тому, що, як знає кожен, хто коли-небудь грав у відеоігри про водіння, дуже важко змоделювати реальний світ таким чином, щоб він був схожий на реальний світ. Замість цього дослідники Google почали розробляти вдосконалені алгоритми, які дозволяють їхньому роботові навчатися швидше і з меншою кількістю випробувань. Спираючись на попередні дослідження Google, опубліковані в 2018 році, їхній робот зміг навчитись ходити лише за кілька годин під час останньої демонстрації.

Він також здатний робити це, наголошуючи на більш обережному і безпечному підході до навчання, з меншою кількістю падінь. Як наслідок, це зводить до мінімуму кількість людських втручань, необхідних для того, щоб підняти робота і витерти з нього пил кожного разу, коли він падає.

Створення кращих роботів

Навчитися ходити за дві години – це, можливо, не зовсім оленячий рівень ефективності навчання, але це далеко від того, щоб інженерам доводилося явно програмувати те, як зазвичай навчають робота маневрувати. (І, як уже зазначалося, це набагато краще, ніж можуть зробити людські немовлята за такий короткий проміжок часу!)

“Хоча багато алгоритмів навчання без нагляду або навчання з підкріпленням було продемонстровано в моделюванні, застосувати їх на реальних ногастих роботах виявляється неймовірно складно”, – пояснив Тан. “По-перше, навчання з підкріпленням вимагає великих обсягів даних, а збір даних про роботів коштує дорого. Наша попередня робота вирішила цю проблему. По-друге, навчання вимагає, щоб хтось витрачав багато часу на нагляд за роботом. Якщо нам потрібна людина, яка буде стежити за роботом і вручну перезавантажувати його щоразу, коли він спіткнеться – сотні або тисячі разів – це займе багато зусиль і дуже багато часу, щоб навчити робота. Чим більше часу це займе, тим складніше масштабувати навчання для багатьох роботів в різних середовищах”.

Одного дня це дослідження може допомогти створити більш маневрених роботів, здатних швидше адаптуватися до різноманітних місцевостей. “Потенційних застосувань безліч”, – сказав Тан. Проте Тан підкреслив, що це “ще тільки початок, і є багато викликів, які нам ще треба подолати”.

Відповідно до теми навчання з підкріпленням, це, безумовно, винагорода, яку варто максимізувати!

Рекомендації редакторів

• Зустрічайте робота-пітчера, що змінює правила гри, який може ідеально імітувати будь-який кидок людини
• Оптичні ілюзії можуть допомогти нам створити наступне покоління штучного інтелекту
• Останній штрих: як вчені наділяють роботів тактильними відчуттями, подібними до людських
• Смішна формула: Чому машинний гумор – це святий грааль ШІ
• Частково Термінатор, частково Тремор: Цей роботизований черв’як вміє плавати по піску

• HBO Max
• Особливі прикмети
• Що буде далі: Як технології допомагають суспільству відкритися після коронавірусу

Source: digitaltrends.com