Статистик б’є на сполох щодо надійності методів машинного навчання

Машинне навчання є скрізь у науці та технологіях: розпізнавання облич, підбір рекомендацій на Netflix та управління самокерованими автомобілями. Але наскільки надійними є методи машинного навчання насправді? Статистик каже, що відповідь “не дуже”, стверджуючи, що питання точності і відтворюваності машинного навчання не були повністю вирішені.

Доктор Геневера Аллен, доцент кафедри статистики, інформатики, електротехніки та комп’ютерної інженерії Університету Райса в Х’юстоні, штат Техас, обговорила цю тему на прес-брифінгу і на науковій конференції, Щорічних зборах Американської асоціації сприяння розвитку науки (AAAS) 2019 року. Вона попередила, що дослідники в галузі машинного навчання витратили так багато часу на розробку прогностичних моделей, що вони не приділили достатньо уваги перевірці точності своїх моделей, і що ця галузь повинна розробити системи, які можуть оцінити точність їх власних висновків.

“Питання полягає в тому, чи можемо ми дійсно довіряти відкриттям, які в даний час робляться за допомогою методів машинного навчання, що застосовуються до великих масивів даних?” йдеться в заяві Аллена. Відповідь у багатьох ситуаціях, ймовірно, буде: “Не без перевірки”, але зараз ведеться робота над системами машинного навчання наступного покоління, які будуть оцінювати невизначеність і відтворюваність своїх прогнозів”.

Як приклад, останнім часом машинне навчання використовується для вивчення пацієнтів з онкологічними захворюваннями. Для вивчення захворювання вчені використовують машинне навчання для виявлення генетично схожих осіб, щоб потім націлити медикаментозну терапію на ці конкретні геноми. Але при порівнянні різних досліджень кластери, виявлені за допомогою машинного навчання, повністю відрізняються один від одного.

Проблема полягає в тому, що методи машинного навчання не мають можливості сказати “я не знаю” або “це незрозуміло”. Методи, як правило, завжди дають відповідь – у прикладі з онкохворими пацієнтами вони завжди якимось чином ідентифікують групу – але ця відповідь може бути не такою впевненою або точною, як вважається. Методи здатні знайти закономірність, яка існує в наборі даних, навіть якщо вона є нечіткою, але ця закономірність може не мати місця в реальному світі.

“Існує загальне визнання кризи відтворюваності в науці прямо зараз, – сказав Аллен в інтерв’ю BBC News. “Я б наважився стверджувати, що величезна частина цієї кризи пов’язана з використанням методів машинного навчання в науці”.

Рекомендації редакції

• Наступне велике відкриття в науці вже у вас в кишені
• 10 жінок-винахідниць, які назавжди змінили світ
• Французький стартап Circular представив перспективного конкурента фітнес-трекера Oura
• Ця лампочка може відстежувати ваш сон і контролювати пульс на відстані
• Ваги Withings Body Scan виходять далеко за рамки простого визначення ваги

Source: digitaltrends.com