Алгоритми машинного навчання: гордість і упередження

Протягом останніх двох десятиліть, з появою потужних комп’ютерів, інтернету і масового оцифровування інформації, машинне навчання переживає справжній бум.
Сам же термін використовується в науці вже понад півстоліття, для опису запрограмованого розпізнавання образів. Концепція ще старше, математики вперше почали говорити про таких процесах на початку XIX століття. Аналітики компанії McKinsey розмірковують над перевагами використання алгоритмів машинного навчання в бізнесі і над ризиками, пов’язаними з ним. Докладніше в адаптованому перекладі матеріалу.
Міф про досконалий інтелект. Машинне навчання у сфері штучного інтелекту все частіше стосується процесу прийняття рішень з допомогою комп’ютера, що ґрунтується на статистичних алгоритмах. Серед найбільш очевидних застосувань моделі прогнозування, які широко використовуються у відомих бізнес-додатках, наприклад, для автоматичного надання рекомендацій клієнтам або для процесу схвалення кредитів. В автоматизованих бізнес-процесах алгоритми машинного навчання приймають рішення швидше і дешевше, ніж люди. Машинне навчання також обіцяє поліпшити якість прийняття рішень внаслідок відсутності передбачуваного людських упереджень.
Однак, поглянемо правді в очі: штучний інтелект так само схильний до упередженості, як і люди. Наприклад, при оцінці кредитоспроможності клієнтів, у багаторічній історії кредитного обслуговування яких не спостерігається правопорушень, зазвичай визначаються, як клієнти з низьким ризиком. Але уявіть, що іпотечні кредити цих клієнтів оплачувалися протягом багатьох років за рахунок суттєвих податкових пільг, які більше не надаються. Ступінь ризику змінюється, однак, якщо програма про це «не знає», вона не може дати адекватну оцінку. Більш того, машинне навчання може увічнювати і навіть посилювати поведінкові упередження людей. Ми всі стикаємося з цією проблемою у соціальних мережах: фільтрація стрічки новин базується на перевагах користувача, тим самим посилюючи природне упередження читачів. Сайт може навіть систематично запобігати появі доказів протилежної точки зору.
Упередження алгоритмів один з найбільших ризиків, адже для бізнесу він може стати причиною помилок, направляючи проекти і цілі організації в хибному напрямку. Гарна новина полягає в тому, що за умови усвідомлення цієї проблеми, упередження в алгоритмах можна виявляти і виправляти.
Рішення проблеми упередженості на трьох рівнях
Можна приймати заходи для усунення упередженості або захисту від її руйнівних наслідків. Для цього користувачі алгоритмів машинного навчання, по-перше, повинні розуміти недоліки алгоритму, яким вони користуються, і утримуватися від питань, відповіді на які будуть однозначно хибними через упередження алгоритму. Використання моделей машинного навчання більше схоже на їзду на автомобілі, а не на ліфті. Щоб дістатися від точки A до точки B, користувачі можуть просто натиснути кнопку; вони повинні спочатку дізнатися про робочі процедури, правила дорожнього руху і практику безпеки.
По-друге, фахівці з обробки даних, які розробляють алгоритми, повинні формувати зразки даних таким чином, щоб можливість виникнення упередження була мінімізована. Цей крок є важливою і складною частиною процесу. На даний момент зауважимо, що наявні історичні дані часто є недостатніми для цієї мети, а свіжі, об’єктивні дані повинні бути сформовані за допомогою контрольованого експерименту.
По-третє, керівники компаній повинні знати, коли використовувати, а коли не використовувати алгоритми машинного навчання. Вони повинні розуміти справжні цінності, пов’язані з компромісом: алгоритми пропонують швидкість і зручність, тоді як моделі, розроблені вручну (як от традиційні «дерева рішень» або логістична регресія), є більш гнучкими і прозорими.
Що у вашому чорному ящику?
Розглянемо детальніше роль користувачів. З точки зору користувача, алгоритми машинного навчання це чорні ящики. Вони пропонують прості і швидкі рішення для тих, хто знає мало або взагалі нічого про те, що знаходиться всередині. Їх використовують на свій розсуд. Але розсуд має ґрунтуватися на знаннях. Бізнес-користувачі, які прагнуть уникнути шкідливих застосувань алгоритмів, дещо схожі на споживачів, які прагнуть їсти здорову їжу: таким споживачам необхідно вивчити літературу про харчування і читати етикетки, щоб уникнути надлишкових калорій, шкідливих добавок або небезпечних алергенів. Користувачі також повинні вивчати алгоритми, якими вони користуються в ході здійснення своєї діяльності.
Наприклад, при оцінці кредитоспроможності вбудоване упередження стабільності перешкоджає алгоритмів машинного навчання враховувати певні швидкі поведінкові зміни заявників на отримання кредиту. Предметом, який часто стає ознакою ризику в цьому контексті, є термін кредитування. Клієнти з більш високим ступенем ризику, як правило, віддають перевагу більш тривалим за термінами кредитів, незважаючи на можливі труднощі в поверненні коштів. Багато клієнтів з низьким рівнем ризику, навпаки, прагнуть мінімізувати витрати на відсотки, вибираючи кредити з коротким терміном виплат. Алгоритм машинного навчання вхопиться за таку модель, надаючи заявками на отримання кредиту з більш тривалим терміном вищу оцінку ризику. Однак, якщо клієнт, саме з метою уникнення отримання високої оцінки ризику, вибере кредит з коротким терміном, а потім не зможе виконати свої зобов’язання з-за високої суми щомісячного платежу (за короткий термін кредиту), система не зможе відреагувати на таку поведінку, що спричинить за собою зростання кредитних збитків.
Роль організацій-користувачів
Установа, яка розглядає можливість використання алгоритму для вирішення бізнес-проблеми, має керуватися прагненням досягти компромісу в питанні витрат і переваг. При виборі алгоритмів машинного навчання варто звернути увагу на такі питання:
Як швидко нам потрібно рішення? Фактор часу часто має першорядне значення для вирішення бізнес-завдань. Оптимальна статистична модель може бути застарілою до моменту завершення. Коли ділове середовище швидко змінюється, алгоритм машинного навчання, розроблений протягом ночі, може значно перевершити традиційні моделі, на розробку яких витрачаються місяці. З цієї причини алгоритми машинного навчання є кращими для боротьби з шахрайством.
Яка наша аналітична картина? Робота алгоритмів залежить від даних. Якщо кількість вхідних даних недостатня, часто краще залучити консультанта, щоб допомогти організації розробити їх.
Які проблеми слід вирішити? Однією з обіцянок машинного навчання є те, що воно може вирішувати проблеми, які раніше не визнавалися вважалися занадто дорогими для вирішення за допомогою ручних моделей. Вирішуючи завдання, такі установи повинні визначити ті, які суттєво впливають на господарську діяльність, і залучити найкращих спеціалістів по обробці даних для їх вирішення.
Реалізація
Як компанія може реалізувати ці рекомендації? Критично важливими є такі аспекти:
1. Бізнес-стандарти для утвердження машинного навчання. Необхідно розробити шаблон для документації моделей, стандартизує процес прийняття заявок на моделювання. Він повинен включати бізнес-контекст і швидкі запити з конкретними питаннями про бізнес-вплив, дані і компроміси щодо витрат і витрат. Такий процес передбачає активну участь користувачів для пошуку найбільш прийнятного рішення бізнес-проблеми (зверніть увагу, що пасивні контрольні списки або настанови, як правило, ігноруються). Необхідно визначити ключові параметри моделі, включно зі стандартним набором аналізів, які будуть виконуватися на вихідних даних, оброблений зразок і результати моделювання. Модель необхідно обговорити з бізнес-користувачами.
2. Професійна перевірка алгоритмів машинного навчання. Необхідний чіткий процес для перевірки і затвердження алгоритмів машинного навчання. Залежно від галузі та бізнес-контексту, особливо економічних наслідків помилок, він може бути не таким жорстким, як формальна перевірка моделей ризиків банків, однак, процес повинен створити стандарти перевірки та постійну програму моніторингу нової моделі. Стандарти повинні враховувати характеристики моделей машинного навчання, наприклад, автоматичні оновлення алгоритму при появі нових даних. Якщо алгоритми оновлюються наприклад тиждень, то процедури перевірки повинні бути завершені протягом кількох годин або днів, а не тижнів або місяців.
3. Культура постійного розвитку знань. Організації повинні інвестувати в розробку і поширення знань в області інформаційних технологій і бізнес-додатків. Необхідно постійно стежити за новими ідеями та найкращими практиками в області застосування машинного навчання, щоб створити культуру покращення знань та з метою інформування про труднощі та переваги, які виникають при використанні таких програм.