Чи може алгоритм бути расистським? Виявлення системних утисків в епоху Google

Звучить смішно, але саме такий аргумент наводить соціолог Ленгдон Віннер у “Чи мають артефакти політику?”. – класичному есе, в якому він досліджує кілька мостів, побудованих над дорогами на Лонг-Айленді, штат Нью-Йорк.

Багато з цих мостів були надзвичайно низькими, лише з дев’ятьма футами вільного простору від узбіччя. Більшість людей навряд чи надали б особливого значення їхньому дизайну, проте Віннер припустив, що вони насправді були втіленням соціальних і расистських упереджень дизайнера Роберта Мозеса, людини, яка була відповідальною за будівництво багатьох доріг, парків, мостів та інших громадських об’єктів у Нью-Йорку в період між 1920-ми і 1970-ми роками.

• Оптичні ілюзії можуть допомогти нам створити наступне покоління ШІ
• Останній штрих: як вчені наділяють роботів тактильними відчуттями, подібними до людських
• Чи втратить Google коли-небудь свій трон короля пошуку? You.com робить на це ставку

Що стосується низьких мостів, Віннер пише, що намір Мойсея полягав у тому, щоб дозволити доступ до громадського парку лише білим представникам “вищого” і “комфортного середнього” класів, оскільки в той час це були переважно єдині демографічні групи, які могли дозволити собі автомобілі. Оскільки бідніші люди (серед яких було багато кольорових) покладалися на високі громадські автобуси, їм було відмовлено в доступі до парку, оскільки ці автобуси не могли впоратися з низькими естакадами і тому були змушені шукати альтернативні маршрути.

Як пізніше згадував нью-йоркський містобудівник Лі Копплман, “старий сучий син … зробив так, що автобуси ніколи не зможуть користуватися його клятими парковими шляхами”.

Перейдемо на 40 років вперед, і доктор Сафія Умоджа Ноубл, викладач Анненбергської школи комунікацій Університету Південної Каліфорнії (USC), написала книгу, яка актуалізує критику Ленгдона Віннера для цифрової епохи.

У книзі “Алгоритми гноблення” Нобл стверджує, що багато алгоритмів, які рухають сьогоднішню цифрову революцію (вона зосереджується, зокрема, на алгоритмах, створених компанією Google), допомагають маргіналізувати меншини через те, як вони структурують і кодують світ навколо нас. Вони в буквальному сенсі є частиною системного расизму.

Дискримінаційні патерни

До того, як вона отримала ступінь доктора філософії, Ноубл працювала в рекламній індустрії, де, як вона розповіла Digital Trends, одна з великих дискусій була про те, “як грати в Google для наших клієнтів, тому що ми знали, що якщо ми зможемо отримати контент про наших клієнтів на першій сторінці, то це буде мати значення”.

Кілька років по тому вона подивилася на світ пошукової оптимізації та розстановки пріоритетів під іншим кутом, коли подруга розповіла про результати пошуку, що з’являються, коли людина шукає термін “чорні дівчата”.

“На першій сторінці була майже виключно порнографія або високо сексуалізований контент”, – сказала вона. “Я подумала, що це, можливо, випадковість, але протягом наступного року я побачила те ж саме для інших ідентичностей, таких як азіатські дівчата і латиноамериканки”.

Те ж саме: часті порнографічні результати, навіть коли пошукові терміни не містили суфіксів, таких як “секс” або “порно”. “Саме тоді я почав серйозно ставитися до того, що це відбувається не випадково, і подумав, що настав час для більш систематизованого дослідження”.

“…я почав серйозно ставитися до того, що це відбувається не випадково”.

Ноубл не перша людина, яка помітила тривожну дискримінацію, вбудовану в інструменти, які багато хто з нас все ще вважає об’єктивними. Кілька років тому афроамериканка, доктор філософії Гарвардського університету Латанія Суїні помітила, що результати її пошуку супроводжуються оголошеннями з питанням: “Вас коли-небудь заарештовували?”. Для її білих колег ці оголошення не з’являлися.

Суїні почала дослідження, яке в кінцевому підсумку продемонструвало, що інструменти машинного навчання, які стоять за пошуком Google, були ненавмисно расистськими, пов’язуючи імена, які частіше даються чорношкірим людям, з оголошеннями, що стосуються записів про арешти.

Це не лише расова дискримінація. Було виявлено, що автоматизована система рекомендацій Google Play пропонує тим, хто завантажує Grindr, соціальну мережу для геїв, засновану на визначенні місцезнаходження, також завантажити додаток для відстеження місцезнаходження сексуальних злочинців.

В обох випадках проблема не обов’язково полягала в тому, що за алгоритм відповідав расистський програміст, а скоріше в тому, що алгоритми використовували часті дискримінаційні культурні асоціації між темношкірими людьми та злочинною поведінкою, а також між гомосексуальністю та хижацькою поведінкою.

Хто несе відповідальність?

У своїй книзі Ноубл наголошує, що такі компанії, як Google, зараз настільки впливові, що можуть допомагати формувати суспільні настрої, а також відображати їх.

“Нас все більше привчають до думки, що цифрові технології, зокрема, пошукові системи, можуть дати нам кращу інформацію, ніж інші люди”, – сказала вона.

“Ідея полягає в тому, що вони перевіряють найважливішу інформацію і надають нам [об’єктивні відповіді] краще, ніж інші сфери знань. Люди часто задають складні питання в Інтернеті і шукають відповіді в Google, замість того, щоб йти до бібліотеки або відвідувати заняття з цього питання. Ідея полягає в тому, що за 0,3 секунди можна знайти відповідь на питання, які обговорювалися тисячоліттями”.

На думку Ноубла, відповідь полягає в тому, що технологічні гіганти повинні нести відповідальність за результати, які вони надають, і за шкоду, яку вони можуть завдати.

“Якщо ваша платформа дозволяє процвітати такому контенту, то ви також несете відповідальність”.

“Технологічні компанії дійсно інвестували в лобіювання в США того, що вони є просто посередниками, – продовжила вона. “Вони [стверджують, що вони] є технологічними компаніями, а не медіа-компаніями; вони розробили платформу, але вони не несуть відповідальності за контент, який через неї проходить. У США вони так роблять, тому що це означає, що вони вважаються нешкідливими для торгівлі такими речами, як антисемітизм, нацистська пропаганда, література білої переваги, дитяча порнографія та всі найогидніші аспекти речей, які є в Інтернеті”.

Вона не має багато терпіння для припущення, що технологічні компанії, такі як Google, просто відображають те, що шукають користувачі. Це аргумент, який сам Google висунув кілька років тому, коли його притягнули до суду в Німеччині за нібито наклепницькі результати автозаповнення, пов’язуючи ім’я Беттіни Вульф, дружини колишнього німецького президента Крістіана Вульфа, з чутками про проституцію та ескорт-послуги.

“Ми вважаємо, що Google не повинен нести відповідальність за терміни, які з’являються в автозаповненні, оскільки вони прогнозуються комп’ютерними алгоритмами на основі пошукових запитів попередніх користувачів, а не самим Google”, – заявили тоді в Google.

“Якщо ваша платформа була розроблена таким чином, щоб дозволити такому контенту процвітати, то ви також несете відповідальність за те, як ви розробили свою платформу”, – сказав Ноубл. “Ви не можете звільнити свою компанію від цього”.

Ставити правильні запитання

Вона також стверджує, що технологічні компанії не настільки далекі від інших, більш традиційних компаній, як їм може здатися.

“Коли ми говоримо про корпорації та їх вплив на суспільство, – сказала вона. “Я не думаю, що є багато галузей, в яких ми можемо простежити конкретні дії однієї людини. Зазвичай відбувається те, що генеральний директор або рада директорів несуть відповідальність, якщо є шкода, яка завдає шкоди громадам. Технологічна індустрія не повинна відрізнятися; вона не так вже й відрізняється від видобутку викопного палива або інших галузей, які можуть завдати шкоди через певний продукт, що був розроблений”.

Нарешті, вона закликає до кращої підготовки тих, хто розробляє алгоритми, які диктують, яку інформацію нам показувати.

“Якщо ви збираєтеся розробляти технології для суспільства, ви повинні мати глибоку освіту з соціальних питань”.

“Одна з речей, яка мене особливо лякає, полягає в тому, що багато людей, які розробляють ці технології і вкладають в них свої власні цінності, світогляд і найкращі судження, мають дуже обмежену освіту в галузі вільних мистецтв, гуманітарних або соціальних наук”, – сказав Ноубл. “Вони, як правило, приходять в інженерні навчальні програми, де вони гіперфокусуються на теоретичній або прикладній математиці … Багато з них працюють на рівні дванадцятого класу гуманітарної освіти … Якщо ви збираєтеся розробляти технології для суспільства, ви повинні мати глибоку освіту з суспільних питань”.

Аргументи, які вона наводить в “Алгоритмах гноблення”, є гострими і провокаційними. Хоча Google та інші технологічні компанії вжили заходів для вирішення деяких з найбільш кричущих проблем (мій топ-пошук за запитом “чорні дівчата” призводить до Black Girls Code, ініціативи технічного навчання для недостатньо представленої молоді в Сан-Франциско), проблеми, подібні до цієї, будуть виникати все частіше, оскільки такі платформи, як Google, Facebook та інші, відіграють все більшу роль у нашому житті, надаючи дедалі більше інформації для аналізу.

Сафія Ноубл | Виклик алгоритмам гноблення

Простих рішень не існує. Наскільки результати пошуку впливають на громадську думку? Чи мають право технологічні компанії виносити оціночні судження про те, що є прийнятним, а що ні? Чи повинні пошукові системи відображати відповіді, які базуються виключно на тому, що отримує кліки, навіть якщо ці результати є образливими або навіть шкідливими? Чи означатиме покладання на компанії відповідальності за свій контент, що вони стають на бік цензури, навіть якщо матеріал цього не виправдовує? Це загадки, з якими зіткнуться такі компанії, як Google, в міру того, як вони ставатимуть все більшими і більшими.

Доктор Сафія Умоджа Ноубл не має всіх відповідей. Але вона ставить правильні запитання.

Рекомендації редакторів

• Чому штучний інтелект ніколи не буде правити світом
• Як ми дізнаємося, коли ШІ насправді стане розумним?
• Аналоговий ШІ? Звучить божевільно, але за ним може бути майбутнє
• Формула сміху: Чому машинний гумор – це святий грааль АІ
• Google Tensor проти Qualcomm Snapdragon 888: Битва за кращий чіпсет

Source: digitaltrends.com