АІ розпізнає мову ворожнечі, навіть якщо людина використовує кодові слова

Той, хто коли-небудь мав справу з блокуванням безпечного для роботи веб-сайту як небезпечного для роботи (NSFW) робочим інтернет-фільтром (або стикався з потенційно незручною протилежною ситуацією), знає, що програми, призначені для блокування певних частин контенту, часто можуть зіткнутися з проблемами.

Однією з причин цього є те, що пошук за ключовими словами може виявитися занадто тупим інструментом для роботи з чимось настільки нюансованим, складним і таким, що постійно розвивається, як мова.

Це особливо актуально при спробі знайти ненависні ключові слова в соціальних мережах. Наприклад, минулого року компанія Alphabet випустила алгоритм, призначений для фільтрації расистських слів в Інтернеті, тільки для того, щоб тролі почали підміняти назви продуктів Google на расистські образи. На деякий час вони повністю перехитрили програмне забезпечення.

• Microsoft попереджає, що використання Internet Explorer може призвести до збоїв у роботі
• Google, можливо, щойно виправив найбільш дратівливу проблему браузера Chrome
• Як користуватися новою функцією спільнот в Microsoft Teams

Однак новий алгоритм, розроблений дослідниками з Університету Рочестера, вважає, що він вирішив цю проблему. Аналізуючи стрічки Twitter, він може розрізняти фрази на кшталт “gas the Skypes” (замінник слова “євреї”) і “I hate Skype” (що, сподіваємося, означає просто Skype) з вражаючою 80-відсотковою точністю.

“Ми розробили інтелектуальний алгоритм аналізу даних для відстеження постійно еволюціонуючих кодів ненависті, які розроблені таким чином, щоб уникнути виявлення”, – розповів Digital Trends професор Цзебо Ло (Jiebo Luo), співавтор статті. “Ми починаємо з набору відомих кодів ненависті, знаходимо повідомлення, що містять ці коди, [і] будуємо мовну модель, використовуючи методи машинного навчання для розпізнавання повідомлень ненависті. На основі цього ми робимо дві речі: [по-перше], використовуємо мовну модель для виявлення поточних повідомлень, які можуть містити нові коди ненависті, і [по-друге], використовуємо виявлені повідомлення ненависті для виявлення розповсюджувачів ненависті, чиї нові повідомлення використовуються для виявлення нових кодів ненависті”.

Розумна аналітика з’ясовує, які слова співвідносяться з іншими, тим самим виявляючи, коли слово-замінник використовується для чогось іншого, додаючи контекст. Звичайно, ці слова також можуть бути змінені, але є лише така кількість слів, яку троль може змінити, перш ніж зробити своє початкове висловлювання абсолютно незрозумілим.

Загалом, це дуже розумне використання машинного навчання. Так, межі того, що можна говорити в Інтернеті, все ще встановлюються – і найкраще це робити приватним особам і компаніям, а не алгоритмам. Але коли справа доходить до того, щоб зупинити людей від ненависницької риторики в Інтернеті, такі інструменти, як цей, виходять далеко за рамки простого пошуку за ключовими словами.

Що далі в планах проекту? “Ми сподіваємося отримати більше даних, щоб зробити

Source: digitaltrends.com