Четверта промислова революція. Як метод аналізу великих даних змінює соціальну реальність

Уявіть, що ви міністр охорони здоров’я, який бажає детально дослідити завантаженість та ефективність лікарень. Або ж власник величезної мережі магазинів побутової техніки, який хоче знати більше про попит на різні види товарів в країні. Чи, може, ви у команді стартапу, яка намагається оцінити реакцію потенційних покупців на продукт, який випускає? Раніше довелося б покладатися виключно на звіти підлеглих і соціологічні дослідження. Однак перші треба довго обробляти, а другі все ж краще працюють в менших масштабах. А якщо масив ще й постійно оновлюється, і його обсяги ростуть… Що робити?
Четверта промислова революція забезпечила поява нового інструменту — методу аналізу великих даних. Принцип полягає в тому, щоб одночасно працювати з великим масивом даних, як структуровані, так і хаотичних, який постійно змінюється і доповнюється в залежності від зовнішніх факторів. Скажімо, якщо транспортний департамент міста відстежує ситуацію з трафіком на дорогах, постійно треба робити поправку на аварію або дорожні роботи, диференціювати години пік і вихідні.
Сама ідея обробки великого масиву даних не нова: перші спроби робилися вже після Другої світової війни. Вони були логічним наслідком появи електронних обчислювальних машин. До речі, перша така ЕОМ, створена на континентальній Європі, з’явилася в Києві у 1951-му році під керівництвом академіка Сергія Лебедєва. Але спочатку вона була дуже дорогою і громіздкою, щоб мати хоч якийсь шанс на масове застосування. До 1980-х років аналіз великого масиву даних було прерогативою науково-дослідних інститутів і організацій типу NASA. Крім того, вони все ж були статичними, тому таким чином можна досліджувати дані, наприклад, природничих наук, що є більш постійними. В інших же випадках даних було просто занадто багато і надходили вони занадто швидко, щоб якісно їх зібрати і обробити.
Отже, раніше дослідники стикалися відразу з декількома суттєвими проблемами. Спочатку дані треба було коректно зібрати з джерел, географічно віддалених один від одного. Потім швидко обробити їх і десь надійно зберігати, щоб захистити від несанкціонованого доступу і при необхідності швидко самим діставати доступ до них. І головне — проаналізувати і зробити висновки.
Технологічний прогрес, що характеризує Четверту промислову революцію, дав інструменти для вирішення всіх цих завдань. Тепер людство має портативні і швидкі комп’ютери, які, за законом Мура, подвоюють свою потужність кожні 18 місяців. Розроблені для них програми можуть швидко і надійно справитися з уже наявними даними і потоком нових. Виробництво поступово переходить на киберфизичные системи, які є міксом фізичних технологій та комп’ютерного коду і здатні створювати чіткі дані про свою діяльність.
Зрештою, людство тепер має інтернет, який остаточно забезпечив існування методу аналізу великих масивів даних. Він дає можливість швидко передавати дані з різних джерел в один масив. А також відкриває двосторонній глобальний доступ. Скажімо, виробники дізнаються думку мільйонів споживачів, а ті, у свою чергу, мають тисячі пропозицій на вибір.
Великі дані змінюють принцип багатьох соціальних взаємодій в суспільній сфері. Наприклад, Адміністрація соціального забезпечення США (SSA), що відповідає за регуляцію пенсійних планів і видачі соціальної допомоги, активно використовує великі дані. Тепер Адміністрація може значно швидше і ефективніше перевіряти медичні дані і діагнози, що допомагає чітко визначати шахрайські запити. А Міністерство національної безпеки США отримує чималу вигоду від функціональної сумісності та інтеграції даних з різних органів безпеки: поліції, ФБР, АНБ і тому подібне.
Технологічний прогрес, який зробив можливим аналіз великих даних, також поступово змінює природу влади. Саме з-за нього виникли найбільші дебати в західному світі: наскільки далеко влада може йти у стеження за громадянами. Раніше державні органи безпеки могли стежити тільки за підозрілими особами, ймовірними злочинцями, важливими для держави особами. Можливо, ще за мігрантами з нестабільних країн. Те ж стосувалося і розвідки.
Однак нові технології дали можливість стежити за кожним з нас тисячею способів: через камери спостереження на вулицях, смартфони в кишенях, замітки в соціальних мережах або пошукові запити в Google. Якщо раніше прослуховувалися конкретні телефонні лінії, то тепер алгоритм дозволяє аналізувати всі розмови взагалі, виділяючи важливі на основі певних ключових слів. Деякий час, поки суспільство не дуже задумувався над новою реальністю, влада спокійно використовувала таку можливість. Злив даних, який ініціював колишній співробітник ЦРУ і АНБ Едвард Сновден, показав всі масштаби шпигунства урядів за приватним життям і комунікаціями громадян багатьох країн і змусив світове суспільство переоцінити пріоритети в парадигмі свобода — безпека.
Але великі дані працюють і в зворотному напрямку. Дані Сноудена — це тисячі файлів, які неможливо було б обробити без застосування методу аналізу великих даних. Що вже говорити про сенсації 3 квітня — «панамські папери». Найбільший злив в історії журналістики — 11,5 млн файлів загальним обсягом 2,6 терабайта, над яким протягом року працювала комісія з 400 журналістів з усього світу. Без сучасних методів групування та індексування аналіз цих матеріалів тривав набагато довше.
Крім того, великі дані дозволяють медіа, недержавним організаціям та аналітичним центрам відстежувати ефективність діяльності влади та робити прогнози щодо майбутніх напрямків розвитку соціальних програм. Наприклад, нещодавно видання VoxUkraine опублікувало матеріал, у якому прогнозувався складу нової коаліції у Верховній Раді на базі взаємодії депутатів із різних фракцій під час важливих голосувань парламенту VIII скликання.
Деякі міжнародні організації можуть працювати майже виключно завдяки використанню великих даних. Вони є незамінними під час дослідження міграції, саме тому Управління Верховного комісара ООН у справах біженців і Міжнародна організація з міграції покладаються на цей метод під час дослідження міграційних потоків і забезпечення найкращих умов для біженців, в тому числі і працюючи з внутрішньо переміщеними особами в Україні.
Не забуваємо про комерційне застосування. Великі дані створили кілька нових галузей, серед яких моніторинг і менеджмент web-сторінок і соціальних мереж. Тут дуже вагомий внесок зробила компанія Google, яка розробила не тільки надпопулярний пошуковик, але і відмінний інструмент для моніторингу відвідуваності сайтів GoogleAnalytics. Крім того, популяризувала контекстну рекламу в інтернеті, видача якої підлаштовується під кожного окремого користувача.
Простір для застосування методу аналізу великих даних безмежний: світ насправді поки тільки стоїть біля його витоків. Що більше Четверта промислова революція набирати силу, об’єднуючи світ в єдину соціально-економічну систему, тим ширше і репрезентативнее масиви даних будуть отримувати дослідники.