Без кейворду

Інтернет-архів знаходить і фіксує веб-сторінки за допомогою багатьох різних веб-сканерів. У будь-який момент часу виконується кілька різних сканувань, деякі протягом місяців, а деякі щодня або довше. Переглянути веб-архів можна за допомогою Wayback Machine.

Колекція: Широкомасштабний сканування номер 14 – розпочато 4 березня 2016 року – завершено 15 вересня 2016 року
Початковим файлом для Wide00014 був:
– Slash-сторінки з кожного домену в Інтернеті:
— список доменів, що використовують файли для сканування Survey
— список доменів, що використовують веб-графіку Wide00012
— список доменів, що використовують веб-графіку Wide00013

– Сторінки з найвищим рейтингом (максимум 100) з кожного домену, на який є посилання, за допомогою графа міждоменних навігаційних посилань Wide00012

— рейтинг всіх URL-адрес, які мають більше одного вхідного міждоменного посилання (рейтинг визначався за кількістю вхідних посилань з використанням графіка міждоменних посилань Wide00012)

— до 100 найбільш ранжируваних URL-адрес для кожного домену.

Початковий список містить загалом 431 055 452 URL-адреси Початковий список був додатково відфільтрований для виключення відомих порнодоменів та посилальних ферм Модифікований початковий список містить загалом 428 млн URL-адрес

Source: web.archive.org