СИСТЕМА ДЛЯ ПОШУКУ ПО «ТІНЬОВОМУ» ІНТЕРНЕТУ
16-02-2015
Розміри всесвітньої павутини дійсно вражають. Тисячі дата-центрів, в яких зберігаються мільярди сайтів, що містять мільйони терабайт інформації по всіх можливих галузей знань.
Але мало хто замислюється про те, що мережа, індексуєма звичайними браузерами, це лише частина всього масиву даних, доступних через Інтернет. Причому, згідно з деякими експертними оцінками, «в тіні» інформації в рази більше.
Прихований від очей браузерів Інтернет, названий «тіньовим», зацікавив американське державне агентство DARPA. Установа, що займається перспективними науково-дослідними роботами оборонного характеру, організувало розробку пошукової системи, яка б вільно орієнтувалася в «тіньовому» інформаційному просторі.
На сьогоднішній день до даного проекту вже залучено сімнадцять команд програмістів, які працюють незалежно одна від одної. За рік активної роботи в стадію тестування перейшли деякі прототипи програмних комплексів, здатних проводити роботу по індексації та архівації «сірих» сайтів.
При цьому більш детальна інформація про напрацюванню не розкривається. Невідомо, наскільки серйозні успіхи досягнуті в цьому проекті, який отримав назву Memex.
Система «Memex» зможе вести пошук в найвіддаленіших куточках Всесвітньої Павутини, недосяжних для сучасних пошукачів.
Доктор Кріс Уайт, який курирує розробку пошукової системи по «тіньовому» інтернету, каже, що на шляху до розуміння справжньої природи всесвітньої павутини варто шаблонний підхід, який заснований на комерційних інтересах певних структур.
Браузери, навіть найвідоміші, такі як Google, Yandex, Meta, Rambler, Nigma, Yahoo і інші, індексують лише двадцяту частину ресурсів, присутніх в глобальній мережі. Ті сайти, які не несуть комерційного або рекламного навантаження, просто ігноруються. І таких сайтів мільйони.
Крім того, існує досить непогано законспірована мережа TOR, кількість сайтів в якій становить приблизно від десяти до сорока тисяч. Також є проекти створення інших систем анонімайзерів, наприклад - I2P.
Передбачається, що пошукова система буде допомагати правоохоронним органам боротися зі злочинністю, процвітаючої на непримітних web-форумах, прихованих сервісах та інших нелегальних сайтах.
Пошукова система буде працювати з «тіньовим Інтернетом», використовуючи технології домен-специфічного індексування матеріалів і домен-специфічних пошукових можливостей.
Крім того, «Memex» працюватиме з ботами-павуками, які зуміють дістатися до сайтів і ресурсів, які мають складний захист, після чого оператори «Memex» будуть звертатися до проіндексованого домен-релевантному контенту з більшою точністю і легкістю, ніж це можливо на сьогоднішній день.
Замовників і розробників цікавить вивчення закономірностей роботи всесвітньої павутини. Тут є і чисто практичний інтерес. Наприклад, доступ правоохоронних органів до цікавої для них інформації, або ж припинення шпигунської діяльності.