Предлагаем вашему вниманию сокращенный перевод статьи Wired.
Управление перспективных исследовательских проектов министерства обороны США (Defence Advanced Research Project Agency, DARPA) разрабатывает поисковую машину, которая осветит «тёмную сторону» Интернета и поможет органам правопорядка отслеживать противозаконную активность.
Проект, получивший название Memex, уже несколько лет разрабатывается 17-ю различными командами по заказу DARPA. В отличие от поисковиков Google и Bing, которые ищут среди ресурсов, пользующихся популярностью, и поэтому охватывают порядка 5% Интернета, Memex должен уметь находить данные, которые их владельцы, напротив, тщательно скрывают.
Для этого Memex будет исследовать не только содержание сайтов, не пользующихся популярностью, но и прочесывать тысячи ресурсов, расположенных в зоне так называемого темного Интернета (Dark Web). Примером ресурса Dark Web может служить подпольный онлайн-магазин наркотиков и оружия Silk Road, долгое время функционировавший в анонимной сети Tor.
Сайты Dark Web доступны лишь при помощи браузера Tor, и попасть на них можно, только если знать точный адрес ресурса. И хотя на некоторых открытых сайтах существуют частичные списки тайных адресов, а также имеется специальный поисковик Grams, ищущий сайты, связанные с криминалом, большинство незаконных Tor-ресурсов остаются вне зоны видимости.
Одна из задач проекта Memex, говорят его разработчики – выяснить, какой объем трафика в Tor-сетях генерируется противозаконными сайтами. Предполагается, что в «луковой сети» (ресурсы Dark Web находятся в официально не существующей зоне .onion, отсюда и название – ред.) может быть расположено 30-40 тысяч ресурсов с противоправным контентом (там можно, например, заказать преступление – вплоть до убийства, — ред.). И они не индексируются обычными поисковиками.
Memex, во-первых, должен сделать содержимое Tor-ресурсов доступным для обнаружения, а во-вторых, обнаружить связи между ними и теми, кто этими ресурсами пользуется. Разработанные для Memex алгоритмы могут впоследствии применяться в различных областях, помогая правоохранительным организациям, военным и частным компаниям. По словам разработчиков, сейчас с проектом Memex сотрудничают четыре партнера, которые участвуют в тестировании и внедрении прототипов. Так, наработки поисковика уже используются для обнаружения сайтов, подозреваемых в причастности к торговле людьми. Эти же механизмы могут быть использованы для фиксирования вспышек заболеваний Эбола или для любого объекта исследований, порождающего поток онлайн-контента, который нельзя заметить, если искать точечно, не анализируя неочевидные связи между сетевой активностью и иными событиями.
Как пояснил менеджер проекта доктор Крис Уайт (Chris White), Memex отслеживает характер работы IP-адресов, активность телефонных номеров, адреса, указанные в рекламных объявлениях, геоданные устройств, с которых объявления отправлялись, и т.д.
Уайт не назвал точной стоимости Memex, но сказал, что она сопоставима с бюджетами на другие проекты, связанные с обработкой и анализом данных — порядка 10-20 миллионов долларов.
Дополнительно:
Memex (от англ. memory и index) — наименование гипотетического прототипа гипертекстовой системы, описанной Вэниваром Бушем в эссе «Как мы можем мыслить», опубликованном в журнале The Atlantic в 1945 году.
Буш изобразил мемекс как устройство, в котором человек сможет хранить свои книги, записи и контакты, и которое «выдаёт нужную информацию с достаточной скоростью и гибкостью». Мемекс позволял бы существенно расширить и дополнить возможности памяти человека. Концепция мемекса оказала большое влияние на разработку ранних гипертекстовых систем (что в итоге привело к созданию всемирной паутины) и персональных баз знаний.
