Инфраструктурный беспорядок, или О бесконечных отключениях Интернета
Предлагаем вашему вниманию перевод статьи «The infrastructure mess causing countless Internet outages», опубликованной Wired в конце июня. Речь о «дефектах конструкции» Интернета, из-за которых сеть передачи данных, создававшаяся как сверхнадёжная, таковой не является. Wired в присущем ему стиле не упускает возможности помянуть Россию с Китаем как плохие места, куда хороший американский трафик попадать не должен, но с технической точки зрения текст представляет безусловный интерес.
В 2017 году DDoS-атака вызвала серию масштабных сбоев доступа к Интернету в США. К этому привела неправильная маршрутизация трафика в Сети, которая создала «эффект пульсации» сбоев национального масштаба. Сбои наблюдались в течение нескольких часов. Пострадали клиенты Comcast, Spectrum, Verizon, Cox и RCN (крупнейшие провайдеры доступа – ред.) по всей стране.
В 2018 году в течение двух часов интернет-трафик, который должен был проходить через облачную платформу Google, вместо этого оказался в совершенно неожиданных местах, включая Россию и Китай. И вновь бессистемная маршрутизация стала причиной «угона» трафика.
В июне 2019 года большой объём данных от европейских мобильных устройств был направлен через поддерживаемого государством китайского оператора China Telecom. 24 июня веб-сайты и сервисы по всему миру, включая интернет-инфраструктуру компании CloudFlare, много часов были недоступны. Причина в том, что инфраструктура небольшой компании в Северной Пенсильвании стала предпочтительным путём многих интернет-маршрутов Verizon. Это сравнимо с направлением всего потока автомобилей большого города на одну узкую улочку.
Все эти инциденты могут выглядеть не связанными между собой. Одни случайные, другие вызваны злонамеренными действиями, у них разные участники, и разные пострадавшие. Но фундаментальная причина их возникновения одна – протокол пограничного шлюза (BGP), допускающий возникновение ошибок интернет-маршрутизации.
Интернет децентрализован, но его сегменты взаимосвязаны. Это необходимо для того, чтобы данные могли передаваться по всему миру без централизованного управления этим процессом. Каждый раз, когда вы набираете адрес сайта или отправляете электронное письмо, данным нужно найти путь из точки «А» в точку «Б» через множество физически удаленных друг от друга сетей. Для оптимизации маршрута используется система на основе протокола BGP. Когда с этой системой что-то идёт не так, весь Интернет чувствует это.
Инфраструктурная проблема Интернета
Придуманная в 1989 году версия BGP используется и сегодня в почти неизменном с 1994 года виде. И хотя BGP на удивление хорошо масштабируется, нельзя не учитывать, что Интернет сильно отличается от того, каким он был 25 лет назад. Фактически способ оптимизации трафика с помощью BGP приводит к сбоям, возможностям манипуляций и перехвата данных.
Магистральные маршрутизаторы Интернета – мощные промышленные устройства, которыми обычно управляют интернет-провайдеры. Каждый управляет своим набором IP-адресов и маршрутов. Провайдеры и другие крупные организации используют протокол BGP для расчёта интернет-маршрутов и их объявления другим участникам взаимодействия. Это как планирование езды по пересечённой местности – нужно знать различные варианты маршрута для каждого участка местности, чтобы посетить все достопримечательности, а не петлять весь день в поисках. Но если GPS-приемник неточен, вы можете заехать в тупик или оказаться на маршруте, который никогда не приведёт вас к цели.
Примерно то же происходит и в Интернете – важно, чтобы данные попадали туда, куда нужно, и для этого используется BGP. Но работа этого протокола зависит от трудноуловимой материи – доверия. Проблема в том, что BGP не был разработан для независимой проверки оптимальности маршрутов. Если т.н. автономные системы (часть Интернета – IP-сеть, связанная с другими автономными сетями и обладающая собственной политикой маршрутизации трафика – ред.) случайно объявляют ошибочные маршруты или злонамеренно захватываются для объявления неправильных маршрутов, потоки данных могут быть направлены куда угодно и вызвать сбои в Сети. Это похоже на то, как если бы злоумышленники устанавливали дорожные знаки объезда и меняли названия улиц, направляя вас к дому нелюбимых родственников вместо аквапарка. Грамотный злоумышленник может даже контролировать перемещение потока данных для его перехвата.
«Это протокол, который был построен на основе доверия, – говорит Жером Флери (Jérôme Fleury), директор по сетевому проектированию CloudFlare. – В то время не было никакого механизма безопасности, не было почти ничего, кроме доверия. И это работало очень хорошо в течение многих лет. Но главная проблема сейчас в том, что в Интернете появилось много злоумышленников, которые умеют работать с маршрутизаторами. А ещё специалисты, даже очень хорошие, иногда ошибаются. Вопрос в том, как нам уйти из доверительной маршрутизации BGP в маршрутизацию, которая имеет аутентификацию».
BGP не единственная исторически сложившаяся интернет-система, порождающая проблемы из-за того, что она базируется на доверии. Другой фундаментальный протокол – система доменных имен (DNS). Если BGP – это навигационная система Интернета, то DNS – это его адресная книга. Угон DNS стал серьезной проблемой безопасности во всем мире и Департамент внутренней безопасности даже выпустил чрезвычайную директиву в январе 2019 года, направленную на защиту учетных записей DNS.
Исследователи из подразделения безопасности Talos Cisco 3 апреля 2019 года сообщили, что хакерская группа Sea Turtle провела масштабную шпионскую операцию посредством атаки на DNS, поразив 40 различных организаций. Им удалось скомпрометировать несколько национальных доменов верхнего уровня, таких как .со (Колумбия), .uk и .ru. Среди жертв хакеров телекоммуникационные компании, интернет-провайдеры и регистраторы доменов. Но большинство жертв и конечные цели, по мнению Cisco, были из числа правительственных организаций, включая министерства иностранных дел, разведывательные агентства, военные объекты и организации, связанные с энергетикой.
22 января 2019 года Агентство по кибербезопасности и инфраструктурной безопасности (CISA) опубликовало экстренную директиву с целью предотвратить возможность вмешательства в инфраструктуру DNS.
Сомнения в безопасности протоколов DNS и BGP существуют десятилетия. В 1998 году, например, группа хакеров из l0pht collective свидетельствовала в Конгрессе, что может уничтожить Интернет за 30 минут, атакуя BGP, и показала, как можно использовать этот протокол для шпионажа. Десять лет спустя Ким Зеттер (Kim Zetter, авторитетный независимый журналист, США — ред.) крайне низко оценил прогресс в повышении безопасности протокола BGP: «Правительственные и отраслевые чиновники знают об этой проблеме более десяти лет, и несмотря на возможные последствия для национальной безопасности, не добились большого прогресса в её решении».
Спустя еще 10 лет специалисты фиксируют тысячи инцидентов с маршрутизацией с помощью протокола BGP. И хотя большинство из них незначительны и случайны, всё большее число таких инцидентов являются результатами целенаправленных вредоносных атак. В декабре 2018 года советник АНБ Роб Джойс (Rob Joyce) назвал отсутствие безопасности BGP одной из главных угроз международной кибербезопасности.
Кризис доверия
Последние несколько лет сообщество специалистов по интернет-стандартам начало добиваться реального прогресса в продвижении безопасных конфигураций BGP и разработке средств аутенификации участников маршрутизации трафика. В 2017 году Национальный институт стандартов и технологий (NIST) в сотрудничестве с Министерством внутренней безопасности США разработал набор стандартов маршрутизации для оборонного сектора. В 2018 году исследователи опубликовали BGP hijacking defense framework для сетевых операторов, финансируемых Национальным научным фондом, министерством внутренней безопасности США и Европейским исследовательским советом. А с 2014 года растущий консорциум сетевых операторов и интернет-сообщество кодифицируют и продвигают лучшие практики BGP через взаимосогласованные нормы безопасности маршрутизации (MANRS). Возможно, самое главное заключается в поощрении сообществом внедрения инструмента криптографического подтверждения правильности маршрутов BGP.
Несмотря на то, что подобные инициативы набирают обороты, по-прежнему трудно заставить каждого интернет-провайдера и оператора использовать их. Однако многие крупные игроки, такие как американская AT&T, шведская инфраструктурная группа компаний NetNod, японские телекоммуникационные гиганты NTT Communications и Cloudflare, уже внедрили фильтрацию маршрутов и сертификацию интернет-ресурсов (RPKI).
Однако проблема «лоскутной» безопасности никуда не исчезла, в чём мы могли убедиться в конце июня после инцидента с CloudFlare.
Пенсильванская металлургическая компания Allegheny Technologies использует двух интернет-провайдеров для подключения к Интернету. Случайно получив неточную информацию о маршрутизации от одного небольшого провайдера со Среднего Запада, компания непреднамеренно передала её другому провайдеру, Verizon. Небольшой провайдер создал в маршрутизации трафика, которую «тиражировал» магистральный интернет-провайдер Verizon – бегемот Интернета с огромными ресурсами – не использует фильтры BGP и не проверяет подлинности интернет-ресурсов, которые могли бы обнаружить ошибку. Без этих средств защиты другие клиенты Verizon по всему миру, включая CloudFlare, испытали масштабные сбои.
Verizon не комментирует инцидент.
Если бы инцидент был организован хакерами, они могли бы использовать каскад отключений для DDoS-атаки и блокирования доступа пользователей к популярным сайтам и веб-сервисам по всему миру. В других типах атак BGP, таких, которые случились в европейских телекоммуникационных сетях в начале июня, злоумышленник может перенаправить трафик для наблюдения или сбора информации. Вот почему защита BGP так важна. Такая защита не только защищает от прерываний в обслуживании, но и обеспечивает базовую безопасность и конфиденциальность в Интернете.
«Это свидетельство того, сколь «блестящи» ранние интернет-протоколы, в том числе BGP, – говорит Роланд Доббинс (Roland Dobbins), главный инженер сетевой безопасности компании Netscout Arbor. – Неспециалисты считают Интернет высокотехнологичной, сверкающей штукой вроде мостика звездолёта «Энтерпрайз» (из сериала Star Trek – ред.). Все совсем не так. Это больше похоже на фрегат королевского флота XVIII века. Много беготни, криков, воплей и дёрганья за верёвки, чтобы попытаться заставить всё двигаться в правильном направлении».