Маршрутизаторы операторского класса

До недавнего времени маршрутизаторы играли относительно простую роль в глобальных сетях. Они в основном отвечали за пересылку пакетов, содержащие в большинстве своем данные таких IP приложений, как e-mail, web, ftp. Операторские сети передачи данных в то время, предоставшие услуги доступа в Интернет и VPN, базировались на таких технологиях как Frame Relay или ATM. Как результат, эти маршрутизаторы обладали немногими из обязательных требований по производительности и надежности, которые имели место на других типах сетевого оборудования.

Эта простота была основным фактором, обеспечивающим низкую стоимость IP сетей, что, в свою очередь, способствовало массовому их росту. Рост потребовал от маршрутизаторов соответствовать уровню, достигнутому другими коммерческими формами сетей голоса и данных, такому, чтобы новые услуги могли быть развернуты и дополнительные сервисы мигрировали к IP. Низкая стоимость и относительная простота, которая привела к такому огромному росту в IP сетях, была уже недостаточной, чтобы справляться ни с постепенной миграцией требовательных бизнес приложений от наследованных сетей к IP, ни с переводом всего сетевого трафика на конвергентную IP инфраструктуру.

Потребовалось не только увеличение производительности маршрутизирующего оборудования, но и также поддержка широкого спектра приложений, которая высветила многие ограничения в конструкции и архитектуре маршрутизаторов. В дополнение к расширенной функциональности, необходимой для поддержания множества новых услуг, потребовался высокий уровень безопасности и надежности.

Дальнейшее наращивание пропускной способностей сетей и стремление минимизации цены привели к распространению в операторских IP сетях технологии Ethernet, которая становится доминирующим транспортным протоколом второго уровня. Наделение Ethernet возможностями операторского класса, реализация служб основанных на этой технологии (E-LINE, E-LAN, E-TREE) становится частью функционала современных маршрутизирующих устройств в сети оператора.

Нынешний рынок маршрутизаторов операторского класса – высокотехнологичный сектор индустрии с очень высоким уровнем конкуренции и постоянно растущим количеством игроков. Лидером на этом рынке остается компания Cisco, однако, в последнее время компаниям Juniper, Alcatel-Lucent, Huawei, Ericsson-Redback, Tellabs удалось отвоевать у Cisco некоторую часть рынка и сократить разрыв.

Следует отметить, что к маршрутизаторам операторского класса следует относить не только пограничные и магистральные устройства, которые давно уже позиционируются производителями в этом классе, но также и маршрутизаторы, устанавливаемые в сети агрегации и выполняющие роль мультисервисных агрегирующих устройств, принимая для дальнейшей передаче по пакетной IP сети различный трафик (в том числе и TDM).
Различное местоположение в сети и различие целевых назначений приводит к различию требований по производительности, масштабированию, плотности портов, функционалу. Тем не менее, у маршрутизаторов операторского класса есть общие характерные особенности. Рассмотрим некоторые из них.

Производительность определяет такие параметры устройства, как количество пакетов, которое оно способно переместить в единицу времени между своими интерфейсами. Высокие значения производительности – ключевой показатель для магистральных маршрутизаторов, но для части пограничных устройств или для маршрутизаторов, используемых в сети агрегации не требуются терабитные пропускные способности. Однако, учитывая мультисервисный характер современных маршрутизаторов, важной характеристикой является их способность сохранять необходимый уровень производительности при активировании различных дополнительных функций, связанных с обработкой трафика, таких как поддержка QoS. В современных маршрутизаторах это достигается за счет увеличения доли аппаратно обрабатываемых функций по передаче и обработке пакетов.
Современные маршрутизаторы относятся к пятому поколению в эволюции устройств маршрутизации. Первое поколение имело фиксированные интерфейсы и централизованный функционал маршрутизации, выполняемый на одном CPU. Второе поколение имело централизованные функции продвижения данных, но уже модульные интерфейсы. Третье поколение использует распределенное продвижение данных, но все-таки основанное на процессорной их обработке. В четвертом поколении маршрутизаторов для продвижения данных широко применяются специализированные микросхемы ASIC. Нынешнее, пятое поколение маршрутизаторов наследует достижения в аппаратной архитектуре четвертого поколения, но дополнительно с ASIC и распределенной архитектурой используются программируемые сетевые процессоры, разработанные для реализации сложных сервисных процессов в IP сетях. Эти процессоры заменяют часть функций ASIC и обеспечивают необходимую гибкость при добавлении новых услуг.

Маршрутизаторы операторского класса допустимо условно разделить на два основных вида: пограничные маршрутизаторы (PE router – provider edge) и маршрутизаторы ядра (P router – provider), деление это основано на функциях, возложенных на маршрутизаторы. Основная задача P маршрутизаторов сводится к пересылке пакетов по определенным путям с большой скоростью, соблюдая политики качества обслуживания. Маршрутизаторы PE типа взаимодействуют с сетями других операторов и заказчиков, на них возложены функции, условно относимые к сервисным функциям. Часто маршрутизаторы выполняют функции P для трафика одних заказчиков, являясь транзитным узлом в сети оператора на пути следования данных, и PE для трафика других, сайты которых подключены к данному маршрутизатору.

Маршрутизаторы типа PE, зачастую, должны обеспечивать подключение большого количества клиентов с различными интерфейсами сопряжения. Сегодня это, как правило, оптические или медные порты Gigabit Ethernet или 10 Gigabit Ethernet, оптические STM-4/16/64. Уже сейчас столь высокие полосы пропускания востребованы при подключении клиентов к сети оператора. С другой стороны, маршрутизаторы должны иметь высокоскоростные интерфейсы подключения к сети оператора. Сейчас это, преимущественно, интерфейсы Ethernet или SDH с пропускной способностью 10 Гбит/сек, логически агрегирующиеся в более производительные каналы. Но уже анонсированы интерфейсы в 40 и даже 100 Гбит/сек, причем 40 Gbps Ethernet может появиться уже этой осенью.

Современные PE маршрутизаторы, в зависимости от производителя и модели, могут иметь более 10 слотов для установки плат расширения. На каждую такую плату приходится разное количество интерфейсов, но их совокупная пропускная способность может превышать 50 гигабит в секунду в одном направлении, или 100 Гбит/сек в обоих. Таким образом, десятислотовое шасси должно иметь производительность в 1 Терабит/сек, чтобы не быть узким местом для прохождения трафика. Причем маршрутизатор должен осуществлять классификацию и фильтрацию, коммутацию и маршрутизацию трафика с такой скоростью.

Часто клиентские подключения осуществляются посредством интерфейсов, имеющих большую пропускную способность, чем реально необходимо. Например, если есть потребность передавать данные со скоростью 2 Гбит/сек, а принимать на 4 Гбит/сек, обычно, используют интерфейс 10 Гбит/сек. Но так часть доступной полосы не используется. Эта особенность позволяет операторам использовать платы с большим количеством интерфейсов, чем допустимо в неблокирующем режиме. Вернувшись к примеру с 10 Гбит/сек интерфейсами, в таком режиме допустимо использование, например, плат с 10 интерфейсами. Этот режим называется “oversubscribe” (переподписка). В пиковые моменты прохождения трафика, когда требуется больше полосы пропускания, чем способен обеспечить стык линейной платы и фабрики коммутации, на помощь приходят механизмы QoS, позволяющие передавать высокоприоритетный трафик с минимально возможными задержками, а трафик низкого приоритета ставить в очередь или отбрасывать, оставляя контроль за доставкой и досылкой более высокоуровневым протоколам.

Кроме того, некоторые производители производят интерфейсные платы так, что коммутация на самой плате осуществляется в неблокирующем режиме, при этом плата имеет возможность подключаться к фабрике коммутации маршрутизатора на полной скорости, но узким местом является сама фабрика маршрутизатора. Делается это с целью защиты инвестиций оператора, в расчете на выход новых, более производительных фабрик.

Маршрутизатор операторского класса должен обладать высокой надежностью и стабильностью. Распространен термин “надежность – пять девяток”, который означает, что 99,999% времени в год маршрутизатор должен выполнять свои функции. На практике такая доступность подразумевает, что оборудование может быть недоступно в течение 5 минут 12,8 секунд в год. Остальное время маршрутизатор должен выполнять свои функции, предоставляемые сервисы не должны прерываться. Надежность и стабильность работы маршрутизаторов рассматривается операторами связи как один из основных критериев при покупке.

Основными средствами обеспечения отказоустойчивости маршрутизаторов являются аппаратное резервирование и логические средства защиты и быстрого восстановления после сбоя.

Современный высоконадежный маршрутизатор практически всегда является модульным. В шасси (корпус) маршрутизатора устанавливаются сменные блоки питания, имеющие избыточность 1+1 (активный + резервный), при этом мощности одного блока питания должно хватать для подержания работоспособности маршрутизатора. Некоторые производители резервируют блоки питания по схеме N+1 (несколько активных + 1 резервный), когда N блоков достаточно для работы устройства. Также в шасси устанавливаются блоки вентиляторов для охлаждения внутренностей устройства. Являясь вращающейся деталью, вентилятор подвержен естественному износу, потому блок вентиляторов выделен в отдельный легкозаменяемый модуль.

Следующим модулем конструкции маршрутизатора является фабрика коммутации. У некоторых производителей фабрика встроена в шасси, но большинство стремиться агрегировать фабрику с процессорным модулем и сделать такой модуль съемным. Делается это не только для обеспечения соответствия требованию надежности, но и для облегчения апгрейда, позволяя оператору увеличивать производительность шасси с выходом новых фабрик и процессоров.

Агрегированный модуль фабрики коммутации и процессорной платы является главным интеллектуальным узлом устройства, местом, где обрабатывается большая часть сервисных функций маршрутизатора. Выход из строя этого узла влечет за собой остановку всех сервисов устройства. Производители, как правило, предлагают устройства с двумя такими модулями, работающими по схеме 1+1, один основной в работе + 1 в горячем резерве. После включения в работу резервный блок управления должен по новой изучить топологию сети от соседних маршрутизаторов и перестроить свою маршрутную таблицу (также известную как Routing Information Base — RIB). После выяснения топологии и варрантов маршрутизации устройство рассчитывает таблицу продвижения данных (известную как Forwarding Information Base) для линейных карт. Этот процесс может занять до 15 минут, что, по понятным причинам, не приемлемо для оборудования операторского класса (вспомним о 5 минутах простоя в год). Один из методов переключения на резервный управляющий модуль называется Graceful restart (“изящный” рестарт). Суть его состоит в том, что на время пока строится новая маршрутная таблица после старта резервного блока управления, таблица FIB “замораживается” и данные продолжают пересылаться на ее основе. Соседние маршрутизаторы при этом уведомляются, что происходит рестарт блока управления, и они не удаляют рестартующий маршрутизатор из своих таблиц RIB и FIB, позволяя ему завершить процесс рестарта, пересчитать и синхронизовать свои RIB и FIB.

Другой способ – использование метода Non-stop-routing (безостановочная маршрутизация). Суть метода заключается в “предварительной подготовке” резервного модуля к рестарту путем копирования в него всей информации о состоянии маршрутов и маршрутных соединений. Это копирование производит текущий активный блок управления все время в процессе своей работы, что позволяет резервному блоку в случае отказа моментально приступить к выполнению своих прямых обязанностей. При сбое или отключении основного модуля, резервный модуль незамедлительно начинает выполнять все функции основного, при этом теряется только та часть пакетов, которая отрабатывалась основным модулем в момент сбоя.
Для того чтобы предоставление сервиса считалось безостановочным, производители стремятся к реализации переключения за время, меньшее, чем 50 мс. Это требование унаследовано пакетными сетями от сетей с коммутацией каналов, когда считалось, что сбой продолжительностью в 50 мс прозрачен для пользователя, и потеря голосовых данных незаметна.

На основе этих же подходов реализуются задачи модернизации программного обеспечения или рестарт отдельных протоколов или модулей без вывода устройства из обслуживания. Оба подхода имеют свои преимущества и недостатки, однако их анализ выходит за рамки данной статьи. Добавим лишь, что алгоритм этих процедур отличается у разных производителей, но все они стремятся свести к минимуму перерывы в предоставлении сервиса.

Что касается средств отказоустойчивости соединений и маршрутов, то применяемые подходы во многом зависят от технологий первого и второго уровней. На третьем уровне эталонной модели OSI защита маршрутов обеспечивается протоколами динамической маршрутизации, преимущественно OSPF внутри сети оператора, и BGP при взаимодействии с внешними автономными системами.

Для упрощения принятия решений о пересылке пакетов была разработана технология IP/MPLS, в которой данные, предварительно упакованные в IP, передаются по логическим путям на основе меток (label). Маршрутизатор, получивший пакет для определенного IP адреса, присваивает, в соответствии с таблицей маршрутизации, метку данному пакету, и передает следующему маршрутизатору, который, на основе этой метки либо передает пакет дальше, изменив метку, либо снимает метку и передает пакет на интерфейс, за которым находится IP адрес назначения. Таким образом, транзитному маршрутизатору не требуется разбирать IP заголовок пакета для выбора направления передачи. Маршрутизаторы, назначающие и снимающие метки, исполняют функции PE, а маршрутизаторы изменяющие метки и пересылающие трафик дальше, выполняют функции P.

Так как метки MPLS вставляются в передаваемый пакет после заголовка второго уровня (MAC), но перед заголовком третьего (IP), протокол MPLS часто называют протоколом 2,5 уровня.

В сети, использующей MPLS, маршрутизаторы могут использовать метод известный как MPLS Fast ReRoute (FRR). Метод позволяет быстро переключиться на обход аварийного участка пути, пока строится новый оптимальный маршрут из конца в конец. В настоящее время этот метод хорошо стандартизирован и обеспечивается его совместимость между маршрутизаторами от разных производителей.

Другая важная характерная черта маршрутизаторов операторского класса – способность предлагать пользователю различные сервисы по доставке данных. И именно маршрутизатор служит основным инструментом создания и поддержания этих сервисов в сетях операторов. Основная технология, которая помогает реализовать эту функциональность и становиться обязательной составляющей большинства маршрутизаторов операторского класса – MPLS.

Наделение недорогой и эффективной технологии Ethernet необходимыми для операторов свойствами, во многом также реализуется благодаря MPLS. Сеть оператора предлагает пользователям коммерческие сервисы организации виртуальных сетей 2-го уровня различных топологий, таких, как точка-точка (VLL – virtual leased line) или многоточка-многоточка (VPLS – virtual private LAN service). В рамках этих сервисов сеть оператора для заказчика представляется прозрачной на втором уровне. Такая сеть способна передавать в т.ч. трафик в соответствии со стандартами IEEE 802.1q (VLAN) и IEEE 802.1ad (QinQ). Возможно также использование сети MPLS для передачи по псевдолиниям (pseudowire) устаревающих протоколов Frame Relay или ATM.

Другим инновационным сервисом, ставшим популярным с приходом MPLS, стал сервис VPN 3 уровня, или VPRN (virtual private routed network), позволяющий оператору независимо маршрутизировать адреса сетей заказчиков.

Особенности технологии MPLS позволяют реализовать функции трафик инжиниринга (TE – Traffic Engineering), позволяющего выбирать пути передачи данных по сети оператора с учетом загрузки маршрутизаторов и коммутаторов сети и доступной полосы пропускания в физических каналах, при наличии множества возможных путей прохождения трафика. Эта функция маршрутизаторов позволяет избегать “заторов” (congestion) трафика, эффективно использовать доступные ресурсы производительности устройств и линий сети, создавать обходные маршруты следования трафика при возникновении сбоев линий или узлов. Наконец, использование трафик инжиниринга позволяет точно планировать загруженность сети, уменьшая затраты оператора.

Другой важной сервисной составляющей маршрутизаторов является функция классификации трафика, необходимая для определения типа передаваемых данных и выделения уровня приоритета для них. Различные типы трафика имеют разные требования к задержкам (latency) и джиттеру (jitter – девиация задержки), например, голосовой трафик требует малой, но гарантированной полосы пропускания и требователен к джиттеру и задержкам, тогда как сигнальная информация должна быть гарантированно доставлена, без специальных требований к задержкам, джиттеру и полосе. Классификация трафика на границе сети позволяет определить различные типы трафика и назначить им в соответствии с SLA (service level agreement – соглашение об уровне услуги) приоритет для пересылки сквозь собственную сеть оператора.

Понятие SLA является формальным договором между заказчиком и поставщиком услуги, содержащим, в частности, описание услуги и согласованный уровень качества предоставления услуги. Важным моментом SLA является обязательное требование измеримости определенных в соглашении параметров качества предоставления услуги, что позволяет обеим сторонам соглашения контролировать качество сервиса. В качестве примера контрольного параметра SLA можно привести максимальную величину задержки голосового пакета, проходящего между различными адресами через сеть оператора, разницу во времени задержки и т.п.

Классифицированный трафик на PE маршрутизаторах подвергается маркированию с целью выделения приоритета для передачи по сети оператора. Выделение приоритета для пересылки определенного вида трафика позволяет оператору соблюдать исполнение SLA, позволяя критичному к задержкам трафику передаваться с минимальными задержками и гарантированной полосой пропускания, оставляя менее критичным к задержкам данным более загруженные очереди.

Часто трафик, попадающий на маршрутизатор оператора, уже имеет маркировку, оставшуюся в заголовках 2 или 3 уровня после передачи по чужой сети. Такой трафик, возможно, требует изменения меток параметров качества обслуживания, чтобы передаваемый внутри сети оператора трафик имел принятые внутри сети приоритеты.
Другой важной функцией классификации трафика является защита от пересылки нежелательных потоков данных. Намеренные или случайные широковещательные рассылки, подмена адреса источника (IP Spoofing), иные атаки могут существенно снижать производительность и пропускную способность сетевой инфраструктуры оператора.

Как правило, SLA требует от оператора передачи любого клиентского трафика, а защита от хакерских атак лежит на клиентском оборудовании. Функции фильтрации на 3 и 4 уровнях OSI в маршрутизаторах операторского класса реализованы, но не являются основными. Производители оборудования обсуждаемого класса сегодня предлагают модули DPI (deep packet inspection – глубокое исследование пакетов), способные выявлять вредоносную активность в передаваемых данных, анализируя трафик на высокой скорости, сравнимой со скоростью интерфейсов.

Наметившаяся тенденция — проникновение MPLS в сети доступа. Уже многие производители выпускают маршрутизаторы доступа с поддержкой MPLS функциональности. В концеконцов это должно привести к значительным изменениям к подходам в реализации IP услуг.