High available network
Свалилась на меня задачка, решил кое-как… На суд общественности.
Постановка задачи:
Информационная Сеть (ИС) из 12 сервисных площадок, распределенная географически. Клиенты через публичный Интернет имеют доступ к сервисам ИС, причем выбор сервисной площадки производится на основе взаимного географического расположения клиента и площадки. Сервисные площадки, распределенные по всей планете, соединены в единую сеть посредством шифрованных VPN каналов, проложенных через публичные сети, принцип организации сети – каждый с каждым (Full mesh).
Каждый узел сети должен иметь избыточность по коммуникационному оборудованию и каналам 1+1, переключение между основными и резервными устройствами должно осуществляться автоматически. Каждый узел состоит из 3 основных сетей: сеть управления, сеть передачи служебных данных и сеть DMZ, где находятся доступные извне интерфейсы серверов. Все эти сети должны быть изолированы друг от друга с использованием Stateful Inspection Firewall.
Реализация:
Функции коммутации второго уровня и первого рубежа безопасности, включая защиту топологии сети по протоколу STP, организацию агрегации связей с серверами и списки доступа (пакетный фильтр) возложены на коммутаторы Allied Telesis AT-x600-24Ts. Защита сети от вторжений с помощью брандмауэра с контролем состояния соединения (Stateful Inspection Firewall), шифрование данных, перемещаемых между площадками, и маршрутизации подсетей возложены на маршрутизаторы Allied Telesis AR770S.

Согласно поставленной задаче коммутаторы собраны в стек, представляющий собой единое отказоустойчивое логическое устройство, технология VCStack. Избыточность и отказоустойчивость маршрутизаторов реализована посредством протокола VRRP на маршрутизаторах и функцией триггерного переконфигурирования на коммутаторах.
Площадки ИС размещаются в дата центрах на условиях co-location, оператор подключает оборудование 2 независимыми Ethernet интерфейсами, электрическими или оптическими, на скоростях Gigabit Ethernet.
На каждом из 12 сайтов подняты туннельные логические интерфейсы 3 уровня с использованием протокола L2TP, связывающие все сайты в единую Full mesh сеть, причем все туннели шифруются с использованием протокола IPSec.

Так как каждый сайт в своем составе имеет по два роутера, связи с остальными сайтами VPN сети созданы с избыточностью, каждый роутер каждого сайта связан одновременно со всеми роутерами VPN сети, кроме роутера, установленного на той же площадке.
Трафик между сайтами, как было сказано выше, передается через шифрованные VPN туннели, маршрутизация возложена на протокол OSPF, причем метрики туннельных интерфейсов заданы так, чтобы наилучшим маршрутом выбирался путь от мастер роутера одного сайта к мастер роутеру другого сайта.
Серверы каждого сайта соединены с парой коммутаторов в стеке двумя Gigabit Ethernet интерфейсами, используется протокол Link Aggregation IEEE 802.3ad, на коммутаторах агрегация осуществляется через два порта на разных коммутаторах. Таким образом, при выходе из строя коммутатора или обрыве патч-корда сервер продолжает предоставлять сервис.
Для серверов сети маршрутизатором по умолчанию выступает виртуальный маршрутизатор, что реализуется протоколом VRRP, описаным в RFC 3768. В нормальном режиме функционирования мастер маршрутизатор являеются маршрутизатором по умолчанию для всех пакетов внутренней и DMZ сети. В случае отказа главногомаршрутизатора или падения внешнего интерфейса, второй маршрутизатор берет на себя функцию default gateway.
Аналогично, для маршрутизатора датацентра шлюзом в сеть явялется виртуальный маршрутизатор, определенный протоколом VRRP.
С точки зрения серверов, маршрутом по умолчанию является маршрут через DMZ (сеть 192.0.200/24 в примере), маршрутом в сеть передачи служебных данных является маршрут до сети 192.168/16, и в сеть управления – 192.168.255/24.
На втором уровне OSI подключение к провайдеру осуществляется через стек AT-x600, что защищает непрерывность сервиса от выхода из строя граничного коммутатора датацентра и обрыва патч-корда. Кроме того, служебная информация, необходимая для функционирования VRRP, передается через собственное устройство, а значит, гарантированно не будет отфильтрована. По тем же причинам защита от образования петли коммутации на стороне оператора датацентра реализована на AT-x600.
Маршрутизаторы в решении выступают также в качестве Stateful Inspection Firewall, осуществляя фильтрацию трафика между всеми сегментами сети.
Заключение
Данный пример инсталляции раскрывает возможности оборудования Allied Telesis при построении высоконадежных корпоративных сетей передачи данных как внутри филиала или головного офиса, так и между подразделениями геологически распространенной компании. Дополнение логической структуры сети функциями балансировки нагрузки на серверы позволяет создать надежную площадку для хостинга публичного ресурса компании (WEB, FTP и т.п.). При необходимости, возможно подключение двух и более независимых операторов для обеспечения надежного выхода в Интернет пользователей внутри сети. Для подключения удаленных пользователей к ресурсам сети возможно создание динамических IPSec VPN каналов. Дополнительную безопасность придает пользователям внутри сети придает наличие механизмов HTTP и SMTP проксирования.
Таким образом, коммутационное и маршрутизирующее оборудование Allied Telesis можно рекомендовать для строительства корпоративных сетей различного назначения.







7 Комментариев
September 18th, 2009
Лови:
1. Как будет работать НАТ на площадках при переключении?
2. Пиши FullMesh, а не просто MESH. ИМХО так понятнее
3. Почему не используется DMVPN? Или я туплю?
4. Как организуется выбор ближайшей точки (узла) для клиента?
5. Если этот узел не доступен, как обеспечивается поиск следующего?
6. Выдержит ли рутер 2 гбит Stateful Failover (с одной l в слове stateful) + VPN?
7. Балансировки трафика не будет?
8. КОнец читается очень скомкано.
9. Не хватает схематичной общей картинки а-ля визио, где будет клиент, схема узла и каналы. Картинки кабелирования имхо не читаются
Это сходу. ВОобще, как то…не внушает. Если хотел добиться понятности – пиши подробнее. Щёки раздуть – побольше натолкай умных терминов, не опускаясь до растолковывания etherchannel и типов подключений. Впрочем, придираюсь наверно. Один фиг, не за этот документ ты заказ поимеешь… (поимел)
Федька
September 18th, 2009
1. НАТ не используется
2. Масляное масло. Мой отчим надо мной ржал, когда я говорил, что, если едешь ко мне в гости, надо выходить из САМОГО первого вагона. Не просто из первого, а из САМОГО первого. Но, учитыва то, что MESH сети бывают разные, ок, понял, подчеркну, что оно Full Mesh.
3. Это кошачья тема, нам чуждая
Динамики нет, все статическое, да еще OSPF поверх. В реальности, на сайтах сетей около десятка разных.
4. Внешняя логика, клиентским софтом. Вне задачи.
5. Сеть работоспособна, если живо 3 узла из 12, при условии, что этьи три знают, что остальные девять погибли. По сути, учитывая географическую распределенность, сеть живет в условиях практически ядерной войны.
6. НАТа не предусмотренно. В т.ч. чтоб роутерчег моск себе не засирал.
Вообще, к слову, такой узел стоит около 10 к$ в терминах GPL.
Теоретическая нагрузка на крипто модуль (аппаратный) – 500 мбит/сек в AES256. Файрволл делается на другой части железки. В боевой эксплуатации всякую погань еще и x600 отсечет, ибо примитивные ACL 2-4 уровня там тоже есть. А два гига от железки стоимостью менее трех требовать… Совесть то поимей
7. Балансировки трафика не будет, но возможна. По условию задачи серверы сверхнадежны.
8. Конец скомкан, согласен. Но в пятницу вечером ниасилил.
9. Ниасилил придумать общую картинко, заказчег обещал поделиться. А кабелирование – да. Но зато все нарисовано :о)
Я еще не решил, что делать с этим кейсом. Наерное, в портфолио. Типа, я не просто барыга, а еще как-то мыслить могу. Над превращением в статью буду подумать
Пасип, дядь Федь.
September 21st, 2009
Доработал.
October 21st, 2009
В исходной постановке задачи неясны требования к производительности и сервисам, которые должны в этой сети жить. Как решение масштабируется ? Как осуществляется мониторинг и контроль SLA, если он конечно предусмотрен ?
October 21st, 2009
Заказчик не выдвигал требований к производительности, удовлетворившись заявленной. Предположительно, если сработает их бизнес-идея, сеть будет дорабатываться по факту загрузки. Теоретически, роутер AR770S выдерживает до полугигабита шифрованного трафика, и при этом натит и роутит @wire speed. Но я не знаю тех, кто это пробовал.
Как масштабируется? Ну, в плане, ноды должны обрастать субнодами, производитель не заявляет о максимально допустимом кол-ве шифрованных тунелей. Вообще, мне было бы проще сказать, что можно сделать, а что нельзя
Это клиентское оборудование в данном случае, термин SLA к нему не вполне применим. Мониторинг SLA, соответственно, не предусматривался. Вообще, маршрутизаторы и коммутаторы, использующиеся здесь, поддерживают приоритезацию трафика на основе информации 2 или 3 уровня, если вопрос был об этом. Причем x600 может применять политики QoS @wire speed, про AR770 не знаю, информации нет.
January 27th, 2010
Самое интересное – выбор на основе гео-положения..
Жаль что его тут нет
На ум из решений реализуемых аппаратно приходит только BGP. ито это с тем допущением что внутри одной гео-локации BGP-путь будет корочем…
January 28th, 2010
На мой взгляд, определение геоположения посредством BGP – единственный способ. Понятно, бывают разные случаи, когда IP адрес одной AS может проявиться на изрядном удалении (VPN, спутниковые каналы, как вариант). Но другого способа не существует. Или я не прав?
К слову, клиент, цепляющийся к этой сети, может соединяться с ближайшим ВПН-концентратором, определяя не географическую удаленность от точки входа, но лучший маршрут.
Добавить комментарий