2   Rozvoj páteřní sítě CESNET2

Rozvoj páteřní sítě CESNET2 zahrnuje rozvoj celé síťové infrastruktury od optické přenosové vrstvy až po IP/MPLS. Cílem rozvoje sítě je implementace a ověřování nových funkcí, vlastností a služeb, zejména v oblasti optických sítí a moderních E2E (end-to-end) služeb a jejich zpřístupnění výzkumným projektům a pokročilým uživatelům. Páteřní síť rovněž slouží pro podporu výzkumných projektů, uplatňuje jejich výsledky při svém vývoji a vytváří i zpětnou vazbu k vyvíjeným technickým řešením a inovacím.

Síť CESNET2 postupně přechází od klasické IP/MPLS sítě na hybridní topologii, která kombinuje směrovanou IP/MPLS síť s inteligentním optickým přepínáním na společné infrastruktuře optických vláken. Hybridní optické sítě jsou schopny poskytovat paketové IP/MPLS služby (nespojované) i lambda služby (spojované), jako jsou optické přenosové cesty. Současná hybridní topologie sítě CESNET2 a rozvoj optické přenosové vrstvy jsou základními předpoklady vývoje k hybridní IP/optické páteřní síti zahrnující optické přepínače pro dynamické přepínání optických přenosových cest řízené protokoly, jako je GMPLS (Generalized Multiprotocol Label Switching).

2.1   Optická přenosová topologie

Základní optická topologie páteřní sítě (viz obrázek) je založena na pronajatých párech optických vláken odpovídajících standardu ITU-T G.652. Výjimku tvoří optická trasa Praha-Brno, která se skládá ze tří typů optických vláken. Místní úseky v Praze a Brně odpovídají standardu ITU-T G.652, ostatní optické úseky standardu ITU-T G.655 (optický kabel Draka LT072 3TW+/3TW-) a dosahují velmi nízkých až záporných hodnot chromatické disperze (-10 ps/km až 12 ps/km).

[Obrázek]

Obrázek 2.1: Základní optická topologie páteřní sítě CESNET2 (větší obrázek)

Několik optických tras je jednovláknových (Ostrava-Karviná, Ústí nad Labem-Most, Ústí nad Labem-Děčín, Plzeň-Cheb a České Budějovice-Jindřichův Hradec). Pronájem jednoho vlákna je proti pronájmu páru vláken cenově výhodnější, ale přináší více omezení při osazování vhodnou technologií.

Velké uzly (GigaPoP) sítě CESNET2 jsou připojeny redundantně, t.j. alespoň dvěma optickými trasami se vzájemně nezávislým geografickým průběhem (včetně úseků posledních mílí). Zvýšení redundance optických tras (ve spolupráci s poskytovateli) je velmi důležité pro dosažení vysoké dostupnosti všech služeb páteřní sítě. V uplynulém období jsme zaznamenali řadu přerušení optických vláken (zejména v souvislosti s různými stavebními pracemi) a každý takový případ znamená několikahodinový výpadek trasy, neboť oprava optického kabelu je pracná a časově náročná. Z těchto důvodů se zajištění redundance na úrovni optických tras intenzivně věnujeme jak na vlastní fyzické úrovni, tak i z hlediska návrhu a realizace osazení vhodnou přenosovou technologií.

Přechod na optická vlákna postupně probíhá v rámci celé sítě CESNET2 (včetně menších uzlů) i připojení koncových účastníků. Ve všech lokalitách v návaznosti na dostupnost optických vláken nahrazujeme datové služby (ethernet/SDH, rádiové okruhy) optickými vlákny osazenými vlastní technologií.

Optické přenosové trasy jsou osazovány následujícími způsoby a technologiemi:

Osazování optických tras přenosovými technologiemi na bázi DWDM umožňuje protokolově nezávislý přenos datových signálů. Přechod od "šedé" optiky na DWDM či CWDM podporuje přenos vzájemně nezávislých a oddělených optických kanálů na jednom vlákně nebo jednom páru optických vláken. Optické přenosové signály pasívní DWDM technologie na bázi CLA zesilovačů lze dále přenášet a zesilovat v rámci pasívních DWDM tras i v rámci plnohodnotného páteřního DWDM systému. Pasívní DWDM systémy jsou rovněž připraveny pro přenos rychlostmi 1 Gb/s a 10 Gb/s. Dostupnost a vlastnosti výměnné optiky SFP a XFP se postupně rozšiřuje, objevují se však problémy s jejich plnou podporou v koncových přepínačích a směrovačích různých výrobců. V některých případech je nutné tento problém řešit nasazením konvertorů (např. SFP-to-SFP).

2.2   Optická přenosová síť DWDM

Hlavní jádro optické přenosové sítě DWDM je postaveno na technologii Cisco ONS 15454 MSTP s dvoucestným ROADM (Reconfigurable Optical Add/Drop Multiplexing), která umožňuje softwarovou konfiguraci optických přenosových kanálů (přidání/odbočení nebo průchod DWDM uzlem) v rámci celé DWDM sítě. ROADM technologie implementovaná výrobcem je založena na PLC (Planar Lighwave Circuit).

[Obrázek]

Obrázek 2.2: Blokové schema ROADM uzlu

Vlastní ROADM se skládá ze dvou funkčních jednotek, WSS (Wavelength Selective Switch) a DMX (Demultiplexer). Jednotka WSS zajišťuje aktivní řízení průchodu optického signálu DWDM uzlem a jeho vkládání v rámci uzlu, zatímco jednotka DMX umožňuje odbočování optických signálů. Nedílnou součástí funkcí ROADM je automatické řízení úrovní jednotlivých optických signálů pro zajištění bezchybné funkce celého DWDM systému. Plně funkční ROADM uzel je rozdělen na dvě vzájemně propojené základní části, tzv. EAST (levá část) a WEST (pravá část), na něž jsou připojeny optické přenosové trasy v rámci kruhové topologie (viz obrázek). Blokové schema ROADM uzlu je doplněno o nezbytné optické výkonové zesilovače (OPT-BST), optické předzesilovače (OPT-PRE), moduly pro kompenzaci chromatické disperze (DCU) a moduly pro odbočení/vkládání řídicího DCC (Data Communication Channel) kanálu (OSCM). Používané ROADM podporuje vkládání/odbočení nebo průchod 32 optických přenosových kanálů v pásmu C s rozestupem 100 GHz dle ITU-T.

V mezilehlých uzlech DWDM sítě jsou umístěny zesilovače a kompenzátory disperze, které jsou potřebné pro zajištění správné funkce DWDM systému, požadovaného počtu kanálů a kvality přenášeného signálu (hodnota BER rovna nebo lepší než 10-15). Zesilovače jsou rovněž založeny na platformě ONS 15454. Důležitou podmínkou při implementaci DWDM sítě je důsledná kompenzace chromatické disperze ve všech optických úsecích (span) na hodnoty blízké nule, která nám dovoluje bezproblémové rozšiřování nebo úpravy topologie DWDM sítě bez nutnosti zásadních změn celého systému.

Základní přenosový systém DWDM v kruhové topologii byl dokončen koncem roku 2005 (Etapa 3). Softwarově rekonfigurovatelné ROADM uzly jsou umístěny v Praze, Brně, Olomouci a Hradci Králové (viz obrázek).

[Obrázek]

Obrázek 2.3: 3. etapa CESNET2 DWDM, základní DWDM okruh (větší obrázek)

V každém uzlu sítě CESNET2 je umístěn ROADM uzel v jedné základní jednotce (ETSI chassis 15454E s redundantními řídícími procesory TCC2P, napájecími jednotkami a ostatními nezbytnými komponentami). Druhá jednotka je vyhrazena pro umístění transponderů, které převádějí "šedý" signál klientského rozhraní na "barevný" signál DWDM sítě. DWDM rozhraní transponderů (trunk) připojujeme přes propojovací optické panely na příslušné optické kanály ROADM uzlu. Typickou sestavu DWDM uzlu představuje obrázek.

Pro připojení koncových klientů (směrovače, přepínače) využíváme 10 Gb/s multirate transpondery přeladitelné přes celé pásmo C, s podporou FEC (Forward Error Correction dle ITU G.975 Reed-Salomon algoritmus) a E-FEC (G.975.1 two orthogonally concatenated BCH super FEC). Přeladitelnost transponderů v rámci celého pásma umožňuje flexibilní využití kterékoli vlnové délky přenášené DWDM systémem, s využitím E-FEC algoritmů lze konfigurovat optické přenosové kanály na delší vzdálenosti bez zhoršení jejich kvality (zejména BER hodnot).

[Obrázek]

Obrázek 2.4: CESNET2 DWDM uzel Praha (vlevo ROADM uzel, vpravo transponder chassis)

V roce 2006 proběhla veřejná soutěž na rozšíření DWDM sítě CESNET2 (Etapa 4) o nové úseky Praha-Plzeň a Olomouc-Ostrava včetně návrhu a realizace jejich napojení na páteřní DWDM okruh. Základním požadavkem bylo propojení na optické úrovni bez nutnosti OEO konverze a realizace takovým způsobem, který umožní bezproblémové přidání aktivního propojovacího zařízení (trojcestné ROADM nebo wavelength selective optical switch) v budoucnosti. Nezbytnou podmínkou byl požadavek kompatibility se stávající technologií (na hardwarové a softwarové úrovni i z hlediska dohledu a správy) pro zajištění maximální celistvosti rozšířené DWDM sítě.

Na základě výsledků veřejné soutěže jsme vybrali řešení Cisco Systems založené na modulárním DWDM systému ONS 15454 MSTP. Rozšíření DWDM sítě na základě shodné technologie je technicky i ekonomicky nejvýhodnější variantou pro zajištění bezproblémové funkčnosti celé sítě. Veřejnou soutěží jsme si dostatečně ověřili, že kompatibilitu DWDM systémů různých výrobců na optické úrovni nelze prakticky zajistit vzhledem ke značným odlišnostem ve vlastnostech, provedení, koncepci a implementaci.

Návrh technického řešení rozšíření DWDM sítě zahrnuje osazení nových optických úseků, jejich propojení se stávajícím DWDM okruhem a další nezbytné změny a úpravy stávající DWDM sítě pro zajištění požadované kvality optických přenosových kanálů.

[Obrázek]

Obrázek 2.5: Topologie DWDM po ukončení etapy 4 (větší obrázek)

Pro připojení nových úseků na základní DWDM okruh jsme museli změnit topologii DWDM uzlů Praha a Olomouc z kruhové ROADM na topologii typu HUB, abychom umožnili odbočení nebo vkládání optických přenosových kanálů mezi novými úseky a základním přenosovým okruhem. Propojení přenosových kanálů je prováděno optickými propojovacími kabely pro každý zvlášť. Toto řešení je ekonomické, zásadní nevýhodou je, že takto propojovat je nutné i optické přenosové kanály, které procházejí v rámci DWDM okruhu dotčeným uzlem (mezi EAST a WEST směry), čímž jsme ztratili výhody dvoucestných ROADM spočívající v softwarové konfiguraci libovolných přenosových kanálů (bez nutnosti manuálních propojení). Technické řešení propojení je však připraveno na rozšíření na trojcestné ROADM založené na wavelength cross-connect (WXC) nebo doplnění o optické přepínače. Přechod propojení z dočasného na aktivní propojovací prvky, které umožní SW konfiguraci optických přenosových kanálů v rámci celé DWDM sítě, plánujeme v dalších etapách rozvoje. Aktuální topologii optické DWDM sítě najdete na obrázku.

Součástí této etapy rozvoje DWDM sítě bylo i rozšíření optické trasy Olomouc-Ostrava do Polského Těšína (Cieszyn) v rámci mezinárodního projektu sítě GÉANT2 (úkol JRA4-WI3). Tato aktivita, pojmenovaná CBF (Cross-Border Fiber), je zaměřena na optická propojení sousedících států. Optickou trasu Ostrava-Cieszyn jsme osadili DWDM technologií sítě CESNET2 a ve spolupráci s polskou NREN PIONIER jsme zřídili společný propojovací DWDM uzel v Polském Těšíně. Protože síť PIONIER používá DWDM zařízení jiného výrobce (ADVA Optical Networking) a rovněž i vzhledem k technickým omezením na optických úrovních jsme zvolili propojení na druhé vrstvě (10 LAN PHY Ethernet). Propojení bude technicky realizováno mezi klientskými rozhraními transponderů obou DWDM systémů (back-to-back). Osazení a testování 10GE přenosových kanálů Praha-Cieszyn v síti CESNET2 bylo úspěšně dokončeno.

Parametry kanálů jsme ověřili Ethernet testerem z uzlu Praha (se smyčkami na klientských stranách transponderů v uzlu Cieszyn). Naměřené hodnoty BER odpovídají projektovaným parametrům, průměrné hodnoty zpoždění jsou 6,77799 ms.

K propojení přenosových kanálů s DWDM vrstvou sítě PIONIER dojde začátkem roku 2007, neboť naši polští partneři v současné době nemají k dispozici potřebné transpondery.

V rámci rozvoje optické transportní sítě DWDM jsme se rovněž zabývali možnostmi performance monitoringu (PM) jednotlivých optických přenosových kanálů. Provozovaná technologie Cisco ONS 15454 MSTP podporuje jazyk TL-1 a SNMP (MIB verze 1 a 2c). Správa a sledování sítě CESNET2 využívá protokol SNMP, proto jsme se orientovali na využití stávajících systémů i pro DWDM. Ve spolupráci s aktivitou Sledování infrastruktury a provozu sítě, která vyvíjí měřicí systém G3, jsme tento systém rozšířili o monitorování DWDM (systémové, optické a L2 SNMP statistiky). Performance monitoring zahrnuje i sledování aktuálního stavu rozhraní pro připojení koncových zařízení (viz obrázek). V případě "cizích" optických signálů jde o optický port ROADM a při použití transponderů o klientské rozhraní.

[Obrázek]

Obrázek 2.6: Sledování výkonu a stavu přenosového DWDM kanálu (větší obrázek)

DWDM systém poskytuje dva základní typy statistik:

Systém G3 využívá měření "Current Optics PM" získávané s periodou 15 minut. Příklad monitorování optických úrovní Rx/Tx je uveden na obrázku.

[Obrázek]

Obrázek 2.7: Monitoring optického přenosového kanálu č. 24 na portu ROADM

2.3   Optické pasívní DWDM systémy

Optické pasívní DWDM systémy jsou vyvíjeny výzkumnými aktivitami a ověřovány v reálném prostředí sítě CESNET2. Jejich základem jsou stavebnicové sestavy optických zesilovačů CLA (CzechLight Amplifier), doplněné pasivními DWDM Multiplexery/Demultiplexery pro přenos několika vzájemně nezávislých optických kanálů (typicky 4-8) s kapacitou 1-10 Gb/s. Nedílnou součástí sestavy je i kompenzace chromatické disperze pro zajištění bezchybného přenosu kanálů o kapacitě 10 Gb/s. Celkové řešení je založeno na principu NIL (Nothing-In-Line), t.j. bez nutnosti mezilehlých zesilovačů.

V období roku 2006 jsme experimentálně osadili optické trasy CBF Brno-Bratislava a Brno-Vídeň a optickou trasu Praha-Ústí nad Labem-Masarykova nemocnice.

2.3.1   Optická trasa Brno-Bratislava

Optická trasa Brno-Bratislava o délce cca. 200 km je osazena optickými zesilovači CLA PB01 a statickými 4kanálovými DWDM multiplexery a demultiplexery. Návrh osazení umožňuje přenos kanálů o kapacitě 1-10 Gb/s. Pro kompenzaci chromatické disperze jsme úspěšně ověřili Braggovské mřížky (FBG).

Optický přenosový kanál o vlnové délce 1550,12 nm (kanál 34) propojuje hraniční směrovače sítě CESNET2 Cisco OSR 7609 (R98) v Brně a Cisco Catalyst 6500 slovenské akademické sítě SANET kapacitou 10 Gb/s. Hraniční směrovače jsou osazeny výměnným optickým transceiverem DWDM Xenpak o příslušné vlnové délce. Celkové náklady na osazení trasy (bez výměnných transceiverů pro ukončení DWDM kanálů v koncových směrovačích) činí cca. 700 tis. Kč.

2.3.2   Optická trasa Brno-Vídeň

Osazení optické trasy Brno-Vídeň bylo realizováno jako společný projekt s rakouskou akademickou sítí ACOnet. S ohledem na na větší délku trasy a její útlum (délka 224 km a útlum 50 dB) jsme ji osadili novějšími prototypy zesilovačů CLA PB02, které používají výkonnější moduly optických zesilovačů. Pro kompenzaci chromatické disperze používáme Braggovské mřížky (FBG). Návrh osazení je proveden pro přenos osmi vzájemně nezávislých optických kanálů o přenosové kapacitě 10 Gb/s.

Pro propojení hraničních směrovačů jsme použili optický kanál o vlnové délce 1550,12 nm (kanál 34) s přenosovou rychlostí 10 Gb/s. Celkové náklady na osazení trasy s ohledem na výkonnější moduly CLA zesilovačů jsou cca. 1 mil. Kč (bez výměnných transceiverů pro ukončení optických kanálů ve směrovačích). Používané typy výměnných transceiverů (DWDM Xenpak) podporují monitorování optických úrovní kanálů (Digital Optical Monitoring). Implementace do měřicího systému G3 v současné době probíhá.

2.3.3   CBF propojení CESNET2-SANET-ACOnet

Osazením trasy Brno-Vídeň vzniklo společné CBF propojení (trojúhelník Rakousko-Česko-Slovensko), které vzájemně propojuje sítě CESNET2, SANET a ACOnet na optické úrovni (Layer-1) a umožňuje poskytování nezávislých optických přenosových kanálů pro výzkumné aktivity a projekty (s výjimkou trasy Bratislava-Vídeň, kde se využívá "šedé" řešení). Toto propojení je rovněž využíváno ke komunikaci hraničních směrovačů všech sítí rychlostmi 10 Gb/s. Prostřednictvím EoMPLS tunelů Brno-Ostrava po MPLS páteři sítě CESNET2 a jejich mapování do VLAN umožňujeme přístup polské akademické sítě PIONIER k sítím SANET a ACOnet.

Hraniční IP směrovače (na straně CESNET2 používáme Cisco OSR 7609, SANET a ACOnet mají Cisco Catalyst 6500) jsou shodně nakonfigurovány v hybridním Layer-2/Layer-3 režimu. Na logické úrovni používáme na všech 10GE trasách 802.1Q, který umožňuje podporu VLAN na 2. vrstvě mezi všemi směrovači. VLAN používáme pro dvoubodová propojení směrovačů ve 3. vrstvě a rovněž i pro mapování EoMPLS tunelů a jejich prodloužení do sítí SANET a ACOnet. Detailní popis propojení je uveden na obrázku.

[Obrázek]

Obrázek 2.8: Schéma CBF trojúhelníku A-CZ-SK a propojení na síť PIONIER (větší obrázek)

Ve spolupráci s administrátory sítí SANET a ACOnet jsme řešili možnosti plnohodnotného vzájemného zálohování provozu v rámci našeho propojení a zejména otázku rychlé konvergence při přerušení kteréhokoliv z optických okruhů nebo poruchy některého z hraničních směrovačů.

Velmi rychlé a téměř bezvýpadkové přesměrování provozu lze zajistit jen v nižších vrstvách sítě, v našem případě ve 2. vrstvě. Ve vyšší 3. vrstvě bychom museli zálohování zajistit pomocí protokolu eBGP, který nemá potřebné vlastnosti pro rychlou subsekundovou konvergenci a navíc by si vyžádal komplikovanou konfiguraci na všech směrovačích. Jako výsledné řešení jsme ověřili a použili Rapid-PVST (Rapid-Per-VLAN-Spanning Tree), který umožňuje rychlou konvergenci dle standardu IEEE 802.1w. Implementace protokolu na směrovačích a přepínačích Cisco zahrnuje řadu rozšíření proti standardu a není proto zcela kompatibilní s jinými výrobci. Vzhledem k tomu, že všechny hraniční směrovače pocházejí od téhož výrobce, nemuseli jsme problémy kompatibility řešit komplikovanějšími konfiguracemi dle standardu IEEE 802.1s MST (Multple Spanning Tree). Na směrovačích využíváme tzv. root (hlavní) a secondary (záložní) bridge pro každou VLAN zvlášť (viz obrázek). Zvolený způsob zálohování umožňuje zálohovat i EoMPLS ze sítě PIONIER. V tomto případě jsme museli použít náhradní řešení, neboť MPLS směrovač sítě CESNET2) neumožňuje mapování EoMPLS tunelů do VLAN. Náhradní řešení spočívá v externím propojení 10GE portů, z nichž jeden je využit ve 3. vrstvě (pro EoMPLS) a druhý ve 2. vrstvě (pro VLAN).

Provedené testy rychlosti přepínání na záložní spojení prokázaly velmi rychlou konvergenci. K převedení provozu dojde přibližně za 60 ms.

2.3.4   Optická trasa Praha-Ústí nad Labem

Osazení optické trasy Praha-Ústí nad Labem vícekanálovým řešením jsme realizovali na základě požadavku pilotního projektu propojení datových center Masarykovy nemocnice v Ústí nad Labem, ÚVN a FN Motol v Praze. Komunikace datových center vyžaduje vysokorychlostní připojení s nízkými hodnotami zpoždění. Z bezpečnostních důvodů je nutné i oddělení od běžného provozu. Těmto požadavkům vyhovuje pasívní DWDM systém založený na optických zesilovačích CLA PB01.

Pasívním DWDM systémem jsme osadili páteřní trasu Praha-Ústí nad Labem o délce cca. 150 km a navazující lokální úsek z uzlu Ústí nad Labem do Masarykovy nemocnice (bez nutnosti zesílení). Jsou zde použity osmikanálové multiplexery a demultiplexery a Braggovské mřížky pro kompenzaci chromatické disperze (nutné pro přenosové rychlosti 10 Gb/s). Optický přenosový kanál 1551,72 nm o kapacitě 1 Gb/s je ukončen ve směrovačích sítě CESNET2 (výměnné transceivery DWDM SFP). Kanál 1554,13 nm se stejnou kapacitou, který je vyhrazen pro propojení datových center, prochází jako "express" z Masarykovy nemocnice přímo do pražského uzlu a je ukončen na centrálním L2 přepínači. Propojení tohoto kanálu mezi oběma DWDM úseky je realizováno optickými propojovacími kabely mezi příslušnými vstupy a výstupy DWDM multiplexerů a demultiplexerů. Topologii celého řešení znázorňuje obrázek.

Ukončení kanálu na portu fiber channel přepínače v Masarykově nemocnici jsme museli řešit pomocí SFP-to-SFP konvertoru, protože fiber channel přepínač nepodporuje DWDM transceivery. V dalším období plánujeme povýšení optických kanálů na 10 Gb/s, osazení navazující optické trasy Ústí nad Labem-Liberec a ověřování OADM (místo stávajících multiplexerů a demultiplexerů).

2.4   IP/MPLS topologie

IP/MPLS vrstva sítě CESNET2 je postavena nad optickou infrastrukturou a využívá část optických přenosových kanálů (viz obrázek). Páteřní směrovače jádra IP/MPLS sítě (v MPLS vrstvě zastávají funkci P směrovačů) jsou umístěny v hlavních DWDM uzlech: Praha, Brno, Olomouc a Hradec Králové. Na těchto směrovačích jsou u zakončeny páteřní 10 Gb/s okruhy. Připojení na DWDM systém je realizováno pomocí transponderů, které zajišťují konverzi z "šedého" rozhraní XENPAK-LR (1310 nm) směrovačů na "barevný" DWDM signál a bezchybný přenos DWDM systémem (3R regenerace, dopředná oprava chyb E-FEC). U optických přenosových kanálů kratších délek (cca. 200 km) rovněž využíváme přenos optických signálů bez použití transponderů. Optické kanály jsou v tomto případě ukončeny na výměnných transceiverech XENPAK-DWM směrovačů. V ostatních uzlech sítě jsou umístěny přístupové směrovače (v MPLS vrstvě zastávají funkci PE směrovačů) pro připojování koncových účastníků a zajišťují veškeré služby páteřní sítě (MPLS, EoMPLS, IPv4/IPv6 unicast a multicast směrování, NetFlow statistiky). Aktuální topologie je uvedena na obrázku.

Ve funkci P a PE směrovačů používáme Cisco OSR 7609 s procesory SUP720-3BXL a 4portovými 10GE LAN PHY rozhraními (směrovače obsahují též karty 1GE rozhraní a další nezbytné komponenty).

[Obrázek]

Obrázek 2.9: Aktuální topologie IP/MPLS vrstvy sítě CESNET2 (větší obrázek)

V menších uzlech, které nejsou přímou součástí MPLS ystému a nepodporují MPLS, používáme L2/L3 přístupové přepínače Catalyst 3750 (zastávají funkci CE zařízení v MPLS vrstvě). Mezi těmito přepínači a nadřazenými PE směrovači používáme virtuální sítě na bázi 802.1Q. Ty využíváme pro dvoubodová propojení a rovněž i pro distribuci L2 Ethernet služeb koncovým účastníkům těchto malých uzlů (propojení páteřních EoMPLS tunelů do příslušných VLAN).

Jako interní směrovací protokol v MPLS síti používáme vyhrazený protokol OSPFv2, který je nakonfigurován na všech P a PE směrovačích. Vlastní směrování adresových bloků účastnických sítí zajišťuje interní BGP protokol (iBGP), který je aktivován mezi všemi přístupovými PE směrovači a využívá tzv. route-reflektory na peeringových směrovačích R84, R85 a R98. Stejné route-reflektory využívá také iMBGP (interní Multicast BGP) a BGP pro unicast IPv6. Směrování IPv4 a IPv6 unicastu je zajišťováno MPLS (pakety obsahují MPLS značky) a směrovače jsou využívány v tzv. dual-stack režimu PE/6PE (současná podpora IPv4 a IPv6). Šíření IPv4 multicastu (skupinově adresované vysílání) je zajišťováno bez MPLS značek.

V rámci rozvoje topologie IP/MPLS sítě jsme povýšili páteřní uzly Ostrava a Plzeň na 10 Gb/s. Rozšíření optické DWDM sítě Ostrava-Cieszyn umožnilo upgrade propojení s polskou sítí PIONIER na 10 Gb/s. S využitím pasívní DWDM technologie CLA PB02 na trase Brno-Vídeň jsme povýšili propojení s rakouskou sítí ACOnet a přístup do peeringového centra VIX na 10GE. Nahradili jsme rovněž některé již nevyhovující a zastaralé směrovače (např. v uzlech Ústí nad Labem, Most, Děčín) novými směrovači s podporou 10GE a 1GE přepínači pro zajištění dalšího rozvoje těchto uzlů. V oblasti zvýšení spolehlivosti a dostupnosti služeb páteřní sítě jsme optimalizovali konfiguraci směrovacích protokolů BGP a OSPF (dosažení rychlejší konvergence při přesměrování provozu na záložní připojení) a ověřovali jsme možnosti a způsoby zabezpečení celé síťové infrastruktury.

2.4.1   Zabezpečení síťové infrastruktury

Implementace a ověření CoPP (Control Plane Policing) na směrovačích páteřní sítě výrazně zvýšilo stabilitu a dostupnost služeb sítě a odolnost směrovačů proti útokům typu DoS (Denial of Service), které jsou schopny způsobit přetížení procesorů směrovačů a následně ovlivnit i celkovou stabilitu páteřní sítě a její výkon. V roce 2006 jsme se zaměřili na sofistikované systémy specializované na shromažďování informací o provozu v rámci celé sítě (na základě NetFlow statistik, záznamů ze směrovačů i dalších metod), které jsou schopné provádět automatickou analýzu a detekci anomálií celkového síťového provozu. Naším cílem je využít tento systém pro účinné vyhledávání a blokování anomálií síťového provozu, jako jsou rychle se šířící viry a červi (napadající zejména OS typu MS Windows), distribuované útoky DDoS (Distributed Denial of Service) a další.

Systém pro zabezpečení síťové infrastruktury musí účinně detekovat a zmírňovat následky útoků. Rovněž by měl být schopen ve spolupráci s aktivními síťovými prvky (směrovači) automaticky tyto anomálie a útoky blokovat dříve, než se začnou šířit infrastrukturou páteřní sítě. Běžně používanou metodou jsou přístupové filtry (access-listy) na okrajových směrovačích sítě (PE směrovače). Přístupové filtry jsou manuálně konfigurovány na rozhraních směrovačů a jejich správa je poměrně náročná a komplikovaná. Příliš velké a rozsáhlé filtry mohou rovněž zatěžovat centrální jednotky směrovačů a ovlivňovat tak jejich celkovou funkci.

Perspektivním řešením je technologie RTBH (Remote-triggered Black Hole). Filtrovací technika RTBH využívá vlastnosti směrovacího protokolu BGP pro ovlivňování směrovacích záznamů na okrajových směrovačích sítě a zablokování nežádoucího provozu dříve, než vstoupí do páteřní sítě. Blokování lze provádět na základě zdrojových i cílových IP adres. Nežádoucí provoz je přesměrován na virtuální rozhraní směrovače Null0, které nikdy nepřijímá ani nevysílá data. Přesměrování nežádoucího IP datagramu je základním principem jeho zablokování na cestě k určenému cíli.

RTBH využívá specializované aktivační zařízení, tzv trigger, které ovlivňuje směrovací tabulky okrajových směrovačů sítě (PE směrovače) protokolem iBGP (viz obrázek). Jako RTBH trigger lze použít vyhrazený směrovač, který protokolem iBGP přímo komunikuje s okrajovými směrovači (nezávisle na route-reflektorech používaných pro iBGP). Vlastní RTBH filtrace je prováděna pomocí tzv. BGP komunit, centrálně nastavovaných RTBH směrovačem. Příslušné okrajové směrovače pak na základě směrovacích map (route-map) provádějí vlastní zablokování IP paketů. Proces blokování je prováděn selektivně (podle předem definovaných BGP komunit) a lze jej aktivovat na vybraném směrovači či skupině směrovačů.

[Obrázek]

Obrázek 2.10: Ověřování RTBH technologie v prostředí sítě CESNET2 (větší obrázek)

Na obrázku je uvedena varianta selektivního blokování útoku na externích směrovačích R84 a R85, které zajišťují globální zahraniční konektivitu. Nevýhodou RTBH je, že je na daných směrovačích zablokován veškerý IP provoz k cílové stanici, nejen IP pakety útočníka. Nespornou výhodou je, že blokování provozu lze flexibilně zajistit na centrálním RTBH směrovači jednoduchou úpravou konfigurace. Technologii RTBH rovněž podporují některé dostupné systémy pro analýzu síťového provozu a detekci anomálií, takže detekci a blokování útoků bude v budoucnosti možné provádět automaticky.

V období roku 2006 jsme testovali dva systémy, které se jevily jako potencionálně použitelné v prostředí sítě CESNET2: Cisco CS-MARS (Cisco Security Monitoring and Response System) a systém Arbor PeakFlow SP (výrobce Arbor Networks).

Testování Cisco Security Monitoring, Analysis, and Response System CS-MARS 100 proběhlo v dubnu a květnu 2006. Zařízení nám společně se sondou prevence/detekce průniků IDS-4250-XL) zapůjčila firma Cisco Systems. Při testech poskytovalo velmi užitečné informace o detekovaných bezpečnostních incidentech v reálném čase, včetně schopnosti inteligentní korelace velkého množství událostí (posílaných z různých typů síťových zařízení) využívaných pro automatickou identifikaci útočníků a napadených počítačů s možností grafického zobrazení cest šíření útoků a nabídky akcí pro eliminaci či zmírnění jejich následků.

Systém CS-MARS zpracovával bezpečnostní informace posílané ze sondy IDS-4250-XL (monitorovala zrcadlený provoz 35 velmi zatížených Gigabit Ethernet VLAN na R84) a softwarové IDS sondy Snort 2.3.3 (monitorovala zrcadlený provoz LAN segmentu CESNETu v Praze). Dalšími zdroji informací pro CS-MARS byly NetFlow exporty v5 posílané v první fázi testování trojicí páteřních směrovačů Cisco 7600 (R84, R85 a R92) a v závěrečné fázi hraničním směrovačem Cisco Catalyst 6500 sítě ZČU v Plzni (v té době již byly páteřní směrovače Cisco 7600 v síti CESNET2 převedeny na NetFlow verze 9, kterou CS-MARS nepodporuje).

Výsledky testování CS-MARS 100 potvrdily očekávání, že se jedná o velmi mocný a užitečný nástroj pro monitorování a řízení bezpečnosti IP sítí. Během testování jsme bohužel narazili také na některé nepříjemné vlastnosti:

S ohledem na skutečnost, že systém nepodporuje NetFlow verze 9, a výrobce toto rozšíření v horizontu nejbližších dvou let neplánuje, nelze jej v prostředí sítě CESNET2 využít. Systém rovněž postrádá podporu mechanismů pro aktivní blokování útoků a anomálií (např. RTBH).

Koncem roku jsme v páteřní síti CESNET2 testovali zařízení Arbor Peakflow SP, které umožňuje sledování a vyhodnocovaní bezpečnostních incidentů, vyhodnocovaní provozu v reálném čase a vyhodnocování anomálií. Toto zařízení bylo v rámci testování zapůjčeno firmou Arbor Networks. Po dobu testování umožnilo sledovat informace o právě probíhajících útocích jak z vnitřních sítí CESNETu, tak i útocích směřujících do naší sítě. Zároveň nám umožnilo sledovat anomálie v síťovém provozu páteřní sítě. A v neposlední řadě také umožnilo sledovat velmi přehledné a užitečné informace o směrování do jednotlivých autonomních systémů.

Arbor Peakflow SP jsme testovali ve verzi 3.5.1. NetFlow bylo zasíláno z hraničních směrovačů R84, R85i, R96 a R98. Vzhledem k tomu, že jsme zjistili problém v exportu NetFlov v9 ze směrovačů řady Cisco 7600 (nekorektní TCP příznaky), zařadili jsme do tohoto testu i jeden směrovač řady Cisco 7200. Testování jasně ukázalo výhody tohoto řešení, především velmi dobrou detekci DoS a DDoS útoků a anomálií síťového provozu.

Systém je velmi propracovaný a přehledný, umožňuje přímé výstupy access listů či rate limiterů pro nejběžněji používané směrovače k okamžitému zastavení útoků. Dále umožňuje automatické zastavení anomálií a útoků pomoci RTBH, toto řešení plánujeme ověřit v budoucnosti. Snad jedinou vadou je složitější a méně přehledná konfigurace a poněkud obtížnější proniknutí do filozofie tohoto produktu, což ovšem bylo vyváženo velmi kvalitní technickou podporou.

2.5   End-to-End služby

End-to-End (E2E) služby jsou vyvíjeny a ověřovány v rámci výzkumných aktivit celoevropského projektu GN2 jako nový typ multidoménových služeb se zaručenou kvalitou pro potřeby výzkumných projektů a pokročilých uživatelů. Prvním typem E2E služeb se zaručenou kvalitou implementovanou v síti GÉANT2 je PIP (Premium IP) založené na DiffServ (Differentiated Services) End-to-End QoS (Quality of Service) modelu, který umožňuje rozdělování sdílené šířky pásma IP provozu do předem definovaných tříd na základě značkování datagramů DSCP (šestibitový Differentiated Services Code Point). Síť CESNET2 v návaznosti na GÉANT2 implementovala plně kompatibilní MPLS/DiffServ model (podrobnosti uvádí loňská zpráva o řešení výzkumného záměru).

Dosavadní zkušenosti se službou PIP ukazují, že v prostředí sdíleného provozu není schopna plně uspokojit požadavky náročných uživatelů na kvalitu služeb (např. malé zpoždění a ztrátovost paketů). Nové technologie implementované v NREN (zejména v oblasti optických přenosových sítí) přinášejí nové možnosti E2E služeb i v nižších vrstvách síťového modelu. Na úrovni Ethernetu (2. vrstva) nebo optické infrastruktury (1. vrstva) lze dosáhnout výrazně vyšší kvality E2E služeb a poskytnout uživatelům skutečný dvoubodový kanál oddělený od běžného provozu. Výzkumem této oblasti E2E služeb, vývojem a ověřováním nezbytných nástrojů a postupů se zabývají výzkumné aktivity GN2. Vývoj je rozdělen do tří hlavních oblastí :

Nový typ E2E služeb je implementován a vyvíjen v prostředí sítě GÉANT2 i v prostředí jednotlivých NREN. Síť GÉANT2 poskytující tyto pokročilé služby je pojmenována jako GÉANT2+. CESNET2 a řada dalších navazujících aktivit se ve spolupráci s projekty GN2 a ostatními NREN aktivně podílí na vývoji a implementaci nových E2E služeb a jejich návaznosti na síť GÉANT2+. Obrázek představuje topologii uzlu sítě GÉANT2+ v Praze a propojení se sítí CESNET2. To je realizováno dvojicí spojů 10GE LAN PHY - první je vyhrazen pro standardní IP síť, druhý pro E2E služby.

[Obrázek]

Obrázek 2.11: Topologie uzlu sítě GÉANT2+ v Praze

Síť GÉANT2+ používá pro E2E služby Ethernet/SDH přepínač Alcatel 1678 MCC, který obsahuje 10GE rozhraní s podporou EVPL (Ethernet Virtual Private Lines). Funkce EVPL umožňuje mapování Ethernet VLAN do VCG (Virtual Concatenation Group), které jsou SONET/SDH vrstvou sítě GÉANT2+ přenášeny jako samostatné virtuální kontejnery (VCAT - Virtual Concatenation).

Síť CESNET2 používá pro návaznost E2E služeb na síť GÉANT2+ modulární L2/L3 přepínač. Ten zajišťuje agregaci Ethernet VLAN pro jednotlivé E2E služby a je připojen na Ethernet/SDH přepínač sítě GÉANT2+ 10GE rozhraním s podporou 802.1Q. Distribuce E2E služeb koncovým uživatelům sítě CESNET2 je zajišťována několika způsoby:

V prostředí sítě CESNET2 podporujeme na optické a ethernetové úrovni pouze dvoubodové služby. V rámci rozvoje IP/MPLS části sítě jsme plánovali ověřování vícebodových ethernetových služeb VPLS (Virtual Private LAN Services). Nelze je však implementovat, protože 10GE rozhraní používaná v PE směrovačích OSR 7609 (4portové 10GE karty WS-X6704) je nepodporují. Jediným možným řešením by byla náhrada novými typy 10GE rozhraní na základě modulů SIP-600. Tato změna by však v současné době byla příliš drahá, proto jsme využití VPLS prozatím odložili. Jako náhradní řešení lze použít externí Ethernet přepínač, který umožní propojení dvoubodových okruhů a vytvoří tak vícebodovou infrastrukturu.

Perspektivnější technologií je využití přirozených ethernetových služeb v rámci páteřního DWDM systému, do něhož v současnosti existují rozhraní 10GE Xponder podporující Ethernet multiplexing nad DWDM sítí s využitím VLAN.

Dosavadní zkušenosti s distribucí E2E služeb ke koncovým uživatelům ukazují, že nejkritičtějším místem je doručení z uzlu sítě CESNET2 (tzv. poslední míle). Nejpoužívanějším řešením je CWDM či statický DWDM systém, neboť potřebujeme vždy nejméně dva nezávislé přenosové kanály (jeden pro E2E službu, druhý pro standardní IP). Velmi důležitá je rovněž podpora koncových účastníků pro připojení E2E služby, zejména z hlediska kompatibility koncového zařízení. Při zřizování služby je potřeba řešit otázky konverze optického signálu (vlnové délky) na rozhraní podporované koncovým zařízením uživatele, plán IP adresace (většina aplikací komunikuje protokolem IP) a jiné. Nedílnou součástí E2E služby je rovněž sledování výkonu a řešení provozních problémů.

Ve spolupráci se sítí GÉANT2+ a německou sítí DFN jsme se podíleli na pilotním projektu E2E Ethernet služby s kapacitou 1 Gb/s mezi FZÚ Praha a IWR Karlsruhe, kde je umístěn uzel projektu LHC (Large Hadron Collider). Tento spoj je určen pro zajištění vyhrazeného přístupu k velkým objemům dat vznikajícím v rámci projektu LHC.

[Obrázek]

Obrázek 2.12: Propojení E2E služby FZÚ-Karlsruhe v uzlu CESNET2 (větší obrázek)

Optická přenosová trasa z FZÚ do uzlu sítě CESNET2 je osazena technologií CWDM (viz obrázek). CWDM kanál 1510 nm je použit pro pro E2E službu a "šedý" kanál 1310 nm pro experimentální připojení FZÚ na uzel GOLE CESNET (GLIF Open Lightpath Exchange). L2/L3 přepínač pro agregaci E2E služeb je osazen výměnným transceiverem CWDM, na straně FZÚ bylo nutné provést konverzi, neboť jejich koncové zařízení (směrovač) CWDM transceivery nepodporuje. E2E služba byla zprovozněna v listopadu 2006 a koncoví účastníci úspěšně provedli testy kvality a průchodnosti spojení.

V rámci výzkumné aktivity GN2 JRA3 WI4 a sítě Internet2 jsme spolupracovali na experimentálním vytvoření E2E spojení Louisiana-Brno s kapacitou 1 Gb/s. Základním cílem experimentu bylo získání technických a organizačních zkušeností se sestavením E2E služby procházející více administrativními doménami a různorodými síťovými technologiemi.

V experimentu jsme se zaměřili na komunikační kanály mezi správci jednotlivých domén, stanovení podmínek propojování (datové modely propojení) a v technické oblasti na otázky kompatibility rozhraní a služeb poskytovaných účastnickými sítěmi (framing, SDH/SONET, Ethernet VLAN, EoMPLS, aj.). Výsledky tohoto experimentu jsou využívány jako podklady pro vývoj systémů BoD (Bandwidth on Demand), jejichž cílem je vytvoření prostředků pro automatizaci sestavování E2E služeb.

2.6   Plány rozvoje v dalším období

Rozvoj optické přenosové vrstvy DWDM je důležitý zejména pro další rozvoj IP/MPLS části sítě a pro poskytování E2E služeb koncovým uživatelům. V oblasti DWDM plánujeme pokračovat v rozvoji plnohodnotného páteřního DWDM systému, který je založen na technologii ONS 15454 MSTP, i statických DWDM systémů využívajících CLA.

Páteřní DWDM systém budeme rozvíjet jako optický přenosový systém základního jádra sítě CESNET2 s následujícími cíli:

Ve spolupráci se skupinou zabývající se vývojem statických DWDM systémů založených na optických zesilovačích CLA budeme pokračovat v ověřování těchto systémů v rámci sítě CESNET2:

[Obrázek]

Obrázek 2.13: Plán rozvoje DWDM infrastruktury (větší obrázek)

V oblasti rozvoje IP/MPLS vrstvy sítě CESNET2 budeme pokračovat v povyšování dalších uzlů na 10GE s využitím optické transportní vrstvy DWDM. Pro další rozvoj vlastností a funkcí páteřní sítě připravujeme povýšení páteřních směrovačů na novou řadu IOS Cascades 12.2(33)SRA, která obsahuje řadu nových funkcí a vlastností. Tento IOS však již nebude podporovat některé starší moduly rozhraní ve směrovačích OSR 7609. Připravujeme úpravy topologie sítě tak, aby došlo k vyřazení většiny modulů a nahrazení stávajících propojení jiným způsobem. V případech, kdy to nebude možné, provedeme povýšení na nové moduly typu SIP-400.

Na úrovni IP/MPLS vrstvy sítě se zaměříme na následující oblasti:

Další rozvoj optické přenosové infrastruktury a IP/MPLS vrstvy sítě bude zaměřen na poskytování E2E služeb ve spolupráci se sítí GÉANT2+ a dalšími partnery účastníkům sítě CESNET2:

předchozí
obsah 		následující
další weby:fond rozvojemetacentrumCzechLightpřenosyvideoservereduroameduID.cz