hledat:

2   Rozvoj páteřní sítě CESNET2

V období roku 2009 jsme pokračovali v rozvoji celé síťové infrastruktury od optické přenosové vrstvy DWDM až po IP/MPLS vrstvu sítě. Do hlavního jádra optické přenosové sítě DWDM byly začleněny další DWDM uzly v Praze a Brně. S využitím technologie CL DWDM (CzechLight) jsme rozšířili přenosovou vrstvu DWDM o další trasy a dosáhli tím nasazení technologie DWDM v rámci celé sítě CESNET2.

Na úrovni IP/MPLS vrstvy sítě jsme nasadili druhý terabitový směrovač Cisco CRS-1/16 s podporou logických směrovačů, IPoDWDM a 40 Gb/s rozhraními v uzlu Brno. Rovněž jsme úspěšně ověřili přenosy signálů 40 Gb/s mezi uzly Praha a Brno stávajícím DWDM systémem ONS 15454 MSTP s využitím 40 Gb/s DWDM rozhraní ve směrovačích CRS-1/16 a různých typů modulací.

V oblasti nových protokolů a funkcí jsme se zabývali zejména pilotní implementací MPLS Traffic Engineering a zabezpečením aktivních páteřních prvků na úrovni protokolu IPv6.

2.1   Optická přenosová síť DWDM

Základní optická topologie páteřní sítě (viz obrázek 2.1) je založena na pronajatých párech optických vláken odpovídajících standardu ITU-T G.652. Část optických tras je jednovláknových (Ústí nad Labem–Most, Ústí nad Labem–Děčín, Plzeň–Cheb, Cheb–Most, Letohrad–Opava, Opava–Ostrava a Karviná–Ostrava), většina je dvouvláknových. Pronájem jednoho vlákna je oproti pronájmu páru vláken cenově výhodnější, ale přináší více omezení při osazování vhodnou technologií. Finanční nároky na technické řešení jsou vyšší a využitelnost vlnových délek je poloviční (obousměrný přenosový kanál se v tomto případě skládá ze dvou jednosměrných).

Hlavní uzly sítě CESNET2 jsou připojeny redundantně, tj. alespoň dvěma optickými trasami. Důležitým předpokladem redundantního připojení uzlu je geograficky nezávislé vedení optických tras, zejména v oblasti posledních mílí. Zde dochází k nejčastějším souběhům a fyzické přerušení trasy pak má katastrofální následky. Oprava přerušené optické trasy trvá často velmi dlouho (jednotky hodin). Takto dlouhý výpadek dotčeného uzlu a připojených účastníků nelze akceptovat. Oproti tomu jsou poruchy a problémy (zejména typu „Service Affected“) optických přenosových technologií DWDM méně časté (např. většina poruch systému ONS 15454 v uplynulém období neovlivnila funkčnost optických přenosových kanálů). Dosažení geograficky nezávislého přístupu (tzv. zakruhování) v uzlech sítě CESNET2 závisí na místních podmínkách a možnostech poskytovatelů optických vláken. Zřizování vlastních optických tras ve městech by bylo finančně náročné a zcela mimo naše možnosti. Nicméně situaci v dotčených uzlech průběžně monitorujeme a postupně se snažíme dosáhnout zakruhování ve všech klíčových uzlech sítě CESNET2. V letošním roce se tak podařilo zakruhovat uzel Liberec a do poloviny roku 2010 bude zakruhován i uzel České Budějovice.

V prostředí optické přenosové sítě CESNET2 využíváme výhradně technologii DWDM. Umožňuje na úrovni páteřní sítě protokolově nezávislý přenos více datových kanálů optickým vláknem a má nízké hodnoty zpoždění. V současné době jde o nejpoužívanější a v podstatě jedinou použitelnou technologii pro přenosy na delší vzdálenosti (s možností zesílení úrovně optických signálů). Technologie DWDM zároveň umožňuje další zvyšování přenosových rychlostí na 40 Gb/s již nyní a 100 Gb/s nebo více v blízké budoucnosti.

Současná optická transportní síť používá dva základní typy DWDM technologie (viz obrázek 2.1). Hlavní jádro je vybudováno na technologii Cisco ONS 15454 MSTP a umožňuje flexibilní vytváření optických přenosových kanálů mezi jednotlivými ROADM uzly. Koncepčně je hlavní jádro DWDM sítě navrhováno a budováno jako ucelený optický transportní systém s jednotným systémem správy, a to bez nutnosti OEO konverze optických přenosových kanálů a s možností vytvářet optické přenosové kanály end-to-end bez nutnosti jakéhokoliv propojení či rekonfigurace mezilehlých ROADM uzlů.

Na ostatních optických trasách, kde není vyžadován větší počet optických přenosových kanálů a jejich flexibilní konfigurace, využíváme systémy CL DWDM založené na programovatelných optických zesilovačích CzechLight (CL PB01, PB02, PB01F, PB02F), které CESNET vyvíjí v rámci svých výzkumných aktivit. Toto řešení je výhodné zejména z pohledu ekonomické náročnosti, neboť plnohodnotný komerčně dostupný DWDM systém je drahý a jeho možnosti by v těchto případech nebyly příliš využity.

Osazení optických tras v klíčových uzlech páteřní sítě rozdílnými typy DWDM technologií rovněž zvyšuje dostupnost a spolehlivost optických přenosových služeb, na nichž závisí zejména IP/MPLS vrstva sítě CESNET2. Toto řešení není výhodné jen z hlediska spolehlivosti, ale zároveň umožňuje bezproblémově a bezvýpadkově provádět přestavby transportního systému ONS 15454 MSTP, kde změna DWDM uzlů či přestavba úseků vyžaduje větší výpadek části systému a novou inicializaci všech uzlů (tzv. Automatic Node Setup, ANS) pro zajištění řádné funkce celého systému.

Aktuální topologie přenosového systému ONS 15454 MSTP je uvedena na obrázku 2.2. Systém se skládá celkem z 22 DWDM uzlů a zahrnuje:

• 3 vícecestné ROADM uzly (three-way ROADM) s optickými přepínači WXC (Wavelength Cross Connects) v Praze I, Hradci Králové a Olomouci,
• 5 dvoucestných ROADM uzlů (Praha II, Brno I, Brno II, Letohrad a Plzeň),
• 3 terminálové uzly (1-way ROADM) v Liberci, Českých Budějovicích a Ostravě),
• 11 zesilovacích uzlů (OLA).

Celkový počet provozovaných šasi ONS 15454 MSTP je v současné době 33 včetně tzv. multishelf uzlů v Praze I, Hradci Králové a Olomouci, kde se sestava 3–4 šasi ovládá jako jeden uzel. V letošním roce bylo provedeno povýšení na verzi SW 9.0.0.

Tento DWDM systém podporuje až 32 optických přenosových kanálů v každém úseku s projektovanou přenosovou rychlostí 10 Gb/s a umožňuje i přenos 40 Gb/s kanálů s využitím pokročilých modulací (ODB či DPSK+).

V období roku 2009 došlo k následujícím změnám optického transportního systému:

• Začlenění nového DWDM uzlu Praha II včetně celkové přestavby úseku Praha–Kolín–Hradec Králové.
• Deinstalace málo využitého uzlu v Těšíně včetně celkové přestavby úseku Brno–Vyškov–Olomouc.
• Začlenění nového DWDM uzlu Brno II.
• Rozšíření L2/DWDM topologie o Xponder uzel v Českých Budějovicích a zároveň uzavření celého okruhu CL DWDM trasou České Budějovice–Brno. Tímto krokem jsme zároveň zvýšili redundanci kruhové topologie, neboť kanály z Plzně již neprocházejí jen přes Prahu.
• Povýšení SW na verzi 9.0.0 (kromě řady nových vlastností jako např. podpora virtuálních transpondérů nám vyřešila problémy v oblasti SNMP měření systémem G3).
• Náhrada zastaralých TCC2 procesorů výkonnějšími TCC2P v ROADM uzlech mezi Praha I a Brno I (zejména v Praze malá výkonnost procesoru způsobovala problémy s SNMP měřením v rámci celého multishelf DWDM uzlu).

2.2   Optické systémy CL DWDM a jejich implementace v síti CESNET2

Osazením dalších jednovláknových (Opava–Ostrava, Karviná–Ostrava) a dvouvláknových optických tras (Brno–Zlín–Olomouc, Pardubice–Hradec Králové) jsme v letošním roce dokončili nasazení DWDM technologie na všech páteřních optických trasách sítě CESNET2 (viz obrázek 2.1).

Technické řešení osazení nových tras je stejné jako u stávajících, tj. 32kanálové DWDM Mux/Demux (AAWG) a kompenzace chromatické disperze širokopásmovými bezkanálovými kompenzátory založenými na Braggovských mřížkách (u tras s projektovanou kapacitou optických přenosových kanálů 10 Gb/s). Jednovláknové trasy využívají WDM vazební členy (couplery). Detailní popisy technických řešení lze nalézt v loňské zprávě o řešení výzkumného záměru či v technických zprávách na www.cesnet.cz.

Kromě výše uvedených tras byla realizována CL DWDM trasa Ostrava–Bielsko Biala (náhrada nepříliš využitého systému ONS 15454) a trasa Brno–Kyjov.

CL DWDM systémy je osazeno 21 optických tras, z toho 8 jednovláknových a 13 dvouvláknových. CL DWDM systém je nasazen na 3 zahraničních trasách (CBF) do Vídně, Bratislavy a Bielsko Biala. Celkem provozujeme 36 aktivních prvků, tj. převážně EDFA zesilovačů CLA-PB01F a CLA-PB02F osazených moduly 2in1 (preamp a booster).

Na obrázku 2.3 je uvedeno typické blokové schéma osazení dvouvláknové optické trasy Brno–Zlín–Olomouc, která se skládá ze dvou zřetězených point-to-point úseků Brno–Zlín a Zlín–Olomouc. Expresní 10 Gb/s optický kanál 1550,12 nm Brno–Olomouc, který prochází oběma úseky, je ve Zlíně propojen optickým patch kabelem. V koncových směrovačích využíváme výměnné optiky s podporou DOM (DWDM XENPAK, SFP, GBIC) pro zajištění nepřetržitého monitorování optických úrovní jednotlivých přenosových kanálů měřicím systémem G3. V uzlu Brno jsou kanály zakončeny přímo v DWDM ITU/C rozhraní páteřního směrovače s vypnutou podporou FEC/E-FEC, neboť výměnná optika tuto funkci nepodporuje. S ohledem na zajištění dostatečných výkonových rezerv optických kanálů jsou vstupní úrovně do koncových zařízení nastavovány na hodnoty cca –15 až –16 dBm, což je při typické citlivosti výměnných rozhraní cca –24 dBm zcela postačující.

Optické DWDM systémy CzechLight (CL) využíváme jako ekonomicky efektivní řešení pro osazování 1–10 Gb/s optických okruhů bez nutnosti zesilování v průběhu tras (NIL, Nothing-in-line princip). CL DWDM vhodně doplňuje hlavní DWDM systém na technologii Cisco ONS 15454 MSTP v rámci páteřní sítě, umožňuje zavést i do menších uzlů více nezávislých optických přenosových kanálů a rovněž i jejich transport jako „cizího“ optického kanálu hlavním DWDM systémem. Mimo páteřní síť využíváme CL DWDM zařízení i pro připojování některých koncových účastníků, kteří potřebují více nezávislých kanálů. Výhodou tohoto řešení je pak i snadný transport těchto kanálů sítí CESNET2.

V oblasti CL DWDM systémů úzce spolupracujeme s aktivitou Optické sítě, jejíž výsledky využitelné v síti CESNET2 postupně ověřujeme a nasazujeme. Z hlediska stávajících systémů jde o nové funkce a vlastnosti, zejména v oblasti správy a řízení CLA zesilovačů:

• unifikované webové rozhraní pro snadné nastavení a monitorování,
• rozšíření možností nastavení a monitorování (všechny optické parametry, limity sensorů, SNMP, e-mail notifikace, logování událostí na vzdálený log server, zálohy konfigurací),
• ovládání přes vestavěný display,
• centrální CL server (repozitář SW vybavení, NDL dokumentace, online aplikace pro přístup k parametrům CL zařízení přes SNMP).

Nové funkce a vlastnosti jsou nasazovány u nových zařízení instalovaných ve 2. pololetí 2009. Dříve osazené trasy plánujeme postupně povyšovat na nejnovější SW vybavení.

V oblasti nových zařízení CL jsme nasadili optický přepínač CLS 16×16 založený na technologii MEMS pro zálohování poslední míle DWDM systému ONS 15454 MSTP v úseku Plzeň–České Budějovice, viz obrázek 2.4. Zálohování využívá jeden přepínač CLS umístěný v uzlu Plzeň, na druhé straně optických úseků využíváme pasívní optický splitter 50/50. Celkové zvýšení útlumu je cca 4 dB, z toho činí vložný útlum CLS méně než 1,6 dB. Osazení DWDM systému ONS 15454 MSTP nebylo nutné upravovat, provedená simulace prokázala dostatečné rezervy v tomto úseku. Praktické testy přepínání CLS prokázaly velmi krátké přepínací časy (max. 35 ms) a DWDM systém přepnutí prakticky nezaznamenal. Využití CLS přepínače pro účely zálohování je však nepraktické, neboť přepínání je možné provádět pouze ručně. Pokud by se měl CLS používat pro tyto účely, bylo by vhodné jej doplnit o detekci poruchy a funkci automatického přepnutí na záložní trasu a vytvořit tak plnohodnotný přepínač optické ochrany. Při použití MEMS technologie je rovněž důležité, aby při výpadku napájení nedošlo k přerušení všech propojení a aby v tomto případě měl přepínač jasně definovaný vnitřní stav.

V dalším období rozvoje CL DWDM systémů se zaměříme na úpravy osazení optických tras, kde je více zřetězených optických úseků za sebou (např. Plzeň–Cheb–Most–Ústí n. L.). U těchto tras se již výrazně uplatňuje vliv pasivních DWDM Mux/Demux a statické úpravy výkonových poměrů jednotlivých přenášených kanálů. Výpadek kteréhokoliv z úseků pak způsobí jejich rozvážení v celém systému a ohrozí funkčnost ostatních, které výpadkem nejsou teoreticky postiženy. Řešením je náhrada pasivních DWDM Mux/Demux novými zařízeními CL-VMUX (Variable Multiplexer/Demultiplexer) nebo CL-ROADM (Reconfigurable Add/Drop Multiplexer), které umožňují řízení výkonu jednotlivých optických přenosových kanálů).

2.3   IP/MPLS topologie

IP/MPLS vrstva sítě CESNET2 je postavena nad optickou přenosovou topologií a využívá část optických přenosových kanálů. Páteřní směrovače jádra IP/MPLS sítě (v MPLS vrstvě sítě zastávají funkci P směrovačů) jsou umístěny v hlavních DWDM uzlech kruhové topologie optické přenosové sítě Praha, Brno, Olomouc a Hradec Králové. Na těchto směrovačích jsou zakončeny páteřní 10 Gb/s okruhy. Připojení na DWDM je realizováno pomocí transpondérů DWDM systému, které zajišťují konverzi z „šedého“ rozhraní XENPAK-LR (1310 nm) směrovačů na „barevný“ DWDM signál a bezchybný přenos DWDM systémem (3R regenerace, dopředná oprava chyb E-FEC). U optických přenosových kanálů kratších délek (cca 200 km) rovněž využíváme přenos optických signálů bez použití transpondérů. Optické kanály jsou v tomto případě ukončeny na výměnných transceiverech DWDM (XENPAK, XFP, X2) instalovaných v portech směrovačů. V nových terabitových směrovačích CRS-1/16 rovněž využíváme laditelné DWDM 10GE rozhraní. V ostatních uzlech sítě jsou umístěny přístupové směrovače (v MPLS vrstvě sítě zastávají funkci PE směrovačů) pro připojování koncových účastníků a zajišťují veškeré služby páteřní sítě (MPLS, EoMPLS, IPv4/IPv6 unicast a multicast směrování, NetFlow statistiky).

Ve funkci P a PE směrovačů používáme Cisco OSR 7609 s procesory SUP720-3BXL a RSP720-3CXL a 4portovými 10GE LAN PHY rozhraními (směrovače obsahují karty 1GE rozhraní a další nezbytné komponenty). V hlavních uzlech Praha I a Brno II provozujeme nové terabitové směrovače CRS-1/16.

Jádro sítě CESNET2 v hlavním páteřním uzlu Praha je zdvojeno jak na úrovni Internet peering směrovačů R118, R115 a R114, tak i na úrovni P směrovačů R119 a R107. Uzel Praha je geograficky rozdělen do dvou lokalit: Praha I (hlavní směrovače a připojení) a Praha II (záložní). Obdobně je řešena topologie uzlu Brno, který byl přestavěn v letošním roce.

V menších uzlech, které nejsou přímou součástí MPLS části sítě a nepodporují MPLS, používáme L2/L3 přístupové přepínače Catalyst 3750 (zastávají funkci CE zařízení v MPLS vrstvě). Mezi těmito přepínači a nadřazenými PE směrovači používáme značkování 802.1Q. VLAN v rámci 802.1Q využíváme pro point-to-point propojení a rovněž i pro distribuci ethernetových L2 služeb koncovým účastníkům těchto malých uzlů (propojení páteřních EoMPLS tunelů do příslušných VLAN).

Jako interní směrovací protokol (IGP) rámci MPLS sítě používáme vyhrazený protokol OSPFv2, který je nakonfigurován na všech P a PE směrovačích. Vlastní směrování adresových bloků účastnických sítí zajišťuje interní protokol BGP (iBGP), který je aktivován mezi všemi přístupovými PE směrovači a využívá tzv. route-reflektory na Internet peering směrovačích R118, R114 a R98. Stejné route-reflektory využívá iMBGP (interní Multicast BGP) a rovněž i BGP pro unicast IPv6. Směrování IPv4 a IPv6 unicastu je zajišťováno MPLS (pakety obsahují MPLS značky) a směrovače jsou využívány v tzv. dual-stack režimu PE/6PE (současná podpora IPv4 a IPv6). Šíření IPv4/IPv6 multicastu (skupinově orientované vysílání) je zajišťováno bez MPLS značek.

2.3.1   Změna topologie jádra sítě a instalace terabitového směrovače Cisco CRS-1/16 v uzlu Brno

Instalace nového terabitového směrovače CRS-1/16 v uzlu Brno navazuje na proces obnovy výkonnostně nevyhovujících směrovačů OSR 7609, který jsme zahájili v roce 2008 veřejnou soutěží na dodávku terabitového směrovače pro hlavní uzel Praha a jeho začleněním do páteřní sítě.

S ohledem na netriviální požadavky na transport, instalaci a provozování směrovacího systému (zejména hmotnost cca 700 kg, spotřeba cca 5,5 kW a nároky na chlazení cca 32 000 BTU/hod) se ukázalo, že současný uzel sítě CESNET2 Brno na Masarykově univerzitě nevyhovuje. Vhodné prostory pro umístění nám nabídlo VUT v Brně – jak z hlediska vlastního umístění, tak i z hlediska dostupnosti optických vláken. Počítačový sál VUT byl kompletně rekonstruován a při rekonstrukci byly zohledněny veškeré nároky systému CRS-1/16 tak, aby mohl být bez problémů instalován a provozován. Mimo výše uvedených požadavků jde například o vhodné umístění v rámci sálu a volný prostor pro servisní zásahy na zařízení (instalace a výměna komponent), zálohované třífázové napájení i motorgenerátor.

Nutnost umístění CRS-1/16 do nového uzlu jsme zároveň využili pro vytvoření geograficky rozděleného uzlu Brno, který je druhým největším uzlem sítě CESNET2, a tím i pro zvýšení jeho dostupnosti a spolehlivosti. Přesun P směrovače jádra sítě do nové lokality vyžadoval rovněž převedení páteřních přenosových okruhů hlavního přenosového systému DWDM ONS 15454 MSTP i CL DWDM okruhů. Pro snadnou migraci jsme v lokalitě VUT (uzel Brno II) zřídili nový DWDM uzel, který byl před instalací začleněn do páteřní optické přenosové sítě. Pro jeho zřízení byly využity šasi a komponenty uvolněné po zrušení DWDM uzlu v Těšíně. Nedílnou součástí začlenění nového DWDM uzlu bylo provedení nové simulace celé DWDM sítě a nezbytné úpravy zesílení a kompenzace chromatické disperze v úseku Brno II–Brno I–Vyškov–Olomouc. Přeložení CL DWDM okruhů jsme vzhledem k časové náročnosti rozdělili na dvě etapy:

Etapa I

Přepojení optických přenosových kanálů s využitím dočasně pronajatých optických vláken Brno I–Brno II (dvě geograficky nezávislé trasy).

Etapa II

Postupné překládání dálkových optických tras a přesuny CL DWDM technologie do uzlu Brno II. Tato etapa se ukázala jako poměrně komplikovaná, zejména z důvodů přesunů poslední míle a garance SLA poskytovateli vláken a služeb. V současné době stále probíhá, dokončení migrace očekáváme v roce 2010.

Na základě zkušeností s instalací a provozováním CRS-1/16 v uzlu Praha I jsme navrhli obdobné řešení i v uzlu Brno II, které se liší jen menším počátečním počtem rozhraní:

• Logické směrovače využívají tzv. Secure Domain Routers (SDR), které umožňují vytvářet fyzicky nezávislé směrovače v rámci jednoho systému (v našem případě PE a P). Směrovač P využívá hlavní RP systému (jsou dva v redundantní konfiguraci), pro směrovač PE jsou vyhrazeny další DRP (Distributed Routed Processor), rovněž v redundantní konfiguraci. Jednotlivým logickým směrovačům lze flexibilně přiřazovat karty rozhraní (pouze sloty, nikoliv porty). Logické směrovače využívají společné řízení systému, napájecí zdroje a přepínací pole, jinak fungují jako zcela fyzicky a administrativně oddělené směrovače.
• Propojení PE a P kapacitou 40 Gb/s (OC-768 POS).
• Laditelné DWDM 10GE rozhraní (4 porty, 50 GHz spacing, C-band, 80 kanálů, E-FEC/FEC/no-FEC).
• Navržené konfigurace PE a P směrovačů jsou bez oversubscription (umožňují plnou propustnost na všech portech).
• Dostupnost 40 Gb/s DWDM rozhraní.

Detail osazení s přehledem rozdělení na PE a P směrovače včetně zobrazení napájecích zón je uveden na obrázku 2.6.

Šasi CRS-1/16 je osazeno s ohledem na konfiguraci PE a P logických směrovačů. Horní část obsahuje dvojici DRP procesorů a je nakonfigurována jako PE-SDR směrovač, v dolní části je dvojice systémových RP procesorů a je nakonfigurována jako P-SDR směrovač. Propojení PE-SDR a P-SDR je realizováno vyhrazenými OC-768 POS moduly (POS0/0/0/0 a POS0/8/0/0) a externím propojením (logické směrovače nelze propojit virtuálně interní přepínací maticí). Řídicí, datové a napájecí sběrnice systému jsou umístěny ve střední části šasi. V přední části se nacházejí moduly fyzického rozhraní PLIM (Physical Layer Interface Module), zezadu jsou proti nim umístěny MSC (Modular Service Card) moduly, které zajišťují vlastní přepínání paketů (forwarding) a řadu dalších funkcí.

Instalace CRS-1/16 a rozdělení uzlu Brno je rozděleno do několika fází:

• fyzická instalace systému CRS-1/16, upgrade IOS-XR na verzi 3.8.1, základní konfigurace,
• náhrada stávajícího P směrovače R106 a přepojení datových okruhů na nový P směrovač R122,
• přesuny zakončení optických tras a CL DWDM technologie do uzlu Brno II,
• konverze části konfigurace PE směrovače R98 a konfigurace nového PE směrovače R121,
• přesun externích peeringů (zejména SANET a ACOnet) na R121,
• přepojování účastníků sítě, redundantní připojení velkých sítí (MU, VUT a další).

Vzhledem k tomu, že CRS-1/16 nepodporuje rozhraní nižších rychlostí (10/100BASE-TX) a nepodporuje L2 funkce, použili jsme externí L2/L3 přepínač C4900M (viz obrázek 2.7). Podporu L2 potřebujeme zejména kvůli zálohovanému L2 propojení mezi peeringovými směrovači CESNET2, SANET a ACOnet. Toto propojení tvoří uzavřený trojúhelník na 802.1Q a pro rychlé zálohování využíváme protokol R-PVST. Zároveň některé VLAN přenášíme pomocí EoMPLS sítí CESNET2 do sítě PIONIER (propojení se SANET a ACOnet). Optické trasy Brno–Bratislava a Brno–Vídeň jsou osazeny CL DWDM technologií, ale trasa Bratislava–Vídeň využívá pouze „šedé“ rozhraní, takže na ní nelze využít další přenosové kanály. V současné době tedy zůstává L2 propojení nejvhodnější variantou. Přesun CL DWDM tras plánujeme na další období, neboť zejména trasa Brno–Vídeň má malé výkonové rezervy a způsob osazení bude nutno upravit.

V rámci NIP (Network Implementation Plan) připravujeme plnohodnotnou konfigurace PE směrovače R121. Zkušenosti s předchozí migrací v uzlu Praha I ukazují, že pouhá konverze konfigurace není optimální, neboť přenáší mnoho chyb a nejasností původní konfigurace v IOS. Z tohoto důvodu provádíme optimalizaci nové konfigurace v prostředí aktuální verze IOS-XR 3.8.1 a plné nasazení tohoto PE směrovače plánujeme na rok 2010. V současné době je na něm připojeno záložní připojení VUT, prozatím jen protokolem IPv6. Ve finální verzi bude R121 zajišťovat zejména externí BGP směrování a nahradí přetížený směrovač R98, který bude v rámci sítě CESNET2 fungovat již jen jako přístupový PE směrovač pro připojování koncových účastníků.

Implementace dalšího směrovače CRS-1/16 s laditelnými DWDM rozhraními ITU-T/C rozšiřuje podporu technologie IPoDWDM v síti CESNET2 a umožňuje integraci s přenosovým DWDM systémem na úrovni sledování a řízení optických přenosových kanálů, které jsou zakončeny přímo ve směrovači. Tyto schopnosti již podporují provozované verze IOS-XR 3.8.1 a programového vybavení DWDM uzlů ONS 15454 MSTP verze 9.0. S využitím protokolu LMP (Link Management Protocol) mezi směrovačem a DWDM uzlem a při propojení správy obou systémů se pak DWDM rozhraní směrovače chovají jako transpondéry DWDM systému, tzv. virtuální transpondéry, které lze nastavovat a monitorovat stejným způsobem jako transpondéry fyzické. Této vlastnosti se plánujeme věnovat v dalších etapách rozvoje sítě CESNET2. Implementace terabitových směrovačů CRS-1/16 v hlavních uzlech sítě Praha I a Brno II je rovněž důležitým předpokladem pro další povyšování přenosových kapacit na 40 Gb/s a více s využitím přenosového systému DWDM. V letošním roce jsme úspěšně ověřili přenosové rychlosti 40 Gb/s s využitím DWDM rozhraní ve směrovačích a stávajícího DWDM systému ONS 15454.

2.3.2   Ověření přenosů 40 Gb/s Praha–Brno stávajícím DWDM systémem ONS 15454 MSTP

S ohledem na neustálý nárůst objemu přenášených dat v rámci sítě CESNET2 sledujeme situaci v oblasti vyšších přenosových technologií 40 Gb/s a 100 Gb/s jak na úrovni technologie směrovačů IP/MPLS vrstvy sítě, tak i z pohledu optické přenosové vrstvy DWDM. V oblasti přenosových rychlostí 40 Gb/s jsou v současné době standardizována a dostupná rozhraní směrovačů DWDM POS OC-768c/STM-256c (v případě 100GE se dokončení standardizace očekává v roce 2010), která umožňují přenosové rychlosti 40 Gb/s stávajícím DWDM systémem s projektovanou přenosovou kapacitou optických kanálů 10 Gb/s, a to díky pokročilým modulačním technologiím jako je ODB (Optical Duo Binary), DPSK a dalším.

Pro testování přenosů 40 Gb/s nám výrobce Cisco Systems zapůjčil potřebná rozhraní 40 Gb/s DWDM a 10GE do směrovače CRS-1/16 v Praze a menší směrovač CRS-1/4, který byl použit v uzlu Brno. Při testech jsme měli možnost porovnat dva typy rozhraní POS DWDM 40 Gb/s s modulací ODB a DPSK+. Detailní popis parametrů rozhraní lze nalézt na stránkách výrobce, základní informace shrnuje tabulka 2.1.

Pro ověřování přenosu DWDM systémem ONS 15454 MSTP jsme využili optické přenosové kanály jak v přímém úseku Praha–Brno, tak i v úseku Praha–Hradec Králové–Olomouc–Brno. Základní parametry obou tras jsou:

• Praha–Brno (jižní cesta): délka 299 km, OSNR cca 15 dB, residual CD 153/153 ps/nm, průměrná hodnota PMD 2,13 ps/km (pro obě vlákna), trasa obsahuje typy vláken G.655 a G.652.
• Praha–Hradec Králové–Olomouc–Brno (severní cesta): délka 462 km, OSNR cca 15 dB, residual CD 324/424 ps/nm, průměrná hodnota PMD 2,13 ps/km (pro obě vlákna), trasa obsahuje typ vláken G.652.

Reálné hodnoty PMD nebyly na trasách změřeny, ale jejich odhad vychází ze simulace DWDM sítě provedené nástrojem CTP (Cisco Transport Planner), verze 9.0.

Pro testování jsme použili zapojení dle obrázku 2.8. Vzhledem k tomu, že jsme měli k dispozici generátory provozu jen pro 10GE rozhraní a rovněž i malý počet volných 10GE rozhraní ve směrovačích CRS-1, využili jsme zakruhovaných EoMPLS tunelů pro zatížení 40 Gb/s rozhraní. Maximální dosažený testovací provoz tak byl omezen na cca 30 Gb/s. Při testování jsme použili následující nastavení parametrů rozhraní:

• DWDM – MSA ITU Channel=47, Frequency=193,80 THz, Wavelength=1546,917 nm, Enhanced FEC Mode (default),
• SONET – implicitní hodnoty všech parametrů,
• IP – MTU=9216.

Provedené testy obou typů 40 Gb/s rozhraní na přenosových kanálech proběhly dle předpokladů bez problémů. Nezaznamenali jsme žádné chyby na všech úrovních – optické DWDM (FEC EC=0), SONET a IP. Hlavním výsledkem testování je, že 40 Gb/s DWDM technologie (IPoDWDM) je v prostředí sítě CESNET2 bez problémů použitelná. Dle očekávání lze ve směrovačích CRS-1 použít rozhraní s modulací ODB, která jsou cenově dostupnější.

Vedlejším efektem testování bylo ověření interoperability rozhraní s modulacemi ODB a DPSK+, kdy rozhraní s modulací ODB bylo použito v Praze a rozhraní s modulací DPSK+ v Brně. Při datovém toku cca 30 Gb/s docházelo na rozhraní ODB k opravě velkého množství chyb na úrovni protokolu E-FEC, situace na DPSK+ v Brně byla příznivější. Podrobněji shrnuje zjištěné výsledky technická zpráva [NoS09].

Možnost interoperability modulací ODB a DPSK popisuje řada teoretických a praktických studií (např. [PBB01]). Rozdílný způsob kódování/dekódování optického signálu negativně ovlivňuje přenosovou rychlost a tudíž v této kombinaci nelze dosáhnout maximální přenosové rychlosti.

2.3.3   Optimalizace směrování provozu MetaCentra pomocí MPLS Traffic Engineering

Redundantní topologie MPLS sítě CESNET2 umožňuje efektivně využívat paralelní přenosové cesty formou konfigurace explicitního směrování určitého druhu provozu využitím technologie MPLS Traffic Engineering (TE). MPLS TE lze také navíc kombinovat s technikou rychlého přesměrování Fast ReRoute (FRR) pro dosažení extrémně rychlé konvergence sítě (typicky v řádech desítek milisekund) po eventuální poruše linek nebo uzlů.

V rámci rozvoje sítě CESNET2 jsme v roce 2009 pilotně nasadili MPLS TE s cílem optimalizovat směrování provozu MetaCentra (lepší rozložení zátěže páteřní komunikační infrastruktury mezi existující paralelní cesty) a zároveň zvýšit míru odolnosti vůči eventuálním poruchám daným specifikami hardwaru, zejména Enhanced Services (ES) modulů 7600-ES20-10G3CXL použitých pro realizaci služby VPLS (Virtual Private LAN Services) ve směrovačích Cisco 7609. Jelikož je konfigurace VPLS podporována pouze na ES rozhraních, musí být v každém redundantně připojeném směrovači zajištěno, aby veškerý VPLS provoz přicházel/odcházel směrem z/do MPLS páteře právě přes tato ES rozhraní i při všech uvažovaných chybových stavech.

Optimalizace směrování provozu MetaCentra se týká vzájemné komunikace jeho lokalit Brno, Plzeň a Praha (UK a CESNET) pomocí L2 služeb VPLS a L3 služeb IPv4. Cílem optimalizace bylo rozložit zatížení VPLS a IPv4 provozu mezi pokud možno nezávislé paralelní komunikační cesty formou konfigurace dvou logicky nezávislých sad explicitních MPLS TE tunelů (vedoucích předepsanou cestou přes zvolené uzly). Jedna sada byla použita pro VPLS pseudodráty (pseudowire, PW), druhá pro IPv4. Požadavkem bylo pokud možno zachovat kvalitativní parametry původní komunikace nejkratší cestou ve smyslu počtu mezilehlých uzlů mezi koncovými podsítěmi MetaCentra (aby nedošlo ke zhoršení latence) a umožnit z každé lokality MetaCentra v bezporuchovém stavu využívat současně minimálně dvě 10 Gb/s rozhraní směrovače připojená do MPLS páteře sítě CESNET2.

Každý MPLS TE tunel je prioritně konfigurován tak, aby se použila explicitní cesta vedoucí výhradně přes předepsané MPLS směrovače. Pouze v případě poruchy je umožněna dynamická rekonfigurace tunelu, aby jej bylo možno vystavět prakticky libovolnou nejkratší cestou splňující požadované atributy. Pro konfiguraci sady MPLS TE tunelů VPLS pseudodrátů bylo při dynamické rekonfiguraci zapotřebí navíc používat pouze ES rozhraní na počátečních/koncových MPLS směrovačích jednotlivých tunelů. To jsme elegantně vyřešili konfiguračním nastavením „noVPLS“ MPLS TE affinity bitu na hodnotu 0x1 u jiných než ES rozhraní, resp. do nich připojených linek začátků/konců TE tunelů VPLS pseudodrátů. Dynamicky tvořená cesta je pak omezena diskriminující podmínkou požadovaných atributů (affinity 0x0 mask 0x1).

Tabulka 2.2 obsahuje konfiguraci sady explicitních symetrických jednosměrných MPLS TE tunelů VPLS pseudodrátů MetaCentra, kterou přehledně zobrazuje obrázek 2.9. Čárkovaně jsou vyznačeny linky nepřípustné pro tvorbu dynamických tunelů (s předkonfigurovaným affinity bitem rozhraní 0x1), které nejsou připojeny v ES rozhraních počátečních/koncových TE směrovačů Cisco 7609.

Tabulka 2.3 obsahuje konfiguraci sady explicitních symetrických jednosměrných MPLS TE tunelů pro směrování IPv4 provozu MetaCentra, kterou ilustruje obrázek 2.10. Vlastní přesměrování IPv4 provozu do příslušných TE tunelů je prováděno selektivně pomocí statického směrování pro všechny cílové IPv4 podsítě MetaCentra vždy na tom směrovači, na němž daný MPLS TE tunel začíná.

Pro zajištění rychlé konvergence pomocí technologie FRR se v celé páteřní MPLS síti CESNET2 předpokládalo využití automatické tvorby záložních TE tunelů (mpls traffic-eng auto-tunnel backup) typu „next-hop“ pro ochranu proti výpadku linek (link protection) i „next-next-hop“ pro ochranu proti výpadku uzlů/směrovačů (node protection). Bohužel používaná verze operačního softwaru IOS 12.2(33)SRB5 směrovačů Cisco 7609 tuto vlastnost nepodporuje kvůli hardwarové konfiguraci s redundantním supervizorem, takže FRR bude možno implementovat až po nezbytném pilotním ověření a nasazení nové očekávané verze IOS 12.2(33)SRE, která má být dostupná v prosinci 2009. Obdobně nepříjemná situace je i u směrovačů Cisco CRS-1, kde konfigurace automatické tvorby záložních TE tunelů dosud není vůbec podporována a také se očekává až v dalších verzích IOS XR. Proto jsme implementaci technologie FRR v síti CESNET2 museli odložit až na rok 2010.

2.3.4   Zabezpečení síťové infrastruktury

IPv6 Remote Triggered Blackholing (RTBH)

Snahou při nasazení RTBH pro IPv6 bylo zachovat principiální model užitý pro IPv4 (popsaný v roční zprávě o řešení výzkumného záměru pro rok 2006). Jako RTBH IPv6 server byl použit shodný směrovač (platforma Cisco 7200).

Praktické nasazení RTBH/IPv6 však naráží na limity platformy Cisco Catalyst 7600/Sup720 (ve všech současných verzích), která je použita u většiny směrovačů páteřní sítě. Pro RTBH je nutno aktivovat funkci RPF check (Reverse Path Forwarding), která však u této platformy způsobí, že provoz je zpracováván procesorem (process switching), což degraduje celkový výkon směrovače. Z tohoto důvodu je praktické nasazení RTBH/IPv6 na platformě Cisco 7600 částečně omezeno, plné nasazení je možné na platformě Cisco CRS (Carrier Routing System). Směrovače tohoto typu jsou použity zejména jako peeringové směrovače v Praze a Brně. Provoz blokovaných stanic je tak blokován na hranici sítě.

Zabezpečení směrovacího protokolu BGP

Na peeringových směrovačích byl do protokolu BGP nasazen seznam IPv6 prefixů (dle doporučení Gerta Döringa) omezující akceptované prefixy následovně:

prefix-set valid-2
  2001:500::/30 ge 48 le 48,
  2001::/32,
  2001::/16 ge 35 le 35,
  2001::/16 ge 19 le 32,
  2001:678::/29 le 48,
  2001:c00::/23 ge 48 le 48,
  2001:13c7:6000::/36 le 48,
  2001:13c7:7000::/36 le 48,
  2001:43f8::/29 ge 40 le 48,
  2002::/16,
  2003::/16 ge 19 le 32,
  2400::/12 ge 19 le 32,
  2600::/12 ge 19 le 32,
  2610::/23 ge 24 le 32,
  2620::/23 ge 40 le 48,
  2800::/12 ge 19 le 32,
  2801::/24 le 48,
  2a00::/12 ge 19 le 32,
  2c00::/12 ge 19 le 32
end-set

Již dříve jsme nastavili filtry pro oznamování prefixu přiděleného síti CESNET2 (tedy 2001:718::/32). Takto nastavené seznamy prefixů umožní základní zabezpečení směrování jak do tak i ze sítě CESNET2.

2.4   Ostatní změny v síti CESNET2 v roce 2009

Výše popsané významné změny optické přenosové a IP/MPLS vrstvy doplňuje řada dílčích změn a úprav:

• zřízení nativní IPv6 konektivity přes Telia IC nahradilo stávající IPv4 tunel do Londýna,
• připojení druhé sestavy Akamai WWW cache v uzlu Praha II (kapacita 10 Gb/s),
• povýšení zahraniční konektivity na 2,6 Gb/s,
• zřízení L-Root peeringu přes NIX.CZ,
• rozšíření možností SNMP monitoringu sítě systémem G3 o měření virtuálních kanálů v rámci virtuální EoMPLS a VPLS infrastruktury a parametrů QoS ve spolupráci s aktivitou Sledování infrastruktury a provozu sítě,
• rozšíření L2/DWDM okruhu s G.709 ochranou pro MetaCentrum o uzel v Českých Budějovicích a jeho uzavření CL DWDM trasou České Budějovice–Jihlava–Brno,
• povýšení uzlu Zlín na 10GE a zároveň dokončení povyšování konektivity významných uzlů sítě na 10 Gb/s,
• dokončení rekonstrukce kapacitně nevyhovujícího energocentra v uzlu Praha I,
• rozšíření E2E služeb (s mapováním VLAN do MPLS) pro potřeby projektů a připojených účastníků sítě CESNET2 (ÚJV Řež, projekt FEDERICA a další).

Současná externí konektivita sítě CESNET2 je uvedena na obrázku 2.5. Konektivita je zajištěna následujícími okruhy:

• 10 Gb/s zahraniční zálohovaný spoj s omezením kapacity na 2,6 Gb/s umožňující plynulé povyšování dle aktuálních potřeb (IPv4/IPv6 unicast).
• 2×10 Gb/s NIX.CZ (do lokalit NIX2-GTS a NIX3-KCP, IPv4/IPv6 unicast).
• 10 Gb/s do sítě GÉANT2 propojující evropské NREN a zajišťující propojení do dalších výzkumných sítí ve světě. Záložní připojení je vytvořeno jako E2E okruh do uzlu sítě GÉANT2 v Budapešti. Na tomto připojení využíváme IPv4/IPv6 unicast a multicast.
• 10 Gb/s do slovenské NREN SANET a peeringového uzlu SIX (IPv4/IPv6 unicast a multicast).
• 10 Gb/s do rakouské NREN ACOnet a peeringového uzlu VIX (IPv4/IPv6 unicast a multicast).
• 10 Gb/s polské NREN PIONIER (IPv4/IPv6 unicast a IPv4 multicast).
• 1 Gb/s do peeringového uzlu AMS-IX (E2E služba, IPv4/IPv6 unicast).
• 622 Mb/s do tchajvanské NREN TWAREN (IPv4/IPv6 unicast a multicast).

Na obrázku 2.11 je graficky znázorněno rozdělení zahraniční konektivity koncem roku 2009 (pro lepší názornost jsme zvolili údaje za 24 hodin). Tyto údaje jsou vygenerovány systémem Arbor Peakflow SP, který vyhodnocuje data z peeringových směrovačů. Porovnáme-li tento vzorek se stejným vzorkem z roku 2008, který je uveden v loňské zprávě, můžeme konstatovat více než dvojnásobný nárůst objemu externí konektivity.

Na obrázku 2.12 je uveden typický celkový objem dat, který přenášejí peeringové směrovače. Tento graf je vygenerován opět za typických 24 hodin a reprezentuje externí i interní provoz, který směrovače přenášejí.

Obrázek 2.13 ukazuje přehled objemu provozu nejvýznamnějších účastníků sítě CESNET2 za 24 hodin. Z obrázku vyplývá, že největší objemy dat přenášejí/generují sítě ČVUT v Praze a VUT a MU v uzlu Brno. Z pohledu připojených akademických metropolitních sítí je nejvýznamnějším účastníkem pražská síť PASNET (UK, AV ČR, VŠE a další). V tomto přehledu není explicitně uvedena, neboť na Arbor PeakFlow sledujeme jen provoz na úrovni jednotlivých účastníků.

2.5   Plány rozvoje v dalším období

V roce 2010 se plánujeme věnovat zejména zajištění udržitelnosti a provozní spolehlivosti sítě CESNET2, především z důvodu výrazného snížení prostředků na rozvoj sítě. V rámci rozvoje všech vrstev páteřní sítě se zaměříme na aktivity, které nebudou náročné na investiční prostředky:

• dokončení rozdělení uzlu Brno a migrace na směrovač CRS-1/16,
• povýšení SW DWDM sítě ONS 15454 MSTP na nové verze (v závislosti na dostupnosti),
• povýšení IOS směrovačů OSR 7609 na novou verzi 12.2(33)SRE,
• optimalizace BGP směrování ,
• optimalizace datových okruhů a interního IGP směrování (OSPF),
• rozšíření MPLS TE o nové vlastnosti, které současný IOS nepodporuje (záložní autotunely, fast reroute),
• upgrade SW CLA zesilovačů na novou verzi (s podporou SNMP, WWW rozhraní),
• posílení zahraniční konektivity,
• rozvoj správy a dohledu všech vrstev páteřní sítě (DWDM a IP/MPLS),
• ověření implementace virtuálních transpondérů (IPoDWDM rozhraní CRS-1/16 a CTC správa DWDM sítě ONS 15454 MSTP).

Původně plánované nasazení 40 Gb/s rozhraní na hlavní páteřní trase Praha–Brno nelze vzhledem k investiční náročnosti realizovat. Aktuální zatížení se pohybuje v rozmezí cca 35–50 %, jde však o 10minutové průměrné hodnoty. Skutečné hodnoty špičkového zatížení jsou výrazně vyšší. V případě nutnosti posílení můžeme použít další 10GE přenosový kanál (pokud budou k dispozici volná rozhraní páteřních směrovačů) a využít technologie agregace linek (EtherChannel).

předchozí

obsah

následující