hledat:

2   Rozvoj páteřní sítě CESNET2

V roce 2008 jsme pokračovali v rozvoji celé síťové infrastruktury od optické přenosové vrstvy DWDM až po IP/MPLS síť. S využitím technologie CzechLight CLA vyvinuté aktivitou Optické sítě jsme rozšířili přenosovou vrstvu DWDM o další optické trasy, což přispělo ke zvýšení redundance a spolehlivosti některých uzlů sítě CESNET2 a zároveň rozšířilo naše možnosti poskytování pokročilých služeb. Na úrovni IP/MPLS vrstvy jsme nasadili do provozu první terabitový směrovač Cisco CRS-1/16 s podporou logických směrovačů, IPoDWDM a 40 Gb/s rozhraními. Rovněž jsme zahájili rozdělení hlavního uzlu Praha na dva fyzicky oddělené uzly pro zvýšení spolehlivosti/dostupnosti tohoto klíčového bodu. Nedílnou součástí nasazení terabitového směrovače byl i nový návrh implementace QoS v MPLS páteři sítě CESNET2, který zahrnuje restrukturalizaci tříd služeb pro IPv4 a IPv6 a unifikaci QoS konfigurací aktivních prvků.

2.1   Topologie optických vláken

Základní optická topologie páteřní sítě (viz obrázek) je založena na pronajatých párech optických vláken odpovídajících standardu ITU-T G.652. Menší část optických tras je jednovláknových (Ostrava-Karviná, Ústí n. L.-Most, Ústí n. L.-Děčín, Plzeň-Cheb, Cheb-Most, Letohrad-Opava a Opava-Ostrava). Pronájem jednoho vlákna je proti pronájmu páru vláken cenově výhodnější, ale přináší větší omezení při osazování vhodnou technologií. V jejich důsledku jsou finanční nároky na hardware vyšší a rovněž využitelnost vlnových délek je poloviční (obousměrný přenosový kanál se v tomto případě skládá ze dvou protiběžných jednosměrných).

Velké uzly (GigaPoP) sítě CESNET2 jsou připojeny redundantně, t.j. alespoň dvěma optickými trasami se vzájemně nezávislým geografickým průběhem (včetně úseků posledních mílí). Zajištění redundance na úrovni optických tras se intenzivně věnujeme jak na vlastní fyzické úrovni, tak i z hlediska návrhu a realizace osazení vhodnou přenosovou technologií. Dosavadní praktické zkušenosti ukazují, že nejvíce problémů a výpadků je způsobováno fyzickým přerušením optických přenosových tras. Oproti tomu jsou poruchy a problémy (zejména typu "Service Affected") optických přenosových technologií spíše výjimečné. Proto při zřizování a změnách průběhů tras klademe velký důraz i na jejich skutečné geografické průběhy, zejména v oblasti posledních mílí, kde často dochází k souběhu optických vláken.

V současné době optické trasy osazujeme převážně pokročilejšími technologiemi, které umožňují přenos více nezávislých kanálů a přenosové rychlosti 1-10 Gb/s. Technické návrhy osazení se zaměřují na komplexnější řešení, nikoliv pouze na osazení jednotlivých dvoubodových optických úseků. Rovněž stále více využíváme přenosů cizích optických signálů (např. ze statických CLA DWDM okruhů) hlavním jádrem optické sítě DWDM.

Současná optická transportní síť DWDM používá dva základní typy DWDM technologie (viz obrázek). Hlavní jádro je postaveno na technologii Cisco ONS 15454 MSTP a umožňuje flexibilní vytváření optických přenosových kanálů mezi jednotlivými ROADM uzly. Koncepčně je jádro DWDM sítě navrhováno a budováno jako ucelený optický transportní systém s jednotným systémem správy, a to bez nutnosti OEO konverze optických přenosových kanálů a s možností vytvářet kanály end-to-end bez nutnosti fyzických změn jakéhokoliv propojení či rekonfigurace mezilehlých ROADM uzlů.

Pro osazení optických tras, kde není vyžadován větší počet optických přenosových kanálů a jejich flexibilní konfigurace, využíváme pasivní DWDM systémy založené na námi vyvinutých programovatelných optických zesilovačích CzechLight (CLA PB01, PB02, PB01F, PB02F). Toto řešení je výhodné zejména z pohledu ekonomické náročnosti, neboť plnohodnotný komerčně dostupný DWDM systém je drahý a jeho možnosti by v těchto případech nebyly adekvátně využity.

V prostředí optické přenosové sítě CESNET2 využíváme výhradně DWDM technologii, jež umožňuje na úrovni páteřní sítě protokolově nezávislý přenos více datových signálů při nízkých hodnotách zpoždění (delay) oproti tradičnímu řešení komunikačních tras. Tyto vlastnosti jsou potřebné pro řadu podporovaných aplikací a projektů jako je MetaCentrum, propojování datových center nemocnic (protokoly FCIP) a další.

2.2   Optická přenosová síť DWDM

Začátkem roku 2008 jsme zcela dokončili implementaci vícecestné topologie ROADM (Degree-n) v DWDM uzlech Praha, Hradec Králové a Olomouc, kde se na hlavní DWDM okruh připojují další úseky (Praha-Plzeň-České Budějovice, Hradec Králové-Liberec a Olomouc-Ostrava-Těšín). Funkce vícecestného ROADM (mesh) umožňuje speciální propojovací optický mesh patch panel (existují verze pro 4 nebo 8 směrů) a Wavelength Cross Connect Switch (40-WXC-C), který je nainstalován v každém ROADM šasi. Umožňuje vkládání/odbočování vlnových délek z daného směru, k němuž je systém připojen. Vstupy a výstupy rozhraní 40-WXC ze všech směrů jsou propojeny pasivním propojovacím optickým panelem PP-MESH-4 (viz obrázek). Karta 40-WXC na základě konfigurace DWDM sítě vybírá vlnové délky z příslušného směru a posílá je na výstup (ROADM nebo PP-MESH-4). Na rozdíl od stávající 32kanálové ROADM technologie (založené na PLC) karta 40-WXC využívá technologii MEMS a podporuje 40 kanálů v pásmu C. Použité řešení umožňuje využívat stávající 32kanálové ROADM v DWDM síti a je připraveno na použití 40kanálových verzí, které jsou v současné době již k dispozici.

Vlastní instalace vícecestného ROADM v DWDM uzlech znamenala podstatnou změnu jejich topologie a byla spojena s několikahodinovým výpadkem (provoz byl vždy zajištěn náhradními spoji). Výsledná topologie DWDM uzlu zahrnuje vyhrazené šasi ONS15454 MSTP pro každý směr se stávající ROADM technologií (32-DMX a 32-WSS), která umožňuje flexibilní odbočování/vkládání optických přenosových kanálů z daného směru, a modulů 40-WXC-C pro propojení do dalších směrů. Nedílnou součástí implementace bylo i povýšení software DWDM systémů ONS15454 MSTP v celé síti na verzi 8.5 (kvůli podpoře 40-WXC-C) a změna způsobu správy vícecestného DWDM uzlu na tzv. multishelf management (více DWDM šasi v uzlu se chová jako jeden logický uzel DWDM sítě). V rámci instalace jsme rovněž provedli nezbytné úpravy zesílení a kompenzace chromatické disperze v celé DWDM síti, které byly navrženy na základě simulace a analýzy nové sítě (prostřednictvím optických specialistů Cisco Advanced Services). Výsledky realizace potvrdily správnost navržených změn a úprav a zaručují potřebnou funkčnost celého DWDM systému.

Uvedení vícecestného ROADM do provozu umožňuje centrální správě vzdáleně vytvářet flexibilní optické přenosové cesty mezi libovolnými ROADM uzly sítě CESNET2, a to bez nutnosti provádět manuální (fyzické) zásahy v propojovacích uzlech (což bylo před jeho implementací nutné). Síť CESNET2 byla vůbec první mimo zemi výrobce, kde tato nová technologie byla úspěšně uvedena do provozu.

V optické přenosové DWDM síti provozujeme celkem 32 šasi ONS15454 MSTP (zesilovací OLA, ROADM a transponderová šasi). Stávající systém správy CTC (Cisco Transport Controller), který je součástí softwarového vybavení, již přestává vyhovovat. Proto jsme ve druhé polovině roku ověřovali CTM (Cisco Transport Manager), který je určen pro správu rozsáhlých DWDM sítí. Na rozdíl od CTC jde o plnohodnotnou správu, která běží na vyhrazeném serveru Sun s OS Solaris a využívá databázi Oracle. Výhodou je zejména ukládání a sofistikované zpracovávání veškerých událostí (alarmů, logů a conditions) z celé DWDM sítě a možnost jejich detailní analýzy, sledování výkonu, automatické zálohování konfigurací, detailní správa vybavení a řada dalších funkcí, které zjednodušují správu DWDM sítě. CTM systém předpokládáme uvést do plného provozu začátkem příštího roku.

V souvislosti s geografickým rozčleněním uzlu Praha připravujeme i vytvoření nového ROADM uzlu v nové lokalitě a jeho plnohodnotné začlenění do hlavního DWDM kruhu. Toto řešení je zcela nezbytné pro flexibilní odbočení části optických přenosových kanálů v nové lokalitě, abychom dosáhli plánovaného zvýšení spolehlivosti centrálního uzlu i na fyzické úrovni. Potřebná simulace a analýza nové topologie DWDM sítě byla v současné době dokončena. Začlenění nového DWDM uzlu bude vyžadovat nezbytné úpravy zesílení a kompenzace chromatické disperze v úseku Praha-Hradec Králové a rovněž i mezi ROADM uzly v Praze. Realizaci předpokládáme v únoru až březnu 2009. Výslednou topologii DWDM sítě představuje obrázek.

Současný DWDM systém podporuje 32 optických přenosových kanálů v každém úseku s projektovanou přenosovou rychlostí 10 Gb/s. Chromatická disperze je ve všech mezilehlých úsecích důsledně kompenzována na hodnoty blízké nule, zejména pro podporu bezproblémového přenosu cizích optických signálů. V rámci rozvoje DWDM systému se rovněž zabýváme novými kvalitativními vlastnostmi a jejich využitím. Jde zejména o možnosti tzv. "directionless" ROADM řešení, ověřování principů L2 over DWDM a technické možnosti přenosu optických signálů z optických tras, které jsou osazeny CL DWDM systémy.

2.3   Optické systémy CL DWDM a jejich implementace v síti CESNET2

Optické DWDM systémy CL (CzechLight) využíváme jako ekonomicky efektivní řešení pro osazování optických okruhů 1-10 Gb/s bez nutnosti zesilování v průběhu tras (NIL, Nothing-in-line). CL DWDM vhodně doplňuje hlavní DWDM systém, umožňuje přivést i do menších uzlů více nezávislých optických přenosových kanálů a rovněž i jejich transport jako "cizího" optického kanálu hlavním DWDM systémem. V letošním roce jsme osadili další optické trasy, kde by systém ONS15454 MSTP byl příliš nákladný (vzhledem k požadavkům na počet a flexibilitu přenosových kanálů). Kromě běžně používaných dvouvláknových tras jsme se zaměřili na osazování tras jednovláknových s možností přenosových kapacit až 10 Gb/s a transportem optických přenosových kanálů hlavním DWDM systémem.

Úzce spolupracujeme s aktivitou Optické sítě, která zařízení CL vyvíjí, na praktickém ověřování a předávání provozních zkušeností či dalších požadavků na vlastnosti a funkce. Současné optické trasy jsou osazovány až 32kanálovými multiplexery/demultiplexery (zejména pro větší flexibilitu při volbě vlnové délky výměnného optického rozhraní v koncových zařízeních). Plánujeme rovněž využít výkonnější optické zesilovače vhodné pro dlouhé trasy (např. CLA PB02F). Od jednoduchých dvoubodových okruhů přecházíme k osazování zřetězených tras a vzniká potřeba nasadit místo jednoduchých řešení multiplexované/demultiplexované OADM (nejlépe konfigurovatelné) a řešit otázky přepínání vlnových délek i zálohování optických tras (s využitím optického přepínače CL). U současných CL zařízení jsme rovněž rozšířili možnosti správy, zejména v oblasti podpory SNMP.

2.3.1   Optická trasa České Budějovice-Jindřichův Hradec-Jihlava-Brno

Osazení této dvouvláknové trasy (celková délka cca 301 km) jsme dokončili v prvním pololetí 2008. Realizované řešení podporuje optické přenosové kanály 1-10 Gb/s a umožňuje duální připojení uzlů IP/MPLS sítě Jihlava a Jindřichův Hradec (v současné době 1 Gb/s) a zálohování páteřní trasy České Budějovice-Brno o kapacitě 10 Gb/s (express kanál). Vlastní osazení optické trasy (viz obrázek) je navrženo jako dva nezávislé úseky České Budějovice-Jindřichův Hradec-Jihlava a Jihlava-Brno. Uzel Jihlava je plnohodnotným CL DWDM uzlem a umožňuje vkládat/odbočit všech 32 optických kanálů z obou směrů. Pro zesilování používáme EDFA zesilovače CL PB01F. Chromatická disperze je kompenzována bezkanálovými braggovskými mřížkami. Připojení uzlu v Jindřichově Hradci je řešeno pomocí OADM, které odbočuje/vkládá 3 optické přenosové kanály z každého směru. Osazení této trasy je připraveno pro bezproblémové povýšení kteréhokoliv mezilehlého uzlu na 10 Gb/s.

2.3.2   Optická trasa Brno-Ostrava

Návrh osazení této trasy je založen na zkušenostech s návrhem a provozováním přeshraniční DWDM trasy Brno-Vídeň. Optická trasa Brno-Ostrava je dlouhá cca 235 km a vykazuje útlum cca 50 dB (typ vlákna je G.652).

S ohledem na vysoký útlum a nasazení metody NIL (bez dodatečného zesílení v průběhu trasy) jsou zde použity výkonné EDFA zesilovače CLA PB02F s maximální hodnotou výstupního optického signálu cca +27 dBm. Koncové body trasy jsou osazeny 32kanálovými DWDM Mux/Demux (AAWG), chromatickou disperzi kompenzujeme širokopásmovými bezkanálovými kompenzátory disperze založenými na Braggovských mřížkách. Technické řešení umožní provoz většího počtu kanálů i případné povýšení na vyšší přenosové rychlosti (40 Gb/s). Detailní návrh osazení je uveden na obrázku.

Použití DWDM technologie na této trase umožnilo druhé 10GE připojení uzlu Ostrava do IP/MPLS páteře a bezproblémové přidání dalších nezávislých optických přenosových kanálů v budoucnosti. Touto trasou lze rovněž vést záložní kanály pro hlavní DWDM okruh a zálohovat tak např. kanál Praha-Těšín technologicky i geograficky nezávislou cestou.

2.3.3   Optická trasa Praha-Pardubice-Hradec Králové

Parametry optické trasy Praha-Pardubice (délka 186 km, útlum 46 dB) si vyžádaly nasazení výkonnějších zesilovačů CLA PB02F. Vlastní návrh a realizace (viz obrázek) jsou stejné jako v případě trasy Brno-Ostrava, tj. osazení 32kanálovými DWDM multiplexery/demultiplexery (AAWG) a kompenzace chromatické disperze širokopásmovými bezkanálovými kompenzátory založenými na braggovských mřížkách. Osazení této trasy perspektivní technologií CL DWDM umožnilo povýšeni uzlu Pardubice na 10GE. Pro další období připravujeme osazení trasy Pardubice-Hradec Králové stejnou technologií, což také umožní průchod optických přenosových kanálů do uzlu Hradec Králové přes Pardubice (geograficky nezávislý přístup). Uzel Pardubice bude v tomto případě povýšen na plnohodnotný ADD/DROP DWDM uzel, který dovolí odbočování/vkládání/průchod optických přenosových kanálů o kapacitě 1-10 Gb/s.

2.3.4   Jednovláknová optická trasa Plzeň-Cheb-Most-Ústí n. L.-Děčín

V letošním roce jsme zahájili implementaci CL DWDM na jednovláknových trasách, které typicky propojují menší uzly sítě CESNET2. Základním cílem bylo realizovat ekonomicky přijatelné řešení pro optické přenosové kanály 1-10 Gb/s do těchto uzlů s možností jejich zálohovaného připojení. Zároveň jsme požadovali jejich využitelnost pro nezávislé propojení velkých páteřních uzlů kapacitou 10 Gb/s (např. 10 Gb/s express kanál Plzeň-Ústí n. L.), které umožní plnohodnotné zálohování.

Optické přenosové kanály jsou jednosměrné. Pro realizaci obousměrného kanálu potřebujeme v jednovláknové trase dva jednosměrné s rozdílnými vlnovými délkami, které jsou přenášeny v opačných směrech (jih-sever a sever-jih). Základním rozdílem v osazení jednovláknové trasy proti běžnému dvouvláknovému řešení je to, že vstupní a výstupní signály z Mux/Demuxu musí být před přenosem sloučeny a po něm odděleny. K tomuto účelu lze použít několik metod - optické cirkulátory, vlnové interleavery nebo WDM couplery. S ohledem na technické parametry (vložný útlum a zpětné odrazy) a cenu jsme zvolili řešení založené na WDM couplerech.

Návrh osazení jednovláknové trasy je uveden na obrázku. Zesílení optického signálu je založeno na optických zesilovačích CLA PB01F. Koncové body trasy jsou osazeny 32kanálovými DWDM Mux/Demux (AAWG), chromatickou disperzi kompenzujeme širokopásmovými bezkanálovými kompenzátory disperze založenými na braggovských mřížkách. Na optických trasách do Děčína v současné době není provedena kompenzace chromatické disperze s ohledem na požadované kapacity optických přenosových kanálů 1 Gb/s. V tomto úseku jsou rovněž použity pouze 8kanálové Mux/Demuxy, protože zde očekáváme menší počet přenosových kanálů. Pro odbočení/vkládání optických přenosových signálů v uzlu Děčín používáme pasivní OADM multiplexer (stejným způsobem bylo navrženo plánované odbočení do Mariánských Lázní v úseku Plzeň-Cheb). Uzel Most je navržen jako plnohodnotný ADD/DROP uzel, který umožňuje odbočení do všech směrů.

Vlastní osazení tras je prováděno na základě technického návrhu výzkumné skupiny CESNETu a je prováděno jako upgrade na službu "nasvícených vláken" jednotlivými dodavateli optických vláken. Z pohledu IP/MPLS byl uzel Most povýšen na plnohodnotný PE uzel a osazen směrovačem OSR 7606-S. Uzly Cheb a Děčín zůstávají v pozici CE uzlu a jsou osazeny přepínači/směrovači Cisco Catalyst 3750-G.

2.4   Topologie IP/MPLS

IP/MPLS vrstva sítě CESNET2 je postavena nad optickou přenosovou topologií a využívá část optických přenosových kanálů (viz obrázek). Páteřní směrovače jádra IP/MPLS sítě (v MPLS zastávají funkci P směrovačů) jsou umístěny v hlavních DWDM uzlech páteřního optického kruhu: Praha, Brno, Olomouc a Hradec Králové. Na těchto směrovačích jsou také zakončeny 10 Gb/s okruhy jádra páteřní sítě. Připojení na DWDM systém je realizováno pomocí transponderů, které zajišťují konverzi z "šedého" optického rozhraní XENPAK-LR (1310 nm) směrovačů na "barevný" DWDM signál a bezchybný přenos DWDM systémem (3R regeneraci, dopřednou opravu chyb E-FEC). U kratších optických kanálů (přibližně do 200 km) rovněž využíváme přenos optických signálů bez použití transpondérů. Optické kanály jsou v tomto případě ukončeny rovnou na výměnných transceiverech XENPAK-DWM nainstalovaných přímo ve směrovačích. V ostatních uzlech sítě jsou umístěny hraniční páteřní směrovače (v MPLS zastávají funkci PE směrovačů) pro připojování koncových účastníků a zajišťují veškeré služby páteřní sítě (MPLS, EoMPLS, směrování IPv4/IPv6 unicast a multicast, NetFlow statistiky). Aktuální topologie sítě je uvedena na obrázku.

Ve funkci P a PE směrovačů používáme Cisco OSR7609 s procesory SUP720-3BXL a RSP720-3CXL a čtyřportovými 10GE LAN PHY rozhraními (směrovače obsahují karty 1GE rozhraní a další nezbytné komponenty). V rámci celé páteřní sítě podporujeme přenos velkých rámců dat (Jumbo frames) 9216 B.

Klíčové místo sítě CESNET2 v hlavním páteřním uzlu Praha je zdvojeno jak na úrovni peeringových směrovačů R84 a R85, tak i na úrovni P směrovačů R105 a R107. Všechna externí připojení jsou zálohována (připojení na TeliaSonera, GÉANT2 a peering v NIX.CZ).

V menších uzlech, které nejsou přímou součástí MPLS sítě, a tudíž ani nepodporují MPLS, používáme L2/L3 přístupové přepínače/směrovače Catalyst 3750 (v MPLS zastávají funkci CE zařízení). Mezi nimi a nadřazenými PE směrovači používáme 802.1Q s několika virtuálními sítěmi (VLAN) pro dvoubodová propojení a distribuci ethernetových služeb koncovým účastníkům těchto menších uzlů (propojení prostřednictvím páteřních EoMPLS tunelů do příslušných VLAN).

Jako interní směrovací protokol (IGP) rámci MPLS používáme vyhrazený protokol OSPFv2, který je nakonfigurován na všech P a PE směrovačích. Vlastní směrování adresových bloků účastnických sítí zajišťuje interní protokol BGP (iBGP), který je aktivován mezi všemi přístupovými PE směrovači a využívá techniku reflektorů (tzv. route-reflectors) na peeringových směrovačích R84, R85 a R98. Stejné reflektory využívá iMBGP (interní Multicast BGP) a také protokol BGP pro IPv6 unicast. Směrování IPv4 a IPv6 unicastu je zajišťováno prostřednictvím MPLS (pakety obsahují MPLS značky) a směrovače jsou využívány v tzv. dual-stack režimu PE/6PE (současná podpora IPv4 a IPv6). Šíření IPv4/IPv6 multicastu (skupinově orientované vysílání) je zajišťováno bez MPLS.

2.4.1   Změna topologie jádra sítě a instalace terabitového směrovače Cisco CRS-1/16 v uzlu Praha

Modulární páteřní směrovače Cisco OSR 7609 provozované v síti CESNET2 používáme jako hlavní platformu od roku 2002. Pro dosažení stávajících HW a SW vlastností byly prakticky všechny komponenty postupně nahrazeny novějšími a výkonnějšími (šasi, procesory, moduly rozhraní). V současné konfiguraci jsou typicky osazeny 10GE rozhraními a jejich propustnost je až 40 Gb/s na slot. S nároky na vlastnosti a funkce sítě a zvyšujícím se objemem přenášených dat se objevuje řada problémů, zejména s hlavními peeringovými směrovači. Jde zejména o vysokou zátěž procesorů, přetékající TCAM tabulky při exportu NetFlow v9 dat, chybějící TCP příznaky v NetFlow záznamech (jde o HW omezení platformy) a řadu dalších, které mohou síti CESNET2 přinášet v budoucnosti řadu problémů. Proto jsme v letošním roce provedli výběr nových výkonných a perspektivních terabitových směrovačů pro hlavní jádro sítě CESNET2, které umožní její další bezproblémový rozvoj. Základní požadavky na nové směrovače byly:

• podpora pro všechny používané služby a protokoly sítě CESNET2,
• IPv4, IPv6 unicast a multicast schopnosti včetně OSPFv2/v3, IS-IS, BGP, MPLS VPN, EoMPLS, MPLS TE, PIM, IGMP, MSDP, BFD,...,
• kompatibilita se stávající sítí CESNET2 na úrovni všech používaných protokolů,
• modulární "carrier class" směrovač s předpokládanou životností min. 5-7 let,
• podpora rychlostí 40 Gb/s, rozšiřitelnost na 100 Gb/s s minimálními požadavky na upgrade klíčových komponent,
• dostupnost 40 Gb/s rozhraní v době dodávky,
• modulární operační systém, možnost upgrade SW komponent (procesů) bez nutnosti restartu,
• vysoká redundance klíčových komponent (napájecí zdroje, větráky, CPU, přepínací matice),
• podpora virtuálních nebo logických směrovačů,
• podpora nových principů a funkcí (IPoDWDM, GMPLS, aj.),
• oddělené datové a řídicí sběrnice, ochrana zařízení proti útokům typu DDoS a jiným,
• přepínání IPv4/IPv6 unicast/multicast v HW, přepínací výkon nejméně 700 mil. paketů/s,
• rozšířené možnosti správy a sledování provozu (CLI, SSHv2, SNMPv3, XML, NetFlow v9),
• rozšířená možnost konfigurace s možností automatického návratu k předchozí funkční konfiguraci, možnost editace, ověření funkčnosti a potvrzení použití.

V první fázi migrace jsme předpokládali náhradu hlavního peeringového směrovače R84 (PE) a směrovače jádra sítě R107 (viz obrázek) v uzlu Praha výkonným směrovačem s podporou logických směrovačů, anebo dvojicí nezávislých směrovačů. Propojení PE a P směrovačů jsme požadovali kapacitou nejméně 20 Gb/s.

V dalších fázích počítáme s nasazením kompatibilního řešení v uzlu Brno s cílem dosáhnout přenosové rychlosti 40 Gb/s na spoji Praha-Brno vedeném stávajícím DWDM systémem. Očekávané cílové řešení v roce 2010 je uvedeno na obrázku. Nedílnou součástí nové topologie jádra sítě je i fyzické rozdělení uzlu Praha.

Ve veřejné soutěži zvítězilo řešení založené na technologii Cisco Systems se směrovačem CRS-1/16 a konfigurací logických P a PE směrovačů v rámci jednoho směrovacího systému. Jeho základní vlastnosti jsou:

• Logické směrovače využívající tzv. Secure Domain Routers (SDR) a umožňující vytvářet fyzicky nezávislé směrovače v rámci jednoho systému (v našem případě PE a P). Směrovač P využívá hlavní RP systém (jsou dva v redundantní konfiguraci), pro směrovač PE jsou vyhrazeny další DRP (Distributed Routed Processor) rovněž v redundantní konfiguraci. Jednotlivým logickým směrovačům lze flexibilně přiřazovat karty rozhraní (pouze per slot, nikoliv per port). Logické směrovače pouze využívají společné řízení systému, napájecí zdroje, přepínací pole. Jinak fungují jako zcela fyzicky a administrativně oddělené směrovače.
• Propojení PE a P kapacitou 40 Gb/s (OC-768 POS).
• Laditelné DWDM 10GE rozhraní (čtyřportové, 50 GHz spacing, C-band, 80 kanálů, E-FEC/FEC/no-FEC).
• Modulární IOS-XR založený na unixovém mikrokernelu, ISSU (In Service Software Upgrade) umožňuje bezvýpadkový upgrade jednotlivých procesů.
• Rozšířená podpora QoS.
• Redundance klíčových komponent (napájení,větráky, řídící moduly 1:1, přepínací pole 1:8).
• Navržené konfigurace PE a P směrovačů jsou bez oversubscription (umožňují plnou propustnost na všech portech).
• Dostupnost DWM rozhraní 40 Gb/s.
• Přepínací pole (switching matrix) podporuje 40 Gb/s duplexně a je připraveno na bezvýpadkový upgrade na 100 Gb/s.

Více informací o tomto směrovacím systému lze nalézt na stránkách výrobce.

Vlastní migrační proces jsme rozdělili do několika fází:

1. fyzická instalace systému CRS-1/16,
2. návrh fyzické topologie sítě,
3. doporučení vhodné verze IOS-XR,
4. konverze konfigurací z IOS do IOS-XR,
5. postupná migrace,
6. závěrečné NFRU (Network for Ready to Use) testy.

Směrovací systém CRS-1/16 má poměrně náročné požadavky na vlastní instalaci. Rozměry šasi jsou 60×100×213 cm, hmotnost obsazeného šasi cca 700 kg, maximální odběr cca 11 kW, nároky na chlazení kolem 32 000 BTU/hod. Skutečná spotřeba napájení je přibližně poloviční - dodané šasi obsahuje novější MSC moduly s nižší spotřebou.

CRS-1/16 nabíhá po zapnutí napájení cca 30 min (diagnostické testy, postupné zavádění a spouštění IOS-XR ve všech instalovaných modulech), takže velmi stabilní a zálohované napájení je zcela nezbytné. Celý systém je navržen tak, že veškeré výměny HW a SW je možné provádět za provozu (prakticky bez výpadků) a nepředpokládá se, že by celý systém byl někdy vypnut a zapnut. Rovněž přepnutí na záložní RP či DRP je provedeno bez ovlivnění přepínání paketů a je prakticky bezvýpadkové.

Napájecí systém je plně redundantní a je sestaven ze dvou AC modulů (zapojení do hvězdy). Každý z nich obsahuje tři DC zdroje. Napájení šasi je rozděleno do celkem šesti napájecích zón. Pro zajištění vysoké spolehlivosti páteřní sítě je důležité posouzení fyzické topologie s ohledem na umístění karet rozhraní v rámci napájecích zón a zakončení páteřních a přístupových okruhů.

Šasi CRS-1/16 je osazeno s ohledem na konfiguraci PE a P logických směrovačů. Horní část obsahuje dvojici DRP procesorů a je nakonfigurována jako PE-SDR směrovač, v dolní části je dvojice RP procesorů systému a je nakonfigurována jako P-SDR směrovač. Propojení PE-SDR a P-SDR je realizováno vyhrazenými OC-768 POS moduly a externím propojením (logické směrovače nelze propojit virtuálně interní přepínací maticí). Řídicí, datové a napájecí sběrnice systému jsou umístěny ve střední části šasi.

V přední části se nacházejí moduly fyzického rozhraní PLIM (Physical Layer Interface Module), zezadu jsou proti nim umístěny MSC (Modular Service Card) moduly, které zajišťují vlastní přepínání paketů (forwarding) a řadu dalších funkcí.

Důležitou součástí nasazení CRS-1/16 do provozu byla konverze konfigurací ze stávajících směrovačů OSR 7609 s IOS do modulárního IOS-XR, neboť IOS-XR se z hlediska syntaxe, strukturování i řady vlastností zcela odlišuje od IOS. V průběhu migrace jsme narazili na řadu odlišností a problémů, nejvýznamnější jsou:

• CRS-1/16 nepodporuje rozhraní nižších rychlostí (10/100BASE-TX). Pro migraci těchto připojení jsme využili externí L2/L3 přepínač C3750 s 1GE připojením k CRS-1.
• Maximální MTU 9216 na rozhraních zahrnuje i ethernetovou hlavičku (14 B), takže skutečné MTU pro IP pakety je pouze 9202. Z tohoto důvodu jsme v celé páteřní síti snížili MTU na 9202.
• Pomalá odezva na SNMP dotazy měřicího systému G3. Příčinou je problém ve vnitřních procesech (IPC) pro měření napájecích, teplotních a dalších snímačů (naše konfigurace obsahuje více než 400 snímačů) po SNMP. Cisco TAC potvrdil, že jde o chybu a doporučil dočasné řešení. Problém bude odstraněn v novějších verzích IOS-XR.

Celý migrační proces byl zakončen předávacími NFRU (Network for Ready to Use) testy, které úspěšně ověřily kompatibilitu se všemi vrstvami sítě CESNET2 (IP/MPLS i DWDM), stabilitu sítě a vysokou dostupnost a odolnost systému CRS-1/16 proti poruchám. V oblasti odolnosti proti poruchám jsme ověřili chování systému při poruchách napájení, výměně HW komponent, selhání karty přepínací matice (switching matrix), přepnutí RP na záložní, selhání okruhu jádra sítě a selhání/restart vybraných procesů (mpls ldp, ospf). Instalace a migrace na CRS-1/16 probíhala za provozu a trvala celkem 2,5 měsíce. Systém je v trvalém provozu od 1. října 2008. Významnou roli v celém procesu sehrála podpora konzultantů Cisco Systems a dodavatele zařízení, firmy Intercom Systems.

2.4.2   Zvýšení robustnosti a dostupnosti sítě CESNET2

Zvýšení robustnosti sítě CESNET2 a zajištění vysoké dostupnosti jejích služeb je jedním z hlavních cílů rozvoje páteřní sítě. Tento proces zahrnuje všechny vrstvy, od fyzických průběhů optických vláken a jejich osazení vhodnou technologií, topologii vlastních přenosových okruhů až po logickou topologii IP/MPLS vrstvy sítě. Důležitá je rovněž spolehlivost a redundance aktivních prvků (DWDM, směrovačů, přepínačů a dalších) i jejich servisní zabezpečení pro rychlé odstranění poruch HW a SW.

V období roku 2008 jsme se věnovali zejména zvýšení spolehlivosti centrálního uzlu Praha a ověřování pokročilých technologií v oblasti superrychlé konvergence MPLS jádra při eventuální poruše linky/směrovače.

Robustnost a dostupnost sítě CESNET2

Z pohledu IP/MPLS je vlastní jádro sítě plně redundantní (viz obrázek). Externí konektivita (Internet, NIX.CZ a síť GÉANT2) je zajištěna hlavními a záložními okruhy, které jsou připojeny na peeringové PE směrovače R118 a R115. Obdobně je vyřešeno zakončení páteřních okruhů na dvojici P směrovačů jádra R119 a R105. Plné propojení všech čtyř PE a P směrovačů umožňuje spolehlivou funkčnost sítě i v případě selhání jednoho PE a jednoho P směrovače. Implementace superrychlé/subsekundové konvergence MPLS jádra a optimalizovaná konvergence používaných směrovacích protokolů (zejména OSPF a iBGP) umožňují rychlý přechod na záložní linky či směrovače. V případě konvergence protokolu EBGP mezi R118 a R115, kde pro IPv4 přijímáme cca 267 tisíc prefixů z Internetu, je konvergence v řádech několika minut, neboť RP směrovač R115 OSR 7609 (RSP720-3CXL) nedisponuje dostatečným výkonem pro rychlé zpracování tabulek EGBP. V budoucích plánech počítáme s jeho náhradou výkonnějším modelem.

Všechny hlavní směrovače jádra jsou v současné době umístěny v uzlu Praha ve stejném počítačovém sále. Zde není zajištěna vyšší odolnost proti větším výpadkům, jako jsou výpadky napájení, klimatizací nebo výpadky způsobené vyšší mocí. Stejné riziko je i v případě základních síťových služeb, kdy máme klíčové DNS a poštovní servery logicky zálohovány, nicméně jsou umístěny na stejném počítačovém sále. Z těchto důvodů jsme v minulém roce zahájili přípravné práce na fyzickém rozdělení uzlu Praha. Opakované výběrové řízení ve druhé polovině roku 2008 bylo nakonec úspěšné, takže jsme mohli zahájit vlastní fyzické rozdělení. Rozdělení pražského uzlu (nyní Praha I) a přesun části techniky a serverů do nové lokality (Praha II) musí být provedeno bez snížení dostupnosti služeb sítě i její odolnosti vůči poruchám. Z tohoto důvodu jsme vlastní migraci rozdělili do několika fází:

1. V uzlu umístíme nový výkonnější peeringový směrovač R114 (Cisco OSR 7609-S s procesory RSP-720) a stávající směrovač jádra sítě R107 (byl nahrazen CRS-1/16). Přístupový směrovač R85 nebude v této fázi instalován a jeho roli zastane R114.
2. Optický okruh mezi Praha I a Praha II osadíme 32kanálovými DWDM Mux/Demux, abychom mohli vytvořit mezi uzly více nezávislých přenosových kanálů. Směrovače R114 a R107 budou plnohodnotně začleněny do páteřní sítě (viz obrázek). Pro plynulou migraci serverů použijeme další přenosové kanály s 802.1Q, abychom mohli mít příslušné VLAN v obou uzlech a postupně přesouvat jednotlivé stroje.
   

   Obrázek 2.10: Rozdělení uzlu Praha - počáteční fáze (větší obrázek)

3. Převedeme peering z NIX4-Sitel do NIX3-KCP.
4. Postupně převedeme záložní propojení (Telia, GÉANT2) a zvolené páteřní okruhy. Toto převádění je potřeba vždy řešit s dodavatelem a poskytovatelem housingu, neboť ten prakticky neumožňuje vstup optických okruhů jiných poskytovatelů do KCP. Z tohoto důvodu jsme zvolili vhodné propojovací body (v současné době metro Vltavská a Sitel).
5. Uzel Praha II začleníme do hlavního DWDM kruhu optické přenosové sítě pro snadné odbočování části optických přenosových okruhů v tomto uzlu. Rozdělení bude provedeno v severní části (směr "A" od Hradce Králové) a do uzlu Praha II bude umístěn nový ROADM uzel (viz obrázek). Toto řešení umožní flexibilní přesun zvolených kanálů do uzlu Praha II bez větších nároků na počet optických vláken mezi jednotlivými uzly. Simulace vložení nového ROADM uzlu již byla Cisco Advanced Services provedena a bude vyžadovat dodatečné úpravy chromatické disperze a zesílení v úseku Praha I-Praha II-Hradec Králové.

Superrychlá konvergence páteřní sítě

V roce 2008 proběhla ověřovací implementace superrychlé konvergence MPLS jádra páteřní sítě CESNET2 (typicky pod jednu sekundu) při eventuální poruše linky či směrovače. Vychází z rychlé detekce poruchy pomocí protokolu BFD (Bidirectional Forwarding Detection s parametry 3×0,1 s) s využitím konfigurace OSPF/LDP Session Protection a optimalizace interních časových parametrů inkrementálního OSPF za současného použití synchronizace protokolů OSPF a LDP pro zamezení přechodného směrování do "černé díry" (blackholing avoidance) během konvergence obou protokolů.

Rovněž jsme zvýšili dostupnost sítě (resp. její odolnost vůči poruchám) pomocí implementace NSF (NonStop Forwarding) se SSO (Stateful SwitchOver) na směrovačích Cisco 7600 s redundantním supervizorem pro protokoly LDP, OSPF a BGP. Jedná se o schopnost nepřerušeného směrování paketů při poruše primárního supervizoru a následné přepnutí na záložní supervizor se zachováním stavové směrovací informace (Graceful Restart). To drasticky minimalizuje (až zcela eliminuje) možnost ztráty převáděných paketů (typické přerušení směrování po dobu cca 0-3 s na postiženém směrovači Cisco 7600) a významně podporuje stabilitu sítě, neboť původní stavové směrovací informace jsou nahrazeny novými až po úspěšné resynchronizaci s NSF sousedy.

2.4.3   Návrh a implementace zajištění kvality služby (QoS) v MPLS páteři CESNET2

Návrh a implementace služeb s definovanou kvalitou v MPLS páteři CESNET2 představuje druhou fázi zavádění preferenčních služeb pro přenos určité třídy provozu. Navazuje na první fázi provedenou v roce 2005 a zahrnuje zejména restrukturalizaci tříd služeb, podporu IPv6 (současně s IPv4) a unifikaci QoS konfigurací na nové hardwarové platformy či moduly (Cisco CRS1 a moduly ES20 pro Cisco 7600). Nový návrh QoS zahrnoval nejen nezbytnou technickou implementaci zajišťující požadované chování sítě, ale také nutnost vyřešení problémů týkajících se stanovení akceptovatelného všeobecného rámce pravidel uplatňování QoS politiky vůči jednotlivým kategoriím uživatelů, který by byl dostatečně konzistentní a zároveň co nejjednodušší z hlediska implementace a provozní údržby.

Na základě úspěšné první fáze implementace jsme v MPLS páteři dále rozvíjeli architekturu QoS MPLS DiffServ domény typu "point-to-cloud" bez rozlišení cíle (destination unaware) využívající techniku E-LSP (Exp-based Label Switched Path) nad páteřní MPLS infrastrukturou v tzv. "short-pipe" tunelovacím režimu. V něm je při průchodu MPLS páteří zachovávána původní hodnota DSCP transportovaných IPv4/IPv6 paketů (DSCP transparency), které nepřekročily dohodnutý provozní profil. QoS MPLS DiffServ doména CESNET2 zaručuje pro tranzitní provoz splňující dohodnutý profil kvalitu služeb v rámci jednotlivých QoS tříd (tj. typicky minimální zaručenou šířku pásma a ostatní kvalitativní charakteristiky jako zpoždění, rozptyl, ztrátovost paketů apod.). Pokud páteřní síť není zahlcena, mohou některé QoS třídy navíc využívat zbývající pásmo nad rámec své minimální zaručené šířky (proporcionálně v poměru svých vah). Samozřejmostí je kompatibilita s QoS službami Premium IP (PIP) a Less than Best Effort (LBE) podporovanými v síti GÉANT2.

QoS MPLS DiffServ doména CESNET2 podporuje pro tranzitní provoz protokoly IPv4/IPv6 šest tříd služeb:

Real-Time (RT)

Nejvyšší kvalitativní třída poskytuje záruku požadované šířky pásma, minimálního jednosměrného zpoždění, rozptylu zpoždění (jitter) a malé ztrátovosti paketů. V podstatě představuje funkční ekvivalent služby Premium IP (PIP) poskytované sítí GÉANT2. Aplikace pracující v reálném čase, které mohou využívat tuto třídu, zahrnují např. IP telefonii (VoIP), přenos dat ze vzdálených senzorů apod.

Network Control (NC)

Poskytuje záruku požadované šířky pásma pro potřeby výměny řídicích síťových (např. směrovacích) informací, relativně malé jednosměrné zpoždění a malou ztrátovost paketů. Tato služba je zamýšlena spíše pro interní potřebu v rámci samotné domény CESNET2, avšak v odůvodněných případech může být použita i jako mezidoménová (např. pro zajištění potřebné stability vzájemné výměny dynamických směrovacích informací se sousedními univerzitními sítěmi).

Video

Preferenční třída Video je určena především pro neelastické aplikace vyžadující (poměrně velkou) zaručenou šířku pásma, (mnohem) lepší parametry zpoždění a výrazně nižší ztrátovost paketů než může poskytnout třída Best Effort, které však nemají tak těsná omezení na zpoždění či jeho rozptyl, aby vyžadovaly třídu Real-Time. Jako vhodné aplikace se jeví např. určité typy videokonferencí, proudové vysílání neinteraktivních audio-video materiálů apod.

Critical Traffic (CT)

Tato třída je určena především pro elastické (datové) aplikace vyžadující poměrně velkou zaručenou šířku pásma, lepší parametry zpoždění a nižší ztrátovost paketů než může poskytnout třída Best Effort. Jako vhodné aplikace se jeví např. interaktivní a transakční datové aplikace, různé signalizační protokoly apod.

Best Effort (BE)

Implicitní třída neposkytuje žádné výkonnostní záruky. Jejím hlavním účelem je poskytnutí proporcionálního sdílení dostupné šířky pásma jednotlivým datovým tokům běžných (neinteraktivních) aplikací. Tato služba v podstatě představuje funkční ekvivalent stejnojmenné služby poskytované sítí GÉANT2.

Less than Best Effort (LBE)

Využívá pouze volnou přenosovou kapacitu, která není aktuálně použita jinými třídami služeb. V podstatě představuje funkční ekvivalent stejnojmenné služby poskytované sítí GÉANT2 nebo služby Scavenger Service (QBSS) poskytované v síti Qbone/Internet2/Abilene. Je vhodná pro masivní velkoobjemové přenosy dat (nikoliv v reálném čase), jako jsou např. určité gridové aplikace či zálohování, aniž by negativně ovlivnily ostatní provoz. Tuto službu lze výhodně využít jako jakousi benevolentní "možnost poslední záchrany" pro přenos určité části provozu převyšujícího dohodnutý profil, místo toho, aby byla zahozena. Převyšující část provozu bude tedy sítí přenesena pouze tehdy, pokud budou k dispozici takové síťové zdroje, aby nebyly negativně ovlivněny ostatní třídy služeb.

Tabulka ukazuje návrh značkování IPv4/IPv6 paketů pomocí DSCP na vstupu do DiffServ domény CESNET2, jeho mapování do položky Exp MPLS záhlaví a rezervaci šířky pásma pro jednotlivé třídy. Navržené hodnoty rezervované šířky pásma jednotlivých interních páteřních tras lze chápat jako typické doporučení. Může být na základě provozních zkušeností, konkrétní topologie dané části sítě a možného dohodnutého agregovaného zákaznického provozu modifikováno až do té míry, že zůstanou zachována jen následující omezení limitující předepsané chování PHB směrovačů: nejvyšší doporučená šířka pásma pro třídu Real-Time je 33 % z celkové kapacity linky a třída Best Effort musí mít alokováno nejméně 25 % z celkové přenosové kapacity linky.

Hodnoty DSCP a Exp MPLS jsou záměrně voleny tak, aby umožňovaly jednoduše využít implicitní metodu přímého mapování nejvyšších tří bitů položky ToS IP hlavičky do položky Exp MPLS hlavičky (tzv. ToS reflection), kterou na hranici MPLS a IP sítě implicitně provádějí směrovače při zapouzdřování IPv4/IPv6 paketu do MPLS rámce.

Navržená rámcová politika domény CESNET2 pro řízení provozu oprávněného využívat tranzit páteřní sítí se zaručenou kvalitou služby z/do jiných DiffServ domén (či Internetu) je založena na tzv. point-to-cloud modelu nevyžívajícím cílovou adresu. Pro každé konkrétní vstupní/výstupní rozhraní z/do cizí DiffServ domény do/z MPLS DiffServ domény CESNET2 je na základě dohodnutého mezidoménového provozního kontraktu pro každou podporovanou třídu služby definován provozní profil se zaručenou kvalitou, jehož dodržování je kontrolováno omezovači¹ (policer) či volitelně tvarovači (shaper) na výstupu.

Pro každou podporovanou třídu služby je definována množina vstupních (Ingress Committed Rate: ICRclass, Ingress Burst Conform: IBCclass, Ingress Burst Exceed: IBEclass) a výstupních (Egress Committed Rate: ECRclass, Egress Burst Conform: EBCclass, Egress Burst Exceed: EBEclass) parametrů určujících chování srTCM (single rate Three Color Marker) značkovače/omezovače paketů, který kontroluje míru překročení reálného provozu vzhledem k dohodnutému provoznímu profilu a provádí eventuální korekční akce (např. reklasifikaci, přeznačkování či zahození) pro pakety, které jej porušily.

Tabulka obsahuje návrh reklasifikace a přeznačkování vstupního provozu a eventuální následné represivní akce podle míry porušení dohodnutého provozního kontraktu v jednotlivých třídách služeb, což by mělo zajistit přijatelné chování sítě i pro tu část provozu, která porušuje kontrakt (žádné pakety nejsou při vstupu do domény CESNET2 zahazovány). Přitom samozřejmě platí pravidlo, že pokud kterákoliv třída služeb nevyužije svoji minimální zaručenou/alokovanou šířku pásma, může být zbývající kapacita použita ostatními třídami proporcionálně v poměru jejich alokace.

Takto navržená rámcová QoS politika řízení přípustnosti provozu z hlediska dohodnutého kontraktu reprezentuje přijatelné řešení pouze v tom případě, kdy je akceptovatelné, že část provozu porušujícího kontrakt v rámci vyšších QoS tříd, která je pak reklasifikována do nižších tříd, může sumárně značně převýšit původně kontrahovaný agregovaný provoz všech QoS tříd dohromady, neboť provoz nižších tříd není v tomto případě nijak omezován. To však nemůže nastat v případě, kdy je celkový kontrahovaný agregovaný provoz všech QoS tříd dohromady omezen fyzickou přenosovou kapacitou mezidoménové přípojky.

Nespornou výhodou takto navržené rámcové QoS politiky domény CESNET2 je zejména jednoduché zřízení a správa podpory kvality služeb mezi sousedními DiffServ doménami, neboť za důvěryhodnost příslušnosti "svého" provozu do dané třídy služby je zodpovědná právě vždy sousední DiffServ doména. Není proto nutné udržovat jakékoliv další informace² o důvěryhodnosti zdroje provozu z hlediska požadované kvality služby³. Zároveň je formou vhodné implementace vstupních (čí výstupních) reklasifikátorů/omezovačů možné jednoduše reagovat na porušení dohodnutých provozních mezidoménových QoS kontraktů.

Technická implementace jednotlivých PHB na směrovačích Cisco silně závisí nejen na jejich typu, ale u Cisco 7600 i druhu/verzi jednotlivých modulů. Proto jsme v prostředí IPv4/IPv6 i MPLS zvolili pro implementaci EF PHB unifikované řešení využívající fronty LLQ (Low Latency Queuing) a pro implementaci AF PHB fronty MDRR (Modified Deficit Round Robin) či CBWFQ (Class-Based Weighted Fair Queuing), které jsou jednak pro tyto účely doporučovány samotným výrobcem a jednak jsou podporovány platformou Cisco CRS1 i tzv. servisními moduly Cisco 7600. Pouze u tzv. LAN modulů směrovačů Cisco 7600 musely být nahrazeny vhodně parametrizovanými frontami WRR (Weighted Round Robin) s prioritní frontou, neboť LLQ/MDRR či LLQ/CBWFQ není podporováno. Konfigurace WRED je implementována u těch zařízení/modulů, které ji podporují.

Kontrola přípustnosti provozu podle jednotlivých tříd služeb se provádí výlučně na vstupu (resp. volitelně na výstupu) do (resp. z) MPLS DiffServer domény CESNET2, tedy na IP-to-MPLS rozhraních typu PE-CE-in (resp. volitelně na PE-CE-out). Ta představují hranice domény CESNET2 podle modelu point-to-cloud bez uvažování cílové adresy (viz obrázek). Je ovšem otázkou, zda má smysl provádět omezování provozu ještě na výstupu z domény CESNET2, neboť eventuální část provozu překračující QoS kontrakt již páteří CESNET2 stejně prošla, takže vlastně jediným důvodem pro takovou reklasifikaci/přeznačkování provozu může být jen snaha o vynucení dohodnutého QoS kontraktu se sousední DiffServ doménou.

Obrázek ukazuje jednotlivé typy QoS rozhraní P, PE a CE směrovačů z pohledu domény CESNET2, na nichž mohou být implementovány vhodné techniky zajištění kvality služby a řízení přípustnosti provozu, které jsou v současné době konfigurovány takto:

• IP-to-MPLS: IPv4/IPv6 rozhraní
  • PE-CE-in: povinná kontrola přípustnosti vstupního QoS provozu ze sousední/cizí DiffServ domény.
• MPLS-to-IP: IPv4/IPv6 rozhraní
  • PE-CE-out: povinná implementace PHB na výstupu, volitelná kontrola přípustnosti výstupního QoS provozu do sousední/cizí DiffServ domény.
• MPLS-to-MPLS: MPLS rozhraní
  • PE-PE-out, PE-P-out, P-P-out, P-PE-out: povinná implementace PHB na výstupu.

Bližší informace jsou uvedeny v technické zprávě [ŠmV08].

2.5   Podpora E2E služeb

E2E (End-to-End) služby jsou vyvíjeny a ověřovány v rámci výzkumných aktivit celoevropského projektu GN2 jako nový typ multidoménových služeb se zaručenou kvalitou pro potřeby výzkumných projektů a pokročilých uživatelů sítě. E2E služby sítě GÉANT2+ jsou poskytovány jako dvoubodové (point-to-point) ethernetové služby. Pro jejich realizaci GÉANT2+ používá Ethernet/SDH přepínač Alcatel 1678 MCC, který obsahuje 10GE rozhraní s podporou EVPL (Ethernet Virtual Private Lines). Funkce EVPL umožňuje mapování ethernetových VLAN do VCG (Virtual Concatenation Group), které jsou SONET/SDH vrstvou sítě GÉANT2+ přenášeny jako samostatné virtuální kontejnery (VCAT, Virtual Concatenation).

Síť CESNET2 je připojena do infrastruktury GÉANT2+ vyhrazeným L2/L3 přepínačem Foundry BigIron RX-8, který zároveň slouží jako distribuční a agregační prvek pro poskytování E2E služeb v prostředí sítě CESNET2.

Ve spolupráci se sítí GÉANT2 poskytujeme E2E služby zejména pro potřeby výzkumných projektů (např. FEDERICA, AutoBahn, LHC a další) a pro pokročilé uživatele. Základní topologie infrastruktury pro jejich distribuci je uvedena na obrázku. Dvoubodové E2E služby rovněž používáme na CBF propojení se sousedními NREN (PIONIER, SANET a ACOnet). Využíváme převážně technologii EoMPLS s mapováním do VLAN nebo v tzv. port-režimu (mapování celého ethernetového portu do EoMPLS tunelu), protože nevyžaduje další dodatečné HW prostředky. Příkladem využití jsou E2E služby CESNET-PIONIER pro potřeby projektů AutoBahn a Phosphorus (Praha-Poznaň).

E2E služby v prostředí sítě CESNET2 využíváme i pro připojené účastníky, zejména v oblasti dvoubodových L2 propojení vzdálených pracovišť (Karlova univerzita, TU v Liberci, VŠB-TU Ostrava, UJV Řež a další).

V DWDM i IP/MPLS vrstvách sítě CESNET2 se věnujeme také vícebodovým (multipoint) ethernetovým službám, jako je L2/DWDM a VPLS. V letošním roce jsme úspěšně dokončili migraci uzlů MetaCentra (vlastní služba byla realizována koncem loňského roku, ale připojení na nové služby vyžadovalo přizpůsobení topologie uzlů MetaCentra). S rozvojem optické transportní sítě DWDM (systémů ONS 15454 a CL DWDM) jsme schopni poskytovat E2E služby i v optické vrstvě.

V rámci podpory výzkumných aktivit jsme v letošním roce vybudovali základní L2 infrastrukturu pro projekty C2C a PragueMediaNet, která propojuje kapacitami 10GE pracoviště VRLABu na FEL Karlovo náměstí, halové laboratoře na FEL Dejvice, CESNET a Filmové laboratoře Barrandov a zajišťuje i další propojení pro poskytování E2E služeb v rámci ČR i v mezinárodním měřítku (viz obrázek).

E2E služby nejsou využívány pouze pro potřeby výzkumných projektů a pokročilých uživatelů. Slouží rovněž ke zvýšení dostupnosti služeb sítě GÉANT2 (záložní propojení do uzlu v Budapešti) a pro efektivní využívání cenově náročného připojení do Internetu. V letošním roce jsme zřídili 1 Gb/s E2E ethernetový okruh sítí GÉANT2+ do významného evropského peeringového centra AMS-IX v Amsterdamu, kde jsme navázali peering s řadou poskytovatelů. Tento okruh nám výrazně šetří náklady na mezinárodní konektivitu.

2.6   Další změny v síti CESNET2

V roce 2008 nastala v optické přenosové a IP/MPLS vrstvě sítě CESNET2 řada změn. Ty nejvýznamnější, jako nasazení systému CRS-1/16, rozšíření CL DWDM systémů a další, již byly popsány výše. V souvislosti s budováním dalších CL DWDM tras bylo nutné nahradit již nevyhovující technologii v dotčených uzlech. Nové směrovače OSR 7606-S jsme nasadili v Jihlavě a Mostu jako plnohodnotné PE směrovače. Redundantní konfigurace směrovačů a vybudování záložních optických přenosových kanálů zvýšily spolehlivost a dostupnost služeb v těchto uzlech. V menších uzlech (Cheb, Opava) jsme nahradili malé směrovače gigabitovými přepínači Cisco Catalyst 3750G, uzly jsou nyní připojeny zálohovaně kapacitou 1 Gb/s. Uzel Děčín byl povýšen na 1 Gb/s a uzel Pardubice na 10 Gb/s (viz obrázek). Páteřní uzly České Budějovice, Plzeň a Ostrava jsou nyní plně zálohovány geograficky odlišnými průběhy optických tras (CL DWDM) s přenosovými kanály 10 Gb/s. V polovině roku jsme rovněž povýšili fyzické připojení do Internetu na 10 Gb/s. Stávající konfigurační omezení kapacity na 2,5 Gb/s sice prozatím zůstalo, jsme však připraveni na plynulé povyšování mezinárodní konektivity podle potřeb sítě CESNET2.

K podstatným změnám došlo v oblasti externích připojení. S využitím E2E služeb jsme zřídili 1 Gb/s okruh do peeringového centra AMS-IX. V rámci projektu GLIF a ve spolupráci se specialisty z Tchajwanu byl sestaven mezikontinentální E2E okruh o kapacitě 622 Mb/s (OC-12) do tchajwanské sítě TWAREN (viz obrázek). Okruh je zakončen 1GE rozhraními a prochází uzlem Netherlight v Amsterdamu a sítí MANLAN (trasa New York-Chicago) v USA. Jeho celková délka je cca 30 000 km. Na způsobu realizace tohoto okruhu je zajímavé to, že byl sestaven v rekordním čase cca 5 hodin.

Technické řešení zahrnuje nejrůznější technologie, které používají spolupracující partneři (10GE s 802.1Q, OC-192c, OC-12 a 1GE). Průměrná doba obousměrné odezvy RTT je cca 312 ms. Okruh je využit jednak pro přímé IP propojení mezi sítí CESNET2 a TWAREN (BGP peering na úrovni protokolů IPv4 unicast/multicast a IPv6 unicast), jednak umožňuje vytvoření dalších experimentálních VLAN. BGP peering byl později rozšířen o japonskou NREN APAN-JP, takže prostřednictvím sítě TWAREN máme i přímý přístup do Japonska. Přímé propojení na Tchajwan využíváme zejména pro testování síťových aplikací a videokonferenčních projektů. V současné době dochází k rozšiřování tohoto spojení do některých nemocnic na Tchajwanu.

Nejvýznamnější změnou v externí konektivitě je zřízení peeringu v AMS-IX. V současné době máme navázán peering přibližně s 65 sítěmi protokolem IPv4 a 25 protokolem IPv6 (např. Google, Yahoo, Verisign, Microsoft a další). Bohužel se nepodařilo navázat peering s velkými poskytovateli, neboť většinou vyžadují současný peering alespoň ve třech evropských centrech. CESNET má přímý peering pouze v AMS-IX a NIX.CZ, peeringy v SIX a VIX jsou zajištěny prostřednictvím místních sítí SANET a ACOnet. Přesto se ukazuje, že okruh do AMS-IX šetří významnou část mezinárodní konektivity (na obrázku je vstupní provoz znázorněn červeně).

Díky využití peeringu v AMS-IX nebylo zatím potřeba navyšovat zahraniční konektivitu. V současné době je stávající kapacita 1 Gb/s okruhu již nedostatečná a bude potřeba provést povýšení. Obrázek graficky znázorňuje rozložení zahraniční konektivity (výstup z Arbor PeakFlow SP). Pro názornost a lepší rozlišení jsme zvolili údaje za 24 hodin. Odchozí provoz sítě CESNET2 je zobrazen jako záporné hodnoty, příchozí provoz jako hodnoty kladné. Z grafu je patrné, že nejvíce dat do sítě přichází od poskytovatele Internetu (Telia IC), pak následují AMS-IX, NIX.CZ, ACOnet a VIX a SANET a SIX.

2.7   Plány rozvoje v dalším období

V dalším období plánujeme pokračovat v implementaci a ověřování pokročilých přenosových a síťových technologií a jejich vlastností v prostředí NREN CESNET2. Jedním z hlavních cílů je zvýšení spolehlivosti /dostupnosti druhého nejvýznamnějšího uzlu sítě CESNET2 v Brně. Připravujeme náhradu plně obsazeného a výkonově nedostačujícího peeringového směrovače OSR 7609 novým terabitovým směrovačem CRS-1/16, jehož nasazení je rovněž důležité pro ověřování 40 Gb/s přenosů DWDM systémem ONS 15454 MSTP na trase Praha-Brno. Zároveň předpokládáme zahájení prací na geografickém rozčlenění uzlu Brno.

V oblasti DWDM sítě ONS 15454 MSTP se budeme zabývat dalším kvalitativním rozvojem vícebodových L2/DWDM služeb a jejich rozšířením do dalších lokalit. Bude rovněž pokračovat nasazování CL DWDM systémů na dalších trasách (Pardubice-Hradec Králové a Brno-Zlín-Olomouc) i ověřování nových výsledků CL DWDM (např. CL ROADM, CLS) v prostředí páteřní sítě CESNET2.

Na úrovni IP/MPLS vrstvy budeme pokračovat v průběžném povyšování na nejnovější verze operačního software (IOS) aktivních prvků a implementaci nových funkcí a vlastností (ověřování protokolu Mac-in-Mac, MPLS traffic engineering, možnosti chráněných EoMPLS tunelů a další). Velkou pozornost budeme věnovat zabezpečení a odolnosti aktivních síťových prvků (přepínačů a směrovačů) na úrovni protokolu IPv6.

 

Poznámky:

1. Omezovače kontrolují vždy vstupní provoz do MPLS DiffServ domény CESNET2 a volitelně (např. pokud je to explicitně vyžadováno a pokud jsou vůbec na dané hardwarové platformě v dané konfiguraci podporovány) i výstupní provoz (nejsou-li v této roli zastoupeny tvarovači).

2. Např. přístupové seznamy oprávněných zdrojových IP adres.

3. Jedinou potenciální výjimkou z tohoto pravidla je třída Network Control, která je typicky určena pro interní přenos prioritních řídicích síťových informací v rámci domény CESNET2. V některých případech je vhodné tuto třídu podporovat i mezi různými sousedními DiffServ doménami (např. pro zaručený přenos vybraných směrovacích informací). Pak je žádoucí konfigurovat její podporu pomocí vstupního filtru pouze pro bezpečné zdroje v cizích doménách, aby se snížila možná bezpečnostní rizika.

předchozí

obsah

následující