hledat:

2  Rozvoj páteřní sítě CESNET2

Rozvoj sítě CESNET2 v období roku 2010 byl velmi ovlivněn nedostatkem finančních prostředků. Nasazování nových terabitových směrovačů v dalších uzlech jádra sítě (Hradec Králové a Olomouc) nebylo možné pro finanční náročnost realizovat. Ze stejných důvodů bylo pozastaveno i povyšování přenosových kapacit na 40 Gb/s. V tomto období jsme se zejména zaměřili na zajištění spolehlivého a bezproblémového provozu celé sítě. To zahrnovalo především zvýšení redundance a odolnosti vůči poruchám na úrovni optické infrastruktury a IP/MPLS vrstvy sítě. Nedílnou součástí rozvoje bylo i povyšování operačních systémů páteřních směrovačů, které umožnilo implementaci nových funkcí a vlastností v IP/MPLS části. Rovněž jsme se zabývali optimalizací směrovacích protokolů, zejména na úrovni interního BGP pro zajištění rychlé konvergence sítě při poruchách páteřních datových okruhů. V oblasti nových protokolů a funkcí jsme rozšířili pilotní implementaci MPLS Traffic Engineering o autobackup tunely. Nedílnou součástí rozvoje sítě bylo i zabezpečení aktivních páteřních prvků, a to zejména na úrovni IPv6.

2.1  Optická přenosová síť DWDM

V oblasti optické přenosové infrastruktury DWDM jsme v uplynulém období pokračovali v zakruhování optických tras do páteřních uzlů. Hlavní uzly sítě CESNET2 jsou připojeny redundantně, tj. alespoň dvěma nezávislými optickými trasami. Velkou pozornost věnujeme zajištění geograficky nezávislého vedení optických tras (zejména v oblasti posledních mílí) do jednotlivých uzlů. Právě v oblasti posledních mílí dochází nejčastěji k souběhům meziměstských optických tras a případné poruchy v kritických místech mají vážné následky. Vzhledem k tomu, že zakruhování znamená často budování nových místních tras a je finančně velmi náročné, zaměřujeme se společně s aktivitou Optické sítě na nepřetržité monitorování dostupnosti vhodných nezávislých tras. Na základě technicko-ekonomické analýzy (přeložení trasy může vyvolat netriviální náklady na změnu osazení DWDM) pak rozhodneme o realizaci. V letošním roce se podařilo dokončit zakruhování uzlu Liberec, začátkem příštího roku budou následovat České Budějovice. Zároveň se podařilo pořídit nezávislou optickou trasu do uzlu Karviná (jako poslední větší uzel sítě byla připojena jen jedním spojem).

Základní optická topologie páteřní sítě se oproti minulému roku prakticky nezměnila a je uvedena na obrázku 2.1. Je založena na pronajatých optických vláknech odpovídajících standartu ITU-T G.652. Část optických tras je jednovláknových (Ostrava–Karviná, Ústí nad Labem–Most, Ústí nad Labem–Děčín, Plzeň–Cheb, Cheb–Most, Letohrad–Opava, Opava–Ostrava a Karviná–Ostrava), většina je dvouvláknových.

Současná optická transportní síť používá dva základní typy DWDM technologie:

• Hlavní jádro optické transportní sítě je vybudováno na technologii Cisco ONS 15454 MSTP a umožňuje flexibilní vytváření optických přenosových kanálů mezi jednotlivými ROADM uzly. Jádro DWDM sítě tvoří ucelený optický transportní systém s jednotným řídicím systémem, jenž umožňuje vytvářet optické přenosové kanály end-to-end bez nutnosti jakéhokoliv propojení či rekonfigurace mezilehlých ROADM uzlů.

• Ostatní DWDM trasy jsou osazeny technologií CzechLight (CL) DWDM, která je vyvíjena v rámci výzkumných aktivit. Tato technologie je v současné době založena na optických zesilovačích CzechLight (typy PB01, PB02, PB01F, PB02F) a vybavena pasivními multiplexory/demultiplexory. Nasazena je na části dvouvláknových tras a na všech jednovláknových trasách.

Osazení optických tras v uzlech páteřní sítě rozdílnými typy DWDM prvků rovněž zvyšuje dostupnost a spolehlivost optických přenosových služeb. Provádíme je s ohledem na způsob zakruhování tras v jednotlivých uzlech. Další výhodou dvojí nezávislé přenosové technologie DWDM v klíčových uzlech je možnost bezproblémové přestavby osazení optických okruhů.

Aktuální topologii přenosového systému ONS15454 MSTP najdete na obrázku 2.2. Celý systém se skládá celkem z 22 DWDM uzlů a zahrnuje:

• 3 vícecestné ROADM uzly (three-way ROADM) s optickými přepínači WXC (Wavelength Cross Connects) v Praze I, Hradci Králové a Olomouci
• 5 dvoucestných ROADM uzlů (Praha II, Brno I, Brno II, Letohrad a Plzeň)
• 3 terminálové uzly (1-way ROADM) v Liberci, Českých Budějovicích a Ostravě)
• 11 zesilovacích uzlů (OLA)

Celkový počet provozovaných šasi ONS15454 MSTP je v současné době 33 včetně tzv. multishelf uzlů v Praze I, Hradci Králové a Olomouci, kde se sestava 3–4 šasi ovládá jako jeden uzel.

DWDM systém podporuje až 32 optických přenosových kanálů v každém úseku s projektovanou přenosovou rychlostí 10 Gb/s a umožňuje i přenos kanálů 40 Gb/s s využitím pokročilých modulací (ODB či DPSK+).

V období roku 2010 byly osazeny další optické přenosové kanály pro potřeby síťové IP/MPLS vrstvy a pro podporu výzkumných aktivit (např. přenosy časového signálu, ověřování propojení datových center a další). Dokončili jsme povýšení centrálního řídicího systému CTM (Cisco Transport Manager) na verzi 9.0. Povyšování softwarového vybavení uzlů ONS 15454 MSTP na novější jsme neprováděli, neboť stávající verze je stabilní a novější verze zahrnují pouze podporu nového HW vybavení.

Optický transportní systém ONS 15454 MSTP je stabilní a bezproblémový. Za období roku 2010 jsme zaznamenali pouze několik poruch, které neovlivnily optické přenosové služby. Obecně lze konstatovat, že největším zdrojem případných výpadků jsou poruchy optických vláken. Vzhledem k tomu, že optické přenosové kanály (s výjimkou L2/DWDM služby pro MetaCentrum) nejsou na úrovni DWDM zálohovány (unprotected), řešíme zálohování služeb sítě obvykle ve vyšších vrstvách.

Mimo stávající aktivity jsme se věnovali přípravám dalšího rozvoje DWDM sítě na následující období, zejména z pohledu navýšení přenosových kapacit a podpory vyšších přenosových rychlostí 40 Gb/s až 100 Gb/s v rámci celé DWDM sítě. Pro přenosové rychlosti 40 Gb/s a vyšší je velmi kritická hodnota kolísání PMD (Polarization Mode Dispersion) optických vláken. Kolísání PMD nastává zejména u nadzemních částí optických tras (některé pronajaté úseky jsou nadzemní). Z tohoto důvodu jsme se kromě zakruhování rovněž zaměřili na změny průběhů tras, abychom minimalizovali/eliminovali délky nadzemních úseků. V letošním roce byla takto převedena na výhradně podzemní vedení páteřní trasa Brno–Olomouc.

U technologie CL DWDM jsme se zaměřili na zvýšení spolehlivosti a povýšení správy těchto zesilovačů. Dokončili jsme nasazení nového SW vybavení ve všech provozovaných zesilovačích, které umožňuje vzdáleně dohledovat a konfigurovat parametry zesilovačů CL DWDM zabezpečeným WWW rozhraním. Na obrázku 2.3 vidíte hlavní stránku správy s přehledem základního stavu zesilovače (aktuální a nastavené optické parametry modulu EDFA zesilovačů a celkový přehled napájení a teplot systému). Správa podporuje SNMP (monitorování parametrů pomocí SNMP bylo integrováno do měřicího systému G3) s vlastními SNMP MIB, generování a zasílání alarmů a rovněž ukládání/obnovení konfigurací zesilovače a celého systému.

CL DWDM systém je provozován na 21 jednovláknových a dvouvláknových optických trasách (na obrázku 2.1 nejsou znázorněny mezilehlé úseky). Na těchto trasách je nasazeno celkem 47 zesilovačů CL DWDM (včetně inline zesilovačů v průbězích tras). Detailní popisy osazení jsou popsány v technických zprávách a rovněž i v předchozích ročních zprávách o řešení výzkumného záměru (zejména roky 2008 a 2009).

S ohledem na omezené finanční prostředky v letošním roce nebylo možné provést ani nutné změny osazení některých tras, zejména v souvislosti s migrací v uzlu Brno a plánovaným přesunem části tras do nového uzlu Brno II. Návrhy technických řešení změny osazení CL DWDM tras Brno–Ostrava a Brno–Vídeň jsou připraveny. S ohledem na hraniční délky tras (přes 200 km) bude nutné použít inline zesilovače. Pro jejich dohled a řízení předpokládáme využít in-band management na vyhrazených optických kanálech.

Pro jednovláknovou trasu Plzeň–Cheb–Most je navrženo povýšení s využitím CL ROADM v uzlu Cheb, které by mělo odstranit problémy s vyrovnáváním úrovní při výpadku některého tranzitního přenosového kanálu. Povýšení trasy bude možné realizovat až v dalších obdobích rozvoje sítě. Rovněž připravujeme povýšení spoje Plzeň–Cheb na 10GE, neboť stávající kapacita již nepostačuje.

CL DWDM systémy jsou ekonomicky vhodné na optických trasách, kde nepožadujeme větší počet kanálů ani velkou flexibilitu. Jejich další rozvoj v oblasti implementace ROADM a optických přepínačů, realizovaný aktivitou Optické sítě, rozšiřuje možnosti jejich využití v rámci páteřní sítě. Hlavní využití těchto systémů předpokládáme zejména v oblasti připojování koncových účastníků a výzkumných projektů, kde jsou komerčně dostupné DWDM systémy neefektivní s ohledem na svou pořizovací cenu.

2.2  IP/MPLS topologie sítě CESNET2

Aktuální fyzická topologie sítě (nejsou zde pro jednoduchost uvedeny záložní okruhy) je uvedena na obrázku 2.4. Síť CESNET2 používá směrovače OSR 7609 (IOS 12.2(33)SRE2) a CRS-1/16 (IOS-XR 3.8.1), které jsou umístěny v hlavních páteřních uzlech. Síť je založena na technologii IP/MPLS se směrovači jádra sítě P v uzlech Praha I (R119), Praha II (R107), Hradec Králové (R108), Olomouc (R109) a Brno II (R122). Směrovače CRS-1/16 v uzlech Praha I a Brno II podporují technologii logických směrovačů a jsou rozděleny na přístupový/peering směrovač PE (R118 a R121) a směrovač jádra sítě P (R119 a R122). Na všech PE směrovačích používáme multi-protocol iBGP, na němž jsou nakonfigurovány address-family pro IPv4 unicast/multicast a IPv6 unicast/multicast. IPv4/IPv6 multicast (skupinově orientované) protokoly jsou přenášeny nativně (bez MPLS značek), a proto na směrovačích jádra sítě P provozujeme IPv4/IPv6 multicast address-family pro zajištění řádné funkce RPF (Reverse Path Forwarding) při přenosu/směrování skupinových dat.

Přenosová kapacita páteřních okruhů je 10 Gb/s (LAN PHY), na směrovačích CRS-1/16 jsou zakončeny jako optické přenosové DWDM kanály přímo na portech IPoDWDM rozhraní. Na všech páteřních rozhraních jsou podporovány jumbo rámce o maximální velikosti 9202 B. Jako interní směrovací protokol (IGP) v IP/MPLS prostředí využíváme protokol OSPFv2 pro IPv4 a OSPFv3 pro IPv6. Vnitřní provoz páteřní sítě je řízen procesy OSPF na základě nastavení metrik rozhraní směrovačů, na kterých jsou zakončeny páteřní okruhy. PE směrovače používají dual-stack pro IPv4/IPv6 (PE/6PE) v prostředí MPLS. Pro zajištění superrychlé konvergence MPLS jádra využíváme rychlou detekci poruchy pomocí protokolu BFD (Bidirectional Forwarding Detection) s nastavením parametrů 3×100 ms.

IPv4 multicast je přenášen nativně v rámci celé topologie, v režimu PIM-SM (PIM Sparse-mode) na všech páteřních a přístupových rozhraních. Využívá topologii „anycast RP“ se dvěma RP (Rendezvous-point) na směrovačích R115 a R118 k zajištění redundance. Pro RP používáme vyhrazenou IPv4 adresu 195.113.144.2, která je vnitřně oznamována OSPF. Mezi oběma RP je nakonfigurován protokol MSDP, který zajišťuje oznamování registrovaných aktivní zdrojů. Na všech P a PE směrovačích je nakonfigurován protokol iMBGP (BGP address-family ipv4 multicast) pro zajištění RPF check. Protokol iMBGP posílá na směrovače jádra sítě P (R119, R107, R108, R109 a R122) prefixy sítí podporujících IPv4 multicast, nikoli však default-route. Na P směrovačích rovněž není nakonfigurován protokol unicast BGP (BGP address-family ipv4 unicast).

Pro zajištění korektního RFP check na PE směrovačích (používají BGP address-family ipv4 unicast i multicast) bylo nutné preferovat iMBGP prefixy (nastaveni vyšší administrativní distance pro BGP address-family ipv4 multicast; distance bgp 15 150 150).

IPv6 multicast je rovněž přenášen nativně v rámci celé MPLS topologie. Na všech P a PE směrovačích jsou nakonfigurovány IPv6 multicast BGP relace (BGP address-family IPv6 multicast), které používají vyhrazené IPv6 loopback adresy. Stejně jako v případě IPv4 i u IPv6 multicastu se na P směrovačích nepoužívá IPv6 unicast BGP. Architektura IPv6 multicast využívá embedded RP dle RFC 3956.

Síť CESNET2 využívá následující externí připojení a peeringy:

Zahraniční konektivita:

Zahraniční spojení protokoly IPv4 a IPv6 do běžného Internetu nám poskytuje TeliaSonera. Hlavní okruh o kapacitě 10 Gb/s (s omezením kapacity na 3,6 Gb/s) je ukončen na směrovači R118 v uzlu Praha I, záložní připojení z druhého směrovače TeliaSonera je zakončeno na směrovači R114 v uzlu Praha II. Záložní připojení je znevýhodněno pomocí AS2852 prepend pro odchozí prefixy sítě CESNET2 a local-preference 50 pro přijímané globální směrovací tabulky (cca. 329 000 prefixů). Příchozí globální prefixy jsou dodatečně označeny BGP komunitou 2852:111. Mezi směrovači R118 a R114 je použita vyhrazená BGP relace pro vzájemnou výměnu globálních směrovacích tabulek, které však nejsou oznamovány do sítě CESNET2 (využíváme zde oznamování default-route). Konektivita pro IPv6 od TeliaSonera je poskytována pouze na připojení R114 a je zálohována sítí GÉANT3.

Peering v NIX.CZ:

Do českého peeringového centra NIX.CZ je síť CESNET2 propojena dvěma 10GE nezávislými okruhy, které končí na směrovačích R118 (NIX2-GTS) a R114 (NIX3-KCP). S řadou poskytovatelů Internetu, kteří mají rovněž dva peering směrovače, máme celkem až 4 BGP relace (2 na R118 a 2 na R114). V tomto případě využíváme MED pro řízení vstupního provozu směrem do sítě CESNET2. NIX.CZ peering používá IP adresy 194.50.100.x a 2001:7F8:14::x:y. Příchozí IPv4 a IPv6 prefixy do sítě CESNET2 jsou označeny BGP komunitou 2852:666 a vyšší local-preference 150.

Konektivita do sítě GÉANT3:

Hlavní připojení do sítě GÉANT3 s kapacitou 10 Gb/s je zakončeno na směrovači R115. Připojení do této sítě využívá IPv4/IPv6 unicast a multicast protokoly a na úrovni protokolu BGP jsou nakonfigurovány příslušné address-family ipv4 a ipv6 pro unicast a multicast. Síť GÉANT3 používá BGP komunity, na jejichž základě řídí provoz všech připojených NREN, v síti CESNET2 jsme zvolili stejný přístup. Všechny prefixy z této sítě mají nastavenu vyšší local-preference 150. Záložní připojení o kapacitě 1 Gb/s je realizováno jako E2E Ethernet/SDH okruh do uzlu sítě GÉANT3 v Maďarsku. Ze sítě GÉANT3 přijímáme cca. 10 000 IPv4 unicast prefixů, cca. 2700 IPv4 multicast prefixů a cca. 2700 IPv6 unicast prefixů.

Peering se sítí TWAREN:

Propojení s NREN TWAREN je realizováno pomocí 1GE rozhraní (kapacita okruhu je 622 Mb/s) na směrovači R115. Prefixy z této sítě mají nastavenu local-preference 150 a jsou označeny BGP komunitou 2852:888.

Peering v AMS-IX:

Propojení do významného evropského peeringového centra AMS-IX je realizováno vyhrazeným okruhem o kapacitě 1 Gb/s sítí GÉANT3 (Ethernet/SDH okruh). Příchozí prefixy mají opět nastavenu vyšší local-preference 150 a jsou značeny BGP komunitou 2852:777.

Externí peeringy se sousedními státy:

Síť CESNET2 provozuje optická vlákna osazená CL DWDM prvky do Rakouska (ACOnet), na Slovensko (SANET) a do Polska (PIONIER). Přenosová kapacita všech těchto propojení je 10 Gb/s. Přes tyto NREN má síť CESNET2 zajištěnu konektivitu do národních peeringových center VIX a SIX a sama poskytuje všem účastníkům přístup do českého peeringového centra NIX.CZ. Pro polskou síť PIONIER rovněž zajišťujeme jejich L2 propojení se sítěmi SANET a ACOnet (EoMPLS). Pro snadné řízení směrování a efektivní uplatňování dohodnuté směrovací politiky jsme zavedli vzájemné značení prefixů BGP komunitami.

2.3  Optimalizace interního BGP směrování

Stávající architektura umístění route-reflektorů na PE směrovačích, které zajišťují směrování (interní a externí) a předávání (forwarding) paketů na společné HW platformě, způsobovala zejména dlouhou konvergenci směrovacích iBGP tabulek v síti CESNET2. Procesory směrovačů nemají dostatečný výkon (zejména v případě směrovačů R114 a R98 na platformě OSR7609) a nejsou schopné dostatečně rychle přepočítat směrovací tabulky iBGP.

Nejvhodnějším řešením je zajistit oddělení předávací a řídicí úrovně instalací samostatných směrovačů, které budou vykonávat pouze funkci route-reflektorů a nebudou přenášet žádná uživatelská data. Pro tyto účely plně postačí menší směrovače s dostatečně výkonným procesorem. Pro funkci route-reflektorů jsme vybrali modulární platformu ASR1002 vybavenou procesorem ESP-5G a 1GE rozhraními pro připojení do páteřní sítě. Tento směrovač umožňuje rozšíření o 10GE v budoucnosti, pokud by kapacita 1GE přestala postačovat. Zároveň je možné i vlastní procesor nahradit výkonnějším, bude-li to nutné.

Vyhrazené route-reflektory jsou umístěny v uzlech Praha I (R125) a Brno II (R124). Nedílnou součástí optimalizace BGP směrování je i nastavení řady dalších parametrů (velikost MTU, iBGP časovače) pro dosažení rychlé konvergence interního BGP. Nezanedbatelnou výhodou samostatných route-reflektorů je též jednodušší a přehlednější správa externího a interního BGP a směrovacích politik.

Podrobnější informace o implementaci route-reflektorů a optimalizaci interního BGP směrování jsou popsány v technické zprávě [Nov10].

2.4  Zajištění vysoké dostupnosti směrování provozu MetaCentra pomocí MPLS TE Fast Reroute

Počáteční optimalizaci směrování provozu MetaCentra pomocí technologie MPLS Traffic Engineering (TE) jsme realizovali v roce 2009. Letos jsme zajistili vysokou dostupnost MPLS TE tunelů pomocí mechanismu rychlého přesměrování Fast Reroute (FRR) v řádech desítek milisekund. FRR respektuje omezení daná sdílením stejné fyzické infrastruktury různými logicky nezávislými linkami realizovanými DWDM lambdami (různé DWDM lambdy mohou současně procházet stejnými fyzickými optickými trasami) označované jako SRLG (Shared Risk Link Group).

Pro zajištění rychlé konvergence pomocí technologie FRR na směrovačích Cisco 7609 v celé MPLS páteři využíváme automatickou tvorbu záložních TE tunelů jak typu „next-hop“ pro ochranu proti výpadku linek (link protection), tak i typu „next-next-hop“ pro ochranu proti výpadku uzlů/směrovačů (node protection) s respektováním omezení SRLG.

mpls traffic-eng tunnels
mpls traffic-eng auto-tunnel backup
mpls traffic-eng auto-tunnel backup config unnumbered-interface Loopback0
mpls traffic-eng auto-tunnel backup tunnel-num min 4000 max 4999
mpls traffic-eng auto-tunnel backup srlg exclude preferred

Automatizace tvorby záložních TE tunelů tak navíc zajišťuje odpovídající pružnost rekonfigurace směrovačů při změnách topologie sítě bez nutnosti explicitního manuálního zásahu administrátora. FRR chrání MPLS TE značkou řízenou přepínanou cestu LSP (Label Switch Path) před výpadkem linky nebo uzlu tak, že ji lokálně opraví přímo v místě vzniku poruchy. Mechanismus SRLG navíc zohledňuje při automatickém výběru cesty pro záložní TE tunely fyzické závislosti sdílení jedné optické trasy několika DWDM lambdami tak, že se snaží vyhnout používání linek, které tvoří stejnou SRLG jako rozhraní, které má záložní tunel chránit (jedna linka může patřit do několika SRLG).

Bohužel stávající používaná verze 3.8.1 operačního software IOS-XR směrovačů Cisco CRS-1 nepodporuje konfiguraci automatické tvorby záložních TE tunelů, takže FRR na nich bude možno implementovat až po nezbytném pilotním ověření a nasazení nové verze 4.x, zřejmě počátkem roku 2011.

Podrobnější informace o implementaci vysoké dostupnosti směrování provozu MetaCentra pomocí MPLS TE Fast Reroute jsou popsány v technické zprávě [ŠmV10].

2.5  Zabezpečení síťové infrastruktury – IPv6 Control Plane Policing

Po upgrade IOS páteřních směrovačů Cisco 7600 na verzi 12.2(33)SRE2 jsme experimentálně ověřovali funkčnost Control plane policing (CoPP) pro IPv6. Tato funkce není výrobcem dosud plně podporována, nicméně je použitelná a plně funkční pro účely zabezpečení současných páteřních směrovačů. CoPP pro IPv4 využíváme již několik let a zkušenosti z provozu jsme využili pro vytvoření jednotlivých politik, tříd a access listů.

Pro klasifikaci jsme provoz rozdělili do šesti unikátních tříd – pro interní směrování, externí směrování, správu směrovačů, ICMPv6 paketů potřebných pro vlastní provoz směrovače, ICMPv6 echo a ICMPv6 echo-reply mezi směrovači v páteřní síti, obecné testovaní dostupnosti a v poslední třídě jsme zakázali všechen zbývající IPv6 provoz. Pro definici těchto tříd jsme použili access-list jehož název vždy odpovídá názvu dané třídy.

Příklad části definice politiky použité v síti CESNET2:

policy-map IPV6COPP
 class IPv6_CoPP_int_net
   police cir 32000 bc 1500 be 1500 conform-action transmit
        exceed-action transmit
 class IPv6_CoPP_ext_net
   police cir 32000 bc 1500 be 1500 conform-action transmit
        exceed-action transmit
...

access-list pro obecné testování dostupnosti vypadá následovně:

ipv6 access-list IPv6_CoPP_trace_ping
 remark (ICMPv6 128,129)
 permit icmp any any echo-request
 permit icmp any any echo-reply
 remark TRACE
 permit icmp any any unreachable
 permit udp any any range 33434 33600

Podrobnější informace o implementaci IPv6 CoPP a konkrétní příklady jsou popsány v technické zprávě [AdV10].

2.6  Dostupnost síťové infrastruktury a PoP

V oblasti zvýšení celkové dostupnosti síťové infrastruktury a jejích služeb jsme se věnovali analýze a optimalizaci průběhů optických přenosových kanálů v rámci celé DWDM sítě a jejich zakončení na páteřních P a PE směrovačích. Ve všech uzlech jsou nyní páteřní okruhy zakončeny na různých kartách rozhraní směrovačů, což výrazně zvyšuje odolnost proti poruše jednotlivých karet a zvyšuje celkovou dostupnost uzlů. Pro tuto optimalizaci jsme využili uvolněné karty rozhraní po přestavbách uzlů sítě Praha a Brno (zejména karty 10GE).

Provozované páteřní směrovače jsou na úrovni systémů plně redundantní (napájecí zdroje, procesory). Směrovače řady 7600 využívají NSF (Nonstop Forwarding) rozšířený o SSO (Statefull Switchover) synchronizaci, což umožňuje rychlé přepnutí na záložní procesor (typicky do 3 s) v případě selhání aktivního hlavního procesoru. Novější terabitové směrovače CRS-1/16 rovněž podporují NSF s podporou IETF standardu graceful restart a NSR (Nonstop Routing). To umožňuje prakticky bezvýpadkové přepnutí na záložní procesor v případě poruchy nebo upgrade SW (modulární IOS-XR). V rámci systému není přerušeno předávání (forwarding) paketů a restart signalizačních a směrovacích procesů (LDP, OSPF, BGP a další) nezpůsobuje nestabilitu páteřní sítě. Přepnutí na záložní procesor je velmi rychlé (cca. 120 ns), systém je navíc schopen přepínat pakety dle posledního stavu směrovacích protokolů i s nefunkčními řídicími procesory.

Přístupové PE směrovače a CE přepínače jsou vždy duálně připojeny ke směrovačům P jádra sítě (viz obrázek 2.4). Velká část akademických metropolitních a univerzitních sítí (PASNET, ČVUT, MUNI, VUT a další) má rovněž duální připojení k síti CESNET2 (PE směrovače), typicky s kapacitou 10 Gb/s. Duální připojení je buď zajištěno přímo v uzlech, kde jsou nezávislé PE směrovače, nebo vedeno optickým kanálem DWDM sítí do nejbližšího uzlu na další PE směrovač.

Důležitým předpokladem pro vysokou dostupnost síťové infrastruktury je spolehlivá a bezproblémová funkčnost všech aktivních prvků, zejména směrovačů, a bezchybná funkčnost síťových rozhraní. Přibližně v ročních intervalech provádíme tzv. „Router Network Audit“, kdy je síťová infrastruktura detailně sledována po dobu 1 týdne. Výstupem je podrobná analýza chování aktivních prvků, která se zaměřuje na problematická místa sítě a zahrnuje fault management, capacity management, configuration management a interface performance management. Hlavním cílem analýzy je identifikovat potenciální oblasti problémů a včas je odstranit.

Základní topologie páteřní sítě zahrnuje:

• dvě sestavy terabitových směrovačů CRS-1/16, které využívají technologie logických směrovačů a IPoDWDM rozhraní (P a PE směrovače),
• 21 ks směrovačů řady OSR7600 (P a PE směrovače) a
• 12 ks L2/L3 CE přepínačů C3750.

Detailní přehled HW vybavení (vč. OOB a dalšího podpůrného HW) je uveden na obrázku 2.6.

Obrázek 2.7 znázorňuje objem dat přenesených páteřními směrovači OSR7600 za 1 referenční týden v TB. Tento přehled neobsahuje hlavní terabitové směrovače CRS-1/16 R118 a R121, neboť nebyly zahrnuty v posledním auditu.

Obrázek 2.8 uvádí procentuální zastoupení směrovacích protokolů (počet instancí v konfiguracích směrovačů). Výrazný podíl má protokol OSPF (OSPFv2 a OSPFv3), který se využívá jako interní směrovací protokol IP/MPLS sítě a rovněž i pro připojení účastníků. Statických směrovacích záznamů je cca. 28 %, neboť se používají pro připojení řady účastníků. Třetím nejvýznamnějším protokolem je BGP (interní a externí), který využíváme jak v rámci páteřní sítě, tak i pro připojení akademických metropolitních a univerzitních sítí (privátní autonomní systémy, AS). Zbývající protokoly (např. RIPv2 a EIGRP) mají zanedbatelné zastoupení.

S využitím měřicího systému G3 sledujeme dostupnost uzlů a páteřních datových okruhů z měřicího bodu v uzlu Praha I. Na obrázku 5.1 je uveden přehled dostupnosti uzlů včetně vyhodnocování trendů v rámci síťové infrastruktury CESNET2 za měsíc listopad. Průměrná celková dostupnost uzlů sítě v tomto období je 99,9972 %. Dostupnost klíčových páteřních uzlů je 100%, nicméně celkový výsledek negativně ovlivňuje horší dostupnost malých uzlů Karviná a Kutná Hora.

Obecně lze konstatovat, že celková dostupnost IP/MPLS uzlů sítě CESNET2 je na velmi dobré úrovni. Největším zdrojem poruch jsou výpadky optických vláken. Celkovou optimalizací topologie optické přenosové vrstvy DWDM a navazující IP/MPLS vrstvy se nám podařilo jejich dopad výrazně snížit.

V oblasti uživatelské podpory jsme zprovoznili aplikace Speedtest a Looking Glass. Podrobněji jsou popsány v kapitole Sledování a optimalizace výkonnostních charakteristik.

2.7  Plány dalšího rozvoje páteřní sítě CESNET2

V období roku 2010 jsme se intenzivně věnovali plánům rozvoje páteřní sítě pro další období. V rámci přípravy nových projektů Velká infrastruktura CESNET (VI) a eIGeR připravujeme rekonstrukci stávající sítě CESNET2 a MetaCentra na základ moderní velké národní e-infrastruktury pro VaV. Národní e-infrastruktura bude propojovat organizace a týmy, které se věnují výzkumu, vývoji, inovacím a výuce v terciární sféře, a zajišťovat jejich přístup k evropské infrastruktuře výzkumu a vývoje. Hlavním cílem projektu je vybudování komplexní národní e-infrastruktury, která bude schopna poskytovat pokročilé služby s vysokou přidanou hodnotou. Vlastní komunikační síťová infrastruktura bude jednou z jejích klíčových částí.

Základním cílem rekonstrukce a povýšení komunikační síťové infrastruktury je vytvoření robustní, dostatečně výkonné a stabilní základní vrstvy IP/MPLS sítě nad mnohakanálovou optickou transportní sítí DWDM, která bude umožňovat flexibilní vytváření optických přenosových okruhů s kapacitami 40 až 100 Gb/s. Připravovaná komunikační síťová infrastruktura bude zejména zahrnovat:

• Point-to-point a multipoint E2E služby v jednotlivých vrstvách (zejména DWDM a IP/MPLS).

• Podporu IPv4 i IPv6 unicast a multicast s možností pokročilých vlastností a konfigurací.

• Uplatnění pokročilých metod řízení provozu na bázi MPLS Traffic Engineering.

• Zajištění kvality služby (QoS) pro konvergované multimediální prostředí podporující současně přenos dat, hlasu a videa nad jednou sdílenou fyzickou komunikační infrastrukturou.

• Tranzitní MPLS L3 VPN provoz pokročilými metodami (např. Inter-AS nebo Carrier's Carrier).

• Carrier Ethernet – Ethernet over Anything zahrnuje poskytování pokročilých vysokorychlostních ethernetových služeb pro transparentní realizaci dvoubodových a vícebodových spojení zákaznických sítí na bázi technologie Carrier Ethernet definující standardizovaná uživatelská rozhraní podporující ujednání o úrovni služeb (SLA) s garancí kvantitativních i kvalitativních parametrů (jako např. propustnosti, zpoždění, rozptylu zpoždění, dostupnosti apod.).

• Virtualizaci, tj. možnost vytváření nezávislých logicky oddělených virtuálních privátních sítí v rámci základní síťové infrastruktury pro potřeby pokročilých uživatelů a výzkumných projektů na úrovni síťové (L3) i linkové (L2) vrstvy.

• Uplatňování IPoDWDM principů, ověřování a implementaci vertikálních řídicích plánů přes jednotlivé vrstvy L0–L3 (např. GMPLS; závisí na možnostech technologie).

• Uplatnění nových perspektivních síťových technologií v rámci infrastruktury (na úrovni všech vrstev sítě, zejména optické a IP/MPLS).

• Zajištění vysoké dostupnosti prakticky všech komunikačních služeb formou uplatnění vhodné redundance hardware s optimální konfigurací zajišťující rychlou konvergenci po eventuální poruše.

• Pokročilé řízení a dohled nad celou komunikační infrastrukturou se schopností včasné detekce problémových provozních stavů.

• Zajištění potřebných dlouhodobých bezpečnostních aspektů provozu celé komunikační infrastruktury.

• Návaznost a kompatibilitu s ostatními regiony na úrovni všech síťových protokolů, řídicích plánů a služeb (GÉANT3, evropské a mimoevropské NREN).

• Interoperabilitu ve fyzické vrstvě potřebnou pro vysokorychlostní přenosy (40 Gb/s, 100 Gb/s atd.) mezi výzkumnými infrastrukturami.

• Možnost vytváření vícedoménových virtuálních optických sítí jako další stupeň podpory E2E služeb.

Hlavní části optické přenosové vrstvy DWDM a IP/MPLS vrstvy komunikační infrastruktury budou založeny na pokročilých technologiích, které budou doplněny otevřenými optickými systémy vyvíjenými v rámci výzkumných aktivit (např. zařízení rodiny CzechLight). Navrhované otevřené pojetí bude poskytovat uživatelům v regionech služby různých vrstev sítě (zejména L1–L3), a tím umožní i rozvoj nových typů aplikací.

Základní částí páteřní sítě CESNET2 je optický přenosový systém DWDM, který poskytuje potřebné přenosové kapacity pro IP/MPLS vrstvu a L1/L2 point-to-point a multipoint služby (např. L2/DWDM) pro potřeby výzkumných projektů. Hlavním cílem projektu je rozšíření optické přenosové infrastruktury DWDM na podporu 80 přenosových kanálů s kapacitou 10–40 Gb/s, která zajistí dostatečné přenosové kapacity jak pro páteřní IP/MPLS síť, tak i pro potřeby výzkumných projektů. Rozšíření optické přenosové infrastruktury DWDM zahrnuje změny a úpravy všech přenosových úseků i propojovacích DWDM uzlů v Praze, Brně, Olomouci a Hradci Králové s využitím nejnovější technologie, která nebude z hlediska spotřeby a nároků na prostor významně náročnější. Prováděné návrhy a simulace nové DWDM sítě ukazují, že lze maximálně využít již používaná zařízení a v rámci přestavby sítě nahradit již zastaralé nebo nevyhovující komponenty. Přestavba DWDM sítě neznamená jen technologickou obnovu části zařízení, ale i nasazení zcela nových komponent pro poskytování pokročilých služeb připojeným účastníkům a výzkumným projektům.

Rekonstrukce IP/MPLS vrstvy bude zahrnovat zejména náhradu výkonově a technologicky již nepostačujících páteřních směrovačů novými výkonnými terabitovými směrovači s podporou IPoDWDM rozhraní 40 až 100 Gb/s (viz obrázek 2.9). Z technologického pohledu bude rekonstrukce navazovat na obměnu páteřních směrovačů, která byla zahájena v roce 2008. Na základě veřejné soutěže jsme vybrali terabitové směrovače CRS-1/16, které jsme nasadili v hlavních uzlech (GigaPoP) Praha a Brno, kde stávající směrovače OSR7609 již nezaručovaly řádnou funkci páteřní sítě.

V tomto směru hodláme pokračovat a nasadit směrovače srovnatelných či lepších parametrů do dalších významných uzlů sítě. Podmínkou je vysoká míra kompatibility nových prvků se stávajícími, která umožní spolehlivé poskytování špičkových služeb a zároveň využije již realizované investice.

Nasazení nových terabitových směrovačů umožní vytvořit robustní a výkonnou síťovou infrastrukturu, která je základním předpokladem pro poskytování budoucích kvalitních a stabilních služeb (s možností plnění stanovených SLA) a která bude schopna poskytovat velmi pokročilé komunikační služby v rámci celé infrastruktury (např. VPLS) pro potřeby navazujících služeb velké infrastruktury (NGI, datová úložiště a další) a pro potřeby připojených výzkumných pracovišť.

předchozí

obsah

následující