hledat:

2   Rozvoj páteřní sítě CESNET2

V rámci rozvoje páteřní sítě CESNET2 jsme se v období roku 2005 zaměřili na rozvoj optické přenosové vrstvy založené na pronajatých optických vláknech osazených vlastní technologií. Současné technické řešení osazení jednotlivých optických tras využívající zejména EDFA zesilovače s jednokanálovým přenosem (tzv. šedé řešení) nedovoluje zvyšování přenosových kapacit na jednom optickém vlákně a je omezujícím faktorem pro poskytování End-to-End (E2E) služeb na úrovni optických přenosových kanálů. Rozšířením optické přenosové technologie DWDM do dalších uzlů a její integrací se stávající DWDM trasou Praha-Brno jsme vytvořili základní kruhovou topologii optické transportní vrstvy. Použitá 32kanálová technologie ROADM (s kapacitou jednotlivých kanálů 10 Gb/s) umožňuje softwarově řízené přidělování optických přenosových kanálů na žádost (provisioning on-demand). Tuto schopnost nabízí mezi libovolnými uzly celého systému. Implementovaná optická přenosová DWDM síť umožní v dalších etapách rozvoje integraci se stávající IP sítí a přechod k hybridní IP/optické páteři řízené protokoly jako je GMPLS, včetně nasazení optických přepínačů pro dynamické přepínání optických přenosových cest.

Na úrovni IP/MPLS vrstvy jsme se zaměřili na povyšování přenosových kapacit uzlů na 10GE s využitím DWDM sítě. Zároveň jsme usilovali o dokončení náhrady zastaralých páteřních směrovačů GSR10216, jejichž vlastnosti neumožňovaly nasazení pokročilých služeb, jako je IPv6 unicast/multicast či přenos velkých rámců dat.

V řadě menších uzlů pokračovala náhrada nevyhovujících směrovačů L2/L3 přepínači, které jsou základním předpokladem pro hybridní IPv4/IPv6 řešení, další povyšování přístupových kapacit a poskytování E2E služeb na základě technologie EoMPLS nebo VPLS účastníkům, kteří nejsou připojeni v uzlech DWDM sítě.

V oblasti síťových protokolů jsme se věnovali zejména ověřování a implementaci přepravy skupinově adresovaných IPv6 datagramů v prostředí páteřní sítě.

Nedílnou součástí rozvoje IP služeb sítě je zavedení služeb s definovanou kvalitou (QoS), které kromě nezbytné technické implementace zahrnuje také nutnost vyřešení mnoha problémů týkajících stanovení všeobecného rámce pravidel uplatňování QoS politiky vůči jednotlivým kategoriím uživatelů. Rozvoj NREN ČR rovněž pokrývá rozvoj a provozování nezbytné podpůrné infrastruktury pro zajištění nepřetržitého a spolehlivého provozu sítě a zajištění podpory na národní a mezinárodní úrovni (koordinace a spolupráce se sítí GÉANT a ostatními evropskými NREN).

Důležitým úkolem byla rovněž příprava připojení na nově vznikající síť GÉANT2 a dosažení kompatibility a interoperability všech provozovaných síťových služeb, zejména v oblasti E2E. V rámci aktivit projektu GN2, v jehož rámci síť GÉANT2 vzniká, jsme se rovněž zapojili do projektu JRA4 WI3 zabývajícího se přeshraničními vlákny (Cross Border Fibres, CBF).

Vývoj a změny v páteřní síti za uplynulé období lze shrnout do několika bodů:

• vybudování základního jádra optické přenosové sítě DWDM v kruhové topologii s využitím technologie ROADM
• dokončení náhrady již nevyhovujících páteřních směrovačů GSR12016
• povýšení uzlů Hradec Králové a Olomouc na 10GE
• povýšení připojení do NIX.CZ na 2×10GE
• připojení na síť GÉANT2 technologií 10GE pro IP síť a 4×1GE pro poskytování E2E služeb
• pilotní ověřování zesilovače PCLight na optické trase Praha-Hradec Králové
• pilotní ověřování přenosů po jednom optickém vlákně
• podpora přenosu velkých rámců dat v celé páteřní síti
• implementace a ověřování IPv6 multicastu
• zvýšení redundance a spolehlivosti sítě CESNET2 (nasazení redundantních procesorů Sup720, nezávislé poslední míle optické sítě)
• zvýšení bezpečnosti sítě proti DoS útokům (implementace Control Plane Policing na páteřních směrovačích)
• celkové zvýšení stability a dostupnosti sítě s využitím Cisco NSA services
• zřízení nového uzlu v Jihlavě
• rozvoj nezbytné podpůrné infrastruktury

2.1   Fyzická topologie páteřní sítě

Základní fyzická topologie sítě (viz obrázek) je založena na pronajatých párech optických vláken, většinou odpovídajících standartu ITU-T G.652. Některé menší uzly (např. Děčín či Cheb) jsou připojeny pouze jedním vláknem a využívají dostupné technologie Fast Ethernet konvertorů MRV. Zbývající uzly jsou na páteřní síť připojeny rádiovými okruhy 10 a 34 Mb/s nebo pronajatými okruhy. V návaznosti na dostupnost optických vláken v těchto lokalitách se snažíme i tato připojení postupně nahrazovat optickými vlákny.

V průběhu roku 2005 jsme se věnovali zvýšení redundance připojení páteřních uzlů na optické trasy, neboť zejména úseky posledních mílí byly fyzicky souběžné. Ve spolupráci s poskytovateli optických tras jsme tyto souběhy v páteřních uzlech Praha, Brno, Olomouc a Hradec Králové nahradili nezávislými trasami.

Základní logickou topologii páteřní sítě tvoří 11 uzlů (GigaPoP) vzájemně propojených datovými okruhy s přenosovou kapacitou nejméně 1 Gb/s (viz obrázek). Páteřní okruhy využívají technologie 10GE LAN PHY (desetigigabitový Ethernet), 1GE (gigabitový Ethernet) a POS STM-16/OC-48 pro přenosové kapacity 2,5 Gb/s. Páteřní uzly jsou připojeny vždy dvěma datovými okruhy pro zálohování přístupu.

Při osazení vlastních optických okruhů přecházíme na preferovanou variantu NIL s optickými EDFA zesilovači umístěnými pouze na koncích tras. Protokolově závislé L2 přepínače ve funkci opakovače umístěného na trase postupně vyřazujeme.

K osazení optických okruhů využíváme různých technologií. Pro gigabitové okruhy na kratší vzdálenosti (do cca. 120-140 km) není potřeba žádná regenerace či zesílení a používáme výměnné optické transceivery (Pluggable Optics) v rozhraních směrovačů a přepínačů typu CWDM-1550 a DWDM GBIC se 100Ghz rozestupem kanálů dle ITU-T.

Optické okruhy s větším útlumem (nad 32 dB) jsou osazeny optickými EDFA zesilovači Keopsys (předzesilovače a výkonové zesilovače). Používané typy zesilovačů však mají některé problematické vlastnosti, např. po výpadku napájení je nutné je manuálně aktivovat a potřebné úpravy by byly finančně náročné.

V letošním roce jsme na 1 Gb/s okruhu Praha-Hradec Králové (150 km, 35,7 dB, G.652) úspěšně ověřili nasazení optického zesilovače CLA PB01, který vyvíjíme v rámci aktivity Optické sítě. Použili jsme metodu OSA (One Side Amplification) s jedním zesilovačem a optickým filtrem umístěným v uzlu Praha.

Vlastní ověřování prokázalo, že tento typ zesilovače je z hlediska použití vhodnější a cenově zajímavější než stávající EDFA zesilovače Keopsys. V současné době připravujeme variantu pro 10 Gb/s optické okruhy, kterou plánujeme využít pro osazení optické trasy Brno-Bratislava (viz obrázek).

Navržené osazení trasy využívá 4kanálové multiplexory/demultiplexory a umožní přenos optických kanálů o kapacitě až 10 Gb/s. Kompenzace disperze bude prováděna Braggovskými mřížkami, které jsou cenově příznivější oproti klasickým kompenzátorům (DCU). Koncová zařízení budou osazena DWDM Xenpak nebo GBIC příslušné vlnové délky. Vlastní realizaci osazení předpokládáme začátkem roku 2006.

V oblasti 1 Gb/s přenosů bez zesílení po jednom optickém vlákně jsme na trase Ostrava-Karviná (76,7 km) ověřili řešení s pasivními optickými splittery (viz obrázek).

V koncových zařízeních používáme CWDM o vlnových délkách 1550 a 1590 nm.

Vybudování optického přenosového systému s využitím technologie DWDM jsme koncipovali jako rozšíření stávající DWDM trasy Praha-Brno s cílem vytvořit základní kruhovou topologii optické sítě s využitím technologie ROADM. Od nově budovaného systému jsme požadovali mimo jiné následující funkce a vlastnosti:

• Podpora alespoň 32 přenosových kanálů s rozestupem 100 GHz dle doporučení ITU-T.
• Přenos optického "barevného" signálu bez použití 3R regenerace (transpondérů).
• Zaručená hodnota BER 10^-15 na všech přenášených kanálech.
• Přidání/odbočení nebo přesměrování optických kanálů nesmí vyžadovat dodatečné úpravy osazení optických tras.
• Řešení musí být kompatibilní se stávající technologií včetně systému řízení, dohledu a ovládání optických kanálů.

Na základě veřejné obchodní soutěže jsme vybrali řešení Cisco Systems je založené na modulárním DWDM systému ONS 15454 MSTP (podrobný popis systému lze nalézt na stránkách výrobce www.cisco.com). Návrh řešení je koncipován s maximální kompenzací chromatické disperze (v kterékoliv části kruhu se blíží nule) pro zajištění bezproblémového přenosu "barevných" signálů. Celkové schéma osazení optických tras včetně mezilehlých uzlů je uvedeno na obrázku.

ROADM uzly, které umožňují softwarově řízené vkládání/odbočování optických tras, jsou umístěny v uzlech Praha, Brno, Olomouc a Hradec Králové. Vlastní ROADM obsahuje optický přepínač založený na technologii PLC (Planar-Lightwave-Circuit).

V mezilehlých uzlech jsou umístěny zesilovače a kompenzátory disperze, které jsou potřebné pro zajištění správné funkce DWDM systému, požadovaného počtu přenášených kanálů (32) a zajištění kvality optických kanálů (hodnota BER). Zesilovače jsou rovněž založeny na platformě ONS 15454.

Připojení koncových zařízení (klientů) na DWDM je možné dvěma způsoby:

• Pomocí transpondérů, které převádějí standardní "šedý" signál 1310 či 1550 nm na "barevný" DWDM kanál dle ITU (OEO konverze) a zajišťují 3R regeneraci. Transpondéry jsou součástí DWDM systému a jsou SW přeladitelné na více vlnových délek.
• Přímo na "barevný" DWDM kanál. Koncové zařízení musí podporovat výměnné optické DWDM rozhraní (např. Xenpak). Toto řešení je levnější ve srovnání s transpondérem, ale přináší řadu omezení. Výměnná optická rozhraní do směrovačů a přepínačů nepodporují 3R regeneraci, dopřednou opravu chyb a nejsou přeladitelná. Proto je lze bez problémů použít pouze na kratší optické kanály (do cca. 200 km).

Dokončení optického přenosového systému umožnilo povýšení dalších páteřních uzlů na 10GE (viz obrázek). Při přechodu IP/MPLS na nový DWDM systém jsme zachovali stávající kruhovou topologii páteřní sítě se záložními okruhy a propojením mezi sousedními uzly. Flexibilita DWDM systému umožňuje uspořádat přenosové okruhy do libovolné topologie, která bude z hlediska rozvoje IP/MPLS nejvhodnější.

Optická transportní síť DWDM umožní rovněž vytváření nezávislých a oddělených struktur na nejnižší úrovni (L1) na jedné optické vláknové infrastruktuře.

Důležitým cílem výstavby DWDM systému je poskytovat lambda služby pro potřeby výzkumných projektů a aktivit i pokročilých uživatelů sítě.

2.2   Logická topologie páteřní sítě

Základním přenosovým protokolem páteřní sítě je IP/MPLS. Jako IGP protokol MPLS sítě používáme OSPFv2. Vlastní logická topologie sítě (viz obrázek) je rozdělena do dvou funkčních úrovní, kterým je přizpůsobena topologie jednotlivých uzlů:

• Základní jádro sítě tvoří červeně vyznačené směrovače OSR7609 R105 až R107 v uzlech Praha, Brno, Hradec Králové a Olomouc. Na těchto směrovačích jsou ukončeny páteřní okruhy sítě (v MPLS vrstvě sítě zastávají funkci P směrovačů).
• Přístupovými směrovači v uzlech jsou OSR7609, resp. Cisco 7206-VXR s NPE-G1 v uzlech Ústí nad Labem a Zlín. Zajišťují pro připojené účastníky veškeré funkce a služby páteřní sítě (MPLS, MPLS VPN, QoS, IPv4/IPv6 směrování, IPv4 multicast, export NetFlow statistik, přístupové filtry).

Menší uzly sítě jsou vždy připojeny k přístupovým směrovačům páteřních uzlů. V menších uzlech se používají malé směrovače řady C2621/C2651-XM/C2691 s omezenou funkčností (MPLS CE). Tyto směrovače postupně nahrazujeme přístupovými L2/L3 přepínači Catalyst 3750G, které umožní gigabitové rychlosti a poskytování MPLS VPN služeb.

2.3   Individuální směrování IPv4 (IPv4 unicast)

Jako interní směrovací protokol v páteřní síti využíváme interní BGPv4 (iBGP) provozovaný mezi přístupovými PE směrovači. Na externích směrovačích R84, R85 a R98 se nacházejí route-reflectory RR1, RR2 a RR3 pro zajištění redundance směrování (na obrázku jsou zobrazeny iBGP vztahy pouze pro RR1). Na ostatních PE směrovačích využíváme route-reflector klienty. Použití route-reflectorů snižuje potřebný počet sousedů v páteřní síti. Na přístupových směrovačích páteřních uzlů používáme statické agregované bloky a neprovádíme redistribuci z vnitřních směrovacích protokolů. Velké metropolitní a univerzitní sítě (PASNET, ČVUT, aj.) využívají privátní autonomní systémy a jsou na páteřní síť připojeny protokolem eBGP. U menších účastníků preferujeme připojení pomocí statických cest.

2.4   Skupinové směrování IPv4 (IPv4 multicast)

Pro výměnu skupinových směrovacích informací využíváme interní protokol MBGP. IMBGP využívá opět tři route-reflectory na směrovačích R84, R85 a R98. Route-reflector klienti jsou však na rozdíl od individuálního směrování konfigurováni na všech P a PE směrovačích, neboť i na směrovačích jádra sítě je nutné zajistit správnou funkci RPF (Reverse Path Forwarding), který jako součást předávacího procesu zajišťuje ochranu proti smyčkám či duplicitním skupinovým paketům. Tato kontrola je v prostředí páteřní sítě zajišťována protokolem iMBGP (za předpokladu, že veškeré multicastové zdroje dat jsou oznamovány tímto protokolem).

V celé páteřní síti používáme protokol PIMv2-SM. Celkovou topologii skupinového směrování jsme výrazně zjednodušili a v současné době používáme pouze jeden centrální RP (Rendezvous point) s adresou 195.113.144.2 na směrovačích R85 a R98 implementujících redundantní topologii AnyCast RP. Velké metropolitní a univerzitní sítě nyní provozují své vlastní RP (v rámci nezávislé skupinové domény) a aktivní zdroje skupinových dat oznamují protokolem MSDP. Ostatní připojení účastníci mohou využít centrální RP. Jeho oznamování dynamickými protokoly (Cisco Auto-RP nebo BSR) jsme zrušili, adresu RP je třeba konfigurovat staticky na přístupových směrovačích.

Současná logická topologie skupinového směrování je inkongruentní (individuálně adresované pakety jsou přenášeny přes MPLS, skupinové bez MPLS značek). Na úrovni MSDP je rovněž ve všech uzlech prováděna filtrace oznamovaných aktivních zdrojů a skupin dle doporučení Cisco a sítě GÉANT (omezení provozu Novell NDS, ImageCast a dalších služeb využívajících multicast, které nejsou určeny pro oznamování do páteřní sítě a sítě MBone).

Současné řešení ditribuce multicastu na páteřní síti podporuje i SSM/IGMPv3 (Source Specific Multicast), jenž používá vyhrazený IP rozsah 232.0.0.0/8 a ke své funkci nevyžaduje RP.

Mimo tradiční přidělování skupinových adres pomocí dynamických protokolů jako je SDR (SAP) lze tyto adresy přidělovat staticky dle RFC 2770 na základě čísla autonomního systému (AS). Dle daného mechanismu našemu AS 2852 odpovídá rozsah veřejných skupinových adres 233.11.36.0/24, z nějž jsou adresy přidělovány.

2.5   Implementace IPv6

Páteřní síť podporuje hybridní individuální IPv4/IPv6 směrování (dual-stack) prostřednictvím MPLS (technologie PE/6PE).

2.5.1   Testovací síť pro IPv6 multicast

Stejně jako v IPv4 je topologie pro přenos skupinových dat inkongruentní (individuálně adresované datagramy jsou přenášeny MPLS pomocí 6PE, skupinově adresované mimo MPLS). Pro skupinové směrování IPv6 využíváme směrovače Cisco 7500. Jsou propojeny tunely do hvězdy, v jejímž středu se nachází směrovač R62. Vzhledem k tomu, že pro IPv6 multicast nebyl dlouho definován způsob oznamování zdrojů, používá jak síť M6Bone, tak i síť GÉANT2 pouze jeden RP. V současné době je již standardizován embedded RP (RFC 3956), který tuto problematiku řeší. Naše konfigurace umožňuje použití obou variant - jak statického RP, tak i embedded RP. Nevýhodou řešení s embedded RP je, že skupiny je potřeba volit podle adresy nejbližšího embedded RP v součinnosti se správcem sítě.

Abychom mohli komunikovat s ostatními sítěmi ve světě, museli jsme - jak bylo řečeno dříve - nakonfigurovat statické RP, jaké používají ostatní. Tedy RP francouzské sítě Renater s adresou 2001:660:3007:300:1::. Bohužel tento RP běží na směrovači, který je často využíván i k jiným činnostem (školení, aj.) takže bývá mimo provoz. Tuto skutečnost ale Renater vždy včas oznámil.

Napojení do světa IPv6 multicastu nám poskytuje síť GÉANT a je momentálně řešeno pomocí tunelu ze směrovače R62.

Na příští rok plánujeme přesun konfigurací na provozní směrovače bez použití tunelů. Skupinové směrování IPv6 jsme již testovali na PE směrovači typu OSR v Liberci, k němuž je Technická univerzita připojena nativně. Dále plánujeme využití embedded RP, jež jsme intenzivně testovali mezi Libercem, Prahou a Ostravou, a testy MLD2 (Multicast Lister Discovery).

2.6   Implementace QoS

Zavedli jsme první fázi preferenčních služeb pro přenos určité třídy provozu se zajištěnou kvalitou služby (QoS). Vedle technické implementace jsme museli stanovit i pravidla uplatňování QoS politiky vůči jednotlivým kategoriím uživatelů.

Po ověření v pilotním provozu jsme v síti CESNET2 implementovali architekturu QoS DiffServ domény typu "point-to-cloud" bez rozlišení cíle (destination unaware). Využíváme techniku E-LSP (Exp-based Label Switched Path) nad páteřní MPLS infrastrukturou v tzv. "short pipe" tunelovacím režimu MPLS, v němž je při průchodu MPLS páteří zachovávána původní hodnota DSCP transportovaných paketů (DSCP transparency).

QoS DiffServ doména CESNET2 splňuje pro tranzitní provoz dohodnutý provozní profil QoS pro jednotlivé třídy služeb (tj. typicky minimální zaručenou šířku pásma a ostatní kvalitativní charakteristiky jako zpoždění, rozptyl, ztrátovost apod.). V případě nezahlcené páteřní sítě mohou některé QoS třídy navíc využívat zbývající pásmo nad rámec své minimální zaručené šířky (proporcionálně v poměru svých vah). Samozřejmostí implementace QoS v síti CESNET2 je úplná kompatibilita s QoS službami Premium IP (PIP) a Less than Best Effort (LBE) podporovanými v síti GÉANT.

Tabulka ukazuje návrh značkování IP paketů pomocí DSCP, jeho mapování do položky Exp MPLS záhlaví a rezervaci šířky pásma pro jednotlivé třídy v rámci Exp-LSP MPLS/DiffServ domény CESNET2. Navržené hodnoty rezervované šířky pásma jednotlivých interních páteřních tras lze chápat jako prvotní doporučení, které však může být modifikováno¹ až do té míry, že zůstanou zachována jen omezení limitující předepsané chování PHB směrovačů:

• nejvyšší doporučená šířka pásma pro třídu Premium IP je maximálně 33 % z celkové kapacity linky
• třída Best Effort musí mít alokovánu kapacitu nejméně 25 % z celkové kapacity linky

Hodnoty DSCP a Exp MPLS jsou záměrně voleny tak, aby umožňovaly jednoduše využít implicitní metodu přímého mapování nejvyšších tří bitů položky ToS IP hlavičky do položky Exp MPLS hlavičky (tzv. ToS reflection). Toto mapování provádějí směrovače při zapouzdřování IP paketu do MPLS rámce na hranici MPLS a IP sítě.

Navržená rámcová politika řízení přípustnosti provozu oprávněného využívat tranzit páteřní sítí CESNET2 se zaručenou kvalitou služby z/do jiných DiffServ domén (či Internetu) je založena na tzv. point-to-cloud modelu nevyužívajícím cílovou adresu. Pro každé konkrétní vstupní (výstupní) rozhraní z (do) cizí DiffServ domény do (z) MPLS/DiffServ domény CESNET2 jsou na základě dohodnutého mezidoménového provozního kontraktu pro jednotlivé QoS třídy definovány provozní profily se zaručenou QoS. Jejich dodržování je kontrolováno omezovači (policer) či eventuálně (na výstupu) tvarovači (shaper). Pro danou podporovanou QoS třídu je definována množina vstupních ² a výstupních ³ parametrů určujících chování trTCM (two rate Three Color Marker) značkovače/omezovače paketů. Ten kontroluje míru překročení reálného provozu vzhledem k dohodnutému provoznímu profilu a provádí eventuální korekční akce (např. reklasifikaci, zahození) pro pakety reprezentující část provozu porušující dohodnutý provozní profil.

Tabulka obsahuje velmi benevolentní návrh reklasifikace, přeznačkování vstupního provozu do MPLS DiffServ domény CESNET2 a eventuální následné represivní akce podle míry porušení dohodnutého provozního kontraktu v jednotlivých třídách. Cílem je zajistit přijatelné chování sítě (typicky Best Effort) i pro tu část provozu, která porušuje kontrakt. Přitom platí pravidlo, že pokud kterákoliv z tzv. "vyšších" QoS tříd (Premium IP, Network Control, Gold IP+ a Silver IP+) nevyužije svoji alokovanou šířku pásma, může být zbývající kapacita použita třídou Best Effort a teprve když ani ta ji není schopna celou využít, je zbytek použit třídou Less than Best Effort.

Takto navržená triviální rámcová QoS politika řízení přípustnosti provozu reprezentuje přijatelné řešení pouze pokud je akceptovatelné, že část provozu porušujícího kontrakt v rámci "vyšších" QoS tříd, která je pak reklasikována do tříd "nižších" (Best Effort či Less than Best Effort), může způsobit překročení kontrahovaného agregovaného provozu všech QoS tříd dohromady, neboť provoz "nižších" QoS tříd není v tomto případě nijak omezován. To však nemůže nastat v případě, kdy je celkový kontrahovaný provoz všech QoS tříd dohromady omezen fyzickou přenosovou kapacitou interdoménové přípojky. Jinak je nutné aplikovat hierarchické/dvoustupňové omezení, kdy je prvním omezovačem napřed provedena kontrola přístupnosti celkového agregovaného provozu (bez rozlišení QoS tříd) a převyšující část provozu je zahozena, pak je vyhovující část provozu reklasifikována druhým omezovačem již s ohledem na příslušnost k jednotlivým QoS třídám podle výše uvedené rámcové QoS politiky. Analogicky lze aplikovat obdobnou QoS politiku i na výstupu MPLS DiffServ domény CESNET2.

Nespornou výhodou takto navržené rámcové QoS politiky sítě CESNET2 je zejména jednoduché zřízení a správa kvality služby mezi sousedními QoS/DiffServ doménami, neboť za důvěryhodnost příslušnosti "svého" provozu do dané QoS třídy je zodpovědná každá sousední QoS/DiffServ doména. Není proto nutné udržovat jakékoliv další informace⁴ o důvěryhodnosti zdroje tohoto typu provozu z hlediska požadované QoS⁵. Zároveň je vhodnou implementací vstupních (čí výstupních) reklasifikátorů/omezovačů možné jednoduše reagovat na porušení dohodnutých provozních mezidoménových QoS kontraktů.

Technická implementace jednotlivých PHB na směrovačích firmy Cisco silně závisí na jejich typu (a druhu/verzi jednotlivých modulů). Proto jsme jak v prostředí IP, tak i MPLS, zvolili pro implementaci EF PHB unifikované řešení využívající techniku front LLQ a pro implementaci AF PHB techniku front CBWFQ, které jsou jednak pro tyto účely doporučovány samotným výrobcem a jednak jsou podporovány prakticky na všech námi používaných směrovačích: Cisco 7600 s OSM moduly, Cisco 7500 a Cisco 7200. Pouze tzv. LAN moduly směrovačů Cisco 7600 tyto techniky nepodporují, a proto musely být nahrazeny vhodně parametrizovanými technikami WRR s prioritní frontou. Konfigurace WRED je implementována u těch zařízení/modulů, které ji podporují.

Kontrola přípustnosti provozu podle jednotlivých QoS tříd se provádí výlučně na vstupu (resp. výstupu) do (z) MPLS/DiffServer domény CESNET2 na rozhraních typu PE-CE-in (PE-CE-out), tedy na hranicích QoS domény podle modelu point-to-cloud bez respektování cílové adresy. Je ovšem otázkou, zda má smysl provádět omezování provozu ještě na výstupu z MPLS/DiffServer domény CESNET2, neboť eventuální část provozu překračující QoS kontrakt již páteří CESNET2 stejně prošla, takže vlastně jediným důvodem pro takovou reklasifikaci/přeznačkování provozu může být jen snaha o vynucení dohodnutého QoS kontraktu se sousední DiffServ doménou.

Obrázek představuje jednotlivé typy QoS rozhraní P, PE a CE směrovačů v MPLS/DiffServ doméně CESNET2, na nichž mohou být implementovány vhodné techniky zajištění kvality služby a řízení přípustnosti provozu. V současné době jsou konfigurovány takto:

• PE-CE-in: povinná kontrola přípustnosti vstupního QoS provozu ze sousední/cizí DiffServ domény.
• PE-CE-out: volitelná kontrola přípustnosti výstupního QoS provozu (do sousední/cizí DiffServ domény), povinná implementace PHB (na výstupu).
• PE-PE-out, PE-P-out, P-P-out, P-PE-out: povinná implementace PHB (na výstupu).

2.7   Bezpečnost páteřní sítě

Pro ochranu páteřních směrovačů jsme implementovali CoPP (Control Plane Policing). Snižuje možnost napadení, narušení funkčnosti a pomáhá bránit směrovač před DoS útoky.

CoPP umožňuje nakonfigurovat QoS filtry pro kontrolu provozu. Omezením provozu, kterým se zabývá přímo procesor směrovače, chrání procesor před nadměrným zatížením.

Definovali jsme pět základních tříd - viz tabulka.

V prvních třech třídách jsme nejdříve vymezili pásmo pro povolený provoz. Provoz, který toto pásmo přesahoval, jsme (dočasně) povolili. Ve čtvrté třídě jsme provoz překračující povolenou šířku pásma zahodili a v páté tříde jsme zakázali vše. Veškerý provoz, filtry i nastavení QoS pravidelně sledujeme a vyhodnocujeme. Zejména v počátcích byla šířka pásma několikrát měněna. Nasazení proběhlo postupně na všech uzlech a nakonec na hraničních směrovačích.

V průběhu testování se ukázalo, že některé nástroje sledující provoz a "kvalitu" sítě používají pro testy převážně ping (ICMP echo/echo-reply). Po nasazení CoPP tak byla naše síť vyhodnocena jako nespolehlivá. Opět se tedy ověřila skutečnost, že většina uživatelů považuje síť za funkční, pokud ping či traceroute dostanou odpověď v rozumném čase.

Dalším, spíše zanedbatelným problémem se ukázala být IP adresace páteřní sítě. Tím, že naše síť vznikala postupně, máme v některých částech roztříštěný adresní prostor. Z tohoto důvodu jsou přístupové seznamy definující pravidla pro jednotlivé třídy delší, než kdyby adresace byla navrhována v současné době. Pokusíme se proto najít prostor pro změnu interních adres celé páteřní sítě.

2.8   Externí připojení

Síť CESNET2 využívá následující externí připojení a peering:

Zahraniční připojení (běžný provoz)

Globální zahraniční připojení nám poskytuje Telia International Carrier. Kapacita spoje je 2,5 Gb/s (POS STM-16/OC-48 na R84) s omezením na 800 Mb/s. Záložní připojení je zajištěno dalším 2,5 Gb/s okruhem na druhý směrovač uzlu Telia (peering směrovač R85).

Připojení do sítě GÉANT2

Nově budovaná celoevropská síť GÉANT2 bude zaměřena na poskytování E2E služeb se zaručenou kvalitou. Její architektura je založena na kombinaci směrované IP sítě a přepínacích prvků s DWDM transportní sítí. Větší flexibility ethernetových služeb ve druhé vrstvě je dosahováno Ethernet/SDH přepínači mapujícími rámce Ethernetu do SDH s využitím zapouzdření GFP-F/VCAT/LCAS. Síť CESNET2 bude mít dva typy připojení: IP a připojení na Ethernet/SDH přepínač GN2 pro poskytování E2E služeb (viz obrázek). Připojení E2E je plánováno technologií 10GE s podporou 802.1Q VLAN pro agregaci jednotlivých datových toků. V počáteční fázi bude E2E připojení poskytovat 4×1GE, později bude povýšeno do cílového stavu. Předpokládáme, že poskytování E2E služeb bude zahájeno v roce 2006 (po uvedení sítě GÉANT2 do plného provozu). V současné době je funkční IP připojení (na obrázku označeno jako "Primary IP").

Obrázek 2.11: Topologie pražského uzlu sítě GÉANT2 a připojení sítě CESNET2 (větší obrázek)

Národní peering v NIX.CZ

Přístup do NIX.CZ je zajištěn dvěma 10GE LAN PHY okruhy zakončenými na externích směrovačích R84 a R85. Okruhy jsou realizovány na pronajatých optických vláknech. Peering je zajišťován na úrovni IPv4/IPv6. Dvě nezávislá připojení umožňují rozkládání zátěže a vzájemně se zálohují.

Peering se sítěmi SANET, PIONIER a ACOnet

Propojení se slovenskou akademickou sítí SANET je realizováno optickými vlákny Brno-Bratislava. Trasa je osazena CWDM-GBIC-1550 a je zde použit přepínač Catalyst 3524 jako opakovač. Připojení na polskou akademickou síť PIONIER je rovněž realizováno prostřednictvím optických vláken Ostrava-Bielsko Biala s CWDM-GBIC-1550. Tato trasa je kratší, měří cca. 120 km, a nebylo zde nutné zesílení.

Pro připojení obou sítí používáme zapouzdření 802.1Q. Síť SANET nám umožňuje propojení s rakouskou sítí ACOnet (přes vyhrazenou VLAN).

Kromě vzájemného peeringu našich sítí poskytujeme na tomto propojení přístup SANETu do NIX.CZ a naopak SANET síti CESNET2 připojení do centra SIX, což oběma sítím šetří zahraniční konektivitu. Vzájemné oznamování sítí do peeringových center provádíme na základě BGP komunit (tagů). Síť ACOnet nám rovněž umožňuje peering v rakouském peeringovém centru VIX.

Stávající kapacita propojení 1 Gb/s nepostačuje (nelze například umožnit peering sítě PIONIER s VIX). V současné době připravujeme povýšení spoje Brno-Bratislava na 10 Gb/s s využitím optického zesilovače CLA PB01 (viz obrázek).

2.9   Plány rozvoje páteřní sítě v dalším období

V následujícím období se budeme zabývat rozvojem všech vrstev sítě CESNET2 se zaměřením na poskytování E2E služeb a zajištění interoperability se sítí GÉANT2. Nedílnou součástí E2E služeb je výzkum a ověřování v oblasti integrace IP/MPLS a optické přenosové vrstvy s cílem vytvořit a zjednodušit mechanismy pro vytváření přenosových E2E kanálů, jejich monitorování a odstraňování problémů. Na úrovni optické přenosové vrstvy budeme pokračovat v rozšiřování DWDM, abychom byli schopni poskytovat lambda služby ve všech klíčových uzlech sítě CESNET2. Nedílnou součástí rozvoje DWDM je i propojení nových úseků na hlavní DWDM okruh tak, aby bylo možné automaticky vytvářet optické přenosové kanály v rámci celého systému bez nutnosti manuálních zásahů.

Na úrovni IP/MPLS vrstvy páteřní sítě se budeme věnovat implementaci nových protokolů a vlastností, jako je IPv6 multicast a VPLS. Rovněž bude pokračovat přepojování uzlů na 10GE. Pro toto povýšení částečně využijeme optické transportní vrstvy DWDM, částečně i jednodušší a levnější nasazení CLA PB01 (v uzlech, které nebudou připojeny na DWDM v této etapě) na přístupových optických trasách.

Očekávanou topologii optické přenosové sítě obsahuje obrázek.

Jednotlivé aktivity lze shrnout do následujích úkolů:

Rozvoj optické přenosové sítě DWDM

• osazení nových tras Praha-Plzeň a Olomouc-Ostrava
• propojení těchto tras na základní DWDM okruh
• rozšíření DWDM systému z Ostravy do sítě PIONIER a propojení DWDM systémů
• ověřování přenosu "barevných" signálů
• nasazení CLA PB01 s 4-8kanálovými multiplexory/demultiplexory, ověření přenosu "barevného" signálu páteřním DWDM systémem
• osazení trasy Brno-Bratislava a Brno-Vídeň

Rozvoj IP/MPLS vrstvy sítě

• nativní přenos IPv6 multicastu
• VPLS služby
• NetFlow verze 9
• pokračování migrace na 10GE
• posilování bezpečnosti páteřní sítě (Cisco Guard XT, MARS)
• správa páteřní sítě
• zajištění návaznosti na nově budovanou síť GÉANT2 a zpřístupnění jejích E2E služeb projektům a uživatelům sítě CESNET2

 

Poznámky:

1. Na základě provozních zkušeností, konkrétní topologie dané části sítě a možného dohodnutého agregovaného zákaznického provozního provozu v rámci jednotlivých QoS tříd.

2. Ingress Committed Rate: ICRclass, Ingress Peek Rate: IPRclass, Ingress Burst Conform: IBCclass, Ingress Burst Exceed: IBEclass

3. Egress Committed Rate: ECRclass, Egress Peek Rate: EPRclass, Egress Burst Conform: EBCclass, Egress Burst Exceed: EBEclass

4. Např. seznamy oprávněných zdrojových IP adres.

5. Jedinou potenciální výjimkou z tohoto pravidla je třída Network Control, která je typicky určena pro interní přenos prioritních řídicích síťových informací v rámci MPLS/DiffServ domény CESNET2. V některých případech je vhodné tuto třídu podporovat i mezi různými DiffServ doménami (např. pro zaručený přenos některých směrovacích informací). Pak je žádoucí konfigurovat podporu této třídy pomocí vstupního filtru pouze pro bezpečné zdroje v cizích QoS doménách, aby se tak snížila bezpečnostní rizika.

předchozí

obsah

následující