3.5 Experimenty a nové služby
Vedle základního zajištění provozu sítě TEN-155 patří k úkolům skupiny provozu také zkvalitnění služeb sítě, podpora dílčích pracovních skupin a ve spolupráci s nimi zavádění nových služeb a technologií do rutinního provozu. Provozní skupina se podílela na následujících činnostech:
- testování služeb se zaručenou šířkou pásma MBS
- distribuce MBone
- testování Cisco Cache Engine
- testování MPLS na páteři TEN-155 CZ
- testování nových gigabitových směrovačů Cisco GSR12008 a optických regenerátorů Regen-48 pro osazení nové 2,5 Gb/s trasy Praha-Brno
Služba MBS
Jako reakce na rostoucí počet požadavků na služby se zaručenou kvalitou byla v evropské síti TEN-155 zavedena služba TEN-155 MBS (Managed Bandwidth Service). Umožňuje vytvářet na úrovni ATM virtuální privátní sítě (VPN) s definovanými parametry.
Služba TEN-155 MBS je určena pro potřeby mezinárodních výzkumných a vývojových projektů a mezinárodních projektů schválených v 5. Rámcovém programu Evropské unie. Nabízí zřízení virtuální privátní sítě v rámci sítě TEN-155 na dobu nezbytně nutnou. Podle požadavků mohou být virtuální privátní sítě zřizovány i periodicky.
Testování služby proběhlo ve dvou fázích v období od února do října 1999. Během první testovací fáze byla ověřována schopnost sítě TEN-155 poskytovat tuto službu a po vyhodnocení průběhu této fáze byla vypracována procedura objednávání a realizace okruhů. Cílem druhé fáze bylo prověřit poskytování služby v reálném provozu, kdy je potřeba uspokojovat větší množství požadavků. Druhé fáze testování se zúčastnili i uživatelé sítě TEN-155 CZ úspěšnou realizací pokusného projektu přímého spojení se sítí výzkumného střediska CERN ve Švýcarsku.
Obrázek 3.6: Testování MBS
Jelikož je tato služba poskytována v celoevropském měřítku, bylo nutno pro hladký průběh realizace vymezit jednotlivé úkoly a stanovit zodpovědné osoby. Z testů vyplynulo, že každý projekt, který žádá o službu TEN-155 MBS musí ustanovit koordinátora, který má zkušenosti s řízením projektu a zná jeho požadavky na síťové propojení. Koordinátor jedná s organizací DANTE, jakožto správcem páteřní sítě TEN-155, a zajišťuje spolupráci mezi jednotlivými uzly plánované VPN. Funkce koordinátora projektu je velmi důležitá, neboť většina činností spojených s realizací služby je organizačního charakteru. Navíc DANTE garantuje pouze virtuální spoje v rámci páteřní sítě TEN-155. Propojení ke koncovému uzlu sítě je již úkolem jednotlivých národních sítí (NRN) a jsou za ni zodpovědni správci příslušných přístupových bodů NRN do TEN-155.
V říjnu 1999 byla služba TEN-155 MBS po ověření uvedena do rutinního provozu. Informace o ní včetně objednávkového formuláře jsou zveřejněny na adrese http://www.dante.net/mbs/. Zájemci z České republiky se mohou též informovat na info@ten.cz.
Distribuce MBone
Virtuální síť Mbone je nejrozšířenějším prostředkem pro pořádání videokonferencí. Síť TEN-155 CZ svým účastníkům poskytuje připojení k MBone. Využívá pro tento účel implementaci DVMRP (Distance Vector Multicast Routing Protocol) a PIM (Protocol-Independent Multicast) na páteřních směrovačích Cisco 7500.
V rámci MBone se nejčastěji používá protokol DVMRP, který je podporován celou řadou výrobců směrovačů i programem mrouted. Nicméně se ukazuje, že protokol DVMRP a jeho implementace již přestává vyhovovat rozměrům sítě. Proto se všeobecně přechází na protokol PIM v tzv. sparse režimu, který umožňuje vytvářet samostatné multicast domény. Tyto domény mezi sebou komunikují prostřednictvím protokolů MBGP (Multicast BGP, RFC 2283), který umožňuje řízenou výměnu multicastových směrovacích informací, a MSDP (Multicast Source Discovery Protocol, draft-ietf-msdp-spec-00.txt), který provádí výměnu multicastových adres.
Síť TEN-155 CZ byla zpočátku připojena prostřednictvím dvou vyhrazených DVMRP tunelů po 2 Mb/s na Mbone stanice v německém a švýcarském PoP. Hlavní nevýhodou tohoto způsobu připojení bylo, že docházelo k distribuci neořezaných cest (DVMRP non-pruned routes). To znamená, že se multicastový provoz šířil zbytečně i mimo hlavní spojení mezi zdrojem a příjemcem a přetěžoval infrastrukturu MBone. V operačním systému směrovačů Cisco (IOS) je sice implementována funkce, která má šíření neořezaných cest potlačit, nicméně u žádné z dostupných verzí nefungovala uspokojivě.
V první polovině roku 1999 provedl evropský TEN-155 první etapu experimentu s Interdomain multicast routing nad ATM. V květnu byla do druhé etapy zahrnuta síť TEN-155 CZ. Při té příležitosti bylo vytvořeno nové PVC (VBR o kapacitě 2 Mb/s) vedoucí na nový MBone Cisco směrovač v německém PoP. Při konfiguraci centrálního směrovače PRG1 nastaly dva zásadní problémy:
- provozovaný stabilní IOS 11.1(24)CC nepodporoval protokoly MBGP a MSDP a byla nutná výměna za IOS 12.0(4); IOS této řady je méně stabilní a vykazuje větší počet chyb
- mikrokód v IOS 12.0(4) nepodporoval používaný procesor VIP2-50
Proto byl jako centrální MBone směrovač sítě TEN-155 CZ nasazen směrovač PRG2 (Cisco 7505), na kterém je ukončeno příslušné ATM PVC. Zároveň bylo zřízeno další PVC vedoucí na centrální směrovač PRG1. Na směrovači PRG2 byl zřízen tzv. Rendezvous Point (RP), který zajišťuje kontrolu multicast domény. IP adresu RP využívá nejbližšší PIM směrovač směrem k počítači, jenž vysílá skupinově adresovaný paket. IP adresu RP rovněž využívá PIM směrovač nejvzdálenější od zdroje dat k zasílání PIM join/prune (registrace/odmítnutí) zpráv o příslušnosti ve skupině. Současná páteřní topologie MBone je uvedena na obrázku 3.7.
V průběhu srpna nastaly problémy se stabilitou MBone, které způsobovala zvýšená ztrátovost na mezinárodním PVC. Tato ztrátovost byla způsobena všeobecnými problémy s VBR službou na přepínačích Ascend CBX-500. KPN ani výrobce je nedokázali uspokojivě vyřešit. Problémy odstranil až přechod na STM-1 okruh, kdy zároveň s převedením PVC došlo ke změně jeho typu na CBR.
Distribuci MBone na páteři TEN-155 CZ však nelze dosud považovat za plně stabilní službu, a to z následujících důvodů:
- problémy s různými verzemi IOS - vlivem chyb v IOS nastávají situace, kdy je distribuce MBone neúplná nebo dochází k přetěžování páteřních směrovačů
- v současné topologii, kdy se využívá LAN emulace (LANE), nelze použít verze IOS doporučované pro multicasting, neboť nepodporují LANE
- je nutné vyzkoušet a implementovat vhodné prostředky pro sledování
- rovněž je potřeba upravit statistický systém GTDMS pro sledování multicast MIB v dlouhodobém pohledu a ověřit, zda používané verze IOS podávají věrohodné údaje
- z hlediska topologie nepředstavuje přesun MBGP a MSDP na zvláštní směrovač ideální řešení; po nasazení nového centrálního směrovače GSR12008 předpokládáme přesun veškerých externích připojení na něj
Cisco Cache Engine
Nasazení prvního typu transparentních vyrovnávacích WWW serverů Cisco Cache Engine CE-2050 (dále jen CE) bylo velmi problematické ihned po instalaci, ke které došlo ve třetím čtvrtletí roku 1998. Kromě značné poruchovosti a nedostatečného výkonu se v plném provozu začala projevovat řada problémů:
- předávání prázdných či poškozených stránek WWW klientům - museli jsme často vymazávat uložené WWW stránky a restartovat zařízení (tyto operace byly v některých případech riskantní a mohly způsobit poškození operačního systému VxWorks)
- náhodné přetížení některé CE, která se odpojila z farmy, obvykle vyvolalo přetížení ostatních, takže bylo třeba všechny restartovat
- velmi nízká průchodnost FTP přenosů přes protokol HTTP - vždy byla vyměněna CE
Pokud k tomuto chování přičteme velmi stručná chybová hlášení typu "Network error" (ve srovnání s chybovými hlášeními standardních Squidů) ve výrazném červeném provedení, nelze se divit, že téměř všechny problémy uživatelé automaticky přiřazovali CE. Dodavatel technologie, firma Cisco Systems, se snažil vzniklé problémy řešit. Toto snažení však nevedlo k úspěchu a proto v dubnu došlo k odpojení. Během května proběhlo ještě testování poslední verze VxWorks v omezeném rozsahu, nicméně opět potvrdilo, že zařízení nesnese rutinní provoz.
Celkem bylo nasazeno sedm různých verzí VxWorks, v poslední době výhradně beta test verze přímo od vývojové skupiny. Poslední verze provozovaná před vyřazením CE byla 1.7.3b4, označovaná jako 1.7.5 beta. Seznam jejích známých chyb má téměř 20 položek.
K problémům s výkonností též přispívala nutnost zaznamenávat veškeré HTTP transakce - jednak pro vyhodnocení chování CE, jednak pro vyhledávání problematických uživatelů, kteří se buď pokoušeli proniknout na chráněné oblasti WWW serverů, nebo posílali doslova smršť HTTP požadavků na vybraný server a tím jej přetěžovali. V protokolu o činnosti postiženého serveru samozřejmě figurovala pouze IP adresa CE a bylo nutné z jejích protokolů dohledat, který počítač daný problém způsobuje a zjednat nápravu.
Veškeré protokoly HTTP transakcí jsou z CE (URL tracking) posílány na vyhrazený server, který je ukládá a dále zpracovává. Pro tyto účely jsme vyvinuli nový program, který podobně jako program pro zpracování IP účtování umožňuje zobrazování podle různých pohledů (top level tabulky, a podobně).
Vzhledem k neřešitelným problémům s nepříliš povedenými CE-2050 nám byla nabídnuta výměna za nový typ CE-550. Dvojice těchto zařízení nám byla zapůjčena v srpnu k otestování. To probíhalo v poloprovozu, kdy na CE byla přesměrována část provozu TEN-155 CZ. V porovnání s typem CE-2050 se během měsíčního testování neprojevily žádné vážnější problémy. Proto jsme se rozhodli nasadit nový typ do reálného provozu. Vzhledem ke zpoždění dodávky k němu dojde až začátkem roku 2000.
MPLS na páteři TEN-155 CZ
Použití LANE (LAN Emulace) začíná být limitujícím prvkem páteře TEN-155 CZ. Výhodou LANE je jednoduchá konfigurace a údržba tohoto systému. Nevýhody však začínají převažovat:
- Best effort služba, která neumožňuje hospodaření s přenosvým pásmem (QoS).
- Se zvyšujícím se provozem roste zatížení zařízení, na kterém jsou provozovány LANE služby LES a BUS. Jako přechodné řešení lze LES a BUS pro jednotlivé LANE provozovat na různých zařízeních, nicméně toto řešení je z hlediska správy náročnější. Navíc problémy s výkonností neodstraňuje, ale pouze odsouvá na později.
- Neumožňuje vytvářet virtuální privátní sítě v rámci veřejné síťové infrastruktury.
- Dostupný IOS nových centrálních směrovačů Cisco GSR12008 LANE nepodporuje.
- Doporučované stabilní verze IOS pro multicast rovněž nepodporují LANE.
Jako perspektivní řešení se jeví nová technologie MPLS (Multiprotocol Label Switching), která nabízí řadu nových vlastností:
- vytváření VPN v rámci veřejných sítí
- podpora IP telefonie
- využití QoS a CoS (Class of Service)
- podpora multicastu
Pracovní skupina MPLS provedla během května a června úspěšný experiment v rámci pracovní skupiny TF-TANT (viz dále). V říjnu byl proveden první experiment na páteři TEN-155 CZ, kdy byla vytvořena překryvná MPLS infrastruktura mezi uzly Praha a České Budějovice. Když se skupině MPLS podařilo vyřešit některé dílčí problémy (s implicitní cestou), rozhodli jsme se implementovat MPLS na celé páteři sítě - viz obrázek 6.2.
V rámci přechodu byly sjednoceny verze IOS: na přepínačích LS1010 byla nasazena verze 12.0(5), na směrovačích C7500 enterprise verze IOS 12.0(7). Jako směrovací protokol byl pro okrajové směrovače MPLS použit iBGP (interní BGP protokol). V rámci konfigurace BGP bylo třeba zrušit propagaci větších agregovaných bloků (např. 160.216.0.0/15), neboť propagací těchto bloků v iBGP docházelo k šíření falešných směrovacích informací a některé sítě se staly nedostupnými.
Na úrovni EBGP (Externí BGP) jsme museli použít filtraci směrovacích informací s využitím IP prefixů, abychom mimo páteř TEN-155 CZ propagovali pouze agregované bloky IP sítí a nikoliv jejich části. Protože iBGP jako směrovací protokol má implicitní vzdálenosti (věrohodnost směrovací informace) 200, zatímco stávající protokol OSPF používá 110, bylo možné MPLS konfigurovat a částečně testovat za plného provozu. Pro převedení provozu na MPLS páteř pak stačilo pouze převést OSPF proces do pasívního režimu.
Při pokusném provozu se objevila řada problémů, které nebylo možné v laboratorních a poloprovozních podmínkách předvídat:
- Memory leak (postupné obsazení veškeré volné paměti) centrálního směrovače. K této chybě začalo docházet v kombinaci MPLS s IP PIM v režimu sparse. Přibližně po každých pěti hodinách provozu směrovač zkolaboval. Vzhledem k tomu, že tento problém vykazovaly všechny dostupné verze IOS, a páteř TEN-155 CZ se stala velmi nestabilní, museli jsme do vyřešení toho problému nasazení MPLS pozastavit.
- Problém s implicitní cestou na přepínačích LS1010. Tyto přepínače nesmí mít v žádném případě nakonfigurovánu implicitní cestu. Jinak začínají směrovat IP pakety a vzhledem k tomu, že pro tuto funkci nejsou určeny, dojde k přetížení jejich CPU a ke kolapsu.
- Méně významný je problém s ICMP. Při použití traceroute po MPLS páteři první směrovač neodpoví, zatímco další pošle dvě stejné odpovědi (se stejnou IP adresou).
obsah |
následující
|