5.8  Statistické vyhodnocení provozu

Projekt statistického vyhodnocení provozu se zabývá tvorbou a vývojem programových nástrojů zaměřených do oblasti analýzy provozu sítě TEN-155 CZ. Cílem je jak sledování funkce základní síťové infrastruktury a technických prostředků použitých pro její realizaci, tak zkoumání charakteru přenášeného provozu a jeho kategorizace podle rozličných hledisek. Veškerá činnost této pracovní skupiny, včetně vytváření programových nástrojů, slouží především jako přímá podpora technicko-provozního a organizačního řízení sítě TEN-155 CZ.

Sledování a dlouhodobé vyhodnocování stavů infrastruktury TEN-155 CZ - systém GTDMS

Cílem činnosti v této oblasti je zajištění trvalého sledování základní infrastruktury sítě TEN-155 CZ včetně statistického vyhodnocování provozních stavů, zátěžových tendencí, kumulací chyb apod. Tato oblast navazuje na výsledky řešení projektu TEN-34 CZ a je zaměřena na další vývoj měřícího systému GTDMS.

Systém GTDMS (Graphical and Textual Data Measurement System) je reprezentován sadou programových balíků realizující měření, statistické vyhodnocení, archivaci a prezentaci zátěžových, chybových a jiných stavových charakteristik infrastruktury sítě TEN-155 CZ. Systém je koncipován jako obecný, takže může být použit pro sledování libovolné síťové infrastruktury. Přestože byl systém ve svém konceptu navržen jako otevřený z hlediska způsobu sběru dat, opírá se ve své současné podobě převážně o vlastnosti a možnosti SNMP.

Požadované vlastnosti

Za nejvýznamnější požadované vlastnosti lze považovat:

Charakteristika systému

Aby byl umožněn bezproblémový vývoj a rozšiřování vlastností systému, byla jeho architektura navržena jako maximálně interně otevřená, umožňující libovolné doplňování o nové měřené veličiny v rámci jednotlivých dostupných měřících metod. Základními stavebními prvky vnitřní architektury systému jsou:

Položka je základním atomárním prvkem systému. Z hlediska výstupu je reprezentována párem "čas měření - naměřená hodnota". Z hlediska obecné definice je určena identifikátorem, metodou měření, datovým formátem, datovým typem, způsobem ukládání, časovým krokem měření, způsobem prezentace, nejnižší uživatelskou kategerií pro přístup a dalšími parametry. Ve své konkrétní, měření schopné podobě, je doplněna o vazbu na konkrétní měřený uzel sítě a případně jeho architektonickou část (síťové rozhraní, frame relay kanál, ATM PVC kanál apod.).

Uzel sítě je z uživatelského hlediska primárním sledovaným objektem. Kromě jiných parametrů jej definují např. IP adresa, SNMP heslo, způsob interní autokonfigurace (statická nebo jedna z automatických metod), časové kroky pro jednotlivé skupiny měřených položek a další.

Pohled je objekt definující způsob a strategii prezentace měřených položek. Je definován vazbami na sledovaný uzel sítě a jeho architektonické části a vazbou na nadřazený objekt stejného typu. Jeho informační obsah je určen direktivami jednoduchého makrojazyka definujícího sadu pložek pro zobrazení včetně jejich shluků, pořadí, způsobu a metod prezentace, jako jsou například:

Základní procesy a uživatelská rozhraní

Pomineme-li uživatelská rozhraní, je běh systému reprezentován dvěma skupinami procesů. Konfigurační a kontrolní proces sleduje datovou integritu, provádí automatické rekonfigurační úkony, generuje strukturu pohledů, kontroluje přeplnění disků, odmazává zastaralá data apod. Měřící procesy, jejichž přípustný počet je dán konfigurací systému, získávají data ze sledovaných uzlů sítě. Zjednodušený princip včetně základních datových vazeb je uveden na obrázku 5.17.

[obrázek]

Obrázek 5.17: Základní vnitřní vazby systému GTDMS

V současné verzi jsou vlastnosti měřícího procesu rozšířeny o agregaci zastarávajících dat, čímž se výrazně zvyšují možnosti historického uchovávání dat. V produkční verzi toto reprezentuje při cca 30000 měřených položkách s průměrným krokem sběru 5 minut a dostupné diskové kapacitě 6 GB posun v archivační době od řádu měsíců k rokům.

Navigace v prezentovaných údajích vychází z úvodního formuláře, kde je možno vyhledávat objekty a nastavit přesné časové limity a rozsahy prezentace. Další navigace pak staví na vzájemné hierarchii a sekundárních vazbách vygenerovaných pohledů.

Z hlediska časového jsou k dispozici rozsahy hodinové, denní, týdenní, měsíční a roční s nastavitelným horním časovým limitem. V rámci prezentace nejsou generovány žádné statické HTML dokumenty, ani soubory obsahující grafická data. Vše, co je uživateli dostupné, je dynamicky generováno v okamžiku požadavku.

Do aktuální verze byl implementován systém přístupových práv uživatelů, umožňující dvojí kategorizaci přístupu. Z příslušnosti k jedné z předdefinovaných uživatelských kategorií je odvozena dostupnost jednotlivých typů měřených položek (bez ohledu na sledovaný uzel). To umožňuje, aby pro uživatele byly např. dostupné informace o využití přenosové trasy, nikoli však informace o chybových stavech na této trase. Vedle toho lze omezit přístup uživatelů na konkrétní sledované uzly sítě jako celky, případně pouze na jednotlivé konkrétní typy sledovaných objektů na těchto uzlech.

Pro administrační rozhraní slouží jako základní objekt sledovaný uzel sítě. Je navrženo s důrazem jak na maximální přesnost, tak na co nejvyšší jednoduchost. Ke kompletnímu sledování uzlu sítě stačí zadat tři parametry - IP adresu nebo jméno, SNMP heslo a jednu z volitelných metod interní autokonfigurace.

Realizace a implementace

Systém byl během roku 1999 intenzivně rozšiřován a přepracováván, a to při zachování kontinuity měření. Z nových implementovaných vlastností lze uvést např.:

[obrázek]

Obrázek 5.18: Ukázky výstupů GTDMS

Ve své produkční verzi je systém provozován na platformě Intel s operačním systémem Linux (Debian). Jeho implementace je postavena především na následujících produktech:

Předpokládaný vývoj v roce 2000

Z hlediska vazeb na okolí předpokládáme intenzivní vývoj v oblasti distribuovaného měření v rámci jednotného uživatelského rozhraní. Ve spolupráci se skupinou řešící bezpečnost páteřní sítě provedeme postupný přechod na jednotný centrální autorizační mechanismus.

V oblasti interních vlastností předpokládáme kompletní přepracování jádra systému ve snaze zvýšit výrazným způsobem efektivitu zpracování dat jak na úrovni měření, tak na úrovni uživatelských rozhraní. Z hlediska měřících schopností plánujeme rozšířit vlastnosti systému o zpracování o další typy objektů (Cisco commited access rate, traffic shaping, MAC address DB, a jiné).

Sledování charakteru a míry využití infrastruktury TEN-155 CZ

Tato oblast činnosti si klade za cíl analýzu a průběžné, statistické vyhodnocování IP provozu jednotlivých účastníků sítě TEN-155 CZ. Navazuje na obdobnou tématickou skupinu úkolů projektu TEN-34 CZ. Řešení je zaměřeno na tvorbu a vývoj sady programových balíků s pracovním názvem Accounting and Statistics. Slouží k objemovému a spektrálně protokolárnímu vyhodnocení využití sítě TEN-155 CZ jejími účastníky včetně provozních vazeb na externí síťové entity. Jeho výstupy jsou určeny jako podklady pro organizační a technické řízení páteře TEN-155 CZ i sítí jednotlivých účastníků.

Požadované cíle

Cíle projektu lze rozdělit do dvou oblastí. První z nich je zaměřena na accounting jednotlivých účastníků sítě TEN-155 CZ na úrovni IPv4 protokolu. Druhá oblast je orientována na získávání podkladů pro strategii plánování dalšího rozvoje sítě, optimalizaci datových toků a dohledávání anomálních krátkodobých stavů sítě.

Z nejdůležitějších požadavků lze uvést:

Ve většině případů je požadována variabilní přesnost statistických výstupů. Tím jsou myšleny schopnosti výstupní/prezentační agregace dat např. v rozmezí od striktně identifikované IPv4 sítě po obecnou kategorii provozu (interní, peering, externí) nebo variabilní agregace přes údaje typu IPv4 adresa, identifikace služby, příslušná IPv4 síť, identifikace účastníka a další.

Principy řešení

Princip řešení je v rámci tohoto projektu založen na kompletní adresové rezoluci. Tato metoda je obecně velmi přesná z hlediska výpočtu, nicméně velmi citlivá z hlediska efektivity algoritmizace a obzvláště statických parametrů systému, které jsou obvykle přímo závislé na organizační disciplíně administrativně-technické správy sítě. Z nejvýznamnějších kritérií umožňujících provést statistické výpočty a podmiňujících věrohodnost výsledků uvádím:

Vlastní výpočet probíhá na principu kompletní rezoluce všech zdrojových a cílových IPv4 adres do všech definovaných sítí v rámci datových provozních výstupů příslušných jednotlivým hraničním místům (nezařazené adresy musí být externí). Tyto výsledky jsou agregovány jednak individuálně podle jednotlivých účastníků sítě, jednak globálně. Tvoří pro daný časový interval vstupy pro prezentační vrstvu.

V rámci systému Accounting and Statistics lze vymezit následující hlavní skupiny úloh:

Měření, sběr a archivace provozních dat

Tato oblast nejvíce závisí na produktech realizujících síťovou infrastrukturu a jejich specifických vlastnostech. Páteřní infrastruktura sítě TEN-155 CZ je kompletně vybudována na produktech firmy Cisco Systems, takže jsou k dispozici dvě metody pro měření provozních dat implementované tímto producentem: IP cache flow a IP accounting se svými výhodami a nevýhodami (licence, závislosti na metodice směrování, zátěž procesoru, rozdílný přístup k problamatice).

Aby bylo možné obě metody libovolně kombinovat, případně začlenit v budoucnu další, byl vyvinut softwarový balík data collector, v mnoha ohledech podobný analogickému balíku cflowd. Tento program je schopen na základě konfigurace získávat data metodou IP accounting prostřednictvím SNMP protokolu nebo rsh a přijímat data ve všech verzích netflow formátu při použití IP cache flow metody včetně částečných datových agregací podle požadovaného datového obsahu a ukládat je do formátu nezávislého na metodě sběru. Toto se děje v nekonečné časové smyčce s krokem ukládání stanoveným konfigurací. Výsledná data jsou uchovávána v závislosti na zbývající diskové kapacitě a pomocí jednoduchého protokolu přenášena do místa výpočtu. Principiální schéma činnosti je naznačeno na obrázku 5.19.

[obrázek]

Obrázek 5.19: princip sběru dat

Objemové a statistické výpočty

Jak jsme uvedli v principech řešení, je jednou z podmiňujících vlastností dobré funkce systému efektivita výpočtu. Důvodem je, že se jedná o nekonečný proces a v rámci elementárního časového kroku je třeba stihnout kompletní výpočet pro celou sledovanou síťovou entitu. Tyto vlastnosti jsou podmíněny architekturou zpracování, strukturou navrženého datového modelu a vlastnostmi vybraného databázového stroje. Pro ilustraci uvádím konkrétní případ hraničního místa sítě TEN-155 CZ, které reprezentuje v agregované podobě za jednu hodinu sada provozních údajů v objemu na úrovni desítkek MB, což jsou z hlediska množství informací jednotky miliónů datových relací. Postupná strategie výpočtu je naznačena na obrázku 5.20.

[obrázek]

Obrázek 5.20: zjednodušený princip zpracování dat

Prezentační a administrační rozhraní

Oba typy uživatelského rozhraní jsou realizovány ve formě CGI skriptů v jazyce Perl s výstupem pouze v HTML. Ukázky výstupů uvádí obrázek 5.21.

[obrázek]

Obrázek 5.21: Ukázky výstupů

Realizace a implementace

Základy systému byly naprogramovány na přelomu roku 1998/1999 a během celého roku probíhal jeho postupný vyvoj. Do ověřovacího provozu byl uveden v lednu 1999, do plnohodnotného provozu s uvolněním uživatelského přístupu ze strany účastníků-neřešitelů v červnu 1999. Je provozován na platformě Intel s operačním systémem Linux (Debian). Pro jeho realizaci a provoz byly použity tyto programové balíky:

Předpokládaný vývoj v roce 2000

V oblasti účtování předpokládáme zásadní přepracování logiky zpracování dat takovým způsobem, aby bylo možno nejpozději ve druhém čtvrtletí zpracovávat výstupní objemové statistiky podle nových kritérií definovaných nositelem projektu. V oblasti administrátorsky orientovaných statistických výstupů předpokládáme vývoj směrem ke krátkodobým variabilním statistikám s vysokou vypovídací hodnotou. Cílem je odhalit v co nejkratší době anomální provozní stavy sítě.

předchozí
obsah		 následující
další weby:fond rozvojemetacentrumCzechLightpřenosyvideoservereduroameduID.cz