hledat:

4.6   Statistické vyhodnocení IPv4 provozu

Cílem činnosti v této oblasti je tvorba nástrojů pro průběžné statistické vyhodnocování IPv4 provozu jednotlivých účastníků sítě CESNET2. V roce 2001 jsme se v této oblasti zaměřili na další rozvoj systému Accounting & Statistics (viz průběžná zpráva o řešení projektu v roce 2000) a na propracování obecné metodiky řešení celého okruhu problematiky. Snažili jsme se připravit předpoklady pro realizaci generického, škálovatelného a distribuovaného systému analýzy IP provozu (IPv4 i IPv6) provozuschopného na konvenčních výpočetních prostředcích.

4.6.1   Vývoj systému Accounting & Statistics

Metodika vyhodnocení IP4 provozu sleduje v principu stávající strategii, tedy snahu o vývoj nástrojů pro komplexní vyhodnocení IP provozu páteřní infrastruktury. Klasifikace provozu je založena na distribuci adresového prostoru mezi jednotlivé účastníky sítě a svázáním částí adresového prostoru s jednotlivými místy přítomnosti. Jako datové zdroje jsou použity exporty provozních informací z hraničních směrovačů páteřní sítě ve formátu NetFlow verze 5. Ty obsahují potřebné informace jak v podobě konkrétních IP adres, tak v abstraktní podobě identifikačních čísel koncových nebo sousedících autonomních systémů (podmíněno BGP).

Perspektiva nasazení gigabitových směrovačů si vynutila přepracování jednotlivých komponent systému (datový kolektor, klasifikace a statistické vyhodnocení), neboť jsme předpokládali masivní nárůst objemu provozu a tedy i exportovaných provozních informací. Všechny úpravy byly zaměřeny na efektivitu zpracování a klasifikaci provozních informací. Rychlost zpracování se podařilo úpravami zvýšit zhruba čtyřnásobně, což bylo velmi perspektivní z hlediska začlenění nových směrovačů do vyhodnocované soustavy.

Začlenění gigabitových směrovačů do systému vyhodnocování

Gigabitové směrovače Cisco GSR 12016 jsou schopny poskytovat a exportovat provozní informace na principu vzorkování datagramů v rozsahu 10-32 768 a podporují i námi používaný exportní formát NetFlow verze 5. Možné nepřesnosti způsobené statistickou extrapolací vzorkovaných informací jsme experimentálně změřili sledováním odpovídajícího provozu na externím hraničním směrovači Cisco 75xx, který je schopen poskytnout plnohodnotná data. Na krátkém několikahodinovém vzorku činil rozdíl méně než jedno procento (vzorkování 10), což považujeme za uspokojivé.

Bohužel jsme zjistili že implementace NetFlow mechanismů chybí na některých Gigabit Ethernet rozhraních, která hrají významnou roli jako přístupová rozhraní v bodech přítomnosti. Obdobně NetFlow chybí i v některých verzích operačního systému těchto zařízení na rozhraních pracujících směrem k MPLS infrastruktuře. V praxi se tento nedostatek projeví takovým způsobem, že provozní data neobsahují informace o datových tocích daného rozhraní a v celkovém pohledu se takový provoz jeví jako jednosměrný nebo není vůbec identifikován.

Dalším úskalím byla absence NetFlow mechanismů na rozhraních realizujících přístup do MPLS oblasti u směrovače Cisco 75xx, což vedlo ke stejným důsledkům. V tomto případě se jedná o závažnější problém, neboť tento směrovač je jedním z těch, které zajišťují externí konektivitu. Tyto problémy jsou obvykle závislé na aktuálně provozované verzi operačního systému a průběžně je intenzivně řešíme ve spolupráci s producentem a dodavatelem.

Nicméně krátkodobé úpravy systému pro vyhodnocování provozu účastníků sítě - alespoň k zajištění stejné míry zkreslení výsledků - odčerpávají nemalou kapacitu. Z tohoto důvodu také nebyly gigabitové směrovače plnohodnotně začleněny do soustavy vyhodnocovaných prvků a informace o provozu jednotlivých účastníků NREN prezentované systémem nejsou kompletní. Výjimkou jsou informace o externím provozu (zahraniční trasy, peering), které jsou až na období s výskytem výše zmíněných problémů plnohodnotné.

Strategie vyhodnocování provozu účastníků

Jak bylo naznačeno, jednou z hlavních řešitelských aktivit je snaha využít všech možných zdrojů provozních informací tak, aby mohly být vyhodnoceny a analyzovány alespoň nejpodstatnější dráhy datových toků (externí konektivita). Zásadní strategické východisko pro vyhodnocení provozu jednotlivých účastníků je založeno na principu stejné míry věrohodnosti. Jinými slovy to znamená, že pokud jsou provozní data neúplná nebo zkreslená, je nutné zajistit, aby se takovéto zkreslení stejnou mírou projevilo (byť umělým zásahem) u zpracovaných výsledků všech účastníků a celkové výsledky byly vzájemně porovnatelné (v požadovaných kategoriích) bez ohledu na jejich absolutní hodnoty.

4.6.2   Systém nové generace pro vyhodnocení IP provozu

Maximální snahou dlouhodobých aktivit v této oblasti je postupně dospět ke generickému modelu popisu síťové infrastruktury ve smyslu účtování a analýzy provozu jednotlivých účastníků, stejně jako analýzy chování jednotlivých síťových prvků.

Běžná řešení se obvykle opírají o klasifikaci provozních informací jednotlivých síťových zařízení, která jsou chápána izolovaně. Účastnický provoz je vyhodnocován právě z jednoho takového datového zdroje. Tomuto úhlu pohledu je poplatná konfigurace takového systému, která se skládá z nezávislých entit pro každé zařízení zvlášť.

V praxi potom často nastává situace, kdy například z provozních dat konkrétního zdroje nelze kategorizovat účastnický provoz podle všech požadovaných kritérií. Tyto informace by byly dosažitelné z jiného datového zdroje, ale taková data obsahují pouze část informací o provozu účastníka.

Další omezující vlastností provozních informací pro danou síťovou aktivitu (relaci), které jsou k dispozici z různých datových zdrojů, je jejich nesouměřitelnost. Data každého zdroje procházejí nezávislým mechanismem vzorkování a časových agregací, objemové kvantifikace provozu se pro jednotlivé časové intervaly různí. Obdobných omezení by bylo možno nalézt v tomto modelu celou řadu.

Teoretické úvahy při řešení problému směřují k popisu sledované infrastruktury nikoli jako množiny nezávislých prvků, ale jako celku sestávajícího z vzájemně logicky provázaných prvků. V takto pojaté architektuře se účastnický provoz skládá z informací pocházejících minimálně z jednoho zdrojového místa.

Exkluzivitu provozních údajů je nutné zajistit konfigurační mocností systému a inteligencí zpracování provozních dat. Výhodou je, že každý konfigurační parametr definující provoz příslušného účastníka je v systému umístěn právě jednou, což umožňuje udržet integritu konfigurace jako celku.

Princip vyhodnocení spočívá v označení provozních dat, která se týkají konkrétního účastníka a pocházejí z různých zdrojů, různou autoritativní hodnotou. Tato metoda klasifikace provozních dat umožňuje vybrat z celku ty informace, které mají autoritativní charakter pro sumarizaci provozu účastníka. Zbylá data - stejně označená, ovšem s nižším stupněm autority - definují kategorii vztahu pro ostatní účastníky.

Plán realizace a postup prací

Původní plán realizace zahrnoval pouze systém pro krátkodobou plnohodnotnou analýzu IPv4 provozu páteřní sítě. Výše uvedené problémy související s dostupností plnohodnotných provozních informací nás přiměly změnit postup vývoje a zahrnout do plánu i vlastnosti týkající se vyhodnocení provozu jednotlivých účastníků a souvisejících statistických výstupů. Tedy o vlastnosti, jimiž ve zjednodušené podobě disponuje systém stávající.

V tomto duchu jsme modifikovali požadované vlastnosti systému a návrh jeho interní architektury. Tímto rozšířením požadovaných vlastností se objem nutných prací několikanásobně zvýšil a bylo jasné, že plánovaný termín nasazení (prosinec 2001) nelze splnit. Během roku jsme vytvořili prototyp celého systému. Na něm jsme ověřili, že všechny požadované vlastnosti lze pro síť parametrů CESNET2 realizovat na konvenčních výpočetních prostředcích s efektivitou převyšující komerčně dostupné produkty.

Ukázky některých výstupů prototypu systému

Původně byl základním cílem naší činnosti přístup k neagregovaným provozním informacím a výběr z nich podle podmínek zadaných prostřednictvím WWW rozhraní.

Pro ukázku jednotlivých typů statistických výstupů jsme vybrali provoz účastníka za měsíc září 2001, konkrétně se jedná o Univerzitu Karlovu. Pro testování prototypu jsme část provozních dat simulovali replikacemi některých použitých datových zdrojů, takže výsledné průběhy plně nekorespondují s reálným provozem účastníka v daném měsíci.

Pro vlastní vyhodnocení jsme rozšířili dosud používané sumarizační výstupy i o výstupy průběhové. Poskytují výrazně přesnější informace o aktivitě účastníka, případně jeho nejvýznamnějších zdrojích a cílech dat.

Aktuální stav a termíny nasazení

V současné době přepisujeme na základě zkušeností s prototypem jednotlivé moduly do produkčně použitelného stavu. Systém nabídne vcelku univerzální možnosti definice sledovaných objektů, definice specializovaných jednoúčelových filtrů, přístup k reálným neagregovaným datům z jednotlivých směrovačů, interaktivní rozhraní pro uživatelský přístup a automaticky generované přehledové (sumarizační i průběhové) statistiky v grafické podobě. Z hlediska architektury je navržen jako plně distribuovaný a škálovatelný, a to včetně možnosti hardwarového rozšiřování za běhu.

Kritické jsou termíny pro postupné nasazování jednotlivých komponent systému do provozu. Na základě dlouhodobých zkušeností se jako nutný termín začátku tohoto procesu jeví nejpozději konec února 2002, což je termín realistický vzhledem k úrovni rozpracovanosti.

4.6.3   Systém pro kontrolu adresového prostoru

Jako vedlejší produkt činnosti vznikl systém pro monitorování spravovaných adresových rozsahů IPv4. Monitoruje rozčlenění adresového prostoru a dostupnost jednotlivých adres, kontroluje integritu z hlediska jmenné služby a umožňuje vytvořit zprávu o jeho využití ve formátu akceptovaném RIPE jako žádost o přidělení IPv4 adres. K dispozici jsou interaktivní administrační a prezentační uživatelská rozhraní distribuovaná prostřednictvím WWW.

předchozí

obsah

následující