3.4  Vyhodnocení provozu

Hlavním úkolem provozu páteřní sítě TEN-155 CZ je zajistit uživatelům sítě spolehlivý a rychlý přístup ke všem informačním zdrojům a výpočetním kapacitám, které TEN-155 a celosvětová síť Internet poskytují. Navíc je třeba zajistit prostor pro uvádění výsledků výzkumných skupin do praxe. Ukazuje se, že úspěšné provedení experimentu v laboratoři neznamená, že musí nutně spolehlivě fungovat i v reálném provozu. Vlastní hodnocení provozu lze provádět z více hledisek :

Spolehlivost sítě

Začátek Doba Popis
05/01 13:01 0:11 Krátkodobé 10s výpadky uzlu Plzeň - restart pražského LS1010
05/01 19:02 0:14 Výměna zařízení MiniLink v Ostravě
06/01 10:13 0:11 Výpadek napájení v uzlu Olomouc
12/01 17:45 0:11 Porucha UPS v centrálním uzlu Praha
19/01 21:53 7:49 Výpadek napájení v uzlu Liberec
28/01 12:54 1:00 Nedostupné Ústí n. L. - porucha optické trasy Aliatelu
31/01 00:38 0:55 HW problém na centrálním LS1010
11/02 07:00 1:44 Práce na LS1010 v Brně
10/02 18:15 0:01 Výpadek napájení ADM Aliatelu - Hradec Králové
18/02 18:05 2:10 Plánovaný výpadek okruhu NPA1 Praha-Pardubice
06/03 09:25 4:05 Plánované přemístění přenosového zařízení v Pardubicích
01/04 23:47 14:42 Náhodné krátkodobé výpaky okruhu NPA1 Brno-Zlín
09/04 13:40 1:55 Výpadek okruhu do NIXu
24/04 08:46 1:02 Výpadek napájení v uzlu Olomouc
24/04 08:31 6:44 Výpadek napájení v uzlu Hradec Králové
21/04 11:47 0:20 Výpadek napájení v uzlu Plzeň
30/04 12:27 1:57 Ústí n. L. nedostupné - porucha karty v SDH Aliatelu
01/05 19:03 20:30 Výpadek spoje do USA - porucha ATM okruhu Dante
29/05 06:07 2:02 Výpadek 34 Mb/s okruhu Brno-Ostrava
25/06 05:24 0:22 Porucha na zařízení v Brně
26/06 11:36 21:50 Výpadek napájení v uzlu České Budějovice
13/06 09:36 3:13 Výpadek napájení v uzlu Liberec
11/06 20:03 1:03 Výpadek napájení v uzlu Plzeň
25/06 05:45 0:22 Problém propojení zařízení Aliatel a směrovače v Ústí n. L.
03/06 10:48 0:02 Restart směrovače v Ústí n. L.
08/06 18:02 0:02 Plánovaný výpadek v Ústí n. L.
24/06 23:19 4:31 HW problémy na centrálním LS1010
03/07 07:04 11:56 Práce na silových rozvodech Olomouc - zařízení vypnuto
05/07 04:23 4:44 LS1010 v Olomouci nedostupný - nutný restart
05/07 21:05 0:31 Výpadek napájení v uzlu Hradec Králové
08/07 06:14 0:01 Software forced crash směrovače v Plzni
08/07 22:20 8:33 Nestabilní konektivita Olomouce - problém se zemnícími potenciály
08/07 23:10 3:50 Uzel Ostrava nedostupný - výpadek napájení
08/07 23:07 2:12 Výpadek napájení zařízení Aliatelu v Brně
19/07 22:50 0:32 Vysoká zátěž CPU centrálního směrovače způsobená nestabilitou okruhu do Frankfurtu
21/07 08:14 0:36 Porucha SDH zařízení ve Frankfurtu
31/07 09:33 1:46 Výpadek napájení v uzlu Ostrava
07/08 12:35 0:10 Problém s LS1010 v Českých Budějovicích - nutný restart
10/08 13:15 0:44 Výpadek okruhu Brno-Olomouc
18/08 00:01 14:59 Plánovaná revize elektrických rozvodů v Olomouci
24/08 16:00 0:45 Upgrade ASP ATM přepínače LS1010 v Českých Budějovicích
08/09 15:30 159:30 Vysoká chybovost multicast PVC do Frankfurtu
08/09 18:00 162:00 Vysoká chybovost MBS PVC do CERNU
10/09 08:00 0:30 Upgrade ASP ATM přepínače LS1010 v Pardubicích
13/09 05:51 0:13 Výpadek radiového spoje v Hradci Králové vlivem bouřky
21/09 09:00 0:04 Přetížení a vysoká ztrátovost centrálního LS1010 - nutný restart
30/09 15:30 1:33 Nestabilní LANE v uzlu Liberec - ztráta konektivity
12/10 18:45 6:05 Výpadek napájení v uzlu Plzeň
29/10 00:00 12:50 Výpadek směrovače R9 v Ostravě - nutný restart
30/10 12:05 11:00 Nestabilita páteře TEN-155 způsobená MPLS (chyba IOS) - MPLS zrušeno
03/11 05:58 0:05 Přepojování zařízení v uzlu Ostrava
04/11 07:05 7:00 Přetížení CPU centrálního směrovače vlivem PIM - výměna IOS, rekonfigurace
05/11 17:40 4:35 Nestabilní LANE v uzlu Hradec Králové - restart směrovače a LS1010
09/11 06:00 1:00 Plánovaný výpadek okruhů Praha-Brno, Brno-Olomouc a Brno-Ostrava

Tabulka 3.2: Výpadky a poruchy TEN-155 CZ

Přehled nejvýznamějších výpadků a poruch je uveden v tabulce 3.2. V tomto výpisu nejsou zahrnuty krátkodobé výpadky způsobené restarty zařízení - plánovanými či neplánovanými. Páteřní SDH okruhy nemají téměř žádné výpadky a jejich spolehlivost se blíží 100 %.

Největší část výpadků způsobují problémy v jednotlivých uzlech, neboť často bývá problém zajistit v mimopracovní době rychlý zásah. Z hlediska spolehlivosti zařízení způsobují největší problémy chyby programového vybavení (IOS) na páteřních směrovačích, neboť se v rámci ověřování nových vlastností používají nejnovější verze, které nebývají dostatečně stabilní. Před použitím nového IOS jej sice testujeme a kontrolujeme seznam chyb, nicméně skutečné chování prověří vždy až reálný provoz.

Ve srovnání s evropskou páteřní sítí je TEN-155 CZ výrazně spolehlivější. Průměrný počet poruch a plánovaných výpadků evropské páteře TEN-155 je přibližně 50 měsíčně. Přehled nejvýznamějších výpadků a poruch evropské páteřní sítě TEN-155 je uveden v tabulce 3.3. Celkový přehled zpráv o problémech (trouble tickets) lze nalézt na serveru www.ten.cz.

Start Duration Summary
08/01 22:40 0:45 Lost access to CESNET, failure of PS to local loop in Prague
15/01 10:15   Transfer of CESNET traffic from TEN-34 to TEN-155, no problems observed
13/01 17:15 0:14 Router configuration changes in Prague
19/01 13:31 0:28 Loss of connectivity to CESNET, "hit" on the PDH link
31/01 00:08 0:20 Access to CESNET, intermittent loss of connectivity leading to 20 min. outage
17/02 14:52 0:17 Access to CESNET was lost, raa.cz.net router crash
25/02 08:56 0:21 Loss of access to CESNET, insufficient memory caused a CESNET device crash
15/03 11:34 0:19 Access to CESNET lost, reboot of CESNET router to resolve a SW problem
02/04 23:45 0:23 UUNET router configuration problem
08/04 09:30 125:10 DANTE router in New York currently appears to not be receiving all internet routes
26/04 19:55 0:14 Outage occured on TEN-155 POS STM-1(POS9/0/0)
26/04 23:22 0:03 BGP peerings on the NY router showing resets
01/05 19:03 20:30 Maintenance work on the Gemini trans-Atlantic cable (outage Dante STM-1)
04/05 04:07 0:11 Spare switch processor card to be installed on Frankfurt
30/04 21:15 0:53 TEN-155 access to CESNET was lost, router SW problem
05/05 02:43 0:02 Emergency maintenance on the DE-CZ trunk
10/05 06:47 0:44 CZ-DE trunk was down due to an SDH problem
17/05 18:06 0:21 Loss of connectivity to US between Dante a UUNET
20/05 09:57 1:10 CESNET connectivity to TEN-155, router SW problem
03/06 08:43 1:23 UUNET outage due to maintenance
08/06 08:44 0:40 UUnet in Michigan reported this outage was due to scheduled maintenance
09/06 22:17 0:41 KPN Amsterdam-Stockholm trunk was down
10/06 21:00   Amsterdam-Stockholm trunk to repair a damaged fibre
21/06 14:05 0:47 High RTT between New-York2 and UUNET (POS)
24/06 10:00 8:09 Service interruption on the Dante New York POP router
24/06 23:19 4:31 Connectivity to CESNET unstable, CESNET central LS1010 HW failure
02/07 02:41 42:24 POS8/0/0 inteface on the NY2 router become unreachable
06/07 06:59 0:11 UUNET Emergency Maintenance work
08/07 06:00 2:33 UUNET replaced ATM 3 and 5 with POET cards on its gateway GW6.NYC4
06/07 07:00 2:04 Emergency maintenance on its gateway router (GW7.NYC4) in New York
08/07 06:00 2:33 Emergency maintenance to replace ATM 3 and 5 with POET card on GW6.NYC4
19/07 20:20 5:29 Intermittent AIS problems on the Franfurt-Prague trunk
20/07 03:00 3:00 Upgrading UUNET routers
21/07 08:14 0:36 MERO outage due to equipment failure
26/07 09:43 4:12 MERO - broken fibre in Vohburg (DT)
03/08 15:31 1:19 POS card in the New-York2 failure
05/08 18:20 16:03 Intermittent breaks on the Franfurt-Prague trunk
06/08 20:48 87:18 Deutsche Telecom have replaced the faulty card in Frankfurt
18/08 14:24 0:05 Installation of the new NY3 router
24/08 03:06 8:00 CESNET hardware problem on the Prague router
31/08 06:10 0:18 The software on New-York1, New-York2 and the LS1010 ATM upgrades
07/09 23:11 0:17 UUNET have no explanation for this outage
20/09 05:09 1:16 Bad synchronization when it was moved from the PVC from E3 to STM-1 ports
22/09 13:02 11:45 Bad card on the UUNET ATM switch
30/09 08:00 3:00 UUNET replace a malfunctioning ATM card
01/10 08:00 3:00 Replacement of an ATM card on UUNET gateway router
08/10 12:27 0:08 Bad aggregate card in UUNET operations center was replaced
08/10 21:00   PVC and peering between Abilene and NY3.dante.net will be brought into service
12/10 10:06 0:05 CESNET stated that the outage was due to backbone problems
13/10 17:52 24:01 Teleglobe have pass this circuit over to their technicians for investigation
18/10 02:56 1:38 CESNET unstable on our monitoring tools
29/10 22:25 56:04 CESNET stated the software problem with their router was fixed

Tabulka 3.3: Výpadky a poruchy TEN-155

Průměrná dostupnost sítě TEN-155 CZ vyhodnocovaná jako dostupnost centrálního směrovače PRG1 ze sledovacího počítače Dante v Cambridge je v letošním roce 99,01 %. Dostupnost je určována podle vzorce:

Dostupnost = ( T - (tu + ts) ) / (T - ts) x 100 %

kde T je celkový čas, tu doba neplánovaných výpadků a ts doba plánovaných výpadků.

Statistiky datových okruhů

Pro vyhodnocování provozních stavů, zátěží a chybovostí datových okruhů je využíván systém statistik GTDMS, který vyvíjí skupina pro statistické vyhodnocení provozu sítě. Systém GTDMS (Graphical and Textual Data measurement system) je databázově orientovaný SNMP systém, který v definovaných intervalech (implicitně 10 min.) provádí sběr dat z určených síťových prvků na základě jednotlivých MIB proměnných (systémové, ip, rozhraní, ATM, Frame-relay a dalších skupin). Výhodou tohoto systému je jednoduchá konfigurace a automatická kontrola konfigurace.

[obrázek]

Obrázek 3.4: Ukázky statistických výstupů - zpoždění, vytížení CPU a paměti, celková IP statistika

Grafy vytížení páteřních okruhů v listopadu jsou uvedeny na obrázku 3.5. Průměrné zatížení okruhů je cca 30 %, přetíženy jsou okruhy Praha-Ústí n. L. a Brno-Zlín. Okruhy Praha-New York a připojení na Ebone jsou již tradičně velmi zatíženy, okruh do Frankfurtu je zatížen přibližně na 75 %.

Praha-Frankfurt, 21 Mb/s
[]
Praha-New York, 24 Mb/s
[]
TEN-155 CZ-NIX, 50 Mb/s
[]
připojení k Ebone, 16 Mb/s
[]
MBS PVC Praha-CERN, 6 Mb/s
[]
Multicast PVC Praha-Frankfurt, 3 Mb/s
[]
TEN-155 CZ-PASNET, 155 Mb/s
[]
TEN-155 CZ-CESNET, 100 Mb/s
[]
TEN-155 CZ-ČVUT, 100 Mb/s
[]
TEN-155 CZ-VŠCHT, 10 Mb/s
[]
Praha-Brno, 155 Mb/s
[]
Praha-Hradec Králové, 34 Mb/s
[]
Praha-Liberec, 34 Mb/s
[]
Praha-Pardubice, 34 Mb/s
[]
Praha-Plzeň, 34 Mb/s
[]
Praha-České Budějovice, 34 Mb/s
[]
Brno-Olomouc, 34 Mb/s
[]
Brno-Ostrava, 34 Mb/s
[]
Praha-Ústí n. L., 2 Mb/s
[]
Brno-Zlín, 2 Mb/s
[]

Obrázek 3.5: Vytížení páteřních linek TEN-155 CZ

IP účtování - netflow statistiky

Pro vyhodnocení IP provozu je pracovní skupinou pro statistické vyhodnocení provozu sítě TEN-155 CZ vyvíjen systém realizující zpracování accountingu na úrovni IPv4. Tento systém tvoří tzv. kolektor pro sběr účtovacích dat z jednotlivých hraničních směrovačů a vlastní systém pro zpracování, agregaci a zobrazování výsledných dat prostřednictvím WWW rozhraní. Obecně jsou možné 2 metody sběru dat:

IP accounting
Hraniční směrovač zaznamenává do svých vyrovnávacích pamětí pro účtování záznamy obsahující

adresu odesilatele, cílovou adresu, počet paketů, počet bajtů

Kolektor provádí sběr těchto dat pomocí rsh. U této metody je vždy potřeba explicitně určit velikost časového kroku sběru dat a velikost vyrovnávacích pamětí pro IP účtování tak, aby nedocházelo k cyklickému přepisování a tím ke ztrátě dat. Výhodou IP accountingu je, že je podporován u všech verzí IOS a nevyžaduje pořízení dalších licencí. Nevýhodou je, že velmi zatěžuje CPU směrovačů (závisí též na objemu přenášených dat) a poskytuje jen základní údaje o IP provozu.
Netflow statistiky
Jsou dalším efektem tzv. netflow přepínání, kdy se pro každé datové spojení dynamicky vytvoří virtuální spojení mezi příslušnými rozhraními směrovače a tímto virtuálním spojením pak již procházejí všechny pakety, které mají stejnou zdrojovou a cílovou IP adresu jako paket, který spojení inicializoval. Výhodou netflow statistik je:
  • větší informační hodnota - základní data obsahují navíc čísla portů, čímž získáme přehled o používaných službách
  • prakticky nezatěžuje procesor směrovače
  • formát netflow paketů se dále vyvíjí a rozšiřuje
  • nepřetržitý sběr dat přes definovaný UDP port
Nevýhodou netflow je, že vyžaduje odpovídající licenci a novější verze IOS, které si u menších směrovačů (např. řady 2611) vynucují rozšíření paměti.

Systém pro vyhodnocení IP statistik umožňuje použití obou metod. S ohledem na informační hodnotu dat a vzrůstající provoz na páteři TEN-155 CZ používáme téměř výhradně metodu netflow statistik. Pro zajištění věrohodnosti dat je nutné udržovat kompletní přehled rozdělení adresního prostoru mezi jednotlivé účastníky TEN-155 CZ a příslušnost IP sítí účastníků k jednotlivým hraničním směrovačům, které posílají netflow data na kolektor (logické schéma IP páteře). Hraničním směrovačem je zde míněn směrovač, který vytváří netflow statistiky a je nejblíže k přípojnému místu účastníka.

Jako ukázku výstupů systému, která zároveň demonstruje zatížení sítě TEN-155 CZ, uvádíme údaje z listopadu 1999. Celkový objem dat, který za tuto dobu protekl páteří sítě, je 23,8 TB, z toho účastníci zkonzumovali 13,6 TB a naopak poskytli 10,2 TB. Lze tedy konstatovat, že síť TEN-155 CZ není pouze spotřebitelem dat, ale též jejich významným poskytovatelem. Provoz rozdělujeme do tří kategorií:

Rozdělení globálního provozu z tohoto pohledu je uvedeno v tabulce 3.4.
  Celkem Externí Peer Interní
Vstupní 13,616 57 % 6,470 27 % 3,491 15 % 3,655 15 %
Výstupní 10,199 43 % 3,995 17 % 2,544 11 % 3,660 15 %
Celkem 23,815 100 % 10,465 44 % 6,035 25 % 7,315 31 %

Tabulka 3.4: Rozdělení globálního provozu (listopad 1999)

Největší objem dat je přenášen mezi účastníky TEN-155 CZ a Internetem. Podíl peeringového provozu je přibližně 25 % což jen podtrhuje význam peeringu s ostatními poskytovateli Internetu v ČR.

Zajímavé statistické údaje nabízí další sada tabulek. Najdete zde nejpoužívanější služby a připojené instituce s největšími objemy přenesených dat. Vše se týká listopadu 1999. Nejvýznamnějším spotřebitelem i poskytovatelem dat je síť ČVUT, jejíž podíl na vstupním provozu je 21,16 % a na výstupním 29,35 %.

Statistické vyhodnocení IP provozu nám umožňuje získávat kompletní přehled o přenosu dat na páteři až do úrovně jednotlivých počítačů a je též výborným nástrojem pro dohledávání podezřelých aktivit v rámci sítě, např. nelegální distribuci programů (warez). Zneužité servery se projeví nadměrným provozem a je poměrně snadné je objevit a přijmout příslušná opatření. Celkový přehled GTDM i IP statistik lze nalézt na serveru www.ten.cz.

Pořadí Počítač Služba GB %
1 mouse.vsp.cz FTP 389 3,81
2 cesnet.downlink.skycache.com NNTP 388 3,80
3 unassigned.sh.cvut.cz FTP 161 1,64
4 KMLinux.fjfi.cvut.cz WWW 139 1,36
5 veverka.vscht.cz WWW 134 1,32
6 sunsite.mff.cuni.cz FTP 101 0,99
7 msods.faf.cuni.cz WWW 66 0,65
8 wow.sh.cvut.cz 887 65 0,63
9 pc034.fzu.cz FTP 64 0,63
10 odysseus.fi.muni.cz FTP 55 0,54

Tabulka 3.5: Nejvýznamnější interní zdroje dat

Pořadí Počítač Služba GB %
1 adis.cesnet.cz NNTP 246 1,81
2 imc.seznam.cz WWW 138 1,01
3 www.xchat.cz WWW 110 0,81
4 mujweb.cz WWW 101 0,74
5 www.volny.cz WWW 80 0,59
6 idnes.cz FTP 53 0,39
7 wcarchive.cdrom.com FTP 53 0,39
8 cache2.cesnet.cz ICP 50 0,37
9 nntp04.primenet.com NNTP 45 0,33
10 cache1.cesnet.cz ICP 41 0,30

Tabulka 3.6: Nejvýznamnější externí zdroje dat

Pořadí Služba TB %
1 WWW 6,625 48,67
2 FTP 3,058 22,47
3 NNTP 0,745 5,47
4 SMTP 0,189 1,39
5 discard 0,147 1,08
6 ICP 0,129 0,95
7 ssh 0,105 0,77
8 887 0,091 0,67
9 0/neznámá 0,080 0,59
10 3205 0,074 0,55

Tabulka 3.7: Nejvýznamnější služby

  Instituce Celkem Externí Peer Interní
1 ČVUT 2,881 TB 21,16 % 26,87 % 19,90 % 12,25 %
2 VUT Brno 1,518 TB 11,15 % 12,40 % 11,60 % 8,52 %
3 MU Brno 1,323 TB 9,72 % 10,42 % 7,31 % 10,76 %
4 Univerzita Karlova 1,104 TB 8,11 % 9,89 % 9,32 % 3,79 %
5 ZČU Plzeň 1,089 TB 8,00 % 4,33 % 4,18 % 18,15 %
6 TU Liberec 0,518 TB 3,81 % 2,41 % 3,95 % 6,15 %
7 VŠE Praha 0,499 TB 3,66 % 4,21 % 5,60 % 0,85 %
8 UP Olomouc 0,457 TB 3,35 % 2,39 % 3,64 % 4,79 %
9 AV ČR Praha 0,455 TB 3,34 % 3,72 % 4,26 % 1,81 %
10 TU Ostrava 0,379 TB 2,78 % 1,05 % 2,60 % 6,03 %

Tabulka 3.8: Největší spotřebitelé dat

  Instituce Celkem Externí Peer Interní
1 ČVUT 2,994 TB 29,35 % 39,03 % 24,99 % 21,83 %
2 MU Brno 0,950 TB 9,31 % 5,92 % 10,47 % 12,21 %
3 Univerzita Karlova 0,770 TB 7,55 % 7,11 % 11,82 % 5,06 %
4 ZČU Plzeň 0,736 TB 7,22 % 2,26 % 2,19 % 16,13 %
5 JČU Č. Budějovice 0,644 TB 6,31 % 3,91 % 2,88 % 11,33 %
6 VUT Brno 0,576 TB 5,65 % 7,19 % 5,93 % 3,76 %
7 VŠP Hradec Král. 0,511 TB 5,01 % 11,66 % 0,87 % 0,63 %
8 FT VUT Zlín 0,411 TB 4,03 % 1,66 % 5,18 % 5,81 %
9 Farma CCE 0,389 TB 3,81 % 0,00 % 15,25 % 0,02 %
10 AV ČR Praha 0,309 TB 3,03 % 3,24 % 3,90 % 2,20 %

Tabulka 3.9: Největší poskytovatelé dat

předchozí
obsah
následující
další weby:fond rozvojemetacentrumCzechLightpřenosyvideoservereduroameduID.cz