<?xml version="1.0" encoding="utf-8" ?>
<!DOCTYPE zprava SYSTEM "techrep.dtd">

<zprava cislo="13/2002">
<nazev>IPv6 v páteřní síti CESNET2</nazev>
<autor>Petr Adamec, Ladislav Lhotka, Martin Pustka</autor>
<datum>28.11.2002</datum>

<h1>Úvod</h1>

<p>
Tento dokument popisuje zapojení a realizaci páteřní sítě s protokolem IPv6 v
síti CESNET2.  Tato síť je provozována společností &cesnet;, která sdružuje
univerzity a Akademie věd v ČR. Aktuální informace o stavu sítě lze získat na
stránkách projektu, které jsou na adrese <adresa>http://www.cesnet.cz/ipv6</adresa>.
</p>

<p>
V současné době jsou propojeny vybrané POPy sítě CESNET: Praha, Liberec, Hradec Králové,
Ostrava, Brno, Plzeň, České Budějovice a Ústí nad Labem. Jednotlivé spoje jsou
realizovány ve valné většině pomocí IPv6 over IPv4 tunelů. Páteřní IPv6 směrovače
jsou umístěny na segmentech v blízkosti páteřních IPv4 směrovačů s IPv4
adresami z adresního rozsahu sítě CESNET2.
</p>

<p>
Logická struktura tvořena tunely se snaží v co největší míře kopírovat fyzickou
strukturu sítě CESNET2. Struktura byla navržena také s ohledem na stabilitu
sítě. Proto jsou v síti dva hraniční směrovače, které zajišťují konektivitu do
Internetu a které zároveň plní funkci BGP route reflektorů. Snahou bylo, aby
každý páteřní směrovač měl realizováno propojení se dvěma jinými IPv6 směrovači
na páteřní síti. Takto vznikly tzv. "okruhy", které jsou ukončeny na dvou
různých směrovačích (giga0, R1-PRG) v Praze. Toto řešení zajišťuje každému uzlu
zahraniční konektivitu v případě výpadku jednoho páteřního směrovače v daném
okruhu, popř. jednoho z pražských směrovačů.
</p>

<obr src="ipv6-schema">Schéma topologie páteřní IPv6 sítě CESNET2</obr>


<h1>Adresace</h1>

<p>
Od RIPE má CESNET přidělen adresový prostor <adresa>2001:718::/32</adresa>.
Jednotlivým POPům se přidělují sítě s délkou masky (prefixlen) 42 bitů.
Koncovým sítím pak sítě s délkou masky 48 bitů.
</p>

<p>
Pro potřeby páteřní sítě je rezervován prostor
<adresa>2001:718:0::/48</adresa>. Jednotlivým PtP spojům jsou přidělovány sítě
s délkou masky 64 bitů.  Pro loopback adresy jednotlivých směrovačů jsou použity
adresy ze sítě <adresa>2001:718::/64</adresa>.
</p>

<tab sloupce="lll">
<tr><td><i>DNS jméno</i></td><td><i>POP</i></td><td><i>loopback adresa</i></td></tr>
<tr><td><adresa>prg-lo</adresa></td><td>Praha</td><td><adresa>2001:718::1</adresa></td></tr>
<tr><td><adresa>bm-lo</adresa></td><td>Brno</td><td><adresa>2001:718::2</adresa></td></tr>
<tr><td><adresa>li-lo</adresa></td><td>Liberec</td><td><adresa>2001:718::3</adresa></td></tr>
<tr><td><adresa>cb-lo</adresa></td><td>České Budějovice</td><td><adresa>2001:718::4</adresa></td></tr>
<tr><td><adresa>pm-lo</adresa></td><td>Plzeň</td><td><adresa>2001:718::5</adresa></td></tr>
<tr><td><adresa>hk-lo</adresa></td><td>Hradec Králové</td><td><adresa>2001:718::6</adresa></td></tr>
<tr><td><adresa>ov-lo</adresa></td><td>Ostrava</td><td><adresa>2001:718::7</adresa></td></tr>
<tr><td><adresa>r1-prg</adresa></td><td>Praha</td><td><adresa>2001:718::8</adresa></td></tr>
<tr><td><adresa>r23-ul</adresa></td><td>Ústí nad Labem</td><td><adresa>2001:718::9</adresa></td></tr>
<nazev>Loopback adresy IPv6 směrovačů v síti CESNET2</nazev>
</tab>

<p>
Jednotlivé POPy mají přiděleny sítě s délkou masky 42 bitů. Z tohoto adresového
prostoru jsou koncovým organizacím ve spoluráci s CESNET NIC přidělovány sítě s
délkou masky 48 bitů. Bylo zavedeno pravidlo, že první síť s maskou 48 bitů je
použita pro potřeby POPu a metropolitní sítě.
</p>

<tab sloupce="ll">
<tr><td><i>Instituce, síť, POP</i></td><td><i>přidělená síť</i></td></tr>

<tr><td>CESNET2 backbone</td><td><adresa>2001:718:0::/48</adresa></td></tr>
<tr><td>CESNET, z.s.p.o. / Praha</td><td><adresa>2001:718:1::/48</adresa></td></tr>
<tr><td>ČVUT Praha</td><td><adresa>2001:718:2::/48</adresa></td></tr>

<tr></tr>

<tr><td>Brno MAN backbone</td><td><adresa>2001:718:800::/48</adresa></td></tr>
<tr><td>Masaryk Univerzity Brno</td><td><adresa>2001:718:801::/48</adresa></td></tr>
<tr><td>VUT Brno</td><td><adresa>2001:718:802::/48</adresa></td></tr>

<tr></tr>

<tr><td>Ostrava MAN backbone</td><td><adresa>2001:718:1000::/48</adresa></td></tr>
<tr><td>VSB - Technical University Ostrava</td><td><adresa>2001:718:1001::/48</adresa></td></tr>
<tr><td>UGN CAV Ostrava</td><td><adresa>2001:718:1002::/48</adresa></td></tr>
<tr><td>OPF SLU Karviná</td><td><adresa>2001:718:1003::/48</adresa></td></tr>

<tr></tr>

<tr><td>Hradec Králové MAN backbone</td><td><adresa>2001:718:1200::/48</adresa></td></tr>
<tr><td>FAF, Charles University Hradec Králové</td><td><adresa>2001:718:1201::/48</adresa></td></tr>

<tr></tr>

<tr><td>Ústí nad Labem MAN backbone</td><td><adresa>2001:718:1600::/48</adresa></td></tr>
<tr><td>Nemocnice TGM Ústí n. L.</td><td><adresa>2001:718:1601::/48</adresa></td></tr>

<tr></tr>

<tr><td>Plzeň MAN backbone</td><td><adresa>2001:718:1800::/48</adresa></td></tr>
<tr><td>University of West Bohemia Plzeň</td><td><adresa>2001:718:1801::/48</adresa></td></tr>
<tr><td>Služba škole Plzeň</td><td><adresa>2001:718:1802::/48</adresa></td></tr>

<tr></tr>

<tr><td>Liberec MAN backbone</td><td><adresa>2001:718:1C00::/48</adresa></td></tr>
<tr><td>Technical University of Liberec</td><td><adresa>2001:718:1C01::/48</adresa></td></tr>

<tr></tr>

<tr><td>České Budějovice MAN backbone</td><td><adresa>2001:718:1A00::/48</adresa></td></tr>
<tr><td>University of South Bohemia ČB</td><td><adresa>2001:718:1A01::/48</adresa></td></tr>

<nazev>Přidělené IPv6 sítě</nazev>
</tab>


<h1>Směrování</h1>

<p>
Jako interní směrovací protokol (IGP) je použit protokol RIPng. Mezi směrovači
páteřní sítě se v něm šíří pouze páteřní sítě a loopbackové adresy. Tento
protokol byl vybrán jako jediná možnost, protože v síti je použito různé SW vybavení
(IOS, Zebra) a tento protokol je jako jediný implementován na všech použitých
platformách a zároveň podporuje IPv6.
</p>

<p>
Dále se v páteřní síti (AS 2852) používá protokol iBGP. Z důvodů stability byly
zvoleny dva BGP route reflektory. Oba jsou umístěny v Praze a jedná se o
systémy giga0.cesnet.cz (prg-lo, PC směrovač) a R1-PRG (Cisco směrovač). Všechny
ostatní páteřní směrovače mají navázáno BGP spojení s oběma route reflektory. BGP
session je navázána po vytvořené IPv6 síti.
</p>

<h2>Praktická implementace směrovacího protokolu RIPng</h2>


<p>
Konfigurace protokolu RIPng v Cisco IOSu je uvedena níže. Krom těchto příkazů je
ještě nutno na každém rozhraní (včetně loopbacku), které má být v RIPu propagováno,
povolit RIPng příkazem <tt>ipv6 rip backbone enable</tt>.
</p>

<pre>
	ipv6 router rip backbone
	 distribute-list prefix-list bb-only out  
	 distribute-list prefix-list bb-only in
	!
	ipv6 prefix-list bb-only seq 5 permit 2001:718::/48 ge 64
</pre>


<p>
Možnosti RIPng v Zebře jsou oproti Cisco IOSu bohužel omezenější a lze spustit
pouze jeden proces. Ukázka konfigurace protokolu RIPng v Zebře může vypadat
například takto:
</p>

<pre>
	router ripng
	 network tunnel0
	 network tunnel1
	 redistribute connected
	 distribute-list prefix bb-only in tunnel0
	 distribute-list prefix bb-only out tunnel0
	 distribute-list prefix bb-only in tunnel1
	 distribute-list prefix bb-only out tunnel1
	!
	ipv6 prefix-list bb-only seq 5 permit 2001:718::/48 ge 64
</pre>


<h2>Praktická implementace směrovacího protokolu BGP</h2>

<p>
V síti existují z důvodů stability dva BGP route reflektory a každý páteřní
směrovač má ustanoveno BGP spojení s oběma BGP route reflektory. Oba BGP RR
jsou umístěny v Praze a tyto směrovače zajišťují také externí konektivitu do
Internetu. Tedy v případě výpadku jednoho z těchto směrovačů je zajištěna
funkčnost páteřní IPv6 sítě.
</p>

<p>
V iBGP jednotlivé směrovače obvykle propagují prostor přidělený z adresového
prostoru CESNETu jednotlivým POPům - tedy síť s délkou prefixu 42 bitů.
</p>

<p>
Router-id volíme jako IPv4 adresu příslušného směrovače (obvykle mají směrovače
pouze jednu IPv4 adresu pro management i pro realizaci IPv6 tunelů).
</p>


<tab sloupce="llll">
<tr><td><i>DNS jméno</i></td><td><i>POP</i></td><td><i>loopback adresa</i></td><td><i>BGP router-id</i></td></tr>
<tr><td><adresa>prg-lo</adresa></td><td>Praha</td><td><adresa>2001:718::1</adresa></td><td>195.113.156.183</td></tr>
<tr><td><adresa>bm-lo</adresa></td><td>Brno</td><td><adresa>2001:718::2</adresa></td><td>195.113.156.197</td></tr>
<tr><td><adresa>li-lo</adresa></td><td>Liberec</td><td><adresa>2001:718::3</adresa></td><td>195.113.144.80</td></tr>
<tr><td><adresa>cb-lo</adresa></td><td>České Budějovice</td><td><adresa>2001:718::4</adresa></td><td>195.113.157.52</td></tr>
<tr><td><adresa>pm-lo</adresa></td><td>Plzeň</td><td><adresa>2001:718::5</adresa></td><td>195.113.157.36</td></tr>
<tr><td><adresa>hk-lo</adresa></td><td>Hradec Králové</td><td><adresa>2001:718::6</adresa></td><td>195.113.144.81</td></tr>
<tr><td><adresa>ov-lo</adresa></td><td>Ostrava</td><td><adresa>2001:718::7</adresa></td><td>195.113.157.5</td></tr>
<tr><td><adresa>r1-prg</adresa></td><td>Praha</td><td><adresa>2001:718::8</adresa></td><td>195.178.64.113</td></tr>
<tr><td><adresa>r23-ul</adresa></td><td>Ústí nad Labem</td><td><adresa>2001:718::9</adresa></td><td>195.113.144.126</td></tr>
<nazev>BGP router-id směrovačů v síti CESNET2</nazev>
</tab>

<p>
Konfigurace BGP na páteřním boxu je u Cisco IOSu i v konfiguraci Zebry shodná vypadá například takto:
</p>

<pre>
	router bgp 2852
	 bgp router-id &lt;BGP router-id&gt;
	 no bgp default ipv4-unicast
	 neighbor 2001:718::1 remote-as 2852
	 neighbor 2001:718::1 description giga0 BGP route reflector 
	 neighbor 2001:718::1 update-source &lt;IPv6 loopback adresa&gt;
	 neighbor 2001:718::8 remote-as 2852
	 neighbor 2001:718::8 description R1-PRG1 BGP route reflector
	 neighbor 2001:718::8 update-source &lt;IPv6 loopback adresa&gt;
	!
	 address-family ipv6
	  network &lt;POP IPv6 network/42&gt;
	  neighbor 2001:718::1 activate
	  neighbor 2001:718::1 soft-reconfiguration inbound
	  neighbor 2001:718::8 activate
	  neighbor 2001:718::8 soft-reconfiguration inbound
	 exit-address-family
</pre>


<h1>Externí konektivita</h1>

<p>
V současné době má CESNET realizován peering se čtyřmi autonomními systémy.
Snahou bylo realizovat relativně kvalitní peeringy. Všechna propojení jsou
realizována pomocí tunelů, odezva mezi hraničními směrovači je však
akceptovatelná.
</p>

<h2>Renater, AS 2200</h2>

<p>
Jedná se o historicky první IPv6 peering v síti CESNET2. Síti CESNET2 je
poskytována plná tranzitní IPv6 konektivita. Tunel je realizován z Pražského PC
směrovače giga0, použity jsou adresy z AS2200
(<adresa>2001:660:1102:400a::/64</adresa>). CESNET propaguje pouze svůj
adresní prostor. Tento AS je využíván jako poskytovatel tranzitní
konektivity. IPv4 provoz mezi hraničními směrovači jde přes síť GEANT (síť
Renater je francouzskou sítí národního výzkumu).
</p>


<h2>Telia International Carrier, AS 1299</h2>

<p>
Síti CESNET2 je poskytována ze strany Telie plná tranzitní IPv6 konektivita.
Poměrně velkou výhodou je fakt, že Telia poskytuje síti CESNET2 také tranzitní
IPv4 konektivitu. Mírnou nevýhodou (která je opravdu mírná) je fakt, že tunel
je ukončen až na Londýnském IPv6 směrovači. Tunel je realizován ze směrovače
R1-PRG.  Pro adresaci tunelu je použita síť z AS 1299
(<adresa>2001:6c0:800:2002::/64</adresa>). IPv4 provoz mezi hraničními IPv6
směrovači jde přes síť Telie.
</p>



<h2>6NET, AS 6680</h2>

<p>
6NET je evropský projekt, který testuje nasazení protokolu IPv6 v počítačových
sítích. Síti CESNET2 je ze strany 6NETu poskytována konektivita do sítí členů a
partnerů 6NETu a podle AUP 6NETu také do sítí v zemích členů a partnerů 6NETu.
V tomto případě také záleží na AUP příslušného partnera 6NETu, zda bude tuto
síť do 6NETu propagovat.
</p>

<p>
Velikou výhodou je fakt, že téměř všechna propojení jsou realizována ne tunely,
ale nativními linkami. V případě CESNETu je propojení realizováno tunelem,
avšak v brzké době by měla být do 6NETu nativní linka, která bude přepojena na
směrovač R1-PRG. IPv4 provoz mezi hraničními směrovači jde přes GEANT a doba odezvy se
pohybuje okolo 14ms.  Pro adresaci tunelu jsou použity adresy z AS 2852
(<adresa>2001:718:0:b000::/64</adresa>).
</p>

<p>
Bližší informace o projektu 6NET jsou k dispozici na adrese <adresa>http://www.6net.org</adresa>.
</p>


<h2>ASN-XS26-6COM, AS 25336</h2>

<p>
Ze strany ASN-XS26-6COM je cesnetu je propagován pouze adresní prostor
přidělený autonomnímu systému 25336.  Provoz IPv6 tunelu jde přes NIX a jedná
se o první národní peering v ČR. Odezva mezi hraničními směrovači obou sítí je
cca 2ms. Tunel je realizován z Pražského PC směrovače giga0. Ze strany sítě
CESNET2 je propagován AS 2852 a v souladu s AUP 6NETu také sítě národního
výzkumu evropských zemí, které jsou zapojeny do projektu 6NET.  Ze statistik
propojení je vidno, že toto propojení je oproti ostatním propojenením poměrně
hojně využíváno.
</p>

<p>
Bližší informace o projektu XS26 jsou k dispozici na adrese <adresa>http://www.xs26.org</adresa>.
</p>



<h1>Použité OS a SW</h1>

<p>
Nejčastěji používaným HW pro směrovače je PC. Pro PC směrovače se pak používá v
drtivé vetšině OS Linux (v některých případech s USAGI patchy), v jednom
případě pak NetBSD. Na všech PC se používá jako směrovací daemon program Zebra.
Ve dvou případech jsou použity Cisco směrovače 3640, v dalších dvou
pak jsou použity Cisco směrovače řady 7200 a 7500.
</p>

<dl>
<dt>Linux</dt><dd>Praha, Ostrava, Plzeň, České Budějovice</dd>
<dt>NetBSD</dt><dd>Brno</dd>
<dt>Cisco</dt><dd>Praha, Liberec, Hradec Králové, Ústí nad Labem</dd>
</dl>

<h1>Monitoring sítě</h1>

<p>
V současné době se základní služby monitorují ze standardního monitorovacího
systému <adresa>saint.cesnet.cz</adresa>. Pro monitoring se používají
modifikované moduly dodávané s monitorovacím SW <a
href="http://www.nagios.org">Nagios</a>, popř. nově vyvinuté moduly. Tento
systém je připojen do IPv6 sítě na L2. Monitorují se následující věci:
</p>

<ul>
<li>stav jednotlivých páteřních směrovačů</li>
<li>stav směrovačů peerujících partnerů</li>
<li>stav IPv6 služeb významných z pohledu páteřní sítě</li>
<li>stav BGP</li>
</ul>

<p>
Pro monitoring vytížení sítě se používá SW
<a href="http://www.cesnet.cz/doc/zprava2001/sled.html">GTDMS</a>, se kterým se
monitorují a vizualizují i linky IPv4 páteře. Tento je veřejně dostupný na
adrese <adresa>http://www.cesnet.cz/provoz/zatizeni6</adresa>.
</p>


<h1>Připojení koncových sítí</h1>

<p>
V současné chvíli je připojení koncových sítí realizováno následujícími
způsoby:
</p>

<ol>
<li> Páteřní router v příslušném POPu je fyzicky propojen s routerem koncové sítě.</li>
<li> Páteřní router v příslušném POPu je propojen s routerem koncové sítě
     prostřednictvím IPv6 over IPv4 tunelem.</li>
<li> Páteřní router v daném POPu pracuje i jako router pro koncovou organizaci.</li>
</ol>

<h1>Podrobná mapa páteřní IPv6 sítě CESNET2</h1>

<obr src="ipv6-podrobna">Mapa páteřní IPv6 sítě CESNET2</obr>

</zprava>


