hledat:

10   Virtuální prostředí pro spolupráci

Aktivita Virtuální prostředí pro spolupráci zastřešuje řadu dílčích projektů, jejichž základ tvoří multimediální přenosy dat vysokorychlostními sítěmi. Celou aktivitu lze rozdělit na část zabývající se synchronní komunikační infrastrukturou pro interaktivní komunikaci (tedy s požadavky na zpoždění, např. videokonference) a na část zabývající se asynchronními nástroji bez požadavku na omezení zpoždění. Tyto nástroje často pracují s jednosměrnými datovými přenosy. V obou částech se výzkum a vývoj pohybuje od čistě teoretického až po praktickou implementaci. V rámci aktivity také podporujeme provoz produkčního prostředí pro spolupráci.

10.1   Synchronní komunikační infrastruktura

Hlavním problémem synchronního (též on-line nebo interaktivního) zpracování je vybudování prostředí včetně datových přenosů tak, aby bylo minimalizováno zpoždění. Soustředili jsme se na vybudování uživatelem řízené síťové podpory pro synchronní vícebodovou distribuci dat, která dobře škáluje vzhledem k počtu koncových bodů (klientů) a je dostatečně robustní s ohledem na možné výpadky linek i vnitřních prvků sítě. Tento výzkum navázal na náš vývoj aktivního (programovatelného) směrovače, reflektorů (replikačních prvků) a aktivních prvků, které byly založeny na stejných principech a myšlenkách.

10.1.1   Aktivní prvky

Virtuální spolupráce v reálném čase nezbytně potřebuje distribuční síť, která má vysokou přenosovou kapacitu a nízké zpoždění. Takovou síť je možné vytvořit z navzájem propojených obslužných prvků, tzv. aktivních prvků (Active Element, AE) - viz [HHM05]. Tyto prvky jsou zobecněním uživatelem řízeného programovatelného reflektoru popsaného v [HHD04]. Reflektor je programovatelný síťový prvek, který replikuje (a případně zpracovává) vstupní data (obvykle ve formě UDP datagramů) a rozesílá je klientům výhradně s použitím dvoubodového spojení (IP unicast). Jestliže jsou data zasílána všem naslouchajícím klientům, počet kopií je roven počtu klientů a množství odchozích dat nepřekročí n(n-1), kde n je počet obsluhovaných klientů. Reflektor pracuje v uživatelském prostoru operačního systému, takže nevyžaduje administrátorská práva na hostitelském stroji. Jedná se tedy o aplikaci principu řízení uživatelem. Reflektor i aktivní prvek jsou vytvořeny na základě návrhu aktivního směrovače [HlS01], modulárního přístupu a principu řízení uživatelem.

Aktivní prvky, na rozdíl od reflektorů, mají moduly pro vzájemnou síťovou komunikaci a schopnost distribuce modulů na úzce propojeném clusteru. Schopnost vzájemné komunikace je základem pro škálovatelné prostředí popsané v této zprávě. Výzkum distribuovaných aktivních prvků byl v tomto roce zahájen a hlavní výsledky očekáváme v roce následujícím. Systém řízení sítě je v aktivním prvku implementován dvěma moduly dynamicky připojenými v době běhu. Jsou to moduly pro správu sítě (NM) a pro síťovou informační službu (NIS), viz obrázek. NM zajišťuje vytvoření a řízení sítě aktivních prvků, přidávání nových skupin, odstraňování neaktuálních skupin a reorganizaci sítě v případě výpadků linek. NIS shromažďuje a zveřejňuje informace o jednotlivých prvcích (např. o volné kapacitě pro zpracování a zátěži linek), o sítích prvků, o vlastnostech důležitých pro synchronní multimediální distribuci (např. zpoždění mezi uzly sítě, RTT, odhadu kapacity linek) a informaci o obsahu a formátech dostupných na síti.

Pro odesílání řídicích zpráv se používají sítě samoorganizujících se aktivních prvků, známé jako P2P sítě. Řídicí zprávy se týkají informací o okolních aktivních prvcích, dostupných službách a obsahu, udržování topologie a kontroly a řízení datových kanálů. P2P princip řídicí sítě poskytuje robustnost i možnost řízení uživatelem. Malá efektivita této řídicí sítě nemá vliv na efektivitu samotné sítě datové. Prototypová implementace využívá JXTA P2P prostředí [JXTA] a byla popsána v [HoH05].

10.1.2   Operace vyrovnání zátěže a reakce na chyby

Topologie typické sítě a způsoby jejího použití se často mění, proto překryvná síť musí tyto změny zohledňovat. Předpokládáme dva základní scénáře:

1. vyrovnání zátěže v síti je plánováno na základě změny způsobu použití nebo vzniku nových spojů či prvků, nikoli však výpadku linky nebo aktivního prvku
2. jako reakce na náhlý výpadek

V prvním případě infrastruktura obnoví a vyrovná zátěž v nové topologii a poté se převede do stavu zasílání dat. Proti tomu při náhlém selhání ve druhém scénáři dojde ke ztrátě dat (pro nezajištěný přenos, UDP) nebo zpoždění (pro zajištěné přenosy, TCP), pokud distribuční model neobsahuje stálé redundantní kapacity. Pravděpodobnost výpadku jednotlivých linek je poměrně malá oproti častým výpadkům, které jsou patrné při globálním pohledu na rozlehlé sítě. Proto je dvojnásobné jištění (k=2) pro většinu aplikací dostatečné a pro speciální aplikace je možné jeho zvýšení (k>2).

10.1.3   Sítě aktivních prvků

Oddělení řízení sítě od vlastní distribuce dat umožňuje implementovat více distribučních modelů s různými vlastnostmi. Studovali jsme několik modelů pro distribuci dat v sítích aktivních prvků [HHM05], které se lišily hlavně z pohledu robustnosti a výkonu:

úplná 2D síť

nejjednodušší model s vysokou robustností, takže selhání aktivního prvku ovlivnilo pouze přímo připojené klienty a minimalizovalo počet průchodů aktivními prvky

vrstvená 3D síť

tento model byl efektivnější než 2D model, ačkoliv si udržel schopnost obnovení a minimalizaci hopů

vrstvená 3D síť s mezilehlými AE

další zlepšení oproti 3D vrstvenému modelu, na které se lze dívat jako na přechod k topologii koster (spanning tree)

redundantní (minimální) kostry

model, který umožňuje maximální pružnost, efektivní zotavení při výpadcích sítě, optimalizaci distribuce dat s ohledem na vytížení linek; rozšíření na více redundantních koster přinese schopnost velmi rychlého zotavení po výpadku.

10.2   Interaktivní prostředí pro spolupráci s videem s vysokým rozlišením

Současné vysokorychlostní sítě umožňují přenos videa s vysokým rozlišením (HD video), jež lze využít jako nástroj pro mnoho aplikací. Provoz vskutku interaktivního prostředí s HD videem je dosud problematický, protože vyžaduje časové omezení zpracování ve prospěch interaktivity (nejlépe nižší než 100 ms), a proto data nelze komprimovat. Z toho samozřejmě vyplývají vysoké nároky na síťovou infrastrukturu, obzvláště pro vícebodovou distribuci dat, protože každý z datových proudů znamená tok 1,5 Gb/s. Během roku 2005 jsme vyvinuli a úspěšně předvedli prototyp nízkolatenčního vícebodového prostředí pro spolupráci s HD-SDI nekomprimovaným videem dle SMPTE 292M, které bylo též využito pro kolaborativní vizualizaci. Demonstrace ukázala, že celý systém je velmi zajímavým příkladem integrace špičkových aplikací infrastruktury optických sítí. Podrobné technické informace naleznete na adrese https://sitola.fi.muni.cz/igrid/.

Celý systém se skládá ze dvou základních částí: klientské aplikace a síťové distribuce včetně zpracování. Vyvinuli jsme klientské nástroje založené na kartách DVS Centaurus, Chelsio 10GE a programu UltraGrid Colina Perkinse [PGL02], který byl rozšířen o podporu plného 1080i HD videa (původní software podporoval pouze nižší rozlišení 720p) a softwarové zobrazování. Vzhledem k tomu, že karta Centaurus může být také použita pro zobrazování videa, rozšířili jsme UltraGrid pouze o podporu softwarového zobrazování včetně algoritmu pro de-interlace a podvzorkování barevného prostoru z 10 na 8 bitů na barevnou složku, abychom se vyhnuli nutnosti používat karty DVS Centaurus na obou koncích HD přenosu. Část UltraGridu zabývající se intenzivními výpočty a manipulací s daty byla optimalizována v assembleru pro procesor AMD64 (Opteron). Celkové zpoždění v laboratorních podmínkách, kde oba počítače byly připojeny na jeden 10GE přepínač Cisco Catalyst 6506, bylo 175+/-5 ms a stále se snažíme o jeho další snížení.

Distribuční síť bylo nutné doplnit o vícebodovou distribuci dat, abychom zajistili, že data od každého účastníka dostanou všichni ostatní. Kvůli nepříliš dobrým zkušenostem s vícebodovým vysíláním (multicast) v prostředí heterogenní sítě a heterogennímu vybavení jsme použili výše popsané aktivní prvky pro replikaci dat. Ověřili jsme jejich použitelnost v prostředí 10GE sítí, kde každý aktivní prvek replikoval datový proud 1,5 Gb/s od jednoho partnera dvěma ostatním na běžném PC se dvěma procesory AMD64.

10.2.1   iGrid 2005 demo

Workshop iGrid je konference konající se jednou za dva roky, kde se všechny zúčastněné týmy snaží ukázat nejpokročilejší aplikace využívající lambda služby a vysokorychlostní IP sítě. Na konferenci iGrid 2005, která se konala v září 2005 v San Diegu, USA, se CESNET účastnil dvou demonstrací: CZ101 (HD vícebodová konference organizovaná CESNETem) a US127 (Interaktivní dálkově řízená vizualizace přes LONI - Louisiana Optical Network - a National LambdaRail organizovaná Lousiana State University, LSU). V demonstraci CZ101 jsme ukázali využití nízkolatenčního prostředí pro spolupráci mezi partnery z CESNETu a Masarykovy univerzity v Brně, LSU v Baton Rouge v Luisianě a místem konání iGridu v San Diegu. Posílání 1,5 Gb/s datového proudu z každého místa znamenalo, že každé místo musí být schopno přijímat 3 Gb/s dat z ostatních dvou zdrojů, takže agregovaný datový objem na jedno místo činil 4,5 Gb/s. Vícebodová distribuce dat byla zajištěna třemi aktivními prvky v uzlu StarLight v Chicagu, kam ústily lambda služby ze všech tří míst. V demonstraci US127 byl přenos a distribuce vizualizovaných dat z Baton Rouge založen na stejném principu přenosu nekomprimovaného HD videa jak bylo popsáno výše, včetně vícebodové distribuce na aktivních prvcích v Chicagu.

Během přípravy a realizace demonstrace, která vyžadovala úzkou spolupráci mezi aktivitami Virtuální prostředí pro spolupráci, Metacentrum a Optické sítě uvnitř CESNETu, ale také pečlivou koordinaci se síťovými partnery ze SurfNetu, StarLightu a National LambdaRail, se potvrdilo, že dnešní vysokorychlostní sítě postavené na lambda službách jsou velmi vhodné pro tento druh aplikací a přenos 4,5 Gb/s dat citlivých na ztráty a rozptyl zpoždění lze provádět bez vážných problémů.

Naše demonstrace na konferenci iGrid byla přijata mezinárodní komunitou velmi příznivě a byli jsme pozváni na další dvě akce: demonstraci interaktivní vizualizace pro Dr. Jacka Marburgera, vědeckého poradce presidenta USA G. W. Bushe a předvedení téhož na konferenci SuperComputing 2005.

10.2.2   Demonstrace SuperComputing 2005

Další demonstrace, k níž jsme byli pozváni, se týkala opět distribuované interaktivní vizualizace a byla organizována týmem z LSU během konference SuperComputing 2005, která se konala v Seattle, USA. Podobně jako v demonstraci US127 byla vizualizační data generována na LSU v Baton Rouge a přes síť LONI distribuována do tří účastnících se míst. Každé místo bylo schopno spolupracovat na vizualizaci a měnit interaktivně její parametry díky speciálním periferiím - haptickým ovladačům vizualizace (viz obrázek). Díky přenosům obrazu a zvuku mezi jednotlivými místy bylo možné diskutovat o vizualizaci a analyzovat ji v reálném čase.

10.3   Aktivity proudování (streaming)

V roce 2005 jsme se soustředili na řešení následujících výzkumných a vývojových cílů:

1. rozvoj portálu pro živé přenosy
2. rozvoj portálu pro vyhledávání
3. proudování videa ve vysoké kvalitě

Zároveň jsme pracovali na podpoře akademické a výzkumné obce při proudování videa a snažili jsme se navázat spolupráci se subjekty mimo akademickou obec - podmínkou byla spolupráce na nových aplikacích síťových technologií.

10.3.1   Rozvoj proudovací infrastruktury CESNETu

Pokračovali jsme v rozvoji dle požadavků mezinárodní pracovní skupiny TERENA TF-VVC. Rozšířili jsme funkčnost o filtrování zobrazení podle jednotlivých jazyků a provedli jsme některé menší změny v uživatelském rozhraní. Zároveň jsme implementovali prototyp rozhraní pro integraci portálu do webových serverů pracujících s jiným zobrazováním. Prozatím se v rámci skupiny TF-VVC nepodařilo nalézt zájemce o implementaci. Portál pro živé přenosy prezentujeme na zasedáních TF-VVC a prezentaci jsme provedli také na konferenci DIVERSE, jejímž předmětem je využití audiovizuálních prostředků v oblasti distančního vzdělávání a e-learningu.

Vyhledávací portál jsme rozšířili o funkci náhledů. U každého multimediálního souboru, který portál indexuje, pořídíme náhledy v definovaných časech (0, 30, 50 s). Tyto náhledy následně převedeme do shodného formátu (PNG a JPEG) a rozlišení (96×72 bodů). K záznamu vydestilovaných metadat do databáze ukládáme i odkazy na náhledy. Vzhledem k rozšíření funkcí a plánovanému kvalitativnímu rozšíření zpracování dat (jiné typy vstupů) jsme se rozhodli prozatím neměnit datový formát systému. Srovnáním formátů MPEG-7 a Dublin Core jsme dospěli k závěru, že použití nekvalifikovaného formátu Dublin Core je pro náš účel vhodnější. Vyhledávač jsme rozšířili o další země. Nyní indexujeme domény .cz, .dk, .sk, .hu, .nl, .pl a část domény .edu. Celkově pracujeme s více než 2 000 000 unikátními adresami. Vzhledem k práci s metadaty si stále udržujeme náskok před systémy, které nasazuje komerční sféra. Vyhledávačům jako Google nebo Yahoo! nemůžeme konkurovat v oblasti objemu zpracovávaných adres, nicméně náš systém vyhledává s větší relevancí. Vyhledávač jsme prezentovali na konferencích Internet2 a DIVERSE.

V oblasti proudování ve vysoké kvalitě jsme se soustředili na dvě oblasti. První je nasazení systému vysílání v kvalitě PAL s velkou cílovou skupinou. Proto jsme navázali spolupráci se skupinou MAFRA, která provozuje hudební kanál Stanice O. Vysíláme ve dvou kvalitách. Cílem vysílání v nižší kvalitě je ověření proudování IPv6 v režimu dvojitého protokolového zásobníku (dual-stack) a proudování na mobilní platformy (PDA). Vysílání v PAL rozlišení (datový tok 1,5 Mb/s) pak slouží k ověření možností distribuce IPTV. Druhou oblastí je zpracování videa v HD rozlišení. Zde se orientujeme na zpracování HDV formátu (především rozlišení 1080i). V roce 2005 jsme povýšili produkční řetězec (střižny, diskové pole pro střih, proudovací servery) tak, aby pracoval s HDV formátem. Pokud je nám známo, jsme první organizací, která pracuje s HDV formátem v prostředí rozlehlé počítačové sítě.

Spolupráce s Českým rozhlasem úspěšně pokračuje. V roce 2005 jsme začali spolupracovat s novou na vědu orientovanou stanicí Leonardo. Pokračujeme v projektech podporujících přechod na digitální vysílání. Podíleli jsme se na přípravě projektu živého vysílání ze studia Leonardo (ve formátu RealVideo a OGG Theora) a jako každoročně se podílíme na dalších zajímavých projektech ČRo. Za zdůraznění stojí multimediální projekt Odhalení - trochu jiná reality show. Streamujeme experimentálně v OGG Theora jeden ze živých streamů a také zajišťujeme distribuci videa v plném PALu pro další zpracování v MPEG-2, transkódujeme do MPEG-4 a kombinací unicast, multicast dopravujeme na odběrová místa (např. výloha ČRo na Vinohradské třídě). V rámci projektu Odhalení jsme pokusně ověřili naše současné technické možnosti řešení ochrany distribuce digitálního obsahu ve vyšších bitových tocích. V této problematice chceme pokračovat i v dalším období.

10.4   Produkční infrastruktura a podpora

10.4.1   Proudovací infrastruktura

Proudovací platforma byla rozšířena o proudování ve formátu Ogg využívajícím kodek Theora. V současnosti má tedy akademická komunita k dispozici jednotnou platformu s těmito formáty: Real Video, Windows Media, MPEG-1/2/4, QuickTime a Ogg Theora. S tímto množstvím podporovaných formátů patří naše proudovací servery na přední místo v evropské akademické komunitě.

10.4.2   H.323 and SIP infrastruktura

V letošním roce jsme dořešili číslovací plán a přešli jsme plně na prefix 950 08 delegovaný aktivitou IP telefonie. Díky tomu jsme schopni plně komunikovat s organizacemi zapojenými do projektu ViDe.Net. Všechny H.323 komponenty zakoupené v tomto roce jsou oživeny a integrovány do videokonferenční infrastruktury H.323 (viz obrázek), u většiny komponent máme k dispozici podporu H.323 i SIP.

Vytvořili jsme podpůrné nástroje pro systém správy řízení zdrojů MCU pomocí Polycom XML API. Distribuujeme novou verzi personálního videokonferenčního klienta PVX s novými funkcemi pro podporu mobility a průběžně zajišťujeme aktualizaci programového vybavení videokonferenčních stanic a dalších prvků infrastruktury.

10.4.3   Přímá podpora

V přímé podpoře jsme se zaměřili na distribuci videokonferenčních klientů dle individuálních požadavků řešitelů, spolupráci při výběru komponent v jiných aktivitách, ověřování vlastností nových prvků videokonferenčních sestav a zajišťování technické podpory na vlastních akcích. Dále se zabýváme spoluprací při vývoji ovladačů těchto prvků pro OS Linux. Samozřejmou činností jsou konzultace v rámci CESNETu i pro další členy sdružení v oblastech AV technologií.

předchozí

obsah

následující