16   EGEE a EGEE II

Sdružení CESNET je dlouhodobě zapojeno do budování a rozvoje celoevropské gridové infrastruktury účastí na řešení projektů EGEE (do března 2006) a EGEE II (od dubna 2006). V Evropě zatím neexistuje formálně ustavená infrastruktura pro budování stabilního gridového prostředí (zatím neexistuje gridová analogie DANTE), tu nahrazuje právě účast v projektech EGEE a návazném EGEE II. Koordinován z CERNu, sdružuje projekt EGEE II na 90 partnerů reprezentujících nejen Evropu včetně Ruska, ale i mimoevropské oblasti (mezi partnerské organizace patří i instituce z USA, Koreje či Taiwanu).

Projekt EGEE II dále rozvíjí původní cíle projektu EGEE - vytvořit stabilní gridovou infrastrukturu, postavenou primárně na clusterech počítačů vybavených procesory kompatibilními s architekturou IA-32 a IA-64 (případně AMD64) s Linuxovým operačním systémem propojených s rozsáhlými datovými sklady (s předpokládanou agregovanou kapacitou řádu desítek PB). EGEE II se snaží více podporovat různé komunity uživatelů, přesto však převažující uživatelskou skupinou jsou stále částicoví fyzici, jejichž potřebám je přizpůsobena architektura EGEE gridu. Předpokládá se důsledně dávkově orientovaný přístup k výpočetním zdrojům, převážná většina uzlů není ani přímo dostupná z Internetu a neumožňuje tak interaktivní práci.

Celý projekt je organizován na dvou ortogonálních principech. Geograficky blízcí partneři jsou sdruženi do federací, ČR je součástí Středoevropské federace. Každá federace má svého zástupce v Project Management Board (PMB), který je nejvyšším řídícím orgánem projektu (kromě "valného shromáždění" oficiálních zástupců všech partnerů). Zástupcem Středoevropské federace byl po celý rok 2006 člen sdružení CESNET Luděk Matyska. který od září 2006 působí v pozici předsedy. Druhou organizační rovinu pak definují jednotlivé aktivity, na něž se projekt člení. Tyto aktivity zahrnují výzkum, provoz a integraci, přitom CESNET je zapojen do všech těchto skupin. Takto široké zapojení má jen velmi malé množství partnerů, v rámci Středoevropské federace je CESNET jediný.

Výzkumné aktivity - Joint Research Activities, JRA - jsou soustředěny na vývoj middleware (JRA1), kontrolu kvality (JRA2) a sítě (JRA3). CESNET se podílí na vývoji middleware. Proti předchozímu projektu, kdy byl součástí tzv. italsko/českého clusteru, vystupuje již v pozici samostatného clusteru (a to jednoho z největších výzkumných clusterů).

V oblasti vývoje gridového middleware je česká skupina odpovědná za službu Logging and Bookkeeping (LB), jejímž účelem je sledování úloh na Gridu a prezentace jejich stavu uživateli. Služba je v současné době plnohodnotnou součástí produkčního prostředí EGEE. V roce 2006 jsme se věnovali běžné údržbě (opravy chyb apod.) v tomu odpovídajícím rozsahu. Službu jsme dále optimalizovali, přitom se podařilo dosáhnout cílové propustnosti milion typických úloh denně (cca. 12 úloh za sekundu) v jedné instanci služby.

Poptávka po použití LB pro sledování i jiných typů úloh motivovala zahájenou revizi vnitřního designu služby. Postupně jasně oddělujeme obecně použitelné části kódu od částí specifických pro konkrétní typ sledovaných úloh. Také jsme navázali užší kontakty s vývojáři systému Condor (University of Madison, USA), kteří jsou primárními potenciálními "zákazníky" takto modifikované služby LB.

Druhou vyvíjenou službou je Job Provenance (JP). Jejím účelem je dlouhodobá archivace dat o proběhlých úlohách, vyhledávání v těchto datech, a podpora opakovaného spuštění úlohy. JP je součástí middleware gLite verze 3.1, která byla dokončena v prosinci 2006. Službu jsme také prezentovali na konferenci International Provenance and Annotation Workshop 2006, která je jinak věnována obecnějšímu pojetí konceptu provenance (původu) dat. Pokračováním konference byla The First Provenance Challenge, porovnání různých systémů na řešení specifického reprezentativního problému. Do této aktivity jsme se také plnohodnotně zapojili, včetně vystoupení na jejím shrnutí na konferenci Global Grid Forum 18 v září 2006, a článku ve zvláštním čísle časopisu Concurrency and Computation: Practical Experience (vyjde v roce 2007).

Obě služby LB a JP byly také prezentovány z pohledu zaměřeného na koncové uživatele na vystoupení na konferenci EGEE User Forum. Na základě tohoto vystoupení jsme byli vyzvání k příspěvku do časopisu Journal of Grid Computing, vydání je předpokládáno během roku 2007.

Významný podíl má CESNET také na aktivitě SA1 - Provoz, správa a podpora Gridu. CESNET odpovídá jednak za prostředí VOCE, což je virtuální organizace sdružující zdroje dostupné ve Středoevropské federaci a zpřístupňující je uživatelům bez ohledu na jejich aplikační preference (jedná se o aplikačně neutrální VO). Koncept VOCE byl využit jako modelové řešení pro tzv. catch all VO, které jsou v současné době implementovány ve všech federacích.

CESNET dále odpovídá za Grid incident response tým pro střední Evropu. Jsme rovněž zapojeni do celé řady dalších provozních aktivit, včetně správy řady základních middleware služeb. Přestože formálně nejsme zapojeni do SA3 - testování a integrace - podílíme se na nezávislém testování datových služeb a samozřejmě i LB a JB, kterou vyvíjí na testerech nezávislý tým.

CESNET je zapojen do tří integrujících aktivit. NA2 - diseminace - je z našeho ohledu pouze okrajovou aktivitou, kterou naplňujeme především péčí o národní portál EGEE a překlady a vydáváním vlastních tiskových zpráv. Daleko více pozornosti věnujeme naší účasti v NA3 - školení - a NA4 - podpora aplikací. V rámci NA3 jsme uspořádali v prosinci další školení uživatelů EGEE a snažíme se zprostředkovat informace o EGEE co nejširší komunitě i dalšími články a prezentacemi. Aplikační podporu představuje jednak vývoj systému Charon (viz kapitola o MetaCentru), jednak pak péče o konkrétní uživatelské komunity. V současné době se snažíme podporovat komunity zabývající se částicovou fyzikou, astronomií a výpočetní chemií.

Protože projekt EGEE II je pouze dvouletý (do března 2008), začala již v roce 2006 intenzivní příprava návazného projektu EGEE III. Termín předložení projektu je září 2007, v roce 2006 již proběhlo několik setkání PMB s cílem shodnout sena celkové strategii tohoto již třetího projektu budování nejrozsáhlejší gridové infrastruktury.

Další informace o projektu EGEE II je možné nalézt na webových stránkách (egee.cesnet.cz a www.eu-egee.org).

předchozí

obsah

následující