13   EGEE II

I roce 2007 pokračovalo již dlouholeté zapojení sdružení CESNET do budování a rozvoje celoevropské gridové infrastruktury, formou účasti v projektu EGEE II. Ten je koordinován z CERNu a sdružuje přes 90 partnerů nejen z Evropy, ale i z Ruska, USA, Koreje, či Taiwanu.

Stejně jako předcházející projekt EGEE, i v rámci EGEE II je cílem tvorba stabilní gridové infrastruktury v Evropě s významným globálním dopadem. EGEE II grid je postaven výlučně na clusterech počítačů vybavených procesory kompatibilními s architekturou IA-32 a IA-64 (případně AMD64) s Linuxovým operačním systémem, propojených s rozsáhlými datovými sklady (s agregovanou kapacitou řádu desítek PB). Převažující podporovanou komunitou je samozřejmě skupina částicových fyziků, projekt EGEE II se však snaží podporovat i další komunity uživatelů - bioinformatika, lékařství, výpočetní chemie, astronomie a astrofyzika a další. Přístup k EGEE gridu je striktně dávkově orientovaný, uživatelé zadávají úlohy které jsou eventuálně zpracovány na nějakém uzlu či uzlech (tzv. worker nodes), které nejsou často ani přímo přístupné z Internetu. Data jsou ukládána v tzv. úložných elementech (Storage Elements), uživatelé musí zpravidla explicitně data přemístit na výpočetní uzel a výsledky zase zpět do úložných elementů jako součást zadání své úlohy. To však nevyhovuje všem uživatelským skupinám, zejména menším, které jsou zvyklé na interaktivní práci se svými (byť mnohořádově menšími) výpočetními kapacitami.

Celý projekt je organizován na dvou ortogonálních principech. Geograficky blízcí partneři jsou sdruženi do federací, ČR je součástí Středoevropské federace. Tu v Project Management Board (PMB), který je nejvyšším řídícím orgánem projektu (kromě "valného shromáždění" oficiálních zástupců všech partnerů) po celý rok 2007 zastupoval člen sdružení CESNET Luděk Matyska. Druhou organizační rovinu pak definují jednotlivé aktivity, na něž se projekt člení. Tyto aktivity zahrnují výzkum, provoz a integraci, přitom CESNET je zapojen do všech tří skupin. Takto široké zapojení má jen velmi malé množství partnerů, v rámci Středoevropské federace je CESNET jedinou takto zapojenou organizací.

Výzkumné aktivity - Joint Research Activities, JRA - jsou primárně soustředěny ve vývoji middleware (JRA1). CESNET je zapojen jako samostatný cluster, odpovídající za službu Logging and Bookkeeping (LB), jejímž účelem je sledování úloh na Gridu a prezentace jejich stavu uživateli. Služba je v současné době plnohodnotnou součástí produkčního prostředí EGEE. Hlavní činností v roce 2007 bylo tzv. "čištění kódu" s vedlejším cílem minimalizovat množství externích závislostí. Paralelně pokračovala optimalizace kódu s cílem dosáhnout propustnosti 1 000 000 typických úloh denně (cca. 12 úloh za sekundu) v jedné instanci služby.

Druhou vyvíjenou službou je Job Provenance (JP), jejím účelem je dlouhodobá archivace dat o proběhlých úlohách, vyhledávání v těchto datech, a podpora opakovaného spuštění úlohy. V roce 2007 jsme se primárně zaměřili na demonstrace této služby jak na User Foru, tak i v rámci konference CHEP07. Každá demonstrace byla spojena s konkrétní uživatelskou komunitou - User Forum s výpočetní chemií, CHEP s experimentem ATLAS - a jejím cílem bylo ukázat, jak je možné pomocí relativně jednoduchého grafického rozhraní nad JP vytvořit systém, který uživatelům umožňuje orientovat se ve velkém množství výsledků zejména rozsáhlých parametrických studií, identifikovat neúspěšné výpočty a ty případně znovu zaslat k vyhodnocení.

Navázali jsme rovněž kontakty s dalšími skupinami uvnitř projektu EGEE, které mohou bezprostředně využívat JP. Snažíme se prosadit JP jako jednu ze základních komponent Dashboardu, projektu, který nabízí rozsáhlé uživatelské prostředí pro manipulaci s úlohami. JP může v tomto případě nejen nahradit nezávisle vyvíjený katalog úloh, ale nabízí i další funkce, vyplývající z bezprostředního propojení s LB službou a současně z architektury zaměřené na podporu i enormně rozsáhlých objemů dat (počtu uložených úloh).

Přístup k obrovskému množství informací o úlohách stojí v popředí zájmu další z aktivit, s nimiž spolupracujeme - Grid observatoř (Grid Observatory). Tato aktivita se snaží s využitím technik dolování v datech (data mining) "vytěžit" nové informace z dat o proběhlých úlohách. Je možné takto identifikovat "podivné" výpočetní uzly, nalézt úzká místa, nekorektně se chovající úlohy, chybující služby a identifikovat tak mnoho velmi důležitých vlastností infrastruktury i úloh na ní pouštěných. V lednu 2008 proběhne krátkodobý pobyt pracovnice gridové observatoře v ČR s cílem konkretizovat další spolupráci.

Významný podíl má CESNET také na aktivitě SA1 - Provoz, správa a podpora Gridu. CESNET pokračuje ve správě prostředí VOCE, virtuální organizace (VO) založené na regionálním principu, nikoliv kolem konkrétní aplikace či uživatelské skupiny. Tento koncept se nyní již využívá ve všech federacích jak tzv. catch all VO. V roce 2007 CESNET rozšířil svou podporu i na VO AUGER, celosvětovou virtuální organizaci astrofyziků. Pro tuto VO začneme ve větší míře zajišťovat i diskové kapacity (Storage Element) na nově pořízeném diskovém poli (viz zpráva MetaCentra).

CESNET dále odpovídá za Grid incident response tým pro střední Evropu. V roce 2007 jsme ověřili kvalitu bezpečnostních týmů formou Incident Challenge, kdy jsme hodnotili rychlost reakce v případě simulovaného bezpečnostního incidentu. Jsme rovněž zapojeni do celé řady dalších provozních aktivit, včetně správy řady základních middleware služeb. Přestože formálně nejsme zapojeni do SA3 - testování a integrace - podílíme se na nezávislém testování služeb.

CESNET je zapojen do tří integrujících aktivit. NA2 - diseminace - zůstala i v roce 2007 spíše okrajovou aktivitou, naplněnou především péčí o národní portál EGEE, překlady a vydáváním vlastních tiskových zpráv. Mnohem významnější jsou naše aktivity v rámci NA3 - školení - a NA4 - podpora aplikací. Již pravidelně se aktivně podílíme na letní škole EGEE, kterou organizují kolegové z Maďarska, měli jsme i úvodní přednášku na Industry Days v Bratislavě. Intenzivně se snažíme, především formou individuálních konzultací, přiblížit prostředí EGEE potenciálním uživatelům a následně poskytujeme rozsáhlou podporu těm, kteří EGEE grid začnou využívat. V rámci aplikační podpory jsme pokračovali v dalším vývoji systému Charon (včetně jeho integrace v demonstracích, zmíněných výše v souvislosti s JP).

Projekt EGEE II končí v dubnu 2008 (během roku 2007 bylo rozhodnuto o prodloužení projektu o měsíc, do konce dubna 2008), v první polovině roku proto PMB intenzivně pracoval na přípravě návazného projektu EGEE III. Ten byl podán v září 2007 a po úspěšném vyhodnocením pozván k jednání (negotiations). Z pohledu CESNETu byl návrh projektu poněkud nešťastně krácen v oblasti vývoje middleware, celková finanční částka na další dvouleté období nebude tedy vyšší než aktuální prostředky na EGEE II. S ohledem na krácení rozpočtu celého projektu to lze stále považovat za úspěch, reálně však narůstají prostředky na režii na úkor přímých finančních nákladů.

V srpnu jsme byli pozváni k přípravě dalšího infrastrukturně orientovaného projektu s názvem EUAsiaGrid. Cílem tohoto projektu, jehož koordinátorem je INFN z Itálie, je rozšíření gLite gridové infrastruktury v Asii. Hlavním asijským partnerem je gridové pracoviště z Academia Sinica, zapojena jsou pracoviště z Thajska, Malajsie, Singapuru, Vietnamu a dalších. Z EU se kromě INFN a CESNETu podílí University of Manchester (UK) a HealthGrid (Francie). CESNET odpovídá za jednu workpackage - aplikace.

Obdobně jako EGEE III i EUAsiaGrid byla pozitivně hodnocena a pozvána k jednání o projektu. Předpokládáme, že tento dvouletý projektu bude zahájen od 1. dubna 2008.

Další informace o projektu EGEE II je možné nalézt na webových stránkách egee.cesnet.cz a www.eu-egee.org.

předchozí

obsah

následující