14   EGEE III a EUAsiaGRID

V roce 2009 pokračovalo řešení projektu EGEE III, který je posledním ze série projektů EGEE (Enabling Grids for E-sciencE), odpovídajícím za budování základu celoevropské gridové infrastruktury. Projekt EGEE III je koordinován CERNem a sdružuje prakticky všechny země EU, se zapojením USA a dalších zemí včetně Asie. V rámci projektu se již začaly uplatňovat zásady, které definuje EGI Design Study, zejména pak zastoupení na státní, nikoliv institucionální úrovni. Jednotlivé země jsou v projektu zastoupeny buď institucemi, které lze považovat za NGI nebo jejich prototyp – v této roli vystupuje již řadu let i sdružení CESNET – nebo vedoucími institucemi národních JRU (Joint Research Unit) – uskupení, která odpovídají za rozvoj gridu na národní úrovni.

Projekt EGEE III je dvouletým projektem, který začal v květnu 2008 a skončí v dubnu 2010. Obdobně jako v předchozích projektech EGEE, Luděk Matyska ze sdružení CESNET je členem řídící rady projektu (Project Management Board, PMB), kde zastupuje celý region střední Evropy. Celkem má projekt EGEE III na 40 partnerů, reálně je ovšem zapojeno téměř 100 institucí (a ještě větší počet míst, která poskytují výpočetní či úložné kapacity, tzv. Resource Centers).

Clustery počítačů s architekturou IA-32, AMD64 či IA-64 představují základní výpočetní prostředí provozovaného EGEE Gridu. Všechny počítače využívají operační systém Linux (primárně ve variantě Scientific Linux), postupně roste využití virtualizovaných clusterů. Celkově je v rámci EGEE gridu k dispozici přes 92 tisíc výpočetních jader s různým výkonem, dislokovaných ve více jak 260 uzlech rozmístěných po celém světě. Kromě výpočetních prostředků EGEE grid nabízí i úložné kapacity v řádu Petabytů. Uživatelé, mezi nimiž samozřejmě stále převažují částicoví fyzici, organizovaní kolem CERNu, jsou sdruženi v celkem 260 virtuálních organizacích. Každý den je na tomto gridu spočteno přes 200 tisíc úloh. Přístup k EGEE gridu je pouze dávkový, jen malý zlomek uzlů povoluje přímý přístup z Internetu a případnou interaktivní práci (zdroje MetaCentra, zapojené do EGEE gridu, tyto pokročilé služby umožňují). EGEE grid je plně produkční stabilní infrastruktura, postavená na gLite middlewaru, který je rovněž vyvíjen a udržován v rámci projektu EGEE III.

Po organizační stránce představuje projekt EGEE III přechod mezi původně institucionálně orientovanou projektovou strukturou a novým uspořádáním, postaveným na národních gridových iniciativách. V návaznosti na akceptované verzi EGI Blueprintu se proto projekt EGEE III věnoval v průběhu roku 2009 přípravě a následné implementaci procesů, nezbytných k plnému přechodu do EGI gridu a jeho organizační struktury. To znamená především rozvolnění striktně hierarchické organizace, postavené na tzv. Regionálních operačních centrech (ROC), která zajišťují provoz na regionální, nikoliv státní úrovni. „Rozpuštění“ jednotlivých ROCů vede k výraznému vzrůstu počtu partnerů, s nimiž musí koordinující organizace – nyní CERN, od května 2010 pak EGI.eu – přímo interagovat. Tento proces je zvlášť komplikovaný pro region střední Evropy, který je tvořen celkem šesti partnery, doposud reprezentovanými jedním (byť distribuovaným) ROCem.

EGEE grid je postaven na gLite middlewaru, jehož vývoj je však v projektu EGEE III výrazně potlačen a hlavní pozornost je věnována integraci a kontrole kvality softwaru. EGEE III zavedl pojem produktových týmů (Product Teams), které zodpovídají za konkrétní komponenty od okamžiku vývoje až po jejich provoz v produkční infrastruktuře. Tato organizace definuje jasnou odpovědnost za každý produkt a odstraňuje dříve existující bariéry mezi vývojáři a lidmi odpovědnými za testování a integraci softwaru. Výsledkem je v EGEE III zejména rychlejší aplikace oprav chyb v gLite middlewaru za současného vzrůstu kvality oprav, které jsou zpřístupněny administrátorům uzlů.

Interní organizace projektu EGEE III odpovídá standardním požadavkům na takto velké projekty. Jsou zastoupeny provozní (SA), vývojové (JRA) i integrující (NA) aktivity. CESNET je i nadále zapojen do vývojových aktivit v oblasti middlewaru, kde jako samostatný produkční tým odpovídá za službu Logging and Bookkeeping (L&B), jejímž účelem je sledování úloh v Gridu a prezentace jejich stavu uživateli. CESNET rovněž odpovídá za službu Proxy Renewal (PR). Nově jsme se zapojili i do aktivity SA3 – Testing and Integration – kde zajišťujeme rychlý přenos výsledků vývoje do produkčního prostředí zejména pro „své“ komponenty (v souladu s principem produkčního týmu). V oblasti vývoje a další podpory middlewaru se v roce 2009 CESNET orientoval především na dokončení a uvolnění nových verzí a další rozvoj a automatizaci údržby „svých“ produktů. Pokračovaly práce na přenosu na další platformy (jiné verze operačního systému Linux, IA64 atd.).

CESNET se rovněž plně zapojil do ustavení gLite konsorcia, volného sdružení institucí, které se věnují vývoji gLite middlewaru. Cílem gLite konsorcia je udržet spolupráci a další rozvoj gLite middlewaru i po skončení projektu EGEE III. Jednou z významných činností v tomto směru bylo zapojení CESNETu do přípravy nového projektu orientovaného na další harmonizaci gridového middlewaru. CESNET v roce 2009 patři do tzv. core týmu institucí, které připravily projekt European Middleware Initiative (EMI), jehož návrh byl podán v rámci výzvy EU pro výzkumné infrastruktury. Pracovníci CESNETu úzce spolupracovali nejen s partnery z gLite konsorcia, ale i se zástupci UNICORE a ARC konsorcií, která odpovídají za další gridový middleware, používaný v rámci evropských gridových infrastruktur. V rámci přípravy projektu EMI se podařilo obhájit postavení CESNETu jako významné vývojové organizace v oblasti gridového middlewaru.

CESNET je dále extenzivně zapojen do aktivity SA1 – Provoz, správa a podpora Gridu. CESNET slouží jako sekundární ROC centrum (primární provozuje Cyfronet v Krakově v Polsku). Provozujeme všechny nezbytné služby pro zapojení do mezinárodní infrastruktury a jsme plně připraveni k přechodu na EGI model správy celoevropského gridu. Dále jsme pokračovali v integraci lokálních nástrojů obsluhy helpdesku (postavených na RT systému) do centralizovaného systému GGUS, čímž zajišťujeme rychlou a bezproblémovou výměnu lístků mezi národním a mezinárodním prostředím (již bez mezistupně ROCu, který bude v EGI zrušen).

Pokračovali jsme rovněž v podpoře virtuálních organizací, a to především VOCE – určena primárně uživatelům ze středí Evropy, nabízí již více jak 1500 jader a má již více jak 200 uživatelů – a AUGER – ta spojuje celosvětovou komunitu astrofyziků. V obou VO zajišťujeme kompletní služby včetně logistiky přihlašování uživatelů, do VO AUGER rovněž přispíváme netriviálními výpočetními a zejména úložnými kapacitami.

CESNET koordinuje Grid incident response týmy pro střední Evropu a rovněž odpovídá za koordinaci bezpečnostního monitoringu na úrovni celého projektu. V roce 2009 jsme realizovali další Security Challenge v rámci střední Evropy, kdy hodnotíme rychlost reakce lokálních administrátorů na nahlášený bezpečnostní incident a v poslední době i kvalitu této reakce. Naše aktivity v oblasti bezpečnostního monitoringu vedly k návrhu projektu European Security Monitoring Infrastructure, který jsme připravili společně s partnery z Irska a Itálie a jako koordinující organizace podali do výzvy EU na výzkumné infrastruktury.

Pokračovali jsme rovněž v integraci služeb MetaCentra a EGEE gridu s využitím virtualizace, kdy jsme schopni dynamicky upravovat rozsah kapacit dostupných nativně z EGEE či MetaCentra podle aktuálních požadavků a potřeb (např. v rámci zapojení do Compute Challenges projektu EGEE III).

CESNET je zapojen do tří integračních aktivit. V oblasti pokryté aktivitou NA2 – diseminace – jsme pokračovali v rozvoji lokálního EGEE portálu a spoluprací s tiskem zajišťovali základní informovanost veřejnosti o projektu EGEE III a jeho výsledcích. V rámci aktivity NA3 – školení – jsme kromě aktivní účasti na mezinárodní letní škole v Budapešti a akcích na Slovensku pomohli zorganizovat (za přispění firmy SGI) společný seminář MetaCentra a EGEE v listopadu 2009. V případě aktivity NA4 – podpora aplikací – jsme pokračovali s podporou systému Charon jako inteligentní nadstavby uživatelského rozhraní gLite, podporovali lokální komunity zejména částicových fyziků, astrofyziků a výpočetních chemiků, kteří patří mezi největší a nejvýznamnější uživatele EGEE infrastruktury v ČR.

Se zapojením do projektu EGEE III úzce souvisí i účast v projektu EUAsiaGRID. Tento projekt je je koordinován INFN (Itálie) a jeho cílem je rozšíření gridové infrastruktury gLite v jihovýchodní Asii (tzv. Asia-Pacific region). Hlavním asijským partnerem je gridové pracoviště z Academia Sinica na Taiwanu, zapojena jsou pracoviště z Thajska, Malajsie, Singapuru, Vietnamu, Indonésie, Filipín a Austrálie. Z EU se kromě INFN a CESNETu podílí University of Manchester (UK) a HealthGrid (Francie). Projekt bude trvat do polovinu roku 2010.

CESNET vede aktivitu WP3 –Podpora aplikací – kde jsou zapojeni všichni partneři. Během roku 2009 jsme publikovali dva formální dokumenty (deliverables) projektu, podařilo se nám aktivovat jednotlivé partnerské instituce a pomoci vytvořit vědecké týmy s jasně definovanými výzkumnými cíli, které se snaží dosáhnout s využitím gridové infrastruktury. CESNET poskytuje i výpočetní a úložné kapacity pro virtuální organizaci EUAsia, na jejímž vzniku a provozním zajištění se aktivně podílíme. Tato VO má v současné době již ke 100 uživatelů ze všech partnerských organizací. V rámci WP3 byl rovněž organizován workshop v Thajsku o využití gridů při zmírňování a odstraňování důsledků přírodních katastrof (disaster mitigation).

V rámci aktivity WP2 – Analýza a sběr požadavků – spoluodpovídáme za dokončení dokumentu s názvem Roadmap, který popisuje aktuální situaci v jednotlivých zemích jihovýchodní Asie a konkrétní kroky, které tyto země plánují při ustavování místních ekvivalentů národních gridových iniciativ a modelu řízení a správy národních gridových infrastruktur.

Další informace o projektu EGEE III je možné nalézt na webových stránkách (egee.cesnet.cz a www.eu-egee.org), o projektu EUAsiaGRID pak na www.euasiagrid.eu.

předchozí

obsah

následující