7.1   Projekt MetaCentrum

7.1.1   Přehled aktivit

Práce v roce 2000 se soustředily do dvou vzájemně se doplňujících směrů. Prvním bylo další pokračování ve vývoji nástrojů a technik, zavedených v rámci MetaCentra v minulých letech. Druhý směr souvisí se zapojením do mezinárodních aktivit a je charakterizován snahou o propojení lokálních přístupů se systémem Globus, který je v současné době nejšířeji používaným systémem "střední vrstvy" (middleware) GRIDů.

Zejména aktivity v oblasti bezpečnosti a plánování byly ovlivněny snahou o užší spolupráci se systémem Globus. Cílem však není přechod na systém Globus, ale vytvoření prostředí, které bude podporovat jak lokální zvyklosti a implementovaná rozšíření, tak umožní bezproblémovou integraci do rozsáhlých výpočtů. U nich se předpokládá, že zejména v první fázi budou využívat právě systém Globus.

7.1.2   Zálohování

Páskovou knihovnu, zakoupenou v roce 1999, jsme převedli do plného provozu v prvním čtvrtletí 2000. V současné době knihovna, využívající zálohovací systém Networker firmy Legato, zálohuje všechny tři hlavní uzly MetaCentra, tj. SCB Brno, ÚVT UK Praha a ZSC na ZČU Plzeň.

Definovali jsme politiku základního zálohování, kdy každý uzel ve vlastní režii rozhoduje o tom, jaká data a jakým způsobem mají být zálohována. Mezi koncovými uživateli roste počet zájemců o rutinní zálohování jejich koncových systémů i o ad hoc archivaci rozsáhlejších souborů dat. V současné době jsou využity cca 3 TB úložného prostoru.

V roce 2000 se tak potvrdil předpoklad, že kapacita páteřní sítě je zcela dostatečná pro rutinní zálohování velkých objemů napříč republikou. Rostoucí zájem o tuto službu ukazuje, že centrální zálohování by se v dohledné době 1-2 let mohlo stát běžnou službou poskytovanou sítí CESNET2. Analýza podmínek a definice požadavků taktové zálohovací infrastruktury bude jedním z úkolů příštích období.

7.1.3   Bezpečnost

Hlavní pozornost jsme v roce 2000 věnovali již tradičně dalšímu rozvoji bezpečnostní infrastruktury. MetaCentrum využívá pro autentizaci protokol Kerberos 5 v implementaci distribuce Heimdal. Realmy jednotlivých uzlů MetaCentra jsou propojeny tzv. cross-realm autentizací. Kromě ní existuje realm META, v němž jsou zaregistrováni všichni uživatelé MetaCentra.

V průběhu roku byla provedena řada úprav Heimdalu a oprav chyb v distribuci, tyto změny byly přitom vesměs promítnuty do nové standardní distribuce. Seznam všech provedených úprav je k dispozici na Webu.

Koncem roku jsme na všechny stroje instalovali novou verzi Heimdalu (0.3c), která umožňuje využití protokolu 3DES pro šifrování a autentizaci a zajišťuje kompatibilitu s novými verzemi MIT Kerbera a s kerberem v MS Windows. Nová verze programu krb525 umožňuje převádět i lístky z cross-realmů - tato vlastnost bude využita v plánované centrální autentizační službě.

Pro usnadnění přístupu uživatelům, kteří běžně nepoužívají autentizaci pomocí Kerbera, jsme vytvořili travelkit, který obsahuje základní aplikace (telnet, ftp, kinit) pro nejpoužívanější platformy (Linux, Irix, Solaris, MS Windows 95/98/NT/2000). Travelkit je volně k dispozici.

Původní autentizační modul do HTTP serveru Apache byl zcela přepsán a později doplněn o další vlastnosti. V současné době dovoluje spouštět skripty s kerberovskou autentizací a s AFS tokeny. Předpokládáme, že v brzké době bude i v běžných prohlížečích k dispozici podpora Kerbera a lokální lístky vytvořené při přihlášení do systému budou přímo použitelné i pro přístup k autentizovanému Webu (jedná se o další krok k plné implementaci ideje single-sign-on).

Zatímco interní autentizace a autorizace je plně svěřena systému Kerberos, umožňuje MetaCentrum i přístup dalšími prostředky. V současné době zejména prostřednictvím ssh a systémů OTP (one time password, tedy hesla pro jedno použití). V roce 2000 byla zcela přepsána podpora Kerbera v ssh. Současná verze umožňuje vedle autentizace pomocí systému Kerberos i autentizaci použitou v systému Globus (gsi-ssh). V rámci projektu MetaCentrum jsme vytvořili i podporu Kerbera V5 pro OpenSSH.

Cílovým řešením bude vytvoření Centrální Autentizační Služby (CAS), která umožní snadné a jednotné použití jiných autentizačních metod (OTP, SSL) při vstupu do MetaCentra, včetně získávání lístků. Bude tak možné natrvalo uzavřít přístup otevřenými hesly, vydávat lístky klientům s certifikáty ze systému Globus apod.

V současné době je v testovacím provozu brána ze systému OTP. Mechanismus centrální autentizační služby jsme navrhli velmi obecně, aby bylo relativně snadné doplnit podporu dalších autentizačních mechanismů - pracujeme na X.509 certifikátech a kerberovské autentizaci v domovských realmech MetaCentra. To by mělo umožnit přihlášení na stroje MetaCentra s lístkem z domovského realmu (např. ICS.MUNI.CZ), na vzdáleném stroji by už ale byl uložen odpovídající lístek v realmu META.

7.1.4   Plánování

Obdobně jako Kerberos v oblasti bezpečnosti, systém LSF představoval standard MetaCentra v oblasti plánování. Vzhledem ke stále rostoucí ceně tohoto produktu a jeho nepříliš dobré podpoře (zejména velmi pomalé reakci na požadavek opravy zjevných chyb, nemluvě o praktické nemožnosti prosadit rozšíření nezbytná pro vlastní provoz MetaCentra) jsme se po více než půlročním testování produktu PBS (Portable Batch System) rozhodli přejít plně na systém OpenPBS. Vypovězením smlouvy o údržbě na rok 2001 došlo k úspoře cca 600 tisíc korun, přitom dříve zakoupené permanentní licence LSF umožňují převést veškeré plánovací systémy v průběhu roku 2001 s minimálním dopadem na uživatele.

Testy a další vývoj systému probíhají na Masarykově univerzitě (operační systémy Irix a Linux) a na Univerzitě Karlově (Irix). Hlavní pozornost soustřeďujeme na podporu Kerbera a AFS v PBS, opravujeme chyby, upravujeme vlastnosti, které nám nevyhovují, testujeme volně dostupné opravy (např. úpravy použité pro Cplant) apod.

V součastnosti jsou v experimentálním provozu dvě vzájemně spolupracující instance PBS - jedna obsluhuje SGI stroje, druhá linuxový cluster. Na linuxovém clusteru probíhá i veškeré testování a dále popisovaná konfigurace je na tomto clusteru připravena k použití (server pro SGI zatím umí jen nejzákladnější operace, PBS se na SGI zatím nepoužívá).

Současná experimentální konfigurace PBS je velmi podobná stávající konfiguraci LSF (několik front s různou prioritou, omezení na počet současně spuštěných úloh z front a pro uživatele, fair-share - úlohy v jednotlivých frontách jsou setříděny podle spotřebovaného času uživatelů za poslední období, na SGI funguje i checkpointing).

Na rok 2001 plánujeme významnou změnu politiky přístupu ke zdrojům, která bude více zohledňovat rozdíly mezi uživateli. Předpokládáme zavedení "ceny" výpočtu a přidělení určitého množství "peněz" každému uživateli či skupině uživatelů. Přitom využití určitých vlastností front (priorita, rychlost obratu apod.) bude mít stanovenu konkrétní cenu.

Předpokládáme, že tímto způsobem (který je v literatuře nazýván ekonomické plánování) dosáhneme lepšího (spravedlivějšího) rozdělení dostupného výkonu mezi jednotlivé uživatele či jejich skupiny (např. uživatelé pracující společně na jednom projektu). Plánování na Linuxovém clusteru bude od začátku rutinního provozu (viz. dále) zajišťovat právě PBS.

V současné době již umíme sledovat různé charakteristiky strojů ovládaných systémem PBS (zátěž, volné zdroje, počet uživatelů...) a pracujeme na zobrazení těchto údajů přes Web (v rámci realizace portálu MetaCentra). Máme zprovozněnu bránu do PBS ze systému Globus.

7.1.5   Informační zdroje

Zkušenosti s provozem systému Perun, vyvinutého v roce 1999 v rámci řešení tohoto projektu, pokračující snahy o sjednocení přístupu a rovněž rostoucí zájem zpřístupnit všechny informace související s MetaCentrem do jednoho místa vedly k návrhu portálu MetaCentra, jehož prototyp je možno nalézt na adrese meta.cesnet.cz (do jisté míry jeho předobrazem jsou stránky Superpočítačového centra Brno). LDAP byl zvolen jako unifikující protokol přístupu k datům, která mohou být udržována buď přímo v LDAP stromu nebo (častěji) v nezávislé (relační) databázi.

Statická data

Statická data, tj. především osobní údaje a údaje o jednotlivých účtech (tedy do značné míry data ukládaná v systému Perun), jsou udržována v relační databázi - MetaDatabázi. Do konce roku dokončíme jednotnou elektronickou přihlášku a uživatelé budou mít možnost kontrolovat i upravovat veškerá osobní data prostřednictvím webového rozhraní. LDAP je používáno k read-only přístupu ze systémových i uživatelských nástrojů.

Součástí tohoto mechanismu je i struktura pro údržbu lokálních dat buňky (např. UNIX id uživatele, které je lokální vzhledem k buňce). Navržená struktura dovoluje lokální údržbu takových dat a přístup k nim nezávisle na použité technologii (referenční implementace používá k uložení těchto dat přímo LDAP server).

Podrobnější informace jsou shrnuty v technické zprávě [Sit01].

Dynamická data

Cílem základního systému "dynamické" části informační infrastruktury MetaCentra je poskytnutí jednotného rozhraní pro přístup k informacím o aktuálním stavu distribuovaného výpočetního prostředí. Tento systém slouží zejména pro účely plánování a optimalizace přidělování zdrojů.

Provedenými experimenty jsme ověřili, že infrastruktura postavená nad dostupnými adresářovými servery je při zachování jistých pravidel schopna akceptovat takové množství změn za jednotku času, které dostačuje pro realizaci systému založeného na mechanismu "periodického update" v prostředí MetaCentra. Přesnější informace o návrhu a realizaci těchto experimentů lze opět najít v technické zprávě [Sit01].

Během roku 2000 se významně posunula situace v možnostech realizace pokročilejších mechanismů sběru dat (bližší informace k základním možnostem viz např. [Sit00a]). Zkušenosti, které jsme s implementací sběru a publikování dat v současné verzi systému Globus (MDS - Metacomputing Directory Services) získali při demonstraci na konferenci SC2000, jasně ukazují na potřebu jiného mechanismu, který bude schopen rychleji reagovat na jednotlivé dotazy.

Technologie LDAP

Na rok 2000 jsme plánovali nákup LDAP serveru firmy Netscape (iPlanet), neboť ten byl jak v našich testech, tak v testech s námi spolupracujících pracovišť vyhodnocen jako nejvhodnější a nejpokročilejší implementace. Rozhodnutí o nákupu jsme však odložili (mimo jiné i vzhledem k poměrně vysoké ceně). Po uvolnění serveru OpenLDAP verze 2.0.x, ke kterému došlo ve druhé polovině roku 2000, jsme se rozhodli od původně plánovaného nákupu upustit.

V souladu s orientací projektu Globus (který od verze 1.1.3 plně přešel na OpenLDAP) i na základě vlastních testů jsme plně přešli na OpenLDAP v základních LDAP službách MetaCentra. Podpora většiny potřebných funkcí je zde doplněna otevřenou možností doplnit požadované (zejména bezpečnostní) mechanismy způsobem zmíněným v předchozí kapitole. Navíc je OpenLDAP platformou, na niž přechází prakticky všechny skupiny se zájmem o GRID, což nám zajišťuje dostatečnou kompatibilitu i do budoucna.

V první polovině roku jsme též zmapovali podporu LDAPu v běžně používaných skriptovacích jazycích. Vznikla přehledová publikace [Sit00b] a získané zkušenosti jsme využili pro ověřovací implementaci Web klienta informační infrastruktury (zatím zárodek telefonního seznamu MetaCentra pro MetaWeb, viz. též [Sit01]).

Informační služby v současné době zajišťuje server lindir.ics.muni.cz (PC server firmy AutoCont), zakoupený v květnu 2000 z příspěvku Masarykovy univerzity projektu MetaCentrum.

7.1.6   PC cluster

Hlavní investiční akcí roku 2000 měl být nákup nové páskové knihovny. Možnost zapojit se do projektu DATAGRID 5. rámcového programu EU, rostoucí zájem o clusterové počítače, způsobený mimo jiné i trvalým růstem výkonu osobních počítačů, a rovněž zkušenosti s využitím první páskové knihovny vedly koncem 1. čtvrtletí roku 2000 k rozhodnutí zakoupit víceprocesorový PC cluster, který bude sloužit několika účelům:

  1. Zvýšení výpočetního výkonu instalovaného v MetaCentru.
  2. Zpřístupnění paralelní distribuované architektury všem uživatelům MetaCentra.
  3. Rozdělení clusteru na dvě části, instalované v Praze a v Brně, umožní testovat zátěžové charakteristiky gigabitového spojení a jeho aktivních prvků.

Na základě výběrového řízení bylo v srpnu 2000 rozhodnuto o koupi 64procesorového clusteru firmy SGI, tvořeného 2×16 uzly (model 1200). Každý uzel je vybaven duálním procesorem Pentium III 700 MHz, 1 GB vnitřní paměti a jedním pevným SCSI diskem s kapacitou 9 GB. Každý uzel může být osazen až čtyřmi pevnými disky (v současné době firma SGI dodává SCSI disky s kapacitou 36 GB). Každý uzel má integrované síťové rozhraní Fast Ethernet (10/100 Mb/s).

Primární propojení uzlů je realizováno přepínačem Cisco Catalyst 3524 (24 portů, Praha) a Catalyst 3548 (48 portů, Brno). Každý přepínač je vybaven gigabitovým Ethernetem, jehož prostřednictvím je přímo napojen na páteřní směrovače GSR 12008. Brněnský cluster je navíc vybaven sítí Myrinet (plně duplexní síť s rychlostí 1,28 Gb/s, se zpožděním na úrovni mikrosekund), konkrétně 16portovým směrovačem a 16 kartami.

Přístup ke každé části clusteru zajišťuje hlavní (master) stanice, která má obdobné parametry jako uzel clusteru, jen je vybavena menší pamětí (512 MB) a větším diskem (18 GB). Clustery byly dodány na přelomu října a listopadu, síť Myrinet začátkem prosince 2000, cluster je proto v současnosti pouze v experimentálním provozu.

Na cluster bylo zakoupeno následující programové vybavení:

Všechno uvedené programové vybavení bude k dispozici všem uživatelům MetaCentra, kteří projeví o využití clusteru zájem.

7.1.7   Mezinárodní aktivity

Z hlediska dlouhodobých perspektiv bylo nejvýznamnější činností roku 2000 zapojení do mezinárodních aktivit, a to ve dvou oblastech:

EGrid

Sdružení EGrid bylo založeno v roce 1999 (CESNET a MetaCentrum je jedním ze zakládajících členů) a v roce 2000 zorganizovalo dvě významné akce: v dubnu dvoudenní pracovní setkání (workshop) v Poznani, v listopadu pak demonstraci "putujícího výpočtu" v rámci konference SC2000. Na setkání v Poznani jsme prezentovali dva příspěvky ([MR00] a [Rud00]), průběh vlastní demonstrace je popsán např. v [MRK00] nebo [All01].

DATAGRID

Na jaře 2000 se otevřela možnost účasti na rozsáhlém projektu DATAGRID. Jeho cílem je vytvoření výpočetní a datové infrastruktury pro analýzu výsledků experimentů v oblasti fyziky vysokých energií, které budou průběžně od roku 2003 probíhat v CERNu. Projekt je v současné době před podpisem, zahájen bude od 1. ledna 2001. Projektu se účastní CESNET v roli přidruženého kontraktora (associated contractor) s vlastní rozpočtem a příspěvkem z EU.

V projektu se budeme podílet na řešení problematiky plánování (včetně souvisejících bezpečnostních otázek), předpokládá se naše účast při zajištění síťových služeb (zejména MBS mezi ČR a sítí Géant) a zejména při realizaci testbedů.

7.1.8   Plány na rok 2001

Výzkumná činnost bude souviset především s naší účastí v projektu DATAGRID. Předpokládáme další rozšíření přístupu k páskovému robotu - v průběhu roku 2001 bude třeba rozhodnout o případném nákupu dalšího zálohovacího zařízení. V souladu s potřebami projektu DATAGRID i jednotlivých koncových uživatelů počítáme s rozšířením instalovaného PC clusteru o alespoň 32 dalších procesorů.

Interní vývojové práce nesouvisející bezprostředně s projektem DATAGRID se zaměří zejména na oblast dalšího zkvalitnění informačních zdrojů, implementaci plnohodnotného portálu MetaCentra a zpřístupnění všech informací (včetně možnosti ovlivňovat vlastní výpočty) jeho prostřednictvím.

předchozí
obsah		 následující
další weby:fond rozvojemetacentrumCzechLightpřenosyvideoservereduroameduID.cz