A magyar Grid projektek áttekintése

Kacsuk Péter

MTA SZTAKI

kacsuk@sztaki.hu

www.lpds.sztaki.hu

Absztrakt

2000 szeptembere óta hat Grid projekt (VISSZKI, DemoGrid, SzuperGrid, KlaszterGrid, JiniGrid, KémikusGrid) futott ill. fut hazánkban, melyek szoros kölcsönhatásban voltak és vannak egymással. Az előadás röviden áttekinti ezeknek a projekteknek a céljait és a bennük elért legfontosabb eredményeket.

1. Bevezetés

Újabban jelentősen terjednek az ún. Grid rendszerek, ahol nagyszámú, vagy nagyteljesítményű erőforrásokat kapcsolnak össze komplex feladatok megoldása érdekében. A Web sikere mindannyiunk által jól ismert. Nemcsak személyes életünket teszi jelentősen kényelmesebbé, de az egész társadalom felépítésére és az üzleti életre is óriási hatással van. Sokak szerint a Webhez hasonló forradalmi változás előtt állunk, amit az információs rendszerek egy új ágának a kifejlődése, a Grid rendszerek megjelenése fog elindítani. A Web sikerét az okozta, hogy forradalmasította és társadalmasította az információ elérését az Internet segítségével, azaz bárki bármilyen információt bárki számára könnyen és gyorsan elérhetővé képes tenni és ez az információáramlás soha nem látott mértékű felgyorsításához vezetett.

A Webhez képest a továbblépést az jelenti, hogy a Grid rendszerekben nemcsak az információt tehetjük nyilvánossá, hanem bármilyen más erőforrásunkat, szolgáltatásunkat (pl. pillanatnyilag szabad processzor és diszk kapacitásunkat, speciális programjainkat, számítógéphez csatlakoztatott műszereinket, stb.) és azt mindenki elérheti (bizonyos konvenciók és megállapodások alapján) az Interneten keresztül. Cserében mi is elérhetjük mások erőforrásait és szolgáltatásait, amikor arra éppen szükségünk van. Ily módon a rendelkezésre álló erőforrások kihasználtsága és a szolgáltatások elérhetősége jelentősen javul, ami az információfeldolgozás hatékonyságának és gyorsaságának ugrásszerű növekedéséhez fog vezetni a tudományos kutatásokban, az üzleti életben és össztársadalmi szinten is.

Az elmúlt években világszerte felerősödött az érdeklődés a Grid rendszerek iránt, amely várhatóan öt fő területen fog jelentős változásokat hozni:

1. Elosztott szuperszámítógép technológia: ennek célja, hogy a világ számítási erőforrásait összekapcsolva eddig még nem látott, a jelenlegi szuperszámítógépeket messze meghaladó számítási teljesítményt biztosítson számos nagy számításigényű tudományos ill. üzleti számítási feladat végrehajtására.

2. Nagy áteresztőképességű rendszerek: Ezek célja, hogy a világ számítási erőforrásait összekapcsolva, azokat egyre jobb hatásfokkal tudjuk működtetni, azaz egységnyi idő alatt minél nagyobb számú feladatot (jobot) lehessen velük lefuttatni.

3. Szakma-specifikus Grid rendszerek: Ezek valamilyen tudományterület speciális igényeinek kiszolgálására szolgálnak. Pl. speciális adatbázisok létrehozása, speciális portálok és programcsomagok alkalmazása miatt lehet célszerű egy-egy szakma-specifikus Grid rendszert létrehozni.

4. Kollaboratív rendszerek: Ezek célja, hogy olyan nagy komplexitású feladatok megoldását támogassa, amelyeket csak különböző tudományok és intézetek képviselői együttműködve tudnak megoldani.

5. Általánosított web szolgáltatások: Ezek célja, hogy az információs webhez hasonlóan egy általános szolgáltatási webet hozzanak létre, amelyben már nemcsak az információ tárolása és elérése, hanem feldolgozása is lehetővé válik.

Természetesen nagyszámú, földrajzilag elosztott erőforrás közös felhasználása és menedzselése nem triviális szoftvertechnikai feladat. Több projekt is foglalkozik emiatt Grid szoftver futtató környezetek (middleware) fejlesztésével. Legismertebb ezek közül a Globus projekt, amely de facto szabványnak számít a Grid számítási rendszerek területén, nem véletlen, hogy szinte valamennyi nagy Grid alkalmazási projekt (CERN DataGrid, UK e-Science programok) ezt a rendszert használja. A Globus rendszer [1,2] alkalmazása során gyűjtött eddigi tapasztalatok (lásd hazai Grid projektek) azonban azt is megmutatták, hogy ez a rendszer sem tökéletes, vannak hiányosságai és nagy szakértelem kell használatához, üzemeltetéséhez. Mindezek mellett meg kell említeni, hogy a Grid a hagyományos számítási rendszer koncepciótól kezd eltávolodni egy általánosabb, szolgáltatás-elosztó infrastruktúra irányába (ld. általánosított web szolgáltatások). Ezt tükrözi a Globus új irányzata, az OGSA (Open Grid System Architecture) [3] is, amely igyekszik ötvözni a Globus szolgáltatásokat a web szolgáltatásokkal [4]. A web szolgáltatások és a Grid fontosságát a legtöbb nagy IT cég (IBM, HP, Microsoft, Sun) is felismerte és ennek megfelelően intenzív fejlesztésbe kezdtek ezen a területen.

2. A magyar Grid projektek 2003-ig

A hazai Grid kutatás és infrastruktúra fejlesztés 3 fő forrásból táplálkozott 2003-ig:

1. Az OM által támogatott IKTA projektek (VISSZKI, DemoGrid, SzuperGrid)
2. A Műszaki Tanács által beindított Szuperszámítógépes projekt (SzuperGrid)
3. Az OM által a felsőoktatási intézmények számára kiírt laboratóriumfejlesztési pályázat (KlaszterGrid)

A fenti forrásokból támogatva 4 Grid projekt futott ill. fut hazánkban, melyek szoros kölcsönhatásban vannak egymással, amint az 1. ábra mutatja. Az 1. táblázat ezeknek a Grid projekteknek összetételét és költségvetését mutatja.

1. ábra A 2003-ig indított magyar Grid projektek és kapcsolatuk

1. Táblázat: magyar Grid projektek 2003-ig

Projekt neve	Típusa	Koordinátor személy	Koordinátor intézmény	Konzorciumi tagok	Időtartam
VISSZKI	IKTA-3	Kacsuk Péter	SZTAKI	BME INNOTECH Kft	2000. 09. 01. – 2002. 02. 28.
DemoGrid	IKTA-3	Benczúr András	ELTE	SZTAKI KFKI SZIF	2001. 07. 01. – 2002. 12. 31.
SzuperGrid	IKTA-4	Kacsuk Péter	NIIFI	SZTAKI BME ELTE Compaq	2002. 01.01. – 2003. 12. 31.
KlaszterGrid	Infra-struktúra	Stefán Péter	NIIFI	SZTAKI BME ELTE	2002. május – határozatlan

2.1 VISSZKI projekt

A VISSZKI projekt keretében tanulmányoztuk a de facto standardnak tekinthető Globus middleware rendszert és a Condor job-kezelő rendszert [5]. Értékeltük ezeket a rendszereket és megvizsgáltuk, hogy hogyan használhatók fel egy magyarországi Grid rendszer kiépítéséhez. A projekt keretében megvizsgált és tesztelt rendszer ábráját mutatja a 2. ábra. A Condort mind lokális, mind grid-szintű job-kezelőként megvizsgáltuk mind a PVM, mind az MPI programok használatához. Eközben néhány olyan hibáját is feltártuk a Condor rendszernek, amiket a Condor csoport sem ismert, és amik feltárását igen nagyra értékelték. Ezen hibákat azóta a Condor csoport kijavította és a projekt kapcsán igen jó partneri kapcsolatot alakítottunk ki a Condor csoporttal, melynek különösen a SzuperGrid és KlaszterGrid projektekben vettük ill. vesszük hasznát.

A Globus tesztelését is elvégeztük a projekt keretében. A Globus rendszerrel kevésbé voltunk megelégedve, mint a Condorral. Sokkal több hibát találtunk benne és a Globus csoport nem reagált a felvetett hibákra. Nehézkesnek találtuk mind a Globus installálását, mind alkalmazását. Az előbbi probléma megszüntetése érdekében létrehoztunk a Globus 2.0 verzióhoz egy olyan installálási csomagot, melynek segítségével a Globus 2.0 lényegesen egyszerűbben installálható. Ez a csomag szabadon letölthető a www.lpds.sztaki.hu web oldalról.

Jól látható, hogy ebben a projektben heterogén klaszterek összekapcsolásán volt a hangsúly. A SZTAKI klasztere egy homogén Linux klaszter, míg a BME két klasztere egymástól is különböző heterogén klaszter volt. A projektben sikeresen teszteltük a Condor flocking és glide-in technológiákat. A projekt eredményeképpen a SZTAKI és BME klaszterei azóta is össze vannak kapcsolva. Jelenleg a SzuperGrid projekt keretében dolgoznak együtt.

A projektben elért eredmények nagy mértékben hasznosultak mind a KlaszterGrid, mind a DemoGrid és SzuperGrid projektekben. A KlaszterGrid projekt a Condor tapasztalatokat használja fel, míg a DemoGrid projekt a Globus tapasztalatokra épít. A SzuperGrid projektben mind a Condor, mind a Globus alkalmazási lehetőségeinek tanulmányozása és kiterjesztése folyik.

2. ábra A VISSZKI projektben tanulmányozott Grid rétegek

2.2 DemoGrid projekt

A DemoGrid projektben a fő hangsúly a Grid használatának demonstrálásán volt négy olyan alkalmazási területen keresztül (agykutatás, asztrofizika, aerodinamika, részecskefizika)

, amelyek egyrészt a Grid széleskörű alkalmazhatóságát bizonyítják, másrészt azt demonstrálják, hogy különböző jellegű algoritmusosztályok esetén milyen módon alkalmazható a Grid technológia. Négy tipikus algoritmusosztállyal foglalkozott a projekt:

1. adatintenzív, ahol terabájtos adatmennyiségek feldolgozása a feladat
2. szorosan csatolt, ahol sok részeredményt kell kicserélni és tipikusan nagy a kommunikációs igény
3. lazán csatolt, ahol a számítás “önálló” számítások halmazaként jellemezhető (pl. master-worker algoritmusok
4. Tartomány dekompozició, ami szorosan csatolt részfeladatok lazán csatolt halmazának tekinthető

Emellett a projekt foglalkozott middleware kutatással és fejlesztéssel a következő területeken:

1. Tároló alrendszer. Az adatintenzív alkalmazások esetén kritikus a nagy adatmennyiségek mozgatása a Gridben. Itt olyan elosztott cache technikák kidolgozása a cél, melyek jelentős mértékben képesek csökkenteni a mozgatandó adatok mennyiségét. Az EU DataGrid projekt intenzíven foglalkozik ezzel a területtel. A DemoGrid projekt célja volt, hogy a DataGrid projektben kidolgozott Grid adatkezelési technikákat adaptálja és estenként továbbfejlessze.

2. Monitorozó alrendszer. A Grid monitorozása, ill. a Grid alkalmazások végrehajtásának monitorozása igen fontos feladat. Ennek érdekében a SZTAKI kifejlesztett egy nemzetközileg is új Grid monitort [6], amely egy nagyságrenddel gyorsabb monitorozást tesz lehetővé, mint a DataGrid projektben kidolgozott Grid monitorozó alrendszer. Az új Grid monitor képes együttműködni a P-GRADE [7] GRM monitorával és PROVE vizualizációs rendszerével [8], így lehetőséget ad arra, hogy a Grid alkalmazások végrehajtását on-line módon vizualizáljuk.

3. Biztonsági alrendszer. A Gridben egymásnak ellentmondó feladatokat kell megoldani. Egyrészt biztosítani kell az erőforrások könnyű elérhetőségét, másrészt biztosítani kell a felhasználók és az adatok védelmét. Az ELTE munkatársai a felhasználói autentikációra és autorizációra adtak megoldást a „Virtual Organization Membership Service” (VOMS) kidolgozásával [9].

Ennek a projektnek volt infrastruktúra fejlesztési aspektusa is. Az ELTE, és az RMKI közösen jelentős értékű PC-klaszter és diszk rendszer kiépítését célozta meg a projektben. A projekt felépítését mutatja a 3. ábra. A DemoGrid projekt a fenti célok mellett azt is megcélozta, hogy az EU DataGrid projekt magyar testvér projektje legyen és a CERN Grid eredményeit átültesse a magyar Grid rendszerekbe. A projekt futása alatt indult el a CERN-ben az LHC Grid projekt, melynek célja az LHC kísérlet támogatásához szükséges Grid infrastruktúra kidolgozása. A DemoGrid projekt három résztvevője (ELTE, RMKI, SZTAKI) közvetlenül is részt vesz ebben a Grid projektben.

3. ábra A DemoGrid projekt feladatai és kapcsolódásaik

2.3 Magyar Szuperszámítógép Grid (SzuperGrid) projekt

A magyar szuperszámítógép kapacitás örvendetesen megnőtt 2000 óta. Átadásra került egy 96-processzoros Sun HPC 10000 szuperszámítógép (átadáskor 462. helyezett a top500-ás listán), amely azóta tovább lett bővítve 128 processzorra, továbbá két 16-processzoros Compaq Alpha Server szuperszámítógép, egy 58-processzoros PC klaszter és több kisebb PC klaszter. Mindezek különböző intézmények tulajdonában vannak és felhasználói körük folyamatosan bővül. Ugyanakkor már az eddigi tapasztalatok is mutatják, hogy számos olyan alkalmazás létezik, melyek számításigénye túlmutat az egyedi szuperszámítógépek kapacitásán is.

A projekt fő célja egyrészt az ilyen kiemelkedően nagy számításigényű feladatok megoldásának biztosítása, másrészt a fenti nagysebességű rendszerek minél hatékonyabb kihasználása oly módon, hogy az egyedi szuperszámítógépeket és klasztereket Gridbe kapcsoljuk a magyar akadémiai hálózat segítségével és ezzel az elérhető számítási kapacitást megsokszorozzuk, ill. terheltségüket kiegyenlítjük. A fenti cél érdekében a Condort és Globust kívánjuk használni, épp úgy, mint a WISSZKI projektben, de itt már jelentős kiterjesztéseket és továbbfejlesztéseket is tervezünk.

4. ábra A SzuperGrid projektben kifejlesztendő Grid rétegek

A kialakítandó SzuperGrid rendszer réteges felépítésű lesz, amint a 4. ábra illusztrálja. A legfelső szinten a felhasználói programok jelennek meg. A projektben a kialakítandó Grid tesztelésére az MCNP (Monte Carlo N-Particle) nevű programot kívánjuk felhasználni, amelyet neutron-, gamma- és elektrontranszport feladatok megoldására fejlesztettek ki a neutronfizika, reaktorfizika, sugárvédelem és nukleáris méréstechnika területén. A felhasználó egy Grid portálon keresztül éri el a Grid szolgáltatásait. Így bárki, akinek jogosultsága van a SzuperGrid erőforrásait elérni, ezt bármilyen web böngésző segítségével megteheti. A Grid portál segít az erőforrások kiválasztásában, az erőforrások terheltségének vizsgálatában, a jobok elküldésében és felügyeletében. A Grid portálok összehasonlító elemzését és értékelését a NIIFI munkatársai végezték a projektben [10].

A következő szinten a P-GRADE programfejlesztő rendszer található, amit ennek a projektnek a keretében integrálunk a Condor lokális job-kezelővel és valamely Grid-szintű job-kezelővel. Ennek eredményeképpen a felhasználók hasonló módon programozhatják a Grid rendszert, mint az egyedi szuperszámítógépeket és klasztereket. Míg a VISSZKI projektben a felhasználóknak csak az alacsonyszintű PVM, MPI vagy Condor M/W rendszer állt rendelkezésre a Grid alkalmazások fejlesztésére, addig a SzuperGrid eredményeképpen egy magas szintű, grafikus Grid alkalmazásfejlesztő és futtató rendszer, a P-GRADE fogja segíteni a felhasználók munkáját. A projekt eredményeképpen a P-GRADE rendszer számos lehetőséget fog kínálni a SzuperGrid használatára. Ha a P-GRADE rendszer PVM programot generál, akkor a következő lehetőség állnak rendelkezésre:

1. Ha a P-GRADE a SzuperGrid valamely erőforrásán installálva lesz, akkor oda belépve a felhasználó a P-GRADE alól közvetlenül Condor jobot tud generálni, amely a Condor flocking mechanizmusát felhasználva, a SzuperGrid több erőforrásán egyidejűleg képes lesz futni.
2. Ha a felhasználó egy a SzuperGrid rendszeren kívüli gépről akarja indítani alkalmazását P-GRADE alól, akkor a SZTAKI-ban kifejlesztett PERL-GRID segítségével teheti ezt meg. A PERL-GRID gondoskodik a job Grid-szintű kezeléséről, beleértve egy Grid erőforrás kiválasztását, oda a job eljuttatását, majd a job átadását a lokális ütemezők (LSF, PBS, Condor, Sun Grid Engine) valamelyikének.

Ha a P-GRADE rendszer MPI kódot generál, akkor a Globus segítségével lehet az így kifejlesztett MPI programot egyszerre több SzuperGrid erőforráson futtatni. A P-GRADE alkalmazásáról a Gridben és job-módjáról részletes leírás található [11]-ben. A SzuperGrid projekt keretében a SZTAKI munkatársai kiterjesztik a P-GRADE rendszert egy új grafikus réteggel, a workflow réteggel, amely lehetővé teszi a Gridben párhuzamosan működő és egymással együttműködő job-rendszerek definiálását és azok Gridben történő futtatását [12].

A SzuperGrid projekt keretében a SZTAKI kifejlesztett egy olyan Grid rendszert (TotalGrid), melynek segítségével egy intézményen belül a heterogén informatikai erőforrások összefogása és igény szerinti allokálása megvalósítható. A TotalGrid felső szintjei (P-GRADE, PERL-GRID, GRM) a SZTAKI fejlesztési eredményei, alsóbb szintjei pedig bárki által elérhető standard rétegek (Condor, PVM). A TotalGrid működését az 5. EU DataGrid konferencián a SZTAKI és az OMSZ munkatársai demonstrálták az OMSZ ultra-rövidtávú előrejelzést biztosító MEANDER programcsomagjának Grid végrehajtásával.

A SzuperGridben használható lesz a Condor-G, mint Grid-szintű job-kezelő is, amely az alatta lévő Globus réteg segítségével osztja ki a párhuzamos programot a Grid erőforrásai között, amelyek a Grid legalsó rétegét képezik. Itt végül lokális ütemezők (LSF, PBS, Condor, Sun Grid Engine) gondoskodnak a tényleges párhuzamos futtatásról. A projekt keretében a NIIFI és a BME EISZKI munkatársai összehasonlító tanulmányt készítettek a fenti lokális ütemezőkről, melyben több szempont alapján értékelték ezek használhatóságát a Gridben [13], [14].

A fenti szintek kialakítása mellett a projekt feladata a Grid biztonságtechnikájának és gépidő elszámolásának a megoldása is. A SzuperGrid biztonságos használata érdekében egy IPsec alapú VPN-t alakítunk ki a Grid erőforrásai között [15]. Ennek előnye, hogy a tűzfalakon nem igényelnek bonyolult port szintű konfigurációt, a belső adatcsomag IPsec tunnel módban teljes egészében titkosítva van, így port szintű konfigurációval nem kell foglalkozni. További előny, hogy az IPsec alapú tunnelek nem tételeznek fel a köztes hálózatról semmit, azaz nincs speciális hálózati hardver vagy szoftver igényük, így a kialakított rendszer továbbfejleszthetősége biztosított minden olyan rendszer esetében, amely IPsec alapú tunnelt képes fogadni.

A SzuperGrid projektben létrehozunk egy erőforrás felhasználás (EFH) nyilvántartó és elszámoló rendszert [16]. Erre azért van szükség, hogy a különböző szuperszámítógép központok egymás felé és felhasználóik felé el tudják számolni a SzuperGridből érkező jobok gépidő fogyasztását. Ez egy rendkívül fontos és viszonylag új terület a Grid kutatásokban. Jelentőségét mutatja, hogy az európai Grid infrastruktúra kialakítására szervezett új EGEE 6. Keretprogram projekt egyik kiemelt feladatának tekinti EFH nyilvántartó és elszámoló rendszer megvalósítását. Ugyancsak ez az alapja annak, hogy az üzleti életben is lehessen Grid rendszereket alkalmazni. Az EHF nyilvántartó és elszámoló rendszer 3 fő részből áll:

1. Adatgyűjtés és nyilvántartás
2. EFH-elszámolás
3. Számlázás

Noha a SzuperGrid projekt az OM által támogatott IKTA-4 projekt, alapvetően a Műszaki Tanács által beindított Szuperszámítógépes projekthez kapcsolódóan jött létre, annak a célkitűzéseit viszi tovább a Grid szintjére. A projekt végső célja a magyarországi szuperszámítógépek és nagyméretű klaszterek összekapcsolása egy nagyteljesítményű Grid rendszerbe, ill. azon szoftver eszközök (portál, számlázó rendszer, biztonsági rendszer, magas szintű Grid programfejlesztő rendszer) kidolgozása, melyekkel ez a cél megvalósítható. Az 5. ábrán látható a projektben megoldandó feladatok és azok kapcsolódása.

2.4 KlaszterGrid projekt

Ezt a projektet a NIIFI kezdeményezte a Műszaki Tanács által beindított Szuperszámítógépes projekt céljainak megvalósítása érdekében, az OM által a felsőoktatási intézmények számára kiírt laboratóriumfejlesztési pályázathoz kapcsolódóan. A projekt célja, hogy a pályázatban elnyert 99 számítógép laboratóriumot (mindegyik 20 PC-t és egy szerver gépet tartalmaz) éjszakánként (este 6-tól reggel 8-ig), ill. a hétvégeken egymáshoz kapcsolva, mint egy nagy Grid rendszert lehessen alkalmazni, melyen nagy mennyiségű és nagy számításigényű jobok futtathatók. Az így létrejött Grid rendszert használhatják a felsőoktatási intézmények oktatói és diákjai a nagy számításigényű kutatási feladatok megoldására.

5.ábra A SzuperGrid projekt feladatai és kapcsolódásaik

Műszaki felépítését tekintve a KlaszterGrid egy kétszintű Grid rendszer [17]. Az első szinten találhatók a klaszterek, melyeken belül a Condor lokális job-kezelő gondoskodik a jobok futtatásáról. A második szinten ezek a klaszterek egymással is össze vannak kötve és közöttük a Condor flocking mechanizmus osztja el a jobokat. A Condor flocking technika azonban gyakorlatilag a tűzfalak kinyitását igényli az un. barátságos Condor klaszterek között. Ez biztonság technikailag nyilván megengedhetetlen, és ezért a KlaszterGrid klaszterei egy VPN segítségével kapcsolódnak egymáshoz a Grid műszak idején. A biztonságot tovább fokozza, hogy a KlaszterGridnek csak egy belépési pontja van, így elég ezt körültekintően megvédeni a külső támadásoktól.

A KlaszterGrid prototípusa 2002 novemberére készült el 3 egyetem (ELTE, BME, Gödöllői Egyetem) 276 PC-jét Gridbe kapcsolva. Azóta folyik a KlaszterGrid kísérleti üzemeltetése. A bekötött klaszterek és intézmények számának gyors növekedése várható a közel jövőben. Hasonlóan hamarosan várható a KlaszterGrid nyilvános megnyitása a felhasználók számára.

Ebben a programban egyszerűsítő tényező, hogy ez egy homogén rendszer, tehát inkább hasonlít egy szuperklaszterre, mint egy igazi heterogén Grid rendszerre. Méretét tekintve már Európában is jelentős programnak mondható és sikeres végrehajtása Európai léptékkel mérve is kiemelkedő eredménynek fog számítani. Ugyanakkor probléma, hogy ez egy zárt Grid és illesztése az európai Grid infrastruktúrába további kutatást és fejlesztést igényel.

3. A 2003-ban indult Grid projektek

2003-ban két új Grid projektet finanszírozott meg az OM az IKTA-5 pályázatok keretében. Ezek egyike, a JiniGrid, infrastruktúra jellegű, a másik a KémikusGrid projekt inkább alkalmazás-orientált.

3.1 JiniGrid projekt

A Veszprémi Egyetemen Juhász Zoltán vezetésével folyik egy Jini alapú Grid rendszer kutatása [18]. A kutatócsoport kiterjesztette a Jinit egy távolsági hálózaton is alkalmazható Grid bróker rendszerrel. Az így létrejött rendszert tesztelték a Veszprémi Egyetem és a SZTAKI gépeiből kialakított Jini Grid rendszeren. Az eddigi eredmények alapján a Veszprémi Egyetem, a SZTAKI, az ELTE és a Sun Microsystems Magyarország Kft. egy közös IKTA-5 projekt kezdett 2003 januárjában, melynek céljai a következők:

1. A JiniGrid rendszer részletes kimunkálása.
2. A P-GRADE összekötése a JiniGrid rendszerrel és átalakítása oly módon, hogy Java programok fejlesztését és Grid végrehajtását is tudja támogatni.
3. A Web Services technológia és a JiniGrid ill. P-GRADE együttműködésének vizsgálata.

A JiniGrid rendszer kialakítása várhatóan a következő előnyökkel fog járni:

1. Az eddigi Grid rendszerek alapvetően a C-ben és Fortranban írt programok Grid végrehajtását támogatták. A JiniGrid lehetővé teszi Java programok végrehajtását a Gridben. Ez nagymértékben növeli a programok mozgatási lehetőségeit a Gridben és ezzel egy sokkal jobban kihasználható Grid rendszer jöhet létre.
2. A Jini technológia egy sokkal kiforrottabb technológia, mint akár a Globus, vagy a Condor, így alkalmazása megbízhatóbb Grid infrastruktúrához vezet.
3. A Jini technológia kiforrottsága miatt sokkal gyorsabban lehet létrehozni vele egy működő Grid infrastruktúrát, mint a Globus, vagy a Condor rendszerrel.
4. Mivel a Jini maga is szerviz alapú a JiniGrid várhatóan sokkal könnyebben illeszthető lesz a legújabb Open Grid Service Infrastructure alapú Grid rendszerekhez, mint a Globus, vagy a Condor alapú Grid rendszerek, mint amilyen pl. a KlaszterGrid.

A Jini alapú Grid rendszer kidolgozása egy egyedülálló magyar kísérlet, amelynek mind tudományos, mind gyakorlati jelentősége igen nagy.

3.2 KémikusGrid projekt

A KémikusGrid projekt célkitűzése, hogy a Grid rendszerek három fontos aspektusát kutassa, ill. azokhoz kapcsolódó konkrét eredményeket érjen el. Ezek az aspektusok a következők:

1. Kémikus Grid létrehozása: a Grid, mint egy tudományterület támogatására létrejött elosztott rendszer megvalósítása

2. Grid, mint elosztott szuperszámítási rendszer

3. Grid, mint a komplex, kollaboratív munkát támogató elosztott informatikai rendszer megvalósítása és alkalmazása levegőszennyezés előrejelzésére (szmog-riadó szakmai előkészítése)

A KémikusGrid projekt egyedülálló a többi magyar Grid projekt között abban az értelemben, hogy ez az első olyan magyar projekt, amely célul tűzte ki szakma-specifikus Grid kiépítését (ld. 1. cél), ill. kollaboratív munkát támogató Grid kialakítását. A szakma-specifikus Grid kiépítésében erősen kíván támaszkodni az EU D23-as COST alprogramhoz tartozó SIMBEX projektre, melyben a KémikusGrid projekt két partnere is részt vesz. A SIMBEX projekt célja integrált nemzetközi metalaboratórium kialakítása, közös erőforrások hatékony kihasználására, közös kémikus szoftverrendszerek kidolgozása és ezeken belül azon közös szoftverek párhuzamosítása, melyek számítási igénye ezt megkívánja

A Grid rendszerek egyik legjelentősebb tulajdonsága, hogy az erőforrások megosztása mellett a különböző szakterületen dolgozó kutatók és felhasználók kollaborációját is intenzíven támogatják. A projekt másik egyedi célkitűzése a Grid, mint a komplex, kollaboratív munkát támogató elosztott informatikai rendszer vizsgálata. A Gridnek ezt a tulajdonságát egy országos jelentőségű komplex alkalmazás kidolgozásával és Griden való implementálásával demonstrálja a KémikusGrid projekt. Ez az alkalmazás a levegőszennyező anyagok koncentrációjának előrejelzése Magyarország területén, amihez szükség van a meteorológiai adatok előrejelzésére ill. a szennyezett légkör modellezésére. A projekt célja a szmog riadók elkerüléséhez alkalmazandó intézkedések hatásmechanizmusának modellezése a Grid segítségével.

4. Összefoglalás és jövőkép

A fent bemutatott hat Grid projekt a Grid rendszerek különböző aspektusát vizsgálja, ill. fejleszti tovább. A végső cél, hogy egy olyan magyarországi Grid rendszer jöjjön létre, ami

1. Kiszolgálja a magyar felsőoktatás és kutatás igényeit
2. Heterogén, azaz tetszőleges típusú számítógép és klaszter belépését lehetővé teszi
3. Kellő mértékben skálázható és bővíthető, azaz nem korlátozza a beköthető alrendszerek számát, és az újonnan bekötött rendszerek nem eredményezik a már működő Grid rendszer teljesítményének csökkentését
4. Megbízható, azaz 24 órás szerviz biztosítására képes
5. Biztonságos, azaz elegendő védelmet nyújt a külső és belső támadások ellen
6. Csatlakoztatható a most kiépülő európai Grid infrastruktúrához
7. Lehetővé teszi szuperszámítógépek teljesítményét meghaladó igények kielégítését
8. Biztosítja nagy számú job végrehajthatóságát
9. Lehetővé teszi szakma-specifikus Grid rendszerek kiépítését
10. Támogatja a Grid kollaboratív használatát nagy komplexitású feladatok megoldására

A fenti követelmények mutatják, hogy a feladat rendkívül komplex és ezért csak fokozatosan közelíthetjük meg a végső megoldást. Az eddigi projektek ennek megfelelően nem teljes komplexitásukban próbálták megoldani a feladatot, hanem bizonyos egyszerűsítések mellett és csak a fenti céloknak egy részét tűzték ki maguk elé. Ez a világ más országaiban sincs másképp. A Global Grid Forum például egy olyan dokumentumon dolgozik, amely a minimális Grid funkciók definícióját adja meg és kidolgozta az új OGSA (Open Grid System Architecture) standardot, ami szabályozza a különböző Grid rendszerek közötti protokollokat és azokat az alapfunkciókat, amiket ezeknek a Grid rendszereknek el kell látnia.

Magyarországon eddig is példamutató együttműködés alakult ki a Grid területén dolgozó intézmények és kutatók között. Ezt az együttműködést fogja tovább erősíteni és megszilárdítani a március 14-én megalakult Magyar Grid Kompetencia Központ (MGKK), melynek alapítói a legaktívabb Grid fejlesztő intézmények (BME, ELTE, NIIFI és SZTAKI). Ugyanakkor ez a központ nyílt, akárcsak a Grid és bárki csatlakozhat, aki a fenti célkitűzések megvalósításán szeretne csapatban, koordináltan együttműködni. Az MGKK célja, hogy az eddigi Grid projektekben elkezdett három különböző típusú Grid infrastruktúrát (Condor-alapú Grid, Globus-alapú Grid, Jini-alapú Grid) egymással összekapcsolja egységes magyar Grid rendszerré és biztosítsa ennek összekapcsolhatóságát az OGSA szabvány ajánlásai alapján az európai Grid infrastruktúrába, amint azt a 6. ábra mutatja. Az MGKK másik fontos célkitűzése, hogy továbbfolytassa a DemoGrid és KémikusGrid projektekben megkezdett munkát a Grid alkalmazások kidolgozására és bevonja a különböző tudományterületek képviselőit a Grid aktív alkalmazásába.

Az MGKK-hoz hasonló szellemben hozták létre a Közép-Európai országok a CEG (Central European Grid) konzorciumot, melynek hat ország az alapítója (Ausztria, Csehország, Magyaro., Lengyelo., Szlovákia, Szlovénia) és célja a Közép-Európai országok Grid aktivitásának koordinálása, ill. közös fellépés nemzetközi projektekben.

6. ábra A magyar Grid rendszerek és az európai Grid rendszer összekapcsolása

Az egységes európai Grid infrastruktúra kialakítására az EU 6. Keretprogramban fog sor kerülni. Ennek a feladatnak a megoldását célozta meg a CERN vezetésével most alakuló EGEE (ENABLING GRIDS FOR E-SCIENCE IN EUROPE) konzorcium, melynek célja, hogy a nemzeti Grid infrastruktúrákat egységes európai Grid rendszerré alakítsa. Mind az EGEE, mind a CEG konzorcium munkájában hazánk képviselői aktívan részt vesznek. Az MGKK harmadik fő célkitűzése, hogy segítse a magyar Grid aktivitások beintegrálódását a regionális és európai szintű nemzetközi Grid aktivitásokba. Ezek az együttműködések jelentik annak a biztosítékát, hogy a fent leírt célkitűzések hamarosan megvalósuljanak és egy hatékony, kényelmesen használható Grid rendszer jöjjön létre, mind országos, mind nemzetközi méretekben.

Hivatkozások

[1] I. Foster, C. Kesselman, “Globus: A Metacomputing Infrastructure Toolkit”, Int. J. Supercomputer Applications, 11(2):115-128, 1997

[2] Globus, http://www.globus.org/

[3] OGSA, http://www.globus.org/research/papers.html#OGSA

[4] Web Services, http://java.sun.com/webservices/

[5] Condor, http://www.cs.wisc.edu/condor/

[6] Gombás G. és Balaton Z.: A Flexible Multi-level Grid Monitoring Architecture, Across Grids konferencia, Santiago de Compostella, 2003

[7] Kacsuk P.: Visual Parallel Programming on SGI Machines, Meghívott előadás, SGI Users’ Conference kiadványa, Krakow, Poland, pp. 37-56, 2000

[8] P-GRADE User's Manual: www.lpds.sztaki.hu

[9] VOMS, http://edms.cern.ch/document/344562

[10] NIIFI: Grid Portál Specifikáció, SzuperGrid IKTA-5 projekt 2.sz. jelentés, 1.sz. Melléklet, 2003

[11] Kacsuk P.: P-GRADE: Párhuzamos programok fejlesztése és futtatása szuperszámítógépeken, klasztereken és Grid rendszereken, Networkshop'2003, Pécs

[12] Dózsa G.: A P-GRADE grafikus programozási környezet kibővítése adatfolyam-gráf leíró réteggel Grid programok létrehozásának és végrehajtásának támogatásához, SzuperGrid IKTA-5 projekt 2.sz. jelentés, 2.sz. Melléklet, 2003

[13] NIIFI: Helyi ütemezők összehasonlítása, SzuperGrid IKTA-5 projekt 1.sz. jelentés, 1.sz. Melléklet, 2002

[14] Simon K.: Lokális ütemezők a BME HP (COMPAQ) ALPHA SMP HPC cluster – szuperszámítógépen, SzuperGrid IKTA-5 projekt 2.sz. jelentés, 5.sz. Melléklet, 2003

[15] ELTE ITK: IPsec alapú VPN rendszer kialakítása, SzuperGrid IKTA-5 projekt 2.sz. jelentés, 4.sz. Melléklet, 2003

[16] BME IIT: Erőforrás felhasználás nyilvántartó és elszámoló rendszer specifikációja, SzuperGrid IKTA-5 projekt 2.sz. jelentés, 3.sz. Melléklet, 2003

[17] Stefán P. A magyar ClusterGRID projekt, Networkshop'2003, Pécs

[18] Juhász Z., Andics Á. és Póta Sz.: Towards a Robust and Fault-Tolerant Multicast Discovery Architecture for Global Computing Grids, DAPSYS'2002 workshop kiadványa, Linz, pp. 74-81, 2002