Linux Days 2024

XDP (eXpress Data Path) je technologie založená na eBPF (extended Berkeley Packet Filter), která je součástí Linuxového jádra. XDP si klade za cíl zvýšit propustnost síťového stacku. Hlavní myšlenkou je nahrát přímo do kernelu malý program, který je spuštěn pro každý přijatý paket.

XDP umožňuje číst a měnit data paketu a rozhodnout o jeho osudu ještě před tím, než dojde k náročnému zpracování vyššími síťovými vrstvami, zatímco technologie eBPF garantuje bezpečné spouštnění programu v privilegovaném režimu.

Pro výkonostně náročné použití nabízí XDP možnost obejít síťový stack a posílat pakety přímo do specializované uživatelské aplikace. Tento režim se nazývá AF_XDP nebo XDP zero copy a v rámci samotného kernelu nabízí alternativu ke specializovaným frameworkům pro obcházení síťového stacku, jako je např. DPDK (Data Plane Development Kit).

Národní infrastruktura e-INFRA CZ v rámci centra CERIT-SC již více než půl roku provozuje vlastní instance velkých jazykových modelů určené pro vědecký výzkum. V této prezentaci představíme důvody, proč se rozhodujeme pro vlastní provoz místo využití komerčních řešení, a zároveň se zaměříme na teoretické aspekty, jako je vztah mezi počtem parametrů modelu a jeho výkonem, princip kvantizace modelů, význam KV cache a možnosti lokálního provozu modelů. Hlavní část prezentace bude věnována našim praktickým zkušenostem, tzv. lessons learned, včetně paměťových nároků jednotlivých modelů, vlivu KV cache a velikosti GPU paměti na počet obsloužených klientů a dalších provozních souvislostí. Součástí budou také optimalizace, které se osvědčily pro efektivní běh modelů, a přehled nečekaných problémů, například chybné alokace paměti v některých verzích Linuxových jader nebo obtížím s paralelním během více modelů na stejných GPU. Prezentace ukáže, že i na přiměřeně výkonném hardware lze úspěšně provozovat velké paměťové modely s vysokých výkonem.