Sdružení CESNET a společnost INVEA-TECH provedly demonstraci přenosu rychlostí 100 Gb/s přes sběrnici PCIe s jedním čipem FPGA

Praha 21. července 2014

Úvod

Díky postupnému zavádění standardu 100 Gigabit Ethernet přibývá možností pro uplatnění hardwarových zařízení podporujících tuto propustnost. Pro tento účel je ve většině případů možné použít kombinaci čipu FPGA a procesoru s architekturou x86. Tato kombinace nabízí dobré vlastnosti, pokud jde o programovatelnost, výkon a snadnost použití.

Současné čipy FPGA obsahují vestavěné komunikační bloky až pro PCIe gen3 x8. Při rychlosti přenosu 8 Gbps přes jednu PCIe gen3 linku je teoretická propustnost jednoho rozhraní PCIe čipu FPGA 64 Gb/s, což není pro 100Gb/s aplikace dostatečné. Reálná propustnost je ve skutečnosti nižší z důvodu přidávání režijních hlaviček protokolem sběrnice PCIe. Otázka zní: Můžeme dosáhnout přenosové rychlosti 100 Gb/s s využitím současných čipů FPGA?

Nabízí se možnost kartu osadit PCIe switchem v konfiguraci x8 + x8 = x16. Tento čip má ovšem vysokou spotřebu, zhruba 6 W, navíc komplikuje desku plošných spojů a zvyšuje celkovou cenu. Existuje však mnohem elegantnější řešení, jak dosáhnout rychlosti 100 Gb/s: rozdvojení sběrnice PCIe.

Vhodnou metodou je bifurkace

Tento koncept byl před několika lety zaveden u procesorů Intel Core, ale ve většině případů mu nebyla poskytnuta náležitá podpora ze strany výrobců základních desek. To se však pomalu mění, takže v současnosti je možné využít bifurkaci sběrnice pro dosažení přenosové rychlosti 100 Gb/s s jedním čipem FPGA bez PCIe switche. Bifurkace umožňuje při bootování stroje nakonfigurovat fyzický slot PCIe x16 tak, aby se jevil jako dvě logická rozhraní PCIe x8. Operační systém běžící na procesoru rozpozná dvě logická rozhraní PCIe, ale to je možné odstínit pomocí ovladače zařízení tak, aby pro uživatelské aplikace bylo k dispozici pouze jedno aplikační rozhraní (byť velmi rychlé).

Demonstrace

Sdružení CESNET a společnost INVEA-TECH provedly sérii pokusů prokazujících skutečné výhody bifurkace sběrnice PCIe. Při testu byla použita karta osazená čipem FPGA Xilinx Virtex-7 H580T. Dva hardwarové bloky PCIe x8 čipu FPGA byly zapojeny do jednoho slotu PCIe x16. Firmware FPGA v součinnosti s linuxovými ovladači zařízení zajišťoval přenos dat do RAM paměti hostitelského počítače. Obě rozhraní x8 se při bifurkaci střídala v jednotlivých přenosech do operační paměti. I když použitá karta má optický modul pro rozhraní Ethernet 100G, byl použit generátor náhodných paketů uvnitř čipu FPGA schopný generovat přenosy rychlostí vyšší než 100 Gb/s. Výsledky jsou zobrazeny na následujícím grafu:

Dosažená propustnost je 107 Gb/s a je vypočítána ze zatížení transakční vrstvy sběrnice PCIe, není tedy ovlivněna režijními hlavičkami protokolu sběrnice PCIe. Modul DMA seskupuje pakety tak, že délka paketu nemá vliv na skutečnou propustnost sběrnice PCIe. Výkon softwarové aplikace je ovšem omezen v počtu paketů za sekundu. Pro dosažení rychlosti 100 Gb/s je proto nezbytná distribuce provozu mezi více jader procesoru (nejméně osm v naší sestavě).

Závěr

Sdružení CESNET a společnost INVEA-TECH demonstrovaly datové přenosy rychlostí 100 Gb/s přes sběrnici PCIe prostřednictvím metody bifurkace. V rámci této demonstrace bylo předvedeno řešení s čipem FPGA pro zachytávání paketů. Při zpracovávání dat procesorem dochází často ke zpomalení, kterému se lze vyhnout chytrou distribucí paketů mezi jádra procesoru. Dalšího škálování výkonu lze dosáhnout přesunutím časově kritických částí aplikace do čipu FPGA. Demonstrace ukázala, že bifurkací sběrnice PCIe lze vylepšit propustnost přenosů z čipu FPGA do procesoru bez nutnosti použití samostatného PCIe switche. Společnost INVEA-TECH již toto řešení zařadila do svého portfolia karet pro zachytávání paketů.

Poděkování

Tato práce byla uskutečněna v rámci projektu TA03010561 financovaného Technologickou agenturou České republiky.

O sdružení CESNET

Sdružení CESNET bylo založeno v roce 1996 vysokými školami a Akademií věd ČR. Jeho hlavním cílem je provoz a vývoj české národní výzkumné a vzdělávací sítě (NREN), výzkum a vývoj pokročilých síťových technologií a aplikací a seznamování veřejnosti s pokročilými tématy z oblasti sítí. Sdružení CESNET je dlouhodobým akademickým síťovým operátorem v rámci ČR a podílí se na mnoha souvisejících mezinárodních projektech. Oddělení nástrojů pro monitoring a konfiguraci (dříve projekt Liberouter) se zaměřuje na výzkum v oblasti hardwarové akcelerace síťové bezpečnosti a monitorovací technologie a dále pak na výzkum distribuovaných úložišť a zpracování monitorovaných dat a algoritmů pro detekci síťových anomálií.

O společnosti INVEA-TECH

Společnost INVEA-TECH je lídrem ve výrobě a poskytování vysoce výkonných síťových řešení. Nabízí kompletní portfolio produktů pro akceleraci zpracování provozu pomocí technologie FPGA. Produkty společnosti jsou ideální jak pro využití v rámci OEM, tak pro vývoj hardwarově akcelerovaných aplikací, výzkum a vývoj (R&D) a vývoj prototypů. Síťové adaptéry s pokročilými funkcemi poskytují zákazníkům konkurenční výhodu v oblasti vysokorychlostních sítí. Společnost INVEA-TECH byla založena v roce 2007, sídlí v Brně. Tým a technologie vzešly z Masarykovy univerzity, Vysokého učení technického v Brně, sdružení CESNET a projektu Liberouter.

Více na: https://www.flowmon.com/cs

Tisková zpráva, 21. července 2014

Poslední změna: 16.2.2021