Storage-Netzwerke
InfiniBand
InfiniBand ist eine verlustfreie, latenzarme RDMA-Fabric für HPC, KI-Cluster und Storage-Backends mit sehr hohen Datenraten und eigenem Subnet-Management.
- Verlustfreie RDMA-Fabric
- HDR/NDR/XDR (200–800 Gb/s)
- HCA, Subnet Manager, Switches
- HPC, KI, Storage-Backend
- proprietär (NVIDIA/Mellanox)
InfiniBand ist eine industriestandardisierte, verlustfreie Netzwerk-Fabric mit nativem RDMA (Remote Direct Memory Access) und sehr niedriger Latenz. Sie verbindet Server, GPUs und Storage als geschaltetes Punkt-zu-Punkt-Netz und ist die dominierende Verbindungstechnik in High-Performance-Computing und KI-Clustern.
Dieser Artikel erklärt die Generationen und Datenraten, die Architektur aus HCA, Subnet Manager und Switches, RDMA und die Verbs-API, die Abgrenzung zu RoCE und iWARP, die Einsatzfelder sowie die Marktlage und eine ehrliche Einordnung.
1. Generationen und Datenraten
InfiniBand verdoppelt die Datenrate je Generation; üblich ist der 4x-Link. Aktuelle Stufen sind HDR (200 Gb/s), NDR (400 Gb/s) und XDR (800 Gb/s), mit End-to-End-Latenzen im Bereich von Hunderten Nanosekunden. Die nächste Stufe (GDR) ist auf der Roadmap. Das einheitliche Verwaltungsmodell zieht sich über alle Generationen.
2. Architektur
Jeder Server trägt einen Host Channel Adapter (HCA) am PCIe-Bus, der RDMA in Hardware abwickelt, ohne die CPU zu belasten. Jede Fabric braucht mindestens einen Subnet Manager (etwa das Open-Source-OpenSM), der die Topologie entdeckt, Adressen vergibt und die Switch-Routing-Tabellen konfiguriert, ohne ihn läuft das Netz nicht. Die Switches verbinden die Knoten verlustfrei.
3. RDMA und Verbs-API
RDMA erlaubt direkten Speicherzugriff zwischen zwei Rechnern, ohne Betriebssystem, Kernel-Stack oder CPU-Kopien zu durchlaufen. Anwendungen nutzen die Verbs-API (unter Linux die Bibliothek rdma-core), um Arbeitsaufträge direkt an die HCA-Hardware zu übergeben; das senkt Latenz und CPU-Last drastisch. NVIDIAs SHARP lagert zusätzlich kollektive Operationen (etwa AllReduce) in die Switches aus.
Der Kern von InfiniBand ist nicht die Bandbreite allein, sondern das Wegräumen des Software-Stacks aus dem Datenpfad: RDMA in Hardware bedeutet Latenz, die Software so nicht erreicht.
4. Abgrenzung zu RoCE und iWARP
Alle drei realisieren RDMA. InfiniBand nutzt eine eigene, von Natur aus verlustfreie Fabric. RoCE v2 bringt RDMA über Ethernet (UDP/IP), braucht dafür aber sorgfältig konfigurierte verlustfreie Ethernet-Mechanismen (PFC/ECN). iWARP setzt auf TCP und kommt ohne Spezialnetz aus, spielt in Neuinstallationen aber kaum noch eine Rolle. Wo PFC/ECN beherrschbar sind und keine extreme Latenz nötig ist, genügt oft RoCE.
5. Einsatz und Marktlage
InfiniBand vernetzt einen großen Teil der Top-Supercomputer und ist Referenz beim KI-Training eng gekoppelter Modelle; parallele Dateisysteme wie Lustre nutzen es nativ, und NVMe-over-Fabrics läuft darüber. Seit NVIDIA Mellanox übernommen hat, gibt es faktisch nur noch einen InfiniBand-Anbieter, ein Punkt, den man bei Beschaffung und Lieferantenstrategie mitdenken sollte. Auf der Ethernet-Seite arbeitet das Ultra Ethernet Consortium an einer Alternative für KI-Backbones.
6. Stärken und Grenzen
| Stärken | Grenzen |
|---|---|
| Verlustfrei und latenzarm ohne Konfigurationsaufwand | Eigene, proprietäre Fabric, keine Standard-Ethernet-Komponenten |
| Native RDMA in Hardware, SHARP für In-Network-Computing | Faktisch ein Anbieter (NVIDIA); Beschaffungs-/Lock-in-Frage |
| Referenz für HPC, KI-Training und paralleles Storage | Höhere Kosten; für normale DC-Last überdimensioniert (Ethernet/RoCE genügt) |
Häufige Fragen zu InfiniBand
Für eng gekoppelte HPC- und KI-Workloads mit Bedarf an niedrigster Latenz und garantierter Verlustfreiheit ist InfiniBand die Referenz. Wo PFC/ECN im Ethernet beherrschbar sind und keine extreme Latenz nötig ist, genügt RoCE und nutzt die vorhandene Ethernet-Infrastruktur und das Multi-Vendor-Ökosystem.
Ja. Eine InfiniBand-Fabric ist ohne laufenden Subnet Manager nicht funktionsfähig: Er entdeckt die Topologie, vergibt Adressen und konfiguriert das Routing. Open Source steht dafür OpenSM zur Verfügung, redundante Manager sind möglich.
Auch der Autor ist nur ein Mensch, dem Fehler unterlaufen können. Wenn in diesem Beitrag etwas nicht stimmt oder unklar ist, freuen wir uns über einen kurzen Hinweis über das Kontaktformular unten, wir prüfen und korrigieren das.
Der nächste Schritt
InfiniBand im eigenen Haus richtig einsetzen?
Wir klären, ob und wie der Baustein zu Ihrer Infrastruktur passt, und sagen offen, wann sich der Aufwand lohnt und wann nicht.