Storage-Netzwerke
RoCE
RoCE (RDMA over Converged Ethernet) bringt RDMA aufs Ethernet; RoCEv2 ist über UDP/IP routbar, verlangt aber ein verlustarmes Netz mit Priority Flow Control und ECN.
- RDMA auf Ethernet
- RoCEv2 routbar (UDP/IP)
- Verlustarmes Netz (PFC/ECN)
- Basis für NVMe/RDMA, iSER
- HPC, KI, schneller Storage
RoCE (RDMA over Converged Ethernet) bringt die RDMA-Technik, also direkten Speicherzugriff zwischen Systemen ohne CPU-Kopien, auf gewöhnliche Ethernet-Netze. Standardisiert von der InfiniBand Trade Association, ist es heute das verbreitete RDMA-Fabric im Rechenzentrum und die Grundlage für schnelle Speicherprotokolle wie NVMe/RDMA und iSER.
Dieser Artikel erklärt das RDMA-Prinzip, den Unterschied zwischen dem nicht routbaren RoCEv1 und dem heute üblichen, routbaren RoCEv2, die zwingende Voraussetzung eines verlustarmen Ethernets mit PFC, ECN und DCQCN, die typischen Fehlerbilder wie PFC-Deadlocks sowie die Sicherheitslage ohne native Verschlüsselung.
1. RDMA auf Ethernet
RDMA erlaubt es der Netzwerkkarte, Daten direkt in den Speicher der Gegenseite zu schreiben, am Kernel-Netzwerkstack vorbei (Kernel-Bypass) und ohne Zwischenkopien (Zero-Copy). Das senkt Latenz und CPU-Last erheblich. RoCE bringt genau diese Technik, die ihren Ursprung in InfiniBand hat, auf Standard-Ethernet, sodass kein separates InfiniBand-Netz nötig ist.
2. RoCEv1 und RoCEv2
Zwei Versionen sind zu unterscheiden:
- RoCEv1 kapselt RDMA direkt in Ethernet (EtherType 0x8915) und arbeitet rein auf Layer 2, also nicht routbar und auf ein Segment beschränkt.
- RoCEv2 setzt RDMA auf UDP/IP (UDP-Port 4791) und ist damit über Layer-3-Grenzen routbar (oft „Routable RoCE“ genannt). Das ist heute die eingesetzte Variante.
3. Die Voraussetzung: verlustarmes Ethernet
RDMA verträgt Paketverluste schlecht: Ein verlorenes Paket löst aufwendige Wiederholungen aus und bricht die Leistung ein. RoCEv2 setzt deshalb ein verlustarmes Ethernet voraus, das über die Bausteine des Data Center Bridging (eigener Artikel) hergestellt wird:
- PFC (Priority Flow Control) pausiert gezielt die RDMA-Verkehrsklasse statt des ganzen Links, sodass deren Puffer nicht überlaufen.
- ECN und DCQCN signalisieren beginnenden Stau frühzeitig, sodass der Sender seine Rate drosselt, bevor PFC überhaupt eingreifen muss.
- Jumbo Frames reduzieren den Overhead; die MTU muss über die ganze Fabric konsistent sein.
RoCEv2 ist kein Plug-and-Play. Es funktioniert nur, wenn das verlustarme Netz auf jedem Hop stimmt; ein einziger falsch konfigurierter Switch genügt, um die Leistung zu zerstören.
4. Typische Fehlerbilder
Die größte Betriebsschwierigkeit von RoCE liegt in eben dieser Netzkonfiguration. Verbreitete Probleme: PFC-Deadlocks, bei denen sich PFC-Pausen über mehrere Switches zu einer zyklischen Blockade aufschaukeln und das Netz einfriert; Head-of-Line-Blocking, bei dem eine pausierte Klasse andere mitzieht; und schlicht inkonsistente PFC- oder ECN-Einstellungen, die als sporadische Latenzspitzen oder Durchsatzeinbrüche auftauchen. Gegen Deadlocks setzen Switches einen PFC-Watchdog ein, der herstellerspezifisch, nicht genormt ist.
5. Wofür RoCE genutzt wird
RoCE ist die Transportgrundlage für NVMe/RDMA und iSER und damit für schnellen Block-Speicher im Netz. Sein zweites großes Feld sind HPC- und vor allem KI-Cluster, in denen GPUs über RoCE-Backends mit sehr niedriger Latenz kommunizieren. In diesen Bereichen hat sich Ethernet mit RoCE neben InfiniBand als ernsthafte Option etabliert.
6. Sicherheit
RoCE bringt keine eigene Verschlüsselung oder Authentifizierung mit; der Verkehr läuft im Klartext. In einem physisch getrennten, kontrollierten Fabric ist das akzeptiert. Wo das nicht gegeben ist, kommen MACsec auf der Ethernet-Strecke oder IPsec (bei RoCEv2 über UDP/IP, auf modernen Karten hardwarebeschleunigt) hinzu. Auch gefälschte PFC-Pause-Frames sind ein denkbarer Störvektor, was die Bedeutung eines kontrollierten Netzes unterstreicht.
7. Stärken und Grenzen
| Stärken | Grenzen |
|---|---|
| Sehr geringe Latenz und CPU-Last (Zero-Copy) | verlangt verlustarmes Ethernet über die ganze Fabric |
| RoCEv2 routbar, skaliert in Spine-Leaf-Fabrics | PFC-Deadlocks und Head-of-Line-Blocking als Risiken |
| Basis für NVMe/RDMA, iSER, HPC- und KI-Backends | anspruchsvoller Betrieb, schwierige Fehlersuche |
| Breite Hardware-Unterstützung (rNICs) | keine native Verschlüsselung (MACsec/IPsec nötig) |
| Ethernet statt separatem InfiniBand-Netz | homogene, kontrollierte Umgebung erforderlich |
Häufige Fragen zu RoCE
RoCEv1 kapselt RDMA direkt in Ethernet (EtherType 0x8915) und ist auf Layer 2 beschränkt, also nicht routbar. RoCEv2 setzt RDMA auf UDP/IP (Port 4791) und ist über Layer-3-Grenzen routbar, weshalb es auch „Routable RoCE“ heißt. RoCEv2 ist die heute eingesetzte Variante, weil es in modernen Spine-Leaf-Fabrics skaliert.
RDMA verträgt Paketverluste schlecht, deshalb verlangt RoCEv2 ein verlustarmes Ethernet mit Priority Flow Control und ECN/DCQCN. Diese Einstellungen müssen auf jedem Switch im Pfad konsistent sein. Fehlkonfigurationen führen zu schwer auffindbaren Latenzspitzen oder im schlimmsten Fall zu PFC-Deadlocks, die das Netz einfrieren.
Auch der Autor ist nur ein Mensch, dem Fehler unterlaufen können. Wenn in diesem Beitrag etwas nicht stimmt oder unklar ist, freuen wir uns über einen kurzen Hinweis über das Kontaktformular unten, wir prüfen und korrigieren das.
Der nächste Schritt
RoCE im eigenen Haus richtig einsetzen?
Wir klären, ob und wie der Baustein zu Ihrer Infrastruktur passt, und sagen offen, wann sich der Aufwand lohnt und wann nicht.