Kubernetes will das IPVS-Backend von kube-proxy in 1.40 entfernen und rät zu nftables
Kubernetes SIG Network plant, das IPVS-Backend von kube-proxy in Kubernetes 1.40 zu entfernen, schrieb Dan Winship von Red Hat am 16. November im Kubernetes-Blog. Das Backend ist seit 1.35 als veraltet markiert und funktioniert mit Warnung weiter; alle IPVS-Nutzer sollten den Umstieg auf das nftables- oder das iptables-Backend planen.
Das IPVS-Backend entstand, um zwei Skalierungsprobleme des iptables-Backends zu lösen: Verbindungsaufbau, der je Service eine Regel durchlaufen musste, und kube-proxy, das bei jeder Änderung den ganzen Regelsatz neu schrieb, was in sehr großen Clustern ständig eine CPU belegte. IPVS löste beides mit Hashtabellen und schrittweisen Aktualisierungen. Doch die IPVS-API des Kernels passte laut Beitrag schlecht zur Services-API von Kubernetes. Das Backend setzte nie alle Sonderfälle um, die ursprünglichen Autoren wandten sich anderem zu, und ohne Sammelaktualisierung konnte es langsamer als iptables sein, wenn sich vieles auf einmal änderte. Für Funktionen jenseits einfacher Lastverteilung greift es zudem auf iptables zurück und teilt damit dessen langfristiges Problem: Red Hat will die iptables-API aus Red Hat Enterprise Linux entfernen.
Auch die IPVS-Scheduler, die manche Nutzer wollten, helfen laut Beitrag nicht, weil kube-proxy auf jedem Knoten Endpunkte wählt, ohne zu wissen, was andere Knoten tun; selbst Maglev-Hashing ist dort nicht besser als Zufallsauswahl.
Für Cluster ab Kubernetes 1.36 mit Linux-Kernel 5.13 oder neuer empfiehlt das Projekt den nftables-Modus, seit 1.33 GA, aber mit Leistungskorrekturen, die nicht vor 1.36 zurückportiert wurden. Er ist vollständig und nach den Messungen des Projekts sogar minimal schneller als IPVS. In einem kubeadm-Cluster genügt es, in der ConfigMap von kube-proxy mode: ipvs durch mode: nftables zu ersetzen und die kube-proxy-Pods neu zu starten; IPVS-spezifische Optionen brauchen ihre nftables-Entsprechung. Wo nftables nicht geht, ist das iptables-Backend seit 2017 stark optimiert worden.

Warum es zählt
Die Abkündigung hat jetzt ein Datum: 1.40. Cluster auf IPVS haben einen unterstützten Weg und eine Untergrenze - 1.36 und Kernel 5.13 für nftables -, und der Beitrag erklärt, warum IPVS keine Option bleibt, sobald die iptables-API, auf die es sich stützt, aus RHEL verschwindet.