Amazon greift Nvidias eigentlichen Burggraben an: die Software

Nvidias größter Vorteil bei KI ist nicht nur das Silizium. Es ist die Softwarepraxis, die sich rund um dieses Silizium entwickelt hat – und genau diese Praxis greift Amazon nun an.

Amazon hat TorchNeuron vorgestellt, ein Open-Source-Tool, mit dem Entwickler bestehenden PyTorch-Code auf seinen Trainium-KI-Chips ausführen können sollen – durch eine Änderung der Konfiguration statt einer vollständigen Neuentwicklung. Reuters berichtet, dass sich der Schritt ebenso gegen Nvidias Softwarevorteil wie gegen dessen Hardware richtet.

Google verfolgt mit TorchTPU eine ähnliche Strategie. Dabei handelt es sich um ein Open-Source-Backend für PyTorch, das nativ auf Googles TPUs läuft und in Zusammenarbeit mit Meta und dem PyTorch-Team entwickelt wurde. Das Muster ist klar: Die nächste ernsthafte Herausforderung für Nvidia könnte weniger von einem Chip-Benchmark ausgehen als davon, Entwicklern das Gefühl zu geben, beim Ausprobieren einer Alternative weniger zu verlieren.

Nvidias Burggraben sind die Kosten des Wechsels – nicht nur die Qualität des Ziels

CUDA ist wichtig, weil es unter einem gewaltigen Teil der KI-Entwicklung auf Nvidia-GPUs liegt. Entwickler schreiben ihre Anwendungen möglicherweise eher in PyTorch als direkt in CUDA, doch der umgebende Software-Stack hilft diesen Anwendungen, effizient auf Nvidia-Hardware zu laufen. Mit der Zeit bauen Teams Arbeitsabläufe, Optimierungen und Produktionssysteme rund um diese Umgebung auf.

Dadurch entstehen Wechselkosten, die auf keinem Datenblatt für Chippreise auftauchen. Ein konkurrierender Beschleuniger kann wirtschaftlich attraktiv sein, doch die vermeintliche Ersparnis kann verschwinden, wenn Ingenieure erheblichen Aufwand in die Anpassung des Codes, die Prüfung des Verhaltens und den Neuaufbau betrieblicher Abläufe stecken müssen.

Genau deshalb ist TorchNeuron strategisch wichtig. Amazon muss nicht sofort jeden Entwickler zum Abschied von Nvidia bewegen. Es muss lediglich das Experimentieren mit Trainium weniger schmerzhaft machen. Wenn das Ausprobieren eines anderen Beschleunigers eine Änderung der Einstellung statt eines umfangreichen Entwicklungsprojekts erfordert, lässt sich die Entscheidung leichter bewerten – und Nvidias Kunden erhalten bei Verhandlungen eine glaubwürdigere Alternative.

Aus unserer Sicht ist das ein wirksamerer Angriff auf CUDA, als lediglich zu behaupten, ein anderer Chip sei schneller oder günstiger. Leistungsversprechen können je nach Workload unterschiedlich ausfallen. Die Kosten für das Testen einer Alternative zu senken, verändert das gesamte Einkaufsgespräch.

„Eine Änderung der Konfiguration“ ist vielversprechend, aber keine magische Portabilität

Amazon sagt, TorchNeuron könne PyTorch-Code mit minimalen Änderungen auf Trainium ausführen. Technology Org beschreibt das Tool als Open Source und darauf ausgelegt, umfangreiche Codeänderungen zu vermeiden. Das ist eine bedeutende Verbesserung gegenüber der vollständigen Neuentwicklung einer Anwendung für einen anderen Beschleuniger – insbesondere für Teams, die Amazons speziell entwickelte Chips testen möchten, ohne sich auf eine vollständige Migration festzulegen.

Die Aussage muss jedoch eng ausgelegt werden. Das dokumentierte Versprechen bezieht sich auf PyTorch-Workloads, und das Tool befindet sich in einer öffentlichen Beta. Spezialisiertere Systeme, benutzerdefinierter CUDA-Code und Abhängigkeiten in Produktionsumgebungen können einen Wechsel weiterhin erschweren. Ein Modell, das auf Trainium startet, ist nicht automatisch ein Produktionssystem, das genauso leistungsfähig skaliert und sich exakt so verhält wie auf Nvidia-Hardware.

Amazon zufolge nutzen mehr als 30 frühe Kunden das Tool, unter anderem in den Bereichen Robotik, Sprach-KI und Weltmodelle. Das zeigt, dass das Problem real ist und Entwickler Interesse haben. Es beweist jedoch noch nicht, dass sich jeder anspruchsvolle Workload in großem Maßstab problemlos übertragen lässt.

Die vernünftige Interpretation lautet: TorchNeuron senkt die erste und einschüchterndste Hürde – ein bestehendes PyTorch-Projekt zum Laufen zu bringen. Die schwierigeren Fragen zu Leistung, Zuverlässigkeit, Fehlersuche und Wirtschaftlichkeit müssen weiterhin für jeden Workload einzeln beantwortet werden.

Googles TorchTPU zeigt, dass es um mehr als ein Amazon-Produkt geht

Amazons Schritt ist umso bedeutender, weil er in einen breiteren Wandel bei der Herangehensweise von Hardwareunternehmen an KI-Software passt. PyTorch beschreibt TorchTPU als Open-Source-Zusammenarbeit von Google und Meta, die ein natives PyTorch-Backend für Googles TPUs bereitstellt. Google hat TorchTPU außerdem als Stack vorgestellt, mit dem PyTorch nativ auf seiner TPU-Infrastruktur ausgeführt werden kann.

Die wettbewerbliche Botschaft ist eindeutig: Entwickler sollten ein vertrautes Framework nutzen können, ohne ihre gesamte Softwarestrategie für jede Chipfamilie neu aufbauen zu müssen. Das macht Trainium und TPUs nicht austauschbar. Sie bleiben an unterschiedliche Hardware- und Cloud-Umgebungen gebunden. Doch der psychologische und technische Aufwand, sie zu erkunden, kann dadurch sinken.

Das ist gut für Entwickler und potenziell unangenehm für Nvidia. Die Stärke von CUDA beruht teilweise auf den kumulierten Investitionen: Je mehr Teams darauf aufbauen, desto teurer wird es, Alternativen überhaupt in Betracht zu ziehen. Native-PyTorch-Anbindungen beginnen, diesen Rückkopplungseffekt aufzubrechen.

Dennoch gibt es eine wichtige Ironie. Eigene Beschleuniger leichter nutzbar zu machen, könnte die Cloud-Plattformen stärken, die diese Beschleuniger kontrollieren. TorchNeuron erleichtert die Nutzung von Trainium innerhalb von AWS. TorchTPU macht Googles TPU-Umgebung zugänglicher. Der Code mag auf Framework-Ebene portabler sein, während die übergeordnete Anwendung eng mit der Infrastruktur, den Diensten und der Kapazität eines einzelnen Anbieters verbunden bleibt.

Der Gewinner wird die Plattform sein, die einen Wechsel glaubwürdig macht

Das bedeutet nicht, dass Open-Source-Kompatibilität überschätzt wird. Es bedeutet, dass Kompatibilität nur der Anfang von Portabilität ist. Für eine echte Migration benötigen Unternehmen außerdem Sicherheit hinsichtlich Leistung, Verfügbarkeit und Tooling sowie bei den Kosten für den Betrieb des vollständigen Workloads – nicht nur des Modellcodes.

Diese Unterscheidung sollte bestimmen, wie Unternehmen solche Ankündigungen bewerten. Sie sollten Trainium oder TPUs dort testen, wo der Workload den Einsatz rechtfertigt, aber nicht annehmen, dass eine einfachere Migration zu einem Beschleuniger jede Abhängigkeit beseitigt. Die richtige Frage lautet nicht: „Kann dieser PyTorch-Code anderswo ausgeführt werden?“ Sie lautet: „Wie viel von dem umliegenden System kann migriert werden, und was würde es kosten, das nachzuweisen?“

Amazon hat einen klugen Schritt gemacht, weil das Unternehmen genau die Reibung angreift, die Nvidia vor gewöhnlichem Wettbewerb schützt. Googles TorchTPU-Projekt zeigt, dass sich dieselbe Idee über einen einzelnen Herausforderer hinaus ausbreitet. Keines der beiden Projekte beseitigt die Reife von CUDA, und keines beweist, dass Nvidias Vorsprung bald verschwinden wird.

Unser Urteil: TorchNeuron ist ein bedeutender Riss in Nvidias Software-Burggraben, aber keine Revolution der Portabilität. Entwickler sollten glaubwürdige Alternativen testen, während Nvidia-Kunden jedes Tool begrüßen sollten, das ihnen mehr Verhandlungsmacht verschafft. Beim eigentlichen Wettbewerb geht es nicht mehr nur darum, welcher Chip die beste Leistung bietet. Es geht darum, wie teuer es ist, seine Meinung zu ändern.