Einleitung
So oft wurde das Ende von NVIDIAs CUDA-Graben bereits verkündet, dass es fast schon ein Ritual der Branche ist.
Ein neuer Beschleuniger erscheint. Ein Compiler geht in die öffentliche Testphase. Ein Cloud-Anbieter bewirbt seinen eigenen KI-Chip. Eine Programmierabstraktion verspricht portable Kernel. Jemand verkündet, dass Entwickler kein CUDA mehr von Hand schreiben müssen.
Dennoch bleibt CUDA weiterhin zentral für die KI-Infrastruktur der nächsten Generation.
Die neueste Herausforderung ist deshalb interessanter, weil sie von der KI selbst kommt.
Infinity, ein von dem ehemaligen Google-Brain-Forscher Jeremy Nixon gegründetes KI-Infrastruktur-Startup, behauptet, dass sein Ignition-Agent wesentliche Teile des Inferenz-Software-Stacks auf den ungewohnten d-Matrix-Corsair-Beschleuniger portiert hat – und das weit schneller, als es herkömmliche Engineering-Prozesse ermöglichen würden.
Das auffälligste Ergebnis: In etwa 10 Stunden realisierte Ignition tensorparallele Matrixmultiplikation auf allen 32 Recheneinheiten und erreichte dabei 92 % der gemessenen Rechenobergrenze des Chips.
Das ist ein beachtliches Ergebnis. Aber es bedeutet nicht, dass CUDA in 10 Stunden neu gebaut wurde.
Infinitys eigene Fallstudie weist darauf hin, dass der vollständige End-to-End-Qwen3-Inferenzpfad etwa 10 Tage dauerte, wobei jede benötigte Operation für die neue Hardware neu geschrieben wurde. CUDA ist jedoch keine Matrixmultiplikationsimplementierung oder ein Modell-Runtime. Es ist eine ausgereifte Plattform, die Compiler, Laufzeitumgebungen, Bibliotheken, Leistungsanalyse- und Debugging-Tools, Kommunikationssysteme, Framework-Integration, Dokumentation sowie fast zwei Jahrzehnte Produktionserfahrung umfasst.
Die bessere Frage ist nicht, ob KI CUDA über Nacht kopiert hat.
Sondern ob Coding-Agenten die Zeit drastisch verkürzen können, die benötigt wird, um einen neuen KI-Chip nutzbar zu machen.
Die Antwort tendiert zunehmend zu „Ja“.
Der CUDA-Graben war nie nur die GPU
Am bekanntesten ist NVIDIA für Hardware: H100, Blackwell, Rubin und die großen Systeme, die darum herum gebaut werden.
Sein nachhaltigster Vorteil ist die Software, die um die Hardware herum aufgebaut ist.
CUDA steht für Compute Unified Device Architecture. NVIDIA beschreibt es als beschleunigte Computing-Plattform, nicht nur als Programmiersprache.
Die CUDA-Plattform umfasst:
- GPU-Programmiermodell.
- Compiler-Toolchain.
- Laufzeitbibliotheken.
- Treiberschnittstellen.
- Hochoptimierte Mathematik- und KI-Bibliotheken.
- Debugging- und Leistungsanalysetools.
- Multi-GPU-Kommunikationssoftware.
- Framework-Integration.
- Dokumentation, Schulungen und Codebeispiele.
- Ein großes Ökosystem aus Entwicklern und Partnern.
Auf der untersten Ebene ermöglicht es CUDA Ingenieuren, Kernel zu schreiben, die direkt auf NVIDIA-GPUs ausgeführt werden.
Darüber liegen Bibliotheken wie cuBLAS, cuDNN, cuFFT, NCCL, TensorRT und TensorRT-LLM. Über den Bibliotheken liegen PyTorch, TensorFlow, JAX, Inferenzserver, Forschungscode und unternehmensinterne Systeme.
Eine vereinfachte Ansicht sieht folgendermaßen aus:
Anwendungen und KI-Frameworks
↓
Optimierte Bibliotheken und verteilte Systeme
↓
Compiler, Laufzeitumgebungen, Profiler, Debugger und Kernel
↓
NVIDIA-GPUs und Interconnect-Technologien
Unternehmen bleiben nicht nur wegen der Vertrautheit mit der CUDA-Syntax im NVIDIA-Ökosystem, sondern weil Modelle, Tests, Bereitstellungssysteme, Leistungserwartungen, Debugging-Prozesse und Produktionsteams bereits von der gesamten Technologie-Stack abhängen.
Ein Hardware-Wechsel kann weit mehr bedeuten als das Übersetzen von Quellcode – es kann bedeuten, Vertrauen neu aufzubauen.
Was Infinity in 10 Stunden tatsächlich getan hat
Infinitys offizielle Fallstudie ist deutlich präziser als die weit verbreiteten Schlagzeilen.
Das Unternehmen arbeitete mit d-Matrix zusammen, einem Startup, das sich auf Inferenzhardware für generative KI spezialisiert hat. Deren Corsair-Beschleuniger verwendet eine andere Architektur und einen anderen Befehlssatz als NVIDIAs GPUs. Infinity gibt an, dass der Chip kaum öffentliche Software-Historie hat, aus der allgemeine Programmiermodelle direkt aus Trainingsdaten reproduziert werden könnten.
Ignition erhielt die Hardware-Informationen und begann, die zugrunde liegende Software zu generieren, die für den Betrieb von KI-Workloads erforderlich ist.
Nach Angaben von Infinity erreichte das System in etwa 10 Stunden:
- Tensorparallele Matrixmultiplikation.
- Ausführung auf allen 32 Corsair-Recheneinheiten.
- Bis zu 92 % „Lichtgeschwindigkeits“-Leistung.
Infinity definiert „Lichtgeschwindigkeit“ als das Verhältnis der vom generierten Kernel erreichten Rechenspitze des Chips zur theoretisch erreichbaren Spitzenleistung. Die empirische Obergrenze in der veröffentlichten Fallstudie selbst liegt bei etwa 90 % der theoretischen Spitze.
Das ist ein hervorragendes schnelles Kernel-Ergebnis, aber keine vollständige, CUDA-äquivalente Plattform.
Zehn Stunden: Hochleistungs-Matrixmultiplikation
Matrixmultiplikation ist das Herzstück der Transformer-Inferenz, aber nur eine von vielen Operationen.
Ein vollständiges Modell erfordert zusätzlich Aufmerksamkeitsmechanismen, Normalisierung, Aktivierungsfunktionen, Routing, Quantisierung, KV-Cache-Verwaltung, Sampling, Tensorbewegungen, Zustandsverwaltung und Modell-Serving.
Zehn Tage: End-to-End-Modellinferenz
Infinity gibt an, dass Qwen3 in etwa 10 Tagen End-to-End auf Corsair lief. Eine spätere Finanzierungsankündigung besagt, dass in diesem Zeitraum drei Frontmodelle End-to-End liefen, wobei die Kernel von Grund auf neu geschrieben wurden.
Diese längere Zeitspanne ist dennoch beeindruckend.
Die Verkürzung der Zeit, einen ungewohnten Beschleuniger von grundlegenden Operationen zu einem lauffähigen Modell-Runtime zu bringen – von Monaten auf Tage – könnte die wirtschaftlichen Rahmenbedingungen für die Einführung neuer Hardware grundlegend verändern.
| Behauptung | Präzisere Einordnung |
|---|---|
| „KI hat CUDA in 10 Stunden neu erschaffen“ | Übertrieben |
| Matrixmultiplikation läuft in 10 Stunden | Von Infinity berichtet |
| 92 % der empirischen Obergrenze erreicht | Von Infinity berichtet |
| Qwen3 läuft in etwa 10 Tagen End-to-End | Von Infinity berichtet |
| Infinity baut eine universelle Inferenzbibliothek | Von Infinity bestätigt |
| Das vollständige CUDA-Ökosystem wurde reproduziert | Nein |
Ignition ist ein automatisierter Kernel- und Inferenz-Engineering-Agent
Infinity bezeichnet Ignition als KI-Forschungsagenten.
Sein Ziel ist es, die zugrunde liegende Software zu generieren und zu verbessern, die Modelloperationen in effiziente Arbeit auf einem bestimmten Chip übersetzt.
Dieser Zyklus ähnelt einem automatisierten Performance-Engineering-Prozess:
Code generieren
→ Kompilieren
→ Auf Hardware ausführen
→ Korrektheit testen
→ Leistung messen
→ Engpässe diagnostizieren
→ Implementierung ändern
→ Wiederholen
Infinity baut eine modellbewusste Inferenzsoftware-Schicht für Hardware-Anbieter und Inferenzdienstleister. Der festgelegte Arbeitsablauf ist tatsächlich:
Hardware-Spezifikationen
→ Generierte Produktionsreife Inferenzsoftware
Berichten zufolge hat Infinity außerdem eine
NVIDIA-Inferenz-Engine von Grund auf neu erstellt, die auf Qwen3-8B eine um bis zu 34,3 % höhere Leistung als eine konfigurationsgleiche vLLM-Implementierung erzielt.
Dieses Ergebnis wird vom Unternehmen selbst berichtet und hängt von Hardware, Batch-Einstellungen, Modellkonfiguration und Messmethoden ab. Dennoch zeigt es, dass die Ambitionen von Infinity weit über das grundlegende Chip-Startup hinausgehen.
DeepSeek TileKernels erfordert dieselbe Präzision
Der ursprüngliche Text erwähnte auch das TileKernels-Repository von DeepSeek.
TileKernels ist eine Bibliothek optimierter GPU-Kernel, die mit TileLang geschrieben wurde, einer Python-basierten domänenspezifischen Sprache für die Hochleistungs-Kernelentwicklung.
Das Repository enthält die folgenden Operationen:
- Mixture-of-Experts (MoE)-Gating.
- MoE-Routing.
- FP8- und FP4-Quantisierung.
- Transposition.
- Engram-Gating.
- Manifold HyperConnection.
- PyTorch-Autograd-Wrapper.
DeepSeek gibt an, dass viele Kernel in Bezug auf Rechenintensität oder Speicherbandbreite nahe an den Hardwaregrenzen liegen und einige Kernel bereits intern verwendet werden.
TileLang reduziert die Menge an Low-Level-CUDA-C++-Code, die Ingenieure manuell schreiben müssen.
In seiner aktuellen Form deutet es nicht darauf hin, dass DeepSeek die Abhängigkeit vom NVIDIA-Technologie-Stack beseitigt hat.
Die offiziellen aktuellen Anforderungen von TileKernels umfassen:
NVIDIA SM90- oder SM100-GPU
CUDA Toolkit 13.1 oder höher
PyTorch 2.10 oder höher
TileLang 0.1.9 oder höher
Die aktuelle Bibliothek ist für die neuesten NVIDIA-Architekturen konzipiert. Sie verringert die Abhängigkeit von handgeschriebenem CUDA-Quellcode, nicht jedoch die Abhängigkeit von NVIDIA-Hardware oder dem CUDA-Toolkit.
TileLang hat einen größeren Umfang als die aktuelle DeepSeek-Bibliothek
TileLang selbst hat breitere Ambitionen.
Das Projekt beschreibt ein geteiltes Programmiermodell (tiled programming model) basierend auf der TVM-Compiler-Infrastruktur mit Python-Syntax für GPU-, CPU- und Beschleuniger-Kernel.
Das Ziel ist es, den vom Ingenieur gewünschten Datenfluss von der Low-Level-Planung zu trennen, die für eine effiziente Ausführung erforderlich ist.
TileLang hat kontinuierlich Multi-Backend-Sprachunterstützung sowie Hardware-Pfade mit CUDA, ROCm und Metal hinzugefügt.
Diese Portabilität kann die Wechselkosten zwischen Anbietern senken, jedoch nur, wenn die generierten Ergebnisse korrekt, stabil, debugbar und im Vergleich zu Anbieterbibliotheken wettbewerbsfähig sind.
Ein Kernel, der überall läuft, aber eine schlechte Leistung bietet, ersetzt keinen CUDA-Pfad in der Produktion.
Korrekter Code kann trotzdem hunderte Male langsamer sein
Ein Forschungspapier vom Juli 2026 untersuchte die Kluft zwischen Kernel-Korrektheit und Substitutionsqualität in Triton und TileLang.
Die Autoren fanden heraus, dass Kernel numerische Korrektheitstests bestehen können, aber weit unter der optimierten Baseline liegen. Ein TileLang-LayerNorm-Implementierung war Berichten zufolge trotz bestandener Korrektheitsprüfung mehr als 300-mal langsamer als die PyTorch-Baseline.
Das Papier ist nicht gegen TileLang, sondern plädiert dafür, generierte Kernel anhand von zwei Dimensionen zu bewerten:
Korrektheit
+
Hardware-Effizienz
Die Codegenerierung wird immer schneller. Aber zu beweisen, dass generierter Code ausreicht, um ausgereifte Produktionssoftware zu ersetzen, bleibt schwierig.
Inferenz ist das erste Hauptschlachtfeld
Die Herausforderung an CUDA ist im Inferenzbereich glaubwürdiger als im Training von Frontier-Modellen.
Training priorisiert maximale Größe und Stabilität
Groß angelegte Trainingsläufe können Tausende oder Zehntausende von
Beschleunigern umfassen, die über Wochen oder Monate zusammenarbeiten.
Trainingsplattformen müssen verteilte Kommunikation über viele Geräte, Checkpoints, Fehlerwiederherstellung, Speicherverwaltung, Parallelität, Reproduzierbarkeit und Debugging bewältigen.
Ein einzelner Hardware- oder Softwarefehler kann enorme Rechenleistung verschwenden. Daher sind Institutionen oft sehr vorsichtig, wenn es darum geht, wichtige Trainingslasten von ausgereiften Systemen zu migrieren.
CUDA, CUDA-X-Bibliotheken, NCCL, PyTorch-Unterstützung und die integrierten Netzwerkfähigkeiten von NVIDIA geben dem Unternehmen eine starke Position in diesem Bereich.
Inferenz priorisiert die Kosten pro nützlicher Antwort
Inferenz ist der Dienst, der nach Abschluss des Modelltrainings bereitgestellt wird.
Die relevanten Geschäftskennzahlen liegen typischerweise näher an:
Akzeptable Ausgabequalität
÷
Gesamte Bereitstellungskosten
Inferenz kann auf einzelnen Beschleunigern, kleinen Clustern, großen Flotten und spezieller Hardware verteilt werden.
Neue Chips müssen NVIDIA nicht in allen Szenarien ersetzen. Es reicht möglicherweise, für ein bestimmtes Modell oder eine bestimmte Last Vorteile bei geringeren Kosten, höherer Geschwindigkeit, geringerem Stromverbrauch, höherem Durchsatz oder besser vorhersagbarer Latenz nachzuweisen.
Dieses engere Ziel bietet spezialisierter Hardware einen realistischen Einstiegspunkt.
d-Matrix ist rund um generative KI-Inferenz aufgebaut
d-Matrix wurde 2019 gegründet und konzentriert sich auf Inferenzbeschleunigung. Seine Corsair-Plattform nutzt eine große Menge an On-Chip-SRAM und zielt darauf ab, die Kosten und den Energieverbrauch für den Betrieb generativer Modelle zu senken.
Das Mainboard innerhalb der Corsair-Plattform, auf dem sich zwei silberne Chips befinden, auf denen „d
- Matrix Corsair“ aufgedruckt ist. Das Mainboard ist überwiegend rot, mit schwarzen Bereichen an den Rändern. Unter dem Bild steht in weißer Schrift „Inside Corsair“. Das Bild steht im Zusammenhang mit der Vorstellung der d-Matrix-Plattform im Dokument. d-Matrix wurde 2019 gegründet und konzentriert sich auf Inferenzbeschleunigung. Die Corsair-Plattform nutzt eine große Menge an On-Chip-SRAM und zielt darauf ab, die Kosten und den Energieverbrauch beim Ausführen generativer Modelle zu senken. Dieses Bild veranschaulicht direkt die Hardwarestruktur.](https://we0-cms.oss-cn-beijing.aliyuncs.com/cms-assets/image/2026/08/7b46546d-4787-4072-8600-594ea2d4721b-3c12b52c-c947-415d-b99b-13e56fe08d1f.png)
Die Arbeit von Infinity löst eines der klassischen Probleme, mit denen neue Beschleuniger konfrontiert sind.
Ein Chip mag vielversprechende Hardware besitzen, aber solange Kernel, Modellausführung, Speicherverwaltung, Quantisierung, Service-Logik und Integrationslösungen nicht bereit sind, können Kunden ihn nicht effizient nutzen.
Wenn ein Agent diesen Hochfahrprozess von Monaten auf Tage verkürzen kann, können Hardware-Startups Unterstützung nahe am Modellrelease bieten und die Hardwarefähigkeiten früher demonstrieren.
Dies schwächt einen Teil des NVIDIA-Softwarevorteils, beseitigt ihn aber nicht vollständig.
Andere Anbieter zielen ebenfalls auf dieselbe Bresche
Der Inferenzmarkt umfasst mehrere Herausforderer:
Erstelle in Minuten eine Showcase-Website und gewinne Leads
Beschreibe deine Idee einmal, und We0 AI erstellt eine Showcase-Website, Seiten und ein CMS und hilft nach dem Launch bei Kunden und Traffic.
Eine komplette Projektgeneration zur kostenlosen Registrierung
Am besten geeignet, um einen vollständigen Generierungsablauf auszuprobieren und schnell einen ersten Projektentwurf zu sehen.
| Anbieter oder Plattform | Gesamtpositionierung |
|---|---|
| Rebellions | Spezielle KI-Inferenzbeschleuniger und -systeme |
| Cerebras | Wafergroße Systeme für Training und Inferenz |
| AWS Inferentia | Von Amazon entwickelter Inferenzchip, nutzt Neuron SDK |
| Google TPU | Google-Beschleuniger mit Unterstützung durch XLA und gängige Frameworks |
| AMD Instinct | Rechenzentrums-GPUs mit ROCm-Plattform |
| d-Matrix | SRAM-zentrierte Beschleunigung generativer KI-Inferenz |
| NVIDIA | GPUs und CUDA-Beschleunigungs-Stack |
Der Druck kommt von Software-Ebenen, die es Nutzern ermöglichen, Modelle bereitzustellen, ohne jeden Vorgang manuell neu schreiben zu müssen, darunter AWS Neuron, Google XLA, AMD ROCm, Modular MAX und Mojo, TileLang, Triton sowie KI-generierte Kernelsysteme.
Je mehr diese Software-Ebenen automatisieren, desto seltener müssen Anwendungsentwickler manuell eingreifen.
Direkt über CUDA.
Chipübergreifende Software kann die Sperrwirkung verringern
Die Sperrwirkung von CUDA ist am stärksten, wenn Anwendungen und ihre optimierten Kernel eng an NVIDIA-Hardware gebunden sind.
Eine portierbare Inferenzschicht zielt auf folgenden Ablauf ab:
Modell
→ Portierbare Ausführungsebene
→ Generieren oder Auswählen von Hardware-Kerneln
→ Zielbeschleuniger
Die reale Welt ist komplexer, da verschiedene Chips unterschiedliche Speicherhierarchien, numerische Formate, Verbindungsarten, Scheduling-Verhalten und unterstützte Operationen aufweisen.
Hohe Leistung erfordert weiterhin oft hardware-spezifische Arbeit.
Der Kernpunkt von Infinity ist, dass Agenten diese Spezialisierungsarbeit automatisch erzeugen können.
Der Burggraben von CUDA ist mehr als nur vorhandener Code
Das Ergebnis von 10 Stunden kann nicht die Vermögenswerte replizieren, die CUDA schwer ersetzbar machen.
Diese Vermögenswerte umfassen:
Ausgereifte Bibliotheken
Viele Organisationen verwenden Anbieterbibliotheken, anstatt Kernel direkt zu schreiben. cuBLAS, cuDNN, TensorRT, NCCL und andere Bibliotheken enthalten jahrelange Optimierungserfahrung.
Debug- und Analysewerkzeuge
NVIDIA Nsight und verwandte Werkzeuge helfen Ingenieuren, Korrektheit, Speicherverhalten, Zeitabläufe, Kommunikation und Leistung zu verstehen.
Framework-Unterstützung
Neue Modellfunktionen werden in der Regel frühzeitig für NVIDIA-Hardware integriert und optimiert.
Bereitstellungswissen
Produktionsteams verstehen, wie sich NVIDIA-Systeme unter Last verhalten.
Dokumentation und Schulung
Das Ökosystem umfasst Beispiele, Kurse, Konferenzvorträge, Community-Antworten und Expertenressourcen.
Bestehende Investitionen
Unternehmen haben Millionen von Codezeilen, Tests, Beschaffungsprozesse und Mitarbeiterfähigkeiten an diese Plattform gebunden.
KI mag die Übersetzungskosten senken, beseitigt aber nicht automatisch die organisatorischen Wechselkosten.
Validierung könnte der nächste CUDA-Burggraben werden
Bing Xu, Gründer von INT21 und ehemaliger Gründer des von NVIDIA übernommenen HippoML, glaubt, dass Validierung der Hauptengpass ist.
Agenten können schnell Code generieren. Aber Produktionsteams benötigen weiterhin Belege dafür, dass er:
- Korrekte numerische Ausgaben erzeugt.
- Für verschiedene Formen und Datentypen geeignet ist.
- Randfälle behandelt.
- Den Speicher nicht beschädigt.
- Unter Parallelität stabil bleibt.
- Bei verschiedenen Arbeitslasten gut abschneidet.
- Treiber- und Hardwareänderungen bewältigt.
- Korrekt mit anderen Teilen des Software-Stacks interagiert.
NVIDIA verfügt bereits über umfangreiche Konformitätstests, Leistungstests, Referenzimplementierungen, Simulatoren, Performance-Analyzer, Compiler-Diagnosen, Produktionsarbeitslasten und historische Fehlerdaten.
Diese Vermögenswerte machen Agenten nützlicher.
Daher könnte KI den Burggraben von der Codegenerierung hin zur Qualität der Validierungsumgebung verlagern.
NVIDIA baut seine eigenen CUDA-Agenten
Die Technologien, die CUDA herausfordern, gelten gleichermaßen für NVIDIA.
Business Insider zitiert Ankit Patel, Vizepräsident des NVIDIA-Entwicklerökosystems, mit den Worten, dass das Unternehmen KI-Codierungsagenten einsetzt, um CUDA schneller zu entwickeln und in größerem Umfang zu validieren.
NVIDIA hat bereits
Zudem wird eine CUDA-Intelligenz-Strategie vorgeschlagen, die bestehendes CUDA-Wissen, Optimierungskompetenz, Cloud-basiertes Performance-Profiling, Nsight-Tools, Benchmarks und MCP-basierte Dienste kombiniert.
NVIDIA pflegt ComputeEval, eine offene Benchmark-Suite für KI-generierte CUDA- und CUDA-Kern-Bibliothekscodes.
Die Benchmark umfasst Aufgaben mit Tensor Cores, Shared Memory, Warp-Level-Primitiven, CUDA-Graphen, Streams und Events.
Der Wettbewerb ist also relativ:
Geschwindigkeit, mit der Herausforderer-Software aufholt
gegenüber
Geschwindigkeit der NVIDIA-Softwareverbesserungen
Chris Lattner: Der Hype ist real, aber übertrieben
Mitgründer und CEO von Modular, Chris Lattner, vertritt eine abgewogenere Sichtweise.
Er ist der Ansicht, dass Codierungsagenten eine inkrementelle Verbesserung darstellen, keine sofortige Zerstörung des CUDA-Vorteils.
Der Quellartikel fasst drei Gründe zusammen.
Code zu schreiben ist nur ein Teil der Arbeit
Die Optimierung für die Produktion entscheidet, ob ein Chip wirtschaftlich nutzbar ist. Die letzten Prozentpunkte der Leistung können erhebliche Expertenarbeit erfordern.
Öffentliche Trainingsdaten für GPU-Software sind begrenzter
Anwendungscode ist im Internet reichlich vorhanden.
Hochwertiges Kernel- und Compiler-Engineering ist ein kleines Fachgebiet, und viele der stärksten Arbeiten bleiben weiterhin proprietär.
Bestehende Systeme müssen dennoch migriert werden
Technische Machbarkeit beseitigt nicht Zertifizierungskosten, Betriebsrisiken, Mitarbeiterumschulung, Verträge, Zuverlässigkeitsanforderungen oder Opportunitätskosten.
Diese Überlegungen bedeuten nicht, dass agentisches Kernel-Engineering unbedeutend ist. Sie erklären, warum sich eine beeindruckende Demonstration nicht sofort in eine Marktablösung verwandelt.
Der Burggraben bewegt sich, verschwindet aber nicht
Die stärkste Lesart ist nicht „CUDA ist tot“.
Vielmehr wird eine Ebene von CUDAs historischem Vorteil zunehmend einfacher zu replizieren.
Agenten, DSLs und automatisierte Compiler können die Zeit verkürzen, die benötigt wird, um Kernel, Laufzeiten und Modellunterstützung für neue Chips zu entwickeln.
Am stärksten exponiert ist die schnelle Anpassung für frühe Inferenz.
Am stärksten geschützt bleiben groß angelegtes Training, ausgereifte Generierungsbibliotheken, Validierung, Debugging, Cluster-Orchestrierung, Framework-Integration, bestehende Kunden-Workflows sowie kontinuierliche Optimierung.
Die strategische Frage könnte sich von:
Wer besitzt die größte Menge an handgeschriebenem Kernel-Code?
verschieben zu:
Wer besitzt den besten automatisierten Kreislauf aus Generierung, Messung,
Validierung und Optimierung?
NVIDIA ist gut positioniert, da es bereits über Hardware, Tools, Bibliotheken, Workloads und Feedback-Daten verfügt. Herausforderer profitieren davon, dass Agenten die Eintrittsbarrieren senken.
Beides kann gleichzeitig zutreffen.
Was das 10-Stunden-Ergebnis wirklich verändert
Die Ergebnisse von Infinity verändern die Erwartungen von Hardware-Startups.
Neue Beschleuniger müssen nicht länger davon ausgehen, dass jeder nützliche Kernel von einem kleinen Team aus Spezialisten manuell geschrieben wird.
Agenten können
möglicherweise:
- Architekturbeschreibungen lesen.
- Erste Kernel generieren.
- Kompilieren und ausführen.
- Die Ausgabe mit Referenzergebnissen vergleichen.
- Hardware-Auslastung messen.
- Alternative Scheduling-Lösungen durchsuchen.
- Die beste Implementierung beibehalten.
- Von Operatoren auf vollständige Modelle skalieren.
Dies kann die Zeit zwischen dem ersten Tape-Out eines Chips und dem Erreichen nutzbarer Modell-Inferenz verkürzen.
Diese Verkürzung ermöglicht es Chip-Anbietern, Hardware früher zu demonstrieren, neue Modelle schneller zu unterstützen, den Druck auf Software-Personal zu verringern, mehr Ideen zu testen und in Nischen-Inferenzmärkten zu konkurrieren.
Dieses Ergebnis löscht CUDA nicht aus, macht aber den ersten Schritt im Wettbewerb mit CUDA weniger einschüchternd.
Was als Nächstes zu beobachten ist
Unabhängige Reproduktion
Die von Infinity veröffentlichten Ergebnisse stammen vom Unternehmen selbst und seinen Hardware-Partnern. Externe Benchmarks würden stärkere Belege liefern.
Modellabdeckung
Eine universelle Inferenzschicht muss mehrere Architekturen, Modalitäten, Quantisierungsformate und Serving-Modi unterstützen.
Produktionszuverlässigkeit
Eine End-to-End-Demonstration ist etwas anderes als Software, die monatelang unter Kundenlast läuft.
Validierungsumfang
Die entscheidende Frage ist, wie agentische Systeme Korrektheit und Leistung in einem riesigen Testraum nachweisen.
Portabilität
Wenn eine Implementierung auf NVIDIA, AMD, Apple und anderen Beschleunigern hervorragende Ergebnisse erzielt, gewinnen TileLang und andere domänenspezifische Sprachen an strategischer Bedeutung.
NVIDIAs Reaktion
NVIDIA baut aktiv Agenten, Benchmarks, Compiler-Intelligenz und neue CUDA-Abstraktionen auf. Der etablierte Gigant steht nicht still.
Häufige Fragen
Haben KI-Agenten CUDA wirklich in 10 Stunden neu implementiert?
Nein. Infinity gibt an, dass Ignition in 10 Stunden tensorparallele Matrix-Multiplikationssoftware für den d-Matrix Corsair generiert hat und dabei 92 % der empirischen Rechenobergrenze des Chips erreichte. Die End-to-End-Qwen3-Inferenz dauerte etwa 10 Tage; das Projekt hat nicht das vollständige CUDA-Ökosystem nachgebildet.
Was ist Infinity Ignition?
Ignition ist der KI-Forschungs- und Engineering-Agent von Infinity, der zur Generierung, zum Testen, Debuggen und Optimieren von Low-Level-Inferenzsoftware dient. Es nutzt Feedback von echter Hardware, um Kernel und Modell-Laufzeiten iterativ zu verbessern.
Was ist der d-Matrix Corsair?
Corsair ist die Generative-AI-Inferenzplattform von d-Matrix. Infinity nutzte sie als Zielplattform für die automatische Generierung tensorparalleler Operationen und eines vollständigen Modell-Inferenz-Stacks.
Werden DeepSeek TileKernels CUDA ersetzen?
Nein. TileKernels reduziert den Bedarf an handgeschriebenen Low-Level-CUDA-Kerneln durch den Einsatz von TileLang, aber die derzeitigen Anforderungen umfassen NVIDIA SM90- oder SM100-Hardware sowie CUDA Toolkit 13.1 oder höher.
Warum ist Inferenz offener für CUDA-Alternativen als Training?
Inferenz kann auf kleineren Systemen ausgeführt werden und wird oft anhand von Kosten, Stromverbrauch, Durchsatz oder Latenz pro Modell bewertet. Spitzentraining erfordert größere Cluster, ausgereifte Kommunikationssysteme, Fehlerbehandlung und nachgewiesene Stabilität.
Was ist der größte Burggraben von CUDA?
CUDAs Burggraben umfasst ausgereifte Bibliotheken, Framework-Integration, Debugging- und Performance-Analyse-Tools, verteilte Systeme, Dokumentation, Produktionshistorie und vorhandenen Kunden-Code. Validierung und kontinuierliche Optimierung werden
umso wichtiger, je günstiger die Code-Generierung wird.
Können KI-generierte Kernel sowohl korrekt als auch zu langsam sein?
Ja. Studien zeigen, dass Kernel numerische Korrektheitstests bestehen können, ihre Leistung jedoch weit unter optimierten Bibliotheksimplementierungen liegen kann. Produktionsreife Bewertung erfordert sowohl Korrektheitsprüfungen als auch Hardware-Effizienzprüfungen.
Nutzt NVIDIA ebenfalls KI-Codierungsagenten?
Ja. NVIDIA gibt an, Agenten zur Beschleunigung der CUDA-Entwicklung und -Validierung einzusetzen und hat bereits agentische Workflows für CUDA, Performance-Analyse-Integration sowie ComputeEval-Benchmarks öffentlich demonstriert.
Verwandte Tools
- NVIDIA CUDA: NVIDIAs Beschleunigungs-Rechenplattform, einschließlich Compilern, Laufzeiten, Bibliotheken und Entwicklertools.
- Infinity: Unternehmen, das Ignition und modellbewusste Inferenzsoftware für neue KI-Beschleuniger entwickelt.
- DeepSeek TileKernels: Eine unter MIT-Lizenz stehende Sammlung optimierter LLM-Kernel von DeepSeek, geschrieben mit TileLang.
- TileLang: Eine Python-ähnliche domänenspezifische Sprache und Compiler-Stack zur Generierung leistungsstarker Kernel auf mehreren Backends.
- INT21 PTX Kernel Factory: Ein agentisches System zur Generierung und Verbesserung von Low-Level-NVIDIA-GPU-Kerneln.
- AMD ROCm: AMDs Software-Plattform für GPU-Computing, KI und HPC.
- AWS Neuron: SDK zur Bereitstellung und Optimierung von Modellen auf AWS Trainium- und Inferentia-Chips.
- Modular MAX: Modellierungs- und Serving-Framework für hardwareoptimierte, portable Hochleistungs-KI-Ausführung.
Verwandte Links
- Business Insider: KI schreibt NVIDIAs Software-Burggraben neu: Hauptberichterstattung mit Interviews von Infinity, NVIDIA, INT21, Modular und Rebellions.
- Infinity d-Matrix Corsair Fallstudie: Offizielle Darstellung von Infinity zu den 10-Stunden-Matrix-Multiplikationsergebnissen und dem 10-Tage-End-to-End-Modellstart.
- [Infinity Forschung](https://infinity.
inc/research): Umfasst offizielle Fallstudien zu d-Matrix, generativer Inferenzsoftware und dem OMEGA-Forschungssystem des Unternehmens.
- NVIDIA CUDA-Plattform: Offizieller Überblick über CUDA-Compiler, Laufzeitumgebung, Bibliotheken, Tools und das Ökosystem.
- DeepSeek TileKernels-Repository: Offizieller Quellcode, Abhängigkeitsanforderungen, Testbefehle, Funktionsmerkmale und MIT-Lizenz.
- TileLang-Papier: Forschungsarbeit, die das TileLang-Tiling-Programmiermodell und den Compiler-Ansatz beschreibt.
- NVIDIA ComputeEval: NVIDIA-Benchmark zur Bewertung moderner CUDA-Programmieraufgaben.
Zusammenfassung
Der Ignition-Agent von Infinity hat innerhalb von 10 Stunden nicht NVIDIA CUDA neu erschaffen. Er hat eine hochleistungsfähige tensorparallele Matrixmultiplikation für eine unbekannte Architektur generiert.
Der damalige d-Matrix-Beschleuniger erreichte laut Angaben 92 % der empirischen Rechenobergrenze des Chips. Etwa 10 Tage später war der vollständige Qwen3-Inferenzpfad implementiert.
Dieses Ergebnis ist bis heute von Bedeutung. Es zeigt, dass Agenten den frühen Software-Hochlauf neuer KI-Chips beschleunigen können, insbesondere im Inferenzbereich – wo Kunden sich für Kosten pro Antwort interessieren und für engere Workloads spezialisierte Hardware einsetzen können.
DeepSeeks TileKernels und TileLang weisen ebenfalls in dieselbe Richtung: Mehr Kernel-Arbeit kann durch höherstufige Systeme ausgedrückt und automatisch optimiert werden. Die aktuelle TileKernels-Version ist weiterhin auf neueste NVIDIA-GPUs und CUDA angewiesen; sie reduziert also handgeschriebene CUDA-Arbeit, eliminiert die Plattform jedoch nicht.
CUDAs Burggraben bleibt tief, denn er umfasst weit mehr als Quellcode. Bibliotheken, Validierung, Performance-Analyse, Framework-Unterstützung, verteiltes Training, Produktionshistorie und bestehende organisatorische Investitionen sind schwer zu replizieren.
KI hat in 10 Stunden nicht den gesamten Burggraben von CUDA überwunden – aber sie hat möglicherweise die Kosten gesenkt, um die erste Barriere zu erreichen, und den langfristigen Wettbewerb von Codebesitz hin zu automatisierter Generierung, Validierung und Optimierung verlagert.
