Karpathys Warnung zu Agenten: Erst das Modell entwickeln, nicht nur die Demo

Dieser Artikel erläutert Karpathys Warnung vor dem aktuellen Hype um KI-Agenten: Agenten sind spannend, aber schwache Grundlagen machen sie ...

Einleitung

KI-Agenten sind derzeit überall. Jede Woche verspricht ein neues Tool, im Web zu browsen, einen Computer zu steuern, etwas zu buchen, Code zu schreiben oder mit nur einer kurzen Anweisung des Nutzers einen gesamten Workflow abzuschließen.

Diese Begeisterung ist real. Doch Andrej Karpathys jüngste Botschaft an Entwickler von Agenten fand gerade deshalb so viel Resonanz, weil sie der aktuellen Stimmung widerspricht: Bevor man Agenten dazu drängt, alles zu erledigen, sollten Entwickler zuerst das zugrunde liegende Modell verstehen und verbessern.

Der Punkt ist nicht, dass KI-Agenten nutzlos sind. Der Punkt ist zugespitzter. Eine spektakuläre Demo kann schwache Grundlagen verbergen. Ein echtes Produkt muss mit unordentlichen Eingaben, langen Aufgaben, Randfällen, Speicherproblemen, Änderungen an der Benutzeroberfläche und dem Vertrauen der Nutzer zurechtkommen. An genau diesem Unterschied scheitern viele Agentenprojekte.

Die Botschaft, die Agentenentwickler aufhorchen ließ

Die Diskussion begann mit einem kurzen Clip und einem weithin geteilten Beitrag, der Karpathys Sicht zusammenfasste. Die Kernaussage war einfach: Das KI-Feld könnte einen Fehler machen, wenn es Agenten zum Funktionieren zwingen will, bevor die ihnen zugrunde liegenden Modelle vollständig beherrscht werden.

Dieser Satz fühlt sich unangenehm an, weil er das gegenwärtige Rennen um Agenten infrage stellt. Viele Teams versuchen, die heutigen LLMs so schnell wie möglich in autonome Arbeitskräfte zu verwandeln. Sie umhüllen die Modelle mit Werkzeugen, Gedächtnis, Browsersteuerung, Dateizugriff, geplanten Aufgaben und mehrstufigen Workflows.

Diese Schichten können hilfreich sein. Aber sie beseitigen nicht die grundlegende Frage: Kann das Modell zuverlässig genug schlussfolgern, klar genug planen, sich gut genug von Fehlern erholen und die Aufgabe tief genug verstehen?

Wenn die Antwort nein lautet, kann zusätzliche Agenten-Infrastruktur das System in einer Demo leistungsfähiger erscheinen lassen, während es in der Produktion schwerer zu debuggen wird.

Die Lehre von 2016: World of Bits

Karpathys Warnung ist nicht nur theoretisch. Der zugrunde liegende Artikel verweist auf ein Projekt aus dem Jahr 2016: World of Bits, eine webbasierte Agentenplattform, die auf der Idee beruhte, dass Agenten über Tastatur- und Mausaktionen mit dem Internet interagieren könnten.

Damals wirkte das Ziel futuristisch. Ein Agent würde Webseiten so verwenden wie ein Mensch: Buttons anklicken, Formulare ausfüllen, zwischen Seiten navigieren und Aufgaben wie das Buchen von Flügen oder das Bestellen von Essen erledigen. Das klingt den Produktversprechen von Agenten, die man heute hört, sehr ähnlich.

Das Projekt wurde zu einem ernsthaften Forschungsvorhaben und war

veröffentlicht auf der ICML 2017 als „World of Bits: An Open-Domain Platform for Web-Based Agents.“ Doch der größere Produkttraum wurde damals nicht vollständig Wirklichkeit.

Die wichtige Lehre ist nicht, dass die Idee falsch war. Sondern dass die verfügbaren Werkzeuge noch nicht bereit waren. Das Agentenfeld verfügte noch nicht über die heutigen Foundation-Modelle, multimodalen Systeme, Tool-Use-Muster oder programmierfähigen LLMs. Reinforcement Learning war eines der wichtigsten Werkzeuge, und es reichte nicht aus, um die Idee in ein robustes allgemeines Produkt zu verwandeln.

Deshalb ist Karpathys Botschaft heute so relevant. Eine technisch attraktive Richtung kann dennoch zu früh kommen, wenn die grundlegenden Fähigkeiten noch nicht stark genug sind.

Von einer gescheiterten Agenten-Demo zu stärkeren Grundlagen

Eine hilfreiche Art, die Geschichte von World of Bits zu lesen, ist als Lektion über Timing.

Das Team arbeitete an etwas, das wie die Zukunft aussah, doch das Feld hatte die nötigen Grundlagen zu seiner Unterstützung noch nicht geschaffen. Rückblickend lautet Karpathys Argument, dass es besser gewesen wäre, sich weniger darauf zu konzentrieren, Agenten in Aufgaben zu zwingen, und stärker auf die Verbesserung der zugrunde liegenden Sprachmodelle und Repräsentationslernverfahren.

Genau das macht den gegenwärtigen Moment interessant. Die Werkzeuge haben sich verändert. LLMs können heute in natürlicher Sprache schlussfolgern, Tools aufrufen, Code schreiben, Screenshots interpretieren und längere Kontexte halten als frühere Systeme. Der Agenten-Stack ist deutlich plausibler als noch 2016.

Dennoch beseitigen bessere Werkzeuge nicht die Produktschwierigkeit. Sie verschieben lediglich die Grenze des Machbaren nach vorn.

Jim Fan und die Kontinuität der Agentenforschung

Der Ausgangsartikel verbindet World of Bits außerdem mit späterer Forschung zu verkörperten Agenten durch Forschende wie Jim Fan. Das ist wichtig, weil die Agentengeschichte nach dem Stocken der frühen Web-Agenten-Projekte nicht verschwand. Sie entwickelte sich weiter zu reichhaltigeren Forschungsfeldern: Simulationsumgebungen, Minecraft-Agenten, Open-Ended Learning und verkörperte Intelligenz.

Projekte wie MineDojo und Voyager zeigen einen anderen Weg als „ein paar Webseiten anzuklicken und zu hoffen, dass der Agent funktioniert“. Sie untersuchen Agenten in Umgebungen, in denen Ziele, Gedächtnis, Aktionen, Fähigkeiten und Feedback systematischer erforscht werden können.

Das bedeutet nicht, dass Minecraft-Agenten die Geschäftsautomatisierung direkt lösen. Es bedeutet, dass ernsthafter Fortschritt bei Agenten in der Regel aus besseren Umgebungen, besserer Evaluation, besserem Modellverhalten und klareren Feedbackschleifen entsteht.

Eine Demo ist leicht; ein Produkt braucht Jahre

Einer der praktischsten Punkte des Artikels ist die Kluft zwischen einer Demo und einem Produkt.

Eine Demo muss nur einmal funktionieren, oft unter vorbereiteten Bedingungen. Ein Produkt muss wiederholt funktionieren, für unterschiedliche Nutzer, in unterschiedlichen Situationen, wobei Fehler verständlich und behebbar sein müssen.

Autonomes Fahren ist ein nützlicher Vergleich. Ein Auto, das einmal um einen Block fährt, kann beeindruckend wirken. Ein produktionsreifes System für autonomes Fahren muss seltene Ereignisse, schlechte Bedingungen, poor

Sichtbarkeit, seltsames Verhalten auf der Straße, regulatorische Auflagen, Sicherheitserwartungen und jahrelange Iteration.

VR folgte einem ähnlichen Muster. Eine Headset-Demo kann in fünf Minuten erstaunlich sein. Ein nachhaltiges Produkt erfordert Hardware, Software, Inhalte, Ergonomie, Preisgestaltung, Vertrieb und wiederholt erlebbaren Nutzwert.

Agenten gehören in diese Kategorie. Sie lassen sich leicht vorstellen und leicht demonstrieren, sind aber schwer als dauerhafte Produkte auf den Markt zu bringen.

Drei praktische Lektionen für Entwickler von Agenten

Verstehen Sie das Modell, bevor Sie die Agenten-Hülle erweitern

Bevor Sie weitere Werkzeuge hinzufügen, fragen Sie sich, was das Modell zuverlässig kann und was nicht. Kann es lange Anweisungen befolgen? Kann es erkennen, wann es unsicher ist? Kann es sich nach einem fehlgeschlagenen API-Aufruf erholen? Kann es seine eigene Arbeit überprüfen?

Wenn das Modell im Kern schwach ist, kann mehr Orchestrierung das System fragiler statt nützlicher machen.

Betrachten Sie die Demo als Anfang, nicht als Ziellinie

Eine gute Demo ist wertvoll, weil sie eine Richtung bestätigt. Aber sie ist weder Product-Market-Fit noch Zuverlässigkeit oder Vertrauen.

Bei Agentenprodukten beginnt die eigentliche Arbeit erst nach der Demo: Protokollierung, Evaluierung, Rollback, menschliche Überprüfung, Berechtigungsdesign, Speichergrenzen und Umgang mit Fehlern.

Schaffen Sie Grundlagen, aus denen Agenten entstehen können

Karpathys wichtigste Produktlektion ist, dass der Agent selbst möglicherweise nicht das Produkt ist. Das tieferliegende Produkt könnten die Modellfähigkeit, das Umgebungsdesign, die Datenpipeline, das Evaluierungssystem und die Werkzeugschnittstelle sein, die agentisches Verhalten zuverlässig machen.

Ein stärkeres Fundament kann viele agentische Verhaltensweisen ermöglichen. Ein schwaches Fundament verwandelt jeden Workflow in einen Flickenteppich aus Sonderfällen.

Karpathys Rückkehr zum Pretraining

Use We0 AI

Erstelle in Minuten eine Showcase-Website und gewinne Leads

Beschreibe deine Idee einmal, und We0 AI erstellt eine Showcase-Website, Seiten und ein CMS und hilft nach dem Launch bei Kunden und Traffic.

Ohne Titel-1

Layout

Füllen

Radius

Generieren

Der Artikel erwähnt auch Karpathys Wechsel in das Pretraining-Team von Anthropic. Das ist relevant, weil es dieselbe Botschaft bekräftigt: Die Spitze der Entwicklung ist nach wie vor eng mit der Arbeit an grundlegenden Modellen verbunden.

Pretraining mag weniger spektakulär klingen als Agenten, doch es prägt die grundlegende Leistungsfähigkeit, von der alles andere abhängt. Bessere Modelle können Schlussfolgern, Sprachverständnis, Werkzeugnutzung, Programmierung, Planung und multimodale Wahrnehmung verbessern.

Für Entwickler von Agenten bedeutet das nicht, dass jeder Frontier-Modelle trainieren muss. Die meisten Teams können das nicht. Aber sie müssen das Verhalten von Modellen gut genug verstehen, um ihre Systeme darum herum zu entwerfen.

Ein Team, das Agenten entwickelt, sollte wissen, welche Fehler durch Prompting entstehen, welche durch das Werkzeugdesign, welche durch fehlenden Kontext und welche durch die grundlegenden Grenzen des Modells.

Vom Gehirn lernen

Nach der Produktlektion wendet sich der Ausgangsartikel der Neurowissenschaft zu. Karpathy soll Entwickler dazu ermutigt haben, darüber nachzudenken, was agentische Systeme vom Gehirn lernen könnten.

Der Vergleich zielt nicht darauf ab, die Biologie wörtlich zu kopieren. Es geht darum, bessere strukturelle Fragen zu stellen.

Was übernimmt die Rolle des Gedächtnisses? Was wählt aus

Aktionen? Was speichert Fähigkeiten? Was entscheidet, welcher Gedanke oder Plan Aufmerksamkeit bekommt? Was verhindert, dass langfristige Ziele durch kurzfristiges Rauschen überschrieben werden?

Diese Fragen sind nützlich, weil Agentenprodukte oft genau in diesen Bereichen scheitern. Sie vergessen den Kontext. Sie wählen die falsche nächste Aktion. Sie reagieren übermäßig auf irrelevante Informationen. Sie können keinen stabilen Plan aufrechterhalten. Sie scheitern stillschweigend.

Eine ausgereiftere Agentenarchitektur benötigt möglicherweise eine klarere Trennung zwischen Gedächtnis, Planung, Handlung, Reflexion, Abruf und Verifikation.

Warum unabhängige Entwickler weiterhin wichtig sind

Der ermutigendste Teil von Karpathys Botschaft ist nicht die Kritik. Es ist die Erinnerung daran, dass die Grenze des Agentenfelds noch offen ist.

Große Labore haben tiefgreifende Erfahrung im Training führender Sprachmodelle. Sie haben viele Ideen zum Modelltraining Jahre gesehen, bevor die Öffentlichkeit davon erfährt. In diesem Bereich ist die Erfahrungslücke enorm.

Agentenprodukte sind anders. Das Feld ist noch jung. Die besten Workflows, Benutzeroberflächen, Gedächtnismuster, Berechtigungssysteme, Review-Schleifen und Produktkategorien sind noch nicht vollständig etabliert.

Das gibt unabhängigen Entwicklern, Start-ups und kleinen Forschungsteams eine echte Chance. Sie können präzisere Ideen ausprobieren, schneller mit Nutzern sprechen, rasch die Richtung ändern und Produkt-Workflows erforschen, die große Labore möglicherweise nicht priorisieren.

Die Warnung lautet also nicht „Baut keine Agenten“. Sie lautet: „Überspringt nicht die Grundlagen.“

Quellen- und Bildhinweise

Dieser Artikel ist eine originale englische Adaption auf Grundlage der öffentlichen Quellseite von BAAI Hub: https://hub.baai.ac.cn/view/56135.

Die Quellseite enthält mehrere Bilder. Diese Markdown-Version behält nur Bilder bei, die die Bedeutung des Artikels unterstützen, etwa X-Screenshots, Paper-Screenshots, Forschungsupdates und das erwähnte Buchcover. Bilder, die nur Logos zeigen, QR-Code-Bilder, Werbebanner und nicht zusammenhängende Dekorationsbilder wurden nicht aufgenommen.

FAQ

Was ist Karpathys wichtigste Warnung zu KI-Agenten?

Die wichtigste Warnung ist, dass Entwickler möglicherweise zu schnell versuchen, Agenten komplexe Aufgaben ausführen zu lassen, bevor die zugrunde liegenden Modelle zuverlässig genug sind. Agenten-Wrapper können helfen, aber sie können schwaches Schlussfolgern, schlechte Fehlererholung oder ein oberflächliches Aufgabenverständnis nicht vollständig ausgleichen.

Was war World of Bits?

World of Bits war eine Forschungsplattform für webbasierte Agenten, veröffentlicht auf der ICML
2017. Sie untersuchte Agenten, die mit Websites über niedrigstufige Aktionen wie Tastatur- und Mauseingaben interagieren.

Warum ist der Unterschied zwischen einer Demo und einem Produkt für Agenten so wichtig?

Eine Demo kann in einem engen Rahmen vorbereitet und getestet werden. Ein Produkt muss über viele Nutzer, Aufgaben, Fehler, Berechtigungen und Randfälle hinweg funktionieren. Deshalb erfordern Agentenprodukte in der Regel langfristige Arbeit an Zuverlässigkeit und Evaluation.

Bedeutet das, dass es sich nicht lohnt, KI-Agenten zu bauen?

Nein.

Das Argument richtet sich nicht gegen Agenten. Es richtet sich dagegen, Agenten zu bauen, ohne das zugrunde liegende Modell, die Umgebung, den Evaluierungsprozess und die Produktbeschränkungen zu verstehen.

Warum ist Pretraining für Agentenprodukte wichtig?

Pretraining beeinflusst das Schlussfolgern, das Sprachverständnis, die Werkzeugnutzung und die Generalisierungsfähigkeit des Basismodells. Stärkere Basismodelle machen das Verhalten von Agenten einfacher zu entwerfen, zu evaluieren und ihm zu vertrauen.

Was können Agentenentwickler aus der Neurowissenschaft lernen?

Die Neurowissenschaft kann Fragen zu Gedächtnis, Aktionsauswahl, Aufmerksamkeit, Planung und Selbstüberwachung anregen. Agentensysteme benötigen möglicherweise eine klarere Architektur für diese Funktionen, anstatt sich auf einen einzigen langen Prompt oder eine generische Schleife zu verlassen.

Sind kleine Teams in der Agentenentwicklung gegenüber großen KI-Laboren im Nachteil?

Nicht unbedingt. Große Labore haben einen enormen Vorteil beim Training von Frontier-Modellen, aber die Muster für Agentenprodukte sind noch nicht gefestigt. Kleine Teams können sich schnell bewegen und nützliche Workflows entdecken, bevor sie offensichtlich werden.

Zusammenfassung

Dieser Artikel erklärt Karpathys Warnung vor dem aktuellen KI-Agenten-Boom: Agenten sind spannend, aber schwache Grundlagen machen sie fragil. Die Lehre aus World of Bits ist, dass selbst eine starke Idee zu früh kommen kann, bevor das Feld über die richtigen Werkzeuge verfügt.

Für heutige Entwickler besteht der praktische Weg nicht darin, Agenten aufzugeben. Er besteht darin, das Modell zu verstehen, stärkere Evaluierungssysteme zu bauen, sicherere Handlungsschleifen zu entwerfen und Demos eher als Beginn der Produktarbeit denn als deren Ende zu betrachten.

als die Ziellinie.

Die nützliche Quintessenz ist einfach: Schaffe zuerst das Fundament, und lass dann bessere Agenten daraus entstehen.