Das Ende des Programmierens: Andrej Karpathy über Agenten, AutoResearch und die verrückte Ära der KI
Der Mann, der Teslas Autopilot massgeblich mitgebaut hat, erklärt, warum Programmieren wie wir es kennen gerade stirbt. Und was danach kommt, klingt nach Science Fiction.
Andrej Karpathy ist einer dieser seltenen Menschen, deren Tweets ganze Industrien bewegen. Er war Gründungsmitglied von OpenAI, leitete danach die gesamte KI-Abteilung bei Tesla und ist heute als unabhängiger Forscher unterwegs. Wenn Karpathy etwas sagt, hört Silicon Valley zu. Letztes Jahr prägte er beiläufig den Begriff "Vibe Coding", der inzwischen seinen eigenen Wikipedia-Artikel hat.
Diese Woche setzte er sich mit Sarah Guo im No Priors Podcast zusammen. Was er dort erzählte, verdient einen genaueren Blick. Nicht weil es schöne Zukunftsvisionen sind. Sondern weil man spürt: Der Mann beschreibt, was er gestern Abend selbst erlebt hat.
Die Maschine, die forscht, während du schläfst
Anfang März veröffentlichte Karpathy ein kleines Open-Source-Projekt namens autoresearch. Auf den ersten Blick wirkt es unspektakulär: 630 Zeilen Python-Code, eine einzige GPU, ein Markdown-File mit Anweisungen.
Aber was passiert, wenn man es laufen lässt, ist alles andere als unspektakulär.
Du schreibst eine Datei namens program.md. Darin steht, worauf der KI-Agent achten soll. Dann drückst du Enter und gehst schlafen. Der Agent liest den Trainings-Code, stellt eine Hypothese auf, ändert den Code, trainiert ein kleines Sprachmodell für exakt fünf Minuten, prüft ob das Ergebnis besser geworden ist, behält die Änderung oder verwirft sie, und macht weiter. Die ganze Nacht. Ohne dich.
In einer Session über zwei Tage lief der Agent rund 700 Experimente durch. Er fand 20 Optimierungen, die sich addieren ließen und das Training eines GPT-2-Modells um 11% beschleunigten. Das klingt nach wenig. Aber Karpathy hatte diesen Code über Jahre von Hand optimiert. Die Maschine fand in 48 Stunden Dinge, die er in zwei Jahrzehnten übersehen hatte.
Tobias Lütke, der CEO von Shopify, probierte das System über Nacht mit internen Firmendaten aus. 37 Experimente, 19% Performance-Verbesserung. Am nächsten Morgen.
Warum das anders ist als alles davor
Jetzt könnte man sagen: Automatisierte Modelloptimierung gibt es doch schon ewig. Neural Architecture Search, AutoML, das ganze Programm.
Karpathy selbst hat dazu eine klare Meinung. Die alten Methoden seien im Vergleich "in ihrer eigenen Kategorie von komplett nutzlos." Der entscheidende Unterschied: Hier schreibt ein echtes Sprachmodell beliebigen Code, lernt aus vorherigen Experimenten und hat Zugang zum Internet. Das ist ein fundamental anderer Ansatz.
Und hier wird es wirklich interessant. Karpathy beschreibt eine Zeitachse: