Wie du KI-Benchmarks liest und nicht auf Marketing reinfällst

Was Benchmark und Leaderboard ganz einfach bedeuten

Ein neues Modell ist raus. Und sofort fliegt dir derselbe Slide in den Feed: Balken, bei denen der Neue alle anderen um ein paar Prozent überragt. Sieht aus wie Wissenschaft. Im Kern ist es aber die alte Zahnpasta-Werbung mit „9 von 10 Zahnärzten empfehlen“. Wen hat man gefragt, wie wurde gezählt? Hat es nicht ins Bild geschafft.

Ein Benchmark Benchmark - eine standardisierte Aufgabensammlung, mit der ein Modell geprüft wird, um eine einzige vergleichbare Punktzahl zu bekommen. Zum Beispiel eine Sammlung von Mathe- oder Code-Aufgaben. ist einfach eine Prüfung für das Modell. Man nimmt eine fertige Aufgabensammlung: Mathe, Code, Logik. Lässt das Modell durchlaufen, zählt, wie viel gelöst wurde. Heraus kommt eine einzige Zahl. Und ein Leaderboard Leaderboard - eine öffentliche Rangtabelle, in der Modelle nach ihren Punkten auf einem oder mehreren Benchmarks sortiert sind. ist die Rekordtabelle: die Modelle stehen nach dieser Zahl von oben nach unten aufgereiht.

Der Haken ist folgender. Eine Prüfung kann man bestehen, ohne wirklich etwas zu wissen. Wenn man vorher die Antworten gesehen hat. Oder wenn die Prüfung etwas ganz anderes abfragt, als du eigentlich brauchst.

Warum du als Vibecoder Benchmarks verstehen solltest

Du bist Vibecoder. „Das beste Modell der Welt“ brauchst du gar nicht. Du brauchst das, was deine konkrete Arbeit gut erledigt: Code in deinem Stack schreibt, bei Fakten nicht lügt, deine Sprache beherrscht. Und das ist längst nicht immer das, was oben in der Tabelle hängt.

• Du hörst auf, von Modell zu Modell zu springen, jedes Mal wenn ein „Killer aller anderen“ erscheint.
• Du lernst, den echten Sprung von einer kosmetischen Verbesserung von ein paar Prozent zu unterscheiden.
• Du sparst Geld: Ein teures Top-Modell brauchst du für deine Aufgabe oft gar nicht, und die nackte Punktzahl zeigt dir das nicht.
• Du kannst mit Argumenten gegen das Marketing anreden, statt nur mit dem Gefühl „der Hype ist halt groß“.

Ein und dasselbe Modell haben verschiedene Leute spürbar unterschiedlich gemessen - einfach weil sie die Frage ein bisschen anders gestellt oder anders gezählt haben. Wenn sich eine Zahl so leicht verschieben lässt, dann ist ein Unterschied von zwei Punkten zwischen zwei Modellen Rauschen, kein Sieg.

Wie Modell-Diagramme in die Irre führen

Es muss hier niemand ein Bösewicht sein. Meistens sind es einfach für den Verkäufer bequeme Verzerrungen. Jede für sich ist fast ehrlich, zusammen formen sie aber ein hübsches Bild. Hier sind die vier wichtigsten.

1. Trainieren auf den Test und Goodharts Gesetz

Der häufigste Fall. Es gibt Goodharts Gesetz Goodharts Gesetz - eine Regel: Sobald eine Kennzahl zum Ziel wird, taugt sie nicht mehr als gute Kennzahl. Formuliert vom britischen Ökonomen Charles Goodhart in der zweiten Hälfte des 20. Jahrhunderts. : „Sobald eine Kennzahl zum Ziel wird, taugt sie nicht mehr als gute Kennzahl.“

Übersetzt in Menschensprache: Sobald alle um eine hohe Punktzahl auf einer bestimmten Prüfung kämpfen, fangen sie an, für genau diese Prüfung zu trainieren, statt wirklich zu lernen. In der Schule nannte man das „die Antworten auswendig pauken statt das Thema zu verstehen“. Bei Modellen ist es genau dasselbe: Die Entwickler sehen, welche Aufgaben in einem beliebten Benchmark vorkommen, und drehen das Modell so, dass es sie wegknackt. Die Punktzahl steigt. Der echte Nutzen - nicht unbedingt.

2. Testdaten im Training (Datenkontamination)

Stell dir vor: Ein Student bekommt vor der Prüfung versehentlich die Prüfung selbst ausgehändigt. Mit Antworten. Die Eins kriegt er, aber kann er das Fach?

Modelle werden auf riesigen Stücken des Internets trainiert. Und die beliebten Benchmarks liegen ebenfalls im Internet. Und was passiert am Ende? Die Aufgaben aus der Prüfung landen nicht selten in den Trainingsdaten - das ist Kontamination Kontamination - Verunreinigung: die Situation, in der Aufgaben und Antworten aus einem Test-Benchmark versehentlich oder absichtlich in die Daten geraten sind, mit denen das Modell trainiert wurde. Die Punktzahl schießt hoch, das echte Können aber nicht. . Dadurch ist die Punktzahl manchmal deutlich überhöht: Das Modell löst die Aufgabe nicht, es erinnert sich an die Antwort.

3. Die Wahl einer bequemen Metrik und die abgeschnittene Achse

Ein und dasselbe Ergebnis lässt sich auf ein Dutzend Arten präsentieren. Zeig das Diagramm, bei dem du gewinnst - und über die anderen schweig einfach.

• So mitteln, dass die starke Seite die schwachen überdeckt.
• Sich mit einer veralteten Version des Konkurrenten vergleichen statt mit der aktuellen.
• Den Benchmark wählen, der zufällig genau dem entspricht, worauf du auch trainiert hast.
• Die Achse des Diagramms unten abschneiden, damit ein Unterschied von 2 % wie ein Abgrund aussieht.

4. Auch Community-Leaderboards lassen sich zurechtbiegen

Man könnte meinen, eine Volksabstimmung sei wenigstens ganz sicher ehrlich: Leute vergleichen blind die Antworten zweier Modelle und wählen die bessere. Aber auch hier kamen Geschichten ans Licht. Einzelnen großen Laboren wurde de facto erlaubt, leise viele Varianten eines Modells durchlaufen zu lassen und nur die beste zu veröffentlichen, während die misslungenen Durchläufe versteckt blieben. Die Plattformen weisen solche Vorwürfe meist zurück. Aber die Lektion bleibt: Selbst ein „objektives Ranking“ lässt sich zurechtbiegen, wenn man es nur unbedingt will.

Wie du Modelle ehrlich an deinen eigenen Aufgaben vergleichst

Die gute Nachricht: Ihre Diagramme brauchst du nicht. Du hast etwas Ehrlicheres - deine eigenen Aufgaben.

Bau dir deinen Mini-Benchmark

Sammle 5-10 Aufgaben, die in deiner Arbeit wirklich vorkommen, und lass jedes neue Modell durch sie hindurchlaufen. Das ist deine persönliche Prüfung. Die, die niemand gesehen hat und auf die niemand trainiert hat.

Nimm 5-10 echte Aufgaben aus deiner Arbeit: ein Stück Code zum Refactoring, einen Text zum Umschreiben, eine knifflige Frage aus deinem Themengebiet.
Schreib für jede vorher auf, welche Antwort du für gut hältst. Das ist dein Referenzwert.
Gib jedem Modell, das du vergleichst, exakt dieselbe Anfrage. Ändere die Formulierung nicht zwischen den Modellen.
Bewerte die Antworten nach Kriterien, die für dich nachvollziehbar sind: inhaltlich korrekt, hält das Format, erfindet keine Fakten, in der richtigen Sprache.
Lass jede Aufgabe ein paar Mal durchlaufen - ein Modell antwortet nicht jedes Mal gleich. Du willst Stabilität, nicht einen einzigen Glücksfall.
Zähl die Ergebnisse zusammen. Der Sieger bei deinen Aufgaben ist wichtiger als jeder Platz in einer fremden Tabelle.

Modelle blind vergleichen: verbirg die Namen

Die größte Falle ist die Marke im Kopf. Du weißt, dass du die Antwort eines teuren, angesagten Modells liest - und suchst unterbewusst nach Genialität darin. Also urteile blind. Verbirg die Namen.

Häufige Fehler beim Lesen von Benchmarks

• An einen Unterschied von ein paar Prozent glauben. 87 gegen 85 ist mit ziemlicher Sicherheit Rauschen, kein „neuer König“. Ein echter Sprung ist sofort sichtbar, und er ist groß.
• Die Tabellenspitze nehmen, ohne auf Preis und Geschwindigkeit zu achten. Das klügste Modell ist oft langsam und teuer. Für deine Aufgabe reicht vielleicht eins aus der Mitte der Liste.
• Ein Modell mit einem veralteten Konkurrenten vergleichen. Vergleiche mit aktuellen Versionen, nicht mit denen, die vor einem halben Jahr im Diagramm standen.
• An Spielzeug-Beispielen testen. „Wie viele Rs stecken im Wort“ ist nicht deine Aufgabe. Prüfe an dem, was du wirklich machst.
• Die Formulierung zwischen den Modellen ändern. Damit der Vergleich ehrlich ist, muss die Anfrage für alle Byte für Byte identisch sein.
• Urteilen, während man die Marke kennt. Der Name des Modells im Kopf verzerrt das Urteil. Verbirg die Beschriftungen und urteile nach der Antwort, nicht nach dem Logo.