Was ist ein KI-Modell, einfach erklärt: Parameter und Gewichte

Ein Sprachmodell einfach erklärt: Es ist Autovervollständigung

Kennst du die Wortvorschläge auf der Handytastatur? Du tippst „danke für“ - und schon schiebt sie dir „dein Verständnis“ unter. Genau das ist ein Sprachmodell auch - exakt dieselbe Autovervollständigung. Nur aufgeblasen zu monströsen Ausmaßen und trainiert auf einem Berg Text in der Größe des halben Internets.

Seine Aufgabe ist geradezu beleidigend simpel: erraten, welches Stückchen Text als Nächstes kommt. Du gibst den Anfang vor - es baut die wahrscheinlichste Fortsetzung dazu. Dann noch ein Stückchen. Und noch eins. Und noch eins. Und aus diesem bescheidenen „rate weiter“ wachsen am Ende Antworten auf Fragen, Code und Geburtstagsgedichte für die Schwiegermutter.

Warum du verstehen solltest, wie ein neuronales Netz funktioniert

KI kann man auch blind benutzen. Aber dann wirkt jede Eigenart davon mal wie Magie, mal wie ein Defekt. Hast du dagegen die Basis verstanden, fällt vieles an seinen Platz.

• Du hörst auf, Unmögliches zu verlangen. Das Modell „schlägt nicht im Nachschlagewerk nach“ - es baut die wahrscheinliche Fortsetzung. Daher die Erfindungen aus dem Nichts.
• Du verstehst, warum ein Modell schlauer ist als ein anderes und warum man für Klugheit draufzahlen muss.
• Du lernst, Namen zu lesen. 7B, 70B, 405B Ein Parameter (auch Gewicht) ist eine einzelne Zahl im Inneren des Modells, eine kleine „Stellschraube“. Aus Milliarden solcher Schrauben besteht das ganze Modell; in ihnen ist alles kodiert, was es „gelernt“ hat. sind dann kein sinnloses Rauschen mehr.
• Du triffst weiter im Kurs eine bewusste Entscheidung: wo ein leichtes Modell reicht und wo es ohne ein schweres nicht geht.

Neun von zehn Enttäuschungen mit KI entstehen so: Man erwartet von einem „allwissenden Verstand“ Wunder, dabei errät das Ding einfach nur sehr clever das nächste Stückchen Text. Dreh den Magie-Regler runter - und es kommt ein stabiles Ergebnis.

Wie ein KI-Modell funktioniert: Tokens, Gewichte und Training

Wir nehmen es Stück für Stück auseinander, ganz ohne Formeln. Es gibt nur drei Ideen, und alle sind simpel.

Was ein Token ist: das Modell arbeitet nicht mit Wörtern

Im Inneren sieht das Modell Text nicht als Wörter, sondern als Tokens Ein Token ist ein Stückchen Text, mit dem das Modell arbeitet. Mal ist es ein ganzes Wort, mal ein Wortteil oder sogar ein einzelnes Zeichen. Das Modell sagt genau das nächste Token voraus, nicht das ganze Wort. - Wortbruchstücke. Ein kurzes Wort kann ein einziges Token sein. Ein langes, seltenes zerfällt in mehrere. Für dich ist das ein winziges Detail, aber merk es dir: Wenn man sagt „das Modell sagt das Wort voraus“, sagt es technisch das nächste Token voraus.

Was Parameter und Gewichte eines Modells sind

Im Inneren des Modells liegt ein gigantisches Raster aus Zahlen. Jede einzelne dieser Zahlen ist ein Parameter, auch Gewicht genannt. Stell dir das Mischpult eines Tontechnikers vor, vollgespickt mit Lautstärkereglern. Nur hat ein normales Pult ein paar Dutzend Regler. Ein Modell dagegen - Milliarden.

Jeder Regler beeinflusst ein winziges bisschen, welches Token das Modell als Nächstes für wahrscheinlich hält. Ein einzelner Regler für sich bedeutet fast nichts. Aber alle zusammen kodieren die Milliarden Regler Grammatik, Fakten, Stil, Logik - alles, was das Modell je gelernt hat.

Wie ein neuronales Netz lernt: das automatische Justieren der Regler

Milliarden Regler stellt niemand von Hand ein - das ist schlicht unmöglich. Man macht es anders. Man kippt dem Modell einen Berg Text hin, versteckt das nächste Stückchen und sagt: rate. Hat es daneben geraten - justiert ein spezieller Algorithmus die Regler ein winziges bisschen in Richtung der richtigen Antwort. Und das unzählige Male.

Nach und nach stellen sich die Regler so ein, dass das Modell immer treffsicherer rät. Genau das ist „Training“. Kein Verstehen im menschlichen Sinn - nur ein sehr langes und sehr teures Feinjustieren von Zahlen auf eine einzige Aufgabe hin: rate das Nächste.

Mehr Parameter heißt schlauer, aber nicht gratis

Als grobe Regel gilt: je mehr Parameter, desto leistungsfähiger das Modell. Mehr Regler - mehr Nuancen fängt es ein: Es spürt den Kontext feiner, denkt besser nach, verheddert sich seltener in den eigenen Aussagen.

Aber das kostet. Jedes Stückchen Antwort ist ein Durchlauf durch alle Milliarden Zahlen auf einmal. Je mehr es davon gibt, desto teurer und langsamer. Klugheit gibt’s nicht umsonst.

Wie man einen Modellnamen liest: was 7B und 70B bedeuten

Du wählst ein Modell - und im Namen steckt eine Zahl mit dem Buchstaben B: 7B, 13B, 70B, 405B. Die Entschlüsselung ist kinderleicht.

B steht für billion, also Milliarde. Die Zahl vor dem B ist die Anzahl der Parameter in Milliarden.
7B  - rund sieben Milliarden Parameter. Leicht und flink, von der Klugheit her bescheiden. Läuft oft sogar lokal.
70B - in der Größenordnung von siebzig Milliarden. Spürbar schlauer, braucht aber eine ernstzunehmende Grafikkarte oder die Cloud.
405B und höher - die Schwergewichte. Sehr leistungsfähig, aber teuer und leben meist nur in der Cloud.
Fazit: Die Zahl ist die ungefähre „Gehirngröße“. Größere Zahl - schlauer und teurer. Wähl nach der Aufgabe.

Häufige Anfängerfehler im Umgang mit KI

• Glauben, das Modell „kenne“ Fakten wie eine Datenbank. Es zieht die Antwort nicht aus einem Speicher - es baut die wahrscheinliche Fortsetzung. Deshalb kann es etwas erfinden, ohne mit der Wimper zu zucken. Das ist kein Bug, das ist seine Natur.
• Parameter mit Speicher oder Internetgeschwindigkeit verwechseln. Parameter sind die Größe des „Gehirns“ selbst. Nicht, wie viel RAM du hast und welche Leitung.
• Annehmen, „mehr Parameter“ sei immer besser. Für eine einfache Aufgabe ist das rausgeworfenes Geld und unnötiges Warten. Größe - nach der Aufgabe, Punkt.
• Glauben, da drin laufe Denken oder Bewusstsein. Da drin laufen das Multiplizieren von Zahlen und Statistik im industriellen Maßstab. Beeindruckend? Ja. Aber kein Verstand.
• Auf dieselbe Frage wortwörtlich dieselbe Antwort erwarten. Das Modell wählt das nächste Token mit einer Prise Zufall, deshalb wandern die Antworten leicht. Das ist normal und einstellbar.