Wie du ein lokales KI-Modell für deine Hardware auswählst

Was die Zahlen im Modellnamen bedeuten

Du hast dich entschieden, dir KI nach Hause zu holen, auf deinen eigenen Rechner. Du öffnest den Modellkatalog - und da stehen Hunderte Zeilen wie Llama-3-8B-Instruct-Q4. Sieht aus wie das WLAN-Passwort vom Nachbarn. Ganz ruhig.

In diesem Kauderwelsch stecken nur drei Dinge. Gleich lernst du, das zu lesen wie die Zutatenliste auf einer Müslipackung. Am einfachsten geht das über die Auswahl eines Autos im Autohaus:

• Familie - das ist die Marke: Toyota, BMW, Opel. Bei uns: Llama, Qwen, Mistral, Gemma.
• Größe (Parameterzahl) - der Hubraum: 1,6 Liter oder 5,0. Bei uns: 7B, 14B, 70B.
• Quantisierung - die Ausstattung: Basisversion leichter oder Topausstattung schwerer. Bei uns: Q4, Q5, Q8.

Warum es sich lohnt, die Modellauswahl zu verstehen

Du kannst einfach das erstbeste Modell aus einem Chat-Tipp herunterladen. Manchmal hast du Glück. Aber meistens läuft es so: Entweder startet es gar nicht - der Speicher reicht nicht. Oder es startet, denkt aber eine Minute über das Wort „Hallo“ nach. Oder es entpuppt sich als ziemlich dumm - und du beschließt, dass diese ganze lokale KI eine Schnapsidee ist.

Lernst du dagegen, die Namen zu lesen, bekommst du Folgendes:

• Du hörst auf, Gigabytes umsonst herunterzuladen - du siehst sofort, was reinpasst und was nicht.
• Du gibst nicht mehr dem „schwachen Rechner“ die Schuld, wo du einfach die falsche Modellgröße erwischt hast.
• Du kannst bewusst Tempo gegen Intelligenz tauschen: mal brauchst du etwas Flottes, mal etwas Klügeres.
• Jeder neue Release ist für dich dieselben drei Zahlen. Die Namen ändern sich, die Logik der Auswahl nicht.

Neun von zehn Beschwerden im Stil von „lokale KI ist dumm und langsam“ handeln nicht von der KI. Sie handeln von einem Modell, das zwei Größen zu groß für die Hardware ist. Korrigierst du das, läuft plötzlich alles rund.

Modellfamilien: Llama, Qwen, Mistral, Gemma

Familie Familie (Modellfamilie) - eine Reihe von Modellen desselben Entwicklers, trainiert nach einem gemeinsamen Rezept. Innerhalb einer Familie gibt es verschiedene Größen. Llama, Qwen, Mistral, Gemma sind Familien. - das ist, wer das Modell nach welchem Rezept trainiert hat. Sie sind alle offen: Die Gewichte lassen sich herunterladen und bei dir laufen lassen. Die Charaktere sind dagegen verschieden. Grob gepinselt, ohne uns auf konkrete Versionen festzunageln:

• Llama (von Meta) - der altgediente „Volkswagen“ der Szene. Riesige Community, ein Haufen fertiger Konfigurationen und Feintunings für alles Mögliche. Bist du unsicher, fang hier an.
• Qwen (von Alibaba) - eine starke und vielseitige Reihe. Besonders gut bei Code und in einem Haufen Sprachen, Deutsch inklusive. Wird oft als Standard-Arbeitspferd genommen.
• Mistral (die Franzosen) - Meister darin, aus bescheidener Größe viel Intelligenz herauszuholen. Effizient und flott.
• Gemma (von Google) - ordentlich, freundlich, läuft entspannt auf einer einzigen Grafikkarte. Es gibt sie auch mit Bildverständnis.

Modellgröße: was die Parameterzahl bedeutet (7B, 14B, 70B)

Im Namen steht fast immer der Buchstabe B mit einer Zahl: 7B, 8B, 14B, 70B. B steht für billion, also Milliarden Parameter Parameter - Einstellschrauben im Inneren des Modells, beim Training justiert. Je mehr davon, desto feiner erfasst das Modell den Sinn, aber desto mehr Speicher braucht es. Gemessen in Milliarden (B). . Stell dir das als Größe des Gehirns vor. Oder als Hubraum - je nachdem, was dir näher liegt.

• Mehr Parameter - das Modell ist schlauer, hält lange Gedankengänge besser durch, redet seltener Unsinn. Frisst aber mehr Speicher und denkt langsamer.
• Weniger Parameter - schneller und leichter, passt fast überall rein. Dafür simpler: Bei einer kniffligen Aufgabe kann es ins Schwimmen geraten.

Grobe Orientierung nach Gewichtsklassen:

Quantisierung Q4, Q5, Q8: das Modell komprimieren fast ohne Verlust

Hier kriegen die meisten am meisten Panik. Völlig unnötig. Quantisierung Quantisierung - das Komprimieren eines Modells: Seine internen Zahlen werden mit geringerer Genauigkeit gespeichert (zum Beispiel 4 Bit statt 16). Die Datei wird kleiner, es braucht weniger Speicher, und die Intelligenz leidet kaum. Bezeichnet als Q4, Q5, Q8. ist einfach das Komprimieren des Modells. Wie mp3 für Musik oder JPEG für Fotos.

Das Ausgangsmodell speichert jede seiner Zahlen sehr genau - deshalb wiegt es auch so gigantisch viel. Die Quantisierung rundet diese Zahlen: Statt des langen „3,14159265“ bleibt das kurze „3,14“. Die Datei wird schlagartig schlanker, es braucht weniger Speicher, und bei den Antworten ist der Unterschied kaum zu sehen. Die Zahl nach dem Q sagt, wie viele Bit Genauigkeit übrig sind:

• Q8 - fast das Original. Das schwerste der komprimierten Modelle, vom unkomprimierten mit bloßem Auge nicht zu unterscheiden. Nimm es, wenn du Speicher im Überfluss hast.
• Q5 - etwas leichter, die Intelligenz leidet praktisch nicht. Eine super Wahl, wenn der Speicher mit Reserve reicht.
• Q4 - der beliebteste goldene Mittelweg. Die Datei ist schon um ein Vielfaches kleiner als das Original, und die Qualität hält sich fast vollständig. Bist du unsicher, nimm das.
• Q3 und niedriger - richtig zusammengequetscht. Für schwache Hardware, wenn es sonst überhaupt nicht reinpasst. Das Modell wird merklich dümmer, aber so ist es besser als gar nicht.

Wie du ein Modell für VRAM und Arbeitsspeicher auswählst: Schritt für Schritt

Die Frage ist nicht „welches Modell ist das beste“, sondern „was passt in meinen Speicher und kommt in die Gänge“. Merk dir ein Wort - VRAM VRAM - der Videospeicher, der in die Grafikkarte eingebaut ist. Das Modell läuft am schnellsten, wenn es komplett ins VRAM passt. Passt es nicht rein, wandert ein Teil in den normalen Arbeitsspeicher (RAM), und alles wird langsamer. . Das ist der Speicher deiner Grafikkarte, und genau er ist hier der Chef.

Finde dein Speicher-Limit heraus. Hast du eine Grafikkarte, schau auf ihren VRAM-Wert (zum Beispiel 8 oder 12 Gigabyte). Hast du keine Grafikkarte oder eine schwache, orientier dich am normalen Arbeitsspeicher (RAM) - aber stell dich darauf ein, dass es langsamer wird.
Schätz ab, was reinpasst. Grobe Regel: Die Modelldatei muss kleiner als dein Speicher sein, und lass noch ein paar Gigabyte als Reserve obendrauf. Eine 5-Gigabyte-Datei in eine 8-Gigabyte-Grafikkarte - passt bequem rein.
Fang mit einem Mittelklasse-Modell in Q4 an. Ein Modell mit 7-8 Milliarden Parametern in Q4 ist etwa 4-6 Gigabyte Datei und ein super Start für die meisten Rechner.
Justiere nach Gefühl. Bleibt viel Speicher übrig und du willst es klüger - dreh die Quantisierung auf Q5 hoch oder nimm ein größeres Modell. Lahmt es oder passt es nicht rein - geh eine Größe runter oder auf eine leichtere Quantisierung.

Häufige Fehler bei der Auswahl eines lokalen Modells

• Dem größten Modell hinterherjagen. Eine 70B spuckt auf einer Heim-Grafikkarte ein Wort alle paar Sekunden aus. Fang mit 7-8B an, taste dich an deine Bedürfnisse heran - dann wächst du mit.
• Die unkomprimierte Version herunterladen. Ohne Quantisierung wiegt das Modell ein Vielfaches mehr und passt mit ziemlicher Sicherheit nicht rein. Für zu Hause nimm GGUF in Q4 oder Q5, nicht das Original.
• Die Speicherreserve vergessen. Passt das Modell auf Kante rein, bleibt für System und Kontext kein Platz, alles fängt an zu lahmen oder abzustürzen. Lass ein paar Gigabyte obendrauf.
• Ohne Not Q2-Q3 nehmen. Ein stark zusammengequetschtes Modell wird dümmer. Die minimale Quantisierung nur, wenn es sonst überhaupt nicht geht.
• Sich auf die „allertopaktuellste Familie“ versteifen. Rankings veralten binnen eines Monats. Jedes beliebte Modell mittlerer Größe eignet sich bestens für den Start.
• Die Lizenz für den kommerziellen Einsatz ignorieren. Zu Hause egal. Im Produkt - schau dir die Bedingungen des konkreten Modells vorher an.