Hardware für lokale KI: wie viel VRAM du wirklich brauchst

Was VRAM ist und warum es über alles entscheidet

Ein lokales Modell ist eine riesige Datei voller „Hirn“. Damit es zu denken anfängt, muss man es komplett in den schnellen Speicher heben. Das ist der ganze Trick.

Stell dir vor, du hast einen Koch engagiert. Schnell kocht er nur dann, wenn alle Zutaten griffbereit auf seinem Tisch liegen. Der Tisch ist der Speicher der Grafikkarte. Und wenn die Hälfte der Zutaten in der Vorratskammer ein Stockwerk höher liegt? Dann wird jedes Gericht zum Hin-und-her-Marathon. Das Kochen kommt zum Erliegen.

Der wichtigste Tisch für KI ist also die Grafikkarte und ihr eigener Speicher, das VRAM. Nicht der Prozessor. Nicht die Anzahl der Kerne. Nicht der Takt. Sondern genau das: wie viele Gigabyte in die Grafikkarte passen. Regel Nummer eins. Merk sie dir, und die Hälfte aller Hardware-Fragen erledigt sich von selbst.

Warum du Hardware verstehen solltest, bevor du ein Modell startest

Damit du kein Geld zum Fenster rauswirfst und nicht zu früh enttäuscht bist. Die Geschichte ist schmerzlich vertraut: Jemand lädt das größte und schlauste Modell herunter, drückt auf Start - und der Computer hängt entweder fest oder spuckt ein Wort pro Minute aus. Daraus folgt der Schluss „lokale KI ist langsam und funktioniert nicht“. Der Schluss ist falsch. Das Modell hat einfach nicht auf den Tisch gepasst.

• Du verstehst, welches Modell deine Maschine wirklich stemmt, noch bevor du Gigabyte herunterlädst.
• Du gibst nicht mehr dem „schwachen Rechner“ die Schuld, wo du einfach ein kleineres Modell hättest nehmen sollen.
• Du wählst bewusst: das hier starte ich sofort, jenes ist nichts für meine Hardware.
• Willst du Hardware nachkaufen, schaust du auf die richtige Zahl (den VRAM-Speicher), nicht auf das Marketing.

Neun von zehn Beschwerden „das lokale Modell ist furchtbar langsam“ sind ein Modell, das nicht ins VRAM gepasst hat und zur Hälfte in den Arbeitsspeicher gerutscht ist. Hast du den Speicher im Griff, wird das Problem sichtbar und lösbar.

Drei Arten von Speicher für KI: VRAM, RAM und CPU

Im Computer gibt es mehrere Orte, an denen ein Modell „wohnen“ kann. Und in puncto Geschwindigkeit liegen sie so weit auseinander wie eine Rennstrecke und ein Feldweg.

VRAM - der Speicher der Grafikkarte, der Haupttisch

VRAM VRAM (Video-RAM) ist der eigene Speicher der Grafikkarte, getrennt vom normalen Arbeitsspeicher. Der schnellste für KI. Genau seine Größe in Gigabyte entscheidet, welches Modell du bequem starten kannst. ist genau dieser schnelle Speicher direkt auf der Grafikkarte. Die Grafikkarte kann Tausende Dinge gleichzeitig berechnen, deshalb laufen Modelle auf ihr und nicht auf dem Prozessor. Aber ihr Tisch ist nicht aus Gummi: Mal sind es 8, 12, 16, 24 Gigabyte. Wie viel genau - das entscheidet so gut wie alles.

RAM - der normale Arbeitsspeicher, die Reservebank

Der Arbeitsspeicher RAM (Arbeitsspeicher) ist der normale Speicher des Computers, von dem es mal 8, 16, 32 GB gibt. Für KI ist er langsamer als VRAM, aber man kann einen Teil des Modells dorthin auslagern, wenn es nicht in die Grafikkarte passt. funktioniert auch - aber für solche Aufgaben merklich langsamer. Das Modell passt nicht ins VRAM? Dann kippt das Programm den „überzähligen Rest“ in den Arbeitsspeicher - das nennt man Offload (Auslagern). Das Modell startet. Nur sackt die Geschwindigkeit massiv ab: Die Grafikkarte muss ständig in die Vorratskammer rennen, um jedes Stückchen zu holen.

Prozessor (CPU) - der Notfall

Man kann ein Modell sogar ganz ohne Grafikkarte laufen lassen, nur auf dem Prozessor mit Arbeitsspeicher. Es funktioniert. Aber langsam - taugt höchstens, um ein winziges Modell mal anzufassen. Das ist Plan B, nicht die Hauptstraße.

Wie viel VRAM für 7B, 13B und 70B nötig ist

Die Größe eines Modells misst man in Milliarden Parametern - genau das ist das B in Namen wie 7B, 13B, 70B (B steht für billion, Milliarde). Grob gesagt: Je mehr Parameter, desto schlauer das Modell und desto mehr Speicher will es haben.

Hier ein Daumenwert für das komprimierte (quantisierte) Format - genau so startet man Modelle lokal in der Regel. Die Zahlen sind Richtwerte, plus/minus, ohne Anspruch auf Apothekergenauigkeit: Der echte Appetit hängt auch von der Kontextlänge ab (wie viel Text das Modell auf einmal im Kopf behält).

7B / 8B (klein, flink) - etwa 5-6 GB VRAM. Läuft sogar auf einer bescheidenen Grafikkarte mit 8 GB.
13B (mittel, etwas schlauer) - etwa 8-10 GB. Bequem auf einer Karte mit 12-16 GB.
70B (groß, richtig schlau) - etwa ab 40 GB. Das ist schon eine Profikarte, zwei Grafikkarten oder ein Mac mit viel Speicher.

Apple Silicon und gemeinsamer Speicher: warum der Mac hier im Vorteil ist

Du hast einen Mac mit einem Chip der M-Serie (M1, M2, M3, M4 und weiter)? Dann ist die Geschichte eine andere - und in vielerlei Hinsicht ein Glücksfall für KI. Diese Chips haben gemeinsamen Speicher: Prozessor und integrierte Grafik teilen sich einen gemeinsamen Pool, statt sich um getrennte Stücke zu streiten.

Apple Silicon Apple Silicon sind Apples Chips der M-Serie (M1, M2, M3, M4 und weiter). Ihr Clou ist Unified Memory, gemeinsamer Speicher: Prozessor und Grafik nutzen einen Pool, deshalb steht der Grafik viel Speicher zur Verfügung, ganz ohne eigene Grafikkarte. mit gemeinsamem Speicher bedeutet Folgendes: Wie viel Arbeitsspeicher dein Mac hat, fast genauso viel steht auch dem Modell zur Verfügung. Ein Mac mit 32-64 GB stemmt das, wofür du auf einem normalen PC eine hübsche Summe für eine Grafikkarte mit viel VRAM hinblättern müsstest.

Wie du lokale KI auf einem schwachen Computer zum Laufen bringst

Alter Laptop, integrierte Grafik, eine Grafikkarte mit 4-6 GB? Kein Grund, die Hände in den Schoß zu legen. Lokale KI ist nicht „Top-Hardware oder gar nichts“. Es gibt zwei Hebel, die fast jeden raushauen.

Hebel 1. Nimm ein kleineres Modell

Das Naheliegendste und das Wirksamste. Ein kleines Modell (etwa 7B/8B, und es gibt sogar Winzlinge mit 1-3B) passt fast überall rein. Ja, es ist dümmer als ein großes. Aber für jede Menge Aufgaben - Zusammenfassungen, einfache Fragen, Entwürfe, Hilfe beim Code - reicht es locker. Lieber ein flinkes kleines Modell als ein riesiges, das kaum atmet oder gar nicht erst startet.

Hebel 2. Quantisierung - das Komprimieren des Modells

Quantisierung Quantisierung ist das Komprimieren eines Modells: Die Zahlen darin werden grober gespeichert (zum Beispiel 4 Bit statt 16). Das Modell belegt im Speicher etwa ein Viertel und läuft schneller, während die Qualität nur ein winziges bisschen sinkt. ist, wenn die Zahlen im Modell weniger genau, etwas gröber gespeichert werden. Klingt furchteinflößend, ist in Wahrheit aber fast Zauberei: Das Modell belegt im Speicher etwa ein Viertel, antwortet aber fast genauso gut. Genau deshalb braucht ein 7B-Modell nicht 14-16 GB, sondern nur bescheidene 5-6 GB.

Und das Angenehme: Du musst von Hand gar nichts komprimieren. In den fertigen Programmen zum Starten lokaler Modelle liegen die komprimierten Versionen schon zur Auswahl bereit - nimm einfach die, die als 4-Bit markiert ist (oft steckt im Namen etwas wie Q4), und fertig.

Häufige Anfängerfehler bei der Hardware-Wahl

• Dem größten Modell hinterherjagen. 70B läuft auf einer Grafikkarte mit 8 GB nicht vernünftig. Stimm die Modellgröße auf deinen Speicher ab.
• Auf den Prozessor statt die Grafikkarte schauen. Für KI entscheidet das VRAM, nicht die Zahl der CPU-Kerne. Ein starker Prozessor ohne gute Grafikkarte rettet das Modell nicht.
• Ein Modell auf den letzten Zentimeter ins VRAM quetschen. Den Kontext vergessen - und im lebendigen Dialog ist der Speicher leer. Lass immer einen Puffer.
• Ein unkomprimiertes Modell laden, „damit es besser wird“. Auf einer schwachen Maschine ist das der direkte Weg zum Festhängen. Nimm die quantisierte Version - der Qualitätsunterschied ist für Anfänger kaum spürbar.
• Glauben, ohne teure Grafikkarte gehe gar nichts. Ein kleines komprimiertes Modell läuft sogar auf bescheidener Hardware und auf einem Mac mit gemeinsamem Speicher.
• Dem „lahmen Rechner“ die Schuld geben. Meistens lahmt nicht der Rechner, sondern ein zu großes Modell, das aus dem VRAM in den Arbeitsspeicher gerutscht ist.