Ollama: So startest du ein lokales neuronales Netz mit einem einzigen Befehl

Ollama einfach erklärt

Früher war es, als müsstest du ein Motorrad aus einem Karton voller Einzelteile zusammenbauen, wenn du ein Sprachmodell auf deinem eigenen Rechner starten wolltest. Treiber, Bibliotheken, Modellgewichte, Formate mit kryptischen Buchstaben im Namen - und das Ganze ging spätestens beim dritten Schritt elegant kaputt. Die meisten haben einfach aufgegeben.

Ollama ist, als käme das Motorrad schon fertig montiert an. Du sagst „bring mir das Modell“ und „los geht’s“, und die ganze Drecksarbeit übernimmt es selbst. Herunterladen, entpacken, an deinen Arbeitsspeicher anpassen, sich mit der Grafikkarte einigen - still, hinter den Kulissen, ohne dass du etwas tun musst.

Im Grunde ist es ein Manager für lokale Modelle. Mit einem Befehl heruntergeladen, mit dem nächsten gestartet - und schon schreibst du mit einer KI mitten im schwarzen Terminal-Fenster. Ohne Cloud. Ohne Account. Deine Daten fliegen nirgendwohin.

Warum ein Vibecoder Modelle lokal starten will

Du bist Vibecoder. Die Mathe-Magie im Inneren des Modells interessiert dich nicht - du willst es schnell starten und ausprobieren. Ollama gibt dir genau das, mit einem Minimum an Schmerz.

• Kostenlos und ohne Limits. Modell heruntergeladen - und dann ballere los, so viel du willst. Kein Token-Zähler, kein monatliches Abo.
• Privatsphäre. Alles läuft auf deinem eigenen Rechner. Du kannst Arbeitstexte und Code reinwerfen, ohne bei dem Gedanken zusammenzuzucken, dass sie auf einen fremden Server abwandern.
• Offline. Internet brauchst du genau einmal - zum Herunterladen. Danach geht’s auch im Flugzeug oder auf dem Land ohne Empfang.
• Es ist das Fundament. Fast alle lokalen Tools und Agenten aus den nächsten Lektionen können sich an Ollama anhängen. Einmal installiert - und du hast dir quasi die halbe Kurs-Strecke freigeschaltet.

Neun von zehn Geschichten nach dem Muster „wollte lokale KI ausprobieren, hab’s dann gelassen“ sind Leute, die in der ersten Stunde im Setup ertrunken sind. Ollama wurde genau dafür erfunden, dass es diese Stunde gar nicht erst gibt.

Die Ollama-Befehle: pull, run, list

Die ganze Logik hängt an ein paar simplen Befehlen. Merk sie dir als Verben: herunterladen, starten, anschauen. Das war’s.

Der Befehl pull - das Modell auf die Festplatte laden

pull pull - der Ollama-Befehl, der ein Modell aus dem gemeinsamen Katalog auf deine Festplatte lädt. Internet ist nötig. Wird einmal pro Modell gemacht. sagt: „Fahr zum Katalog und bring mir genau dieses Modell.“ Ollama lädt die Datei herunter und legt sie bei sich ab. Eine einmalige Sache - einmal geholt, und danach liegt das Modell einfach auf der Festplatte und wartet.

Die Modelle im Katalog sind menschenlesbar benannt: Name plus Größe. Je größer das Modell, desto schlauer - aber desto mehr Platz und Speicher will es auch haben. Fang mit einem kleinen an: es ist flotter und passt garantiert rein.

Der Befehl run - das Modell starten und den Chat öffnen

run run - der Ollama-Befehl, der ein Modell in den Speicher lädt und sofort einen Chat direkt im Terminal öffnet. Ist das Modell noch nicht heruntergeladen, macht run selbst ein pull. ist das Herzstück von allem. Lädt das Modell in den Speicher und wirft dich sofort in den Chat direkt im Terminal: eine Eingabeaufforderung erscheint, du tippst eine Nachricht, das Modell antwortet. Wie ein Chat im Messenger. Nur dass dein Gesprächspartner auf deinem eigenen Rechner wohnt und nicht auf einem fremden Server.

Und ein netter Bonus. Tippst du run mit einem Modell, das es noch gar nicht gibt, holt Ollama es zuerst selbst (macht ein pull) und startet es danach. Beim allerersten Mal kommst du also komplett mit einem einzigen Befehl aus.

Der Befehl list - die heruntergeladenen Modelle anzeigen

list list - der Ollama-Befehl, der eine Liste der bereits heruntergeladenen Modelle auf deiner Festplatte anzeigt. zeigt dir, was du schon geholt hast. Praktisch, wenn du vergessen hast, was du heruntergeladen hast, oder wenn du abschätzen willst, wie viel Platz die Modelle gefressen haben.

ollama pull llama3
ollama run llama3
ollama list

Der lokale Ollama-Server: was unter der Haube läuft

Hier kommt eine unscheinbare, aber wichtige Sache. Wenn Ollama läuft, hält es auf deinem Rechner einen kleinen lokalen Server am Leben - ein leises Programm, das im Hintergrund arbeitet und auf Anfragen wartet.

Lokaler Server Lokaler Server - ein Programm, das dauerhaft im Hintergrund auf deinem Rechner läuft und auf Anfragen antwortet. „Lokal“ heißt, dass es bei dir wohnt und nicht irgendwo in der Cloud. Ollama startet so einen Server, damit man das Modell nicht nur aus dem Terminal ansprechen kann. - das ist wie die Rezeption in einem Hotel. Das Terminal, in dem du plauderst, ist nur ein einzelner Gast, der herangetreten ist und eine Frage gestellt hat. Aber an dieselbe Rezeption können auch andere Programme herantreten: ein Code-Editor, dein eigenes Skript, ein Browser-Plugin. Sie alle klopfen am selben Server an und bekommen Antworten vom Modell.

Und außerdem macht Ollama unter der Haube ganz leise eine Quantisierung Quantisierung - das Komprimieren eines Modells: Die Zahlen in seinem Inneren werden gerundet, damit die Datei kleiner wird und um ein Vielfaches weniger Speicher braucht. Die Qualität sinkt ein wenig, aber das Modell passt in einen ganz normalen Rechner. Ollama macht das standardmäßig für dich. - es nimmt eine komprimierte Version des Modells, die in normalen Arbeitsspeicher passt und keine Server-Grafikkarte verlangt. Darüber nachdenken musst du nicht, aber es zu wissen ist nützlich. Genau deshalb startet ein Modell von mehreren Gigabyte ganz entspannt auf deinem Laptop und nicht nur im Rechenzentrum.

So startest du Ollama: von null zum Chat in drei Schritten

Das Schönste daran - es gibt hier wirklich wenig zu tun. Installiert, geholt, gestartet.

• Installier Ollama passend zu deinem System. Es gibt Versionen für Windows, macOS und Linux. Wird wie ein ganz normales Programm installiert, über einen Installations-Assistenten. Danach läuft im Hintergrund schon der lokale Server.
• Hol dir ein kleines Modell. Öffne das Terminal, tippe pull mit dem Modellnamen. Warte, bis es heruntergeladen ist - das ist eine einmalige Sache, danach vergisst du es.
• Starte es mit dem Befehl run und demselben Namen. Eine Eingabeaufforderung erscheint - tippe deine Frage, bekomm die Antwort direkt im Terminal. Fertig, du redest mit einer lokalen KI.

Lohnt es sich überhaupt, sich mit dem lokalen Start abzumühen, wenn es doch Cloud-Modelle gibt? Kommt auf die Aufgabe an.

Häufige Anfängerfehler mit Ollama

• Gleich das größte Modell herunterladen. Passt nicht in den Speicher oder antwortet mit einem Wort pro Minute. Fang mit einem kleinen an, probier es in Ruhe aus und steiger dich dann.
• pull und run verwechseln. pull holt nur das Modell, es öffnet keinen Chat. Plaudern fängst du nach run an. Wobei run im Notfall beide Schritte selbst erledigt.
• Glauben, dass man dauerhaft Internet braucht. Braucht man nicht. Internet ist genau einmal nötig - zum Herunterladen. Danach läuft alles offline.
• Das Terminal schließen, um aus dem Chat zu kommen. Geh lieber sauber mit dem Verlassen-Befehl raus - das Modell wird aus dem Speicher entladen, und der Rechner schleppt es nicht unnötig im Hintergrund mit.
• Qualität wie bei einem Top-Cloud-Modell erwarten. Ein lokales Modell ist ein Kompromiss: Privatsphäre und Kostenfreiheit im Tausch gegen ein bisschen weniger Köpfchen. Für die meisten Aufgaben reicht das locker.
• Nicht nachschauen, ob auf der Festplatte genug Platz ist. Modelle wiegen Gigabyte. Prüf vor dem pull, ob du sie überhaupt irgendwo unterbringen kannst.