Lokales LLM betreiben: KI auf dem eigenen PC — Specs, Tools und die besten Modelle für Einsteiger

Du gehst wahrscheinlich davon aus, dass ein großes Sprachmodell (LLM) in der Cloud laufen muss. Tatsächlich ist es heute eine realistische Option, KI komplett im eigenen PC zu betreiben — ein „lokales LLM“. Deine Daten verlassen die Maschine nie, es fallen keine API-Gebühren an, und es funktioniert ohne Internet. Kleine Modelle sind nur wenige Gigabyte groß, sodass sogar ein gewöhnlicher Laptop sie ausführen kann.

Dieser Artikel erklärt für Einsteiger, was ein lokales LLM ist, welche Vor- und Nachteile es hat, welche Specs du brauchst, wie du anfängst (von der Installation von Ollama nach der offiziellen Anleitung bis zur Kontrolle, ob es läuft), wie du ein Modell auswählst und wann es sich statt der Cloud lohnt.

1. Was ist ein lokales LLM?

Ein lokales LLM bedeutet, ein KI-Modell wie ChatGPT oder Claude direkt auf dem eigenen PC (oder Smartphone) statt in der Cloud laufen zu lassen. Die KI, die du normalerweise nutzt, sendet deine Eingabe an einen weit entfernten Server, verarbeitet sie dort und liefert die Antwort zurück — ein lokales LLM dagegen erledigt all das auf der Maschine direkt vor dir.

Stell es dir wie „Musik-Streaming vs. Download“ vor. Cloud-KI ist wie Streaming über das Netz, jedes Mal wenn du etwas hören willst; ein lokales LLM ist wie ein heruntergeladener Titel auf dem Gerät, den du offline und jederzeit abspielen kannst. Sobald ein Modell — eine Datei von ein paar Gigabyte — auf deinem PC liegt, kannst du es ohne Internet und ohne Gebühren betreiben.

2. Warum lokal? Vor- und Nachteile

Lokale LLMs haben drei große Reize: Datenschutz, Kosten und Offline-Nutzung. Da die Eingabe die Maschine nie verlässt, lassen sich vertrauliche Daten leichter handhaben, und es fallen keine API-Gebühren an. Weil keine Kosten pro Anfrage entstehen, wächst der Unterschied, je öfter du dieselbe Aufgabe tausendfach wiederholst.

Es gibt auch Nachteile. Seien wir ehrlich dazu.

Kurz gesagt: „einen Schritt hinter dem Neuesten bei der Klugheit, aber ein klarer Sieger bei Datenschutz, Kosten und Offline.“ Für Anwendungen, bei denen du diesen Kompromiss akzeptieren kannst, ist ein lokales LLM eine starke Option.

3. Benötigte PC-Specs und Quantisierung

„Läuft das auf meinem PC?“ ist wohl deine wichtigste Frage. Entscheidend sind der Speicher (RAM bzw. der VRAM der GPU) und die Quantisierung.

Quantisierung ist eine Kompressionstechnik, die die Rechengenauigkeit eines Modells senkt und dafür die Größe stark verringert. Das Standardformat für den lokalen Einsatz ist GGUF, und Q4_K_M gilt als bewährter Kompromiss. Wie stark es schrumpft, zeigt die Tag-Liste von Ollama: Llama 3.1 8B belegt mit 16 Bit (fp16) 16 GB, mit Q4_K_M 4,9 GB – also rund 30 % der Größe. Genau diese Q4_K_M-Version lädt auch ollama run llama3.1:8b herunter (Tag-Liste von llama3.1, Stand 30. September 2026). Auf Hugging Face gibt es 207.667 Modelle im GGUF-Format (GGUF-Filter von Hugging Face, gleiches Datum).

Wie groß sind sie also konkret? Hier die Downloadgrößen aus der Modellbibliothek von Ollama, aufsteigend sortiert.

*Quelle: die Tag-Seiten der Modellbibliothek von Ollama (Stand 30. September 2026). Die Größenspannen sind so angegeben, wie die Bibliothek sie zeigt. Audio: Die Tabelle auf der gemma4-Seite nennt es nur für E2B und E4B (die Tag-Liste selbst zeigt Text, Bild). Die Zeile muse-glimmer stammt aus der Tag-Liste von muse-glimmer (Stand 5. Oktober 2026).

Zwei Tipps zum Lesen der Tabelle:

• Du brauchst mehr Speicher als die Dateigröße: Die Tabelle zeigt Dateigrößen. Im Betrieb kommt Speicher für den Gesprächsverlauf (den Kontext) hinzu. Der Standardkontext von Ollama beträgt 4.096 Tokens, und je länger du ihn einstellst, desto mehr Speicher braucht er (Ollama-FAQ).
• Ob es auf die GPU passt, zeigt ollama ps: Steht in der Spalte PROCESSOR „100% GPU“, liegt das ganze Modell auf der GPU; „100% CPU“ heißt, es läuft im Arbeitsspeicher. Eine Aufteilung wie „48%/52% CPU/GPU“ bedeutet, dass ein Teil übergelaufen ist (gleiche FAQ). Der Teil auf der CPU läuft meist langsamer – das ist dein Signal, eine Tag-Größe kleiner zu wählen.

Bei Macs mit Apple Silicon teilen sich CPU und GPU denselben Speicher (Unified Memory). Ein Mac mit viel Speicher kann größere Tags daher leichter auf der GPU ausführen. Die System- und Hardwareanforderungen laut den offiziellen Seiten der Tools:

Quellen: Ollama-Dokumentation für macOS und Windows sowie die Systemanforderungen von LM Studio (jeweils Stand 30. September 2026).

Die NPU (ein Spezialbauteil für KI) in aktuellen Laptops wird von Ollama noch nicht genutzt. Was die NPU leistet, erklärt NPU: Was ist das, und braucht dein PC eine?

Für einen ersten Versuch reichen die Tags oben in der Tabelle (etwa 2 bis 5 GB) völlig aus.

Im Gegensatz dazu verändert sich bei Tools wie Claude Code oder Codex, die das Modell auf einem Server laufen lassen, durch die PC-Leistung nur die Geschwindigkeit der lokal laufenden Befehle und der verfügbare Arbeitsspeicher. Die Zeit, die die KI zum Nachdenken braucht, bleibt gleich (Claude Code und Codex: benötigte PC-Specs).

4. So geht's los — Tool-Wahl und der erste Start

Wer tiefer in Ollama einsteigen will, findet mehr in unserem kompletten Ollama-Leitfaden (Befehle, API, Anpassung).

Wähle je nach Typ eines der beiden bewährten Tools.

Beide sind kostenlos und laufen unter Windows, Mac und Linux. Daneben gibt es Jan, Open WebUI, llama.cpp und andere. Wer lieber klickt als tippt, installiert LM Studio und lädt ein kleines Modell – das ist der schnellste Weg. Wer das Terminal nicht scheut, hat mit den folgenden Ollama-Schritten in wenigen Minuten ein laufendes Modell.

Das erste Modell mit Ollama starten

Wir folgen hier den Schritten aus dem offiziellen README und der Dokumentation von Ollama, von der Installation bis zur Kontrolle, ob alles läuft (Stand 30. September 2026). Die vollständige Befehlsliste und Details stehen im Befehlsteil unseres Ollama-Leitfadens; hier beschränken wir uns auf die vier Dinge, die du beim ersten Mal brauchst.

1. Installieren. Unter macOS und Linux diese Zeile im Terminal ausführen:

curl -fsSL https://ollama.com/install.sh | sh

Unter Windows diese Zeile in PowerShell ausführen:

irm https://ollama.com/install.ps1 | iex

Wer kein Skript aus dem Internet direkt ausführen möchte, kann auch die offiziellen manuellen Downloads nutzen (Ollama.dmg für Mac, OllamaSetup.exe für Windows und die Anleitung zur manuellen Installation für Linux). Für Docker gibt es das offizielle Image ollama/ollama (Ollama-README).

2. Ein Modell starten. Wie im ersten Beispiel des README starten wir Gemma 4. Ist das Modell noch nicht auf deinem Rechner, wird es zuerst heruntergeladen, danach beginnt der Chat.

ollama run gemma4

Der Standard-Tag von gemma4 belegt 6,6–9,5 GB. Ist der Speicher knapp, gib einen kleineren Tag an, etwa ollama run gemma4:e2b oder ollama run llama3.2 (2,0 GB).

3. Prüfen, ob es läuft. Führe in einem zweiten Terminal den folgenden Befehl aus. Er zeigt das geladene Modell und die Spalte PROCESSOR (GPU oder CPU). Wie in Abschnitt 3 beschrieben, ist „100% GPU“ der Idealfall.

ollama ps

4. Aufräumen. ollama stop gemma4 entlädt das Modell aus dem Speicher, ollama rm gemma4 löscht es, wenn du es nicht mehr brauchst. Modelle liegen unter macOS in ~/.ollama/models, unter Linux in /usr/share/ollama/.ollama/models und unter Windows in C:\Users\%username%\.ollama\models; ändern lässt sich das über die Umgebungsvariable OLLAMA_MODELS (Ollama-FAQ).

5. So wählst du ein Modell (Beispiele, Stand September 2026)

Modelle wechseln schnell, deshalb lohnt es sich, zuerst die Kriterien statt der Namen zu kennen: (1) Passt es in deinen Speicher (Tabelle in Abschnitt 3)? (2) Brauchst du Bild- oder Audioeingabe? (3) Ist es stark in dem, was du brauchst, etwa deiner Sprache oder Code? (4) Wird es noch aktualisiert? Namen, Größen und Aktualisierungsdaten findest du in der Modellbibliothek von Ollama. Typische Beispiele, Stand 30. September 2026:

Der Trick: schrittweise vorgehen. Probiere einen kleineren Tag, prüfe mit ollama ps, dass er auf der GPU liegt, und geh nur dann eine Größe höher, wenn er nicht reicht. Wie bei unserem Vergleich der Cloud-KIs gilt: Ob ein Modell zu deinem Einsatz passt, weißt du erst, wenn du es ausprobierst.

6. Lokal vs. Cloud: wann was?

Für einen tieferen Blick auf die Unterschiede, den Leistungsabstand und die Wahl zwischen lokal und Cloud siehe unseren Artikel Lokales LLM vs. Cloud-LLM.

Lokal und Cloud sind kein Entweder-oder — der clevere Schritt ist, sie nach Rolle aufzuteilen.

• Lokal passt für: den Umgang mit vertraulichen Daten, umfangreiche oder repetitive Aufgaben, Offline-Umgebungen und Routinearbeit, bei der du die Kosten niedrig halten willst.
• Cloud passt für: schwierige Probleme, die höchste Genauigkeit erfordern, Recherche, die aktuelle Informationen braucht, und aufwendiges Coding — wo die Spitzenmodelle wie ChatGPT, Claude und Gemini glänzen.

Zum Beispiel funktioniert „Entwürfe, Klassifizierung und Zusammenfassungen kostenlos lokal erledigen und nur den letzten Schliff oder die schweren Teile an die Cloud schicken“ gut. Bedenke aber: „Kostenlos“ bezieht sich auf API-Gebühren – Strom und Hardware kosten trotzdem. Bei geringem Volumen kann die Cloud günstiger sein; was billiger ist, hängt davon ab, wie viel du nutzt.

Fazit

Drei Kernpunkte zu lokalen LLMs.

• Was es ist: ein KI-Modell auf dem eigenen PC laufen lassen. Daten verlassen die Maschine nie, ohne API-Gebühren und ohne Offline-Einschränkungen.
• So geht's los: LM Studio für Einsteiger, Ollama für Entwickler (mit dem offiziellen Skript installieren, mit ollama run starten und mit ollama ps prüfen, ob es auf der GPU läuft). Beginne mit einem kleinen Tag von etwa 2–5 GB. Quantisierung (Q4_K_M) verkleinert ein Modell auf rund 30 % seiner fp16-Größe.
• Wann nutzen: Die Cloud ist klüger. Nutze lokal für vertrauliche, umfangreiche und Offline-Arbeit, und die Cloud für schwierige Probleme — die Kombination beider ist am besten.

Beginne damit, LM Studio zu installieren und ein kleines Modell laufen zu lassen. Das Erlebnis, „KI vollständig im eigenen PC sprechen zu lassen“, ist erfrischender, als man erwartet. Wenn du die Mechanik verstehen willst, sieh dir auch an, wie LLMs funktionieren.

FAQ