LLM auf lokalem PC ausführen • Aidex  • KI  • Impressum  • Datenschutz
Private LLM/VLM auf deinem PC

Seit 2025 ist es möglich, Sprachmodelle off­line auf einem normalen PC aus­zu­füh­ren, also unab­hängig von einem Betrei­ber im Inter­net. Beim Betrieb auf dem eigenen PC hat man be­züg­lich Personen­daten und Firmen­geheim­nissen weniger Probleme mit dem Daten­schutz, weil die Eingaben nicht nach außen über­tragen werden (Private LLM oder Offline LLM genannt).

Ermöglicht wurde der lokale Betrieb durch die Ver­öffent­li­chung kom­pak­ter und kosten­loser Modelle (Open-Weight-Modelle) basie­rend auf einem Bündel neuer Techni­ken zur Ver­kleine­rung, z.B. Distilla­tion und Quanti­sie­rung, siehe unten.

Die runterladbaren Modelle selbst sind passive Dateien, mit Größen be­ginnend ab 3 Giga­byte. Um ein Modell quasi "zum Leben" zu er­wecken, wird ein Pro­gramm be­nötigt - all­gemein kurz als „Model Runner“ oder „LLM Runner“ oder „Local LLM Client“ be­zeich­net.

Ein solches Anwendungsprogramm besteht aus der Ober­fläche, in die man seine Fragen und Aufgaben ein­gibt, sowie die im Hinter­grund arbei­ten­de „LLM Inference Engine“. Die Inference Engine ist ein Berech­nungs­programm, das Texte tokeni­siert und mittels Matrizen­berechnun­gen den Antwort-Text erzeugt.

Bekannte LLM/VLM Runner sind „LM Studio“ und „Ollama“, die beide unten be­schrie­ben werden. Beide Pro­gramme sind kostenlos, gehören aber zu kommer­ziel­len Unter­nehmen. Beide nutzen die Inferenz-Engine ↗llama.cpp bzw. ggml, das seit 2023 als OpenSource ent­wickelt wird.

„Ollama“ ist Open Source, „LM Studio“ ist proprietär. Beide sind kostenlos für die gängi­gen Betriebs­systeme macOS, Windows und Linux ver­füg­bar. Für iOS und Android gibt es andere Projekte, jedoch waren Smart­phones bisher nicht leistungs­stark genug für größere Modelle.

Ausprobiert: Ollama

Die Software ↗Ollama ist Open Source und ist seit Mitte 2025 auch als Desktop-App ver­fügbar. Der Programm-Download ist 1,7 GB groß, weil viele Programm­biblio­theken für ver­schiedene CPUs/GPUs ent­halten sind.

Zusätzlich zum Ollama-Programm benötigt man ein Sprachmodell, das man gesondert auswählen und runterladen muss. Dazu kann man sich in der ↗Modell-Suche umschauen. Folgende Modelle habe ich selber getestet. Das Runterladen läuft per Kommando­zeile, z.B.

ollama pull gemma4:12bGröße 7,4 GB
ollama pull qwen3.5:9bGröße 6,6 GB
ollama pull qwen3.8:27bGröße 17 GB

Ein runtergeladenes Modell ist sofort nach dem Download in der Programm­oberfläche ver­fügbar.

↗Gemma ist ein Modell von Google USA,
↗Qwen ein Modell von Alibaba Singapur (Mutter­konzern in China).

Die Offline-Nutzung eines ausländi­schen Modells auf dem lokalen PC ist unbedenk­lich. Bei dem von China ge­prägten Modell kann man evtl. bei der Frage nach dem Tiananmen-Massaker nicht die gleiche Antwort er­warten wie von einem west­lichen Sprach­model.

Und ob sich die Modelle aus den USA und China in Fragen von Kapitalis­mus und Sozialis­mus unter­scheiden, habe ich (noch) nicht ge­testet. Wahrscheinlich spielt das aber im normalen Nutzungs-Alltag keine Rolle.

Damit ein lokales Modell einen Web­zugriff er­hält und eine Web­suche durch­führen kann, wird ein Ollama-Account be­nötigt.

Auf die Größe kommt es an

Ich habe Ollama auf einem normalen Büro-PC mit nur 16 GB Haupt­speicher und ohne externe Grafik­karte ge­testet. Seit dem KI-Hype ist Speicher (RAM) sehr teuer ge­worden, ebenso Grafik­karten mit viel Speicher. Deshalb habe ich für meine KI-Versuche vom Kauf eines teuren PCs ab­gesehen.

Anfangs habe ich sehr kleine Sprach­modelle mit nur 3 GB Größe runter­geladen und ge­testet, aber dabei schlechte Er­fahrun­gen ge­macht. Die kleinen Sprach­modelle sind wie Wirr­köpfe mit Laber­fluss. Sie ver­rennen sich in Gedanken­gängen (Reasoning) und Denk­schleifen, und kommen nicht zu einem brauch­baren Er­geb­nis. Das ist mir den Strom und die Zeit nicht wert. Ich kann mir nicht vor­stellen, dass das einen prakti­schen Nutzen haben kann.

Als Gegenpol habe ich auch ein zu großes Modell aus­probiert, nämlich Qwen 3.8 (27b) mit 17 GB Größe. Dieses Modell passt nicht als Ganzes in die 16 GB RAM meines Büro-PCs, zumal im Haupt­speicher mehrere Giga­bytes be­reits durch das Be­triebs­system und andere Pro­gramme be­legt sind. Aber durch die automa­tische Aus­lage­rung auf die Fest­platte funktio­niert das große Sprach­modell trotzdem.

Doch das Ergebnis des zu großen Modells ist ent­täuschend, denn der Flaschen­hals ist nun nicht mehr die Rechen­leistung, sondern die Fest­platten-Zugriffe. Selbst auf eine sehr ein­fache Ant­wort wartet man dann viele Minu­ten. Zudem wird bei der Aus­lage­rung nicht nur von der Fest­platte ge­lesen, sondern auch ständig ge­schrie­ben. Ich hätte Angst, damit auf Dauer die SSD kaputt zu schreiben, denn bei SSDs ist die Anzahl an Schreib­zyklen be­grenzt.

Wie so oft im Leben, ist es der goldene Mittel­weg, der recht gut funktio­niert: Auf meinem Büro-PC laufen die Modelle qwen3.5:9b und gemma4:12b (beide um die 7 GB groß) recht zügig und liefern Ant­worten - immerhin. Inwiefern diese Ant­worten aus­reichend sind, muss jeder für seinen An­wendungs­fall selber testen. Mit kommer­ziel­len Online-Angeboten können die kleinen/­mittle­ren Modelle jedoch nicht mit­halten.

LM Studio

Ich habe ↗LM Studio (Chat) herunter­geladen, nicht Bionic (Agent). Der Agent braucht große Sprach­modelle und viel Rechen­power. Ich wollte hin­gegen einen Chat auf einem kleinen Büro-PC aus­probie­ren. Es ist wohl das Geschäfts­modell des Her­stellers, bei größe­rem Bedarf doch die kosten­pflichtige Cloud an­zubieten.

Ich habe den kurzen Test­bericht über LM Studio wieder von dieser Seite ent­fernt, weil mein Test von 2025 inzwischen über­holt ist.
Und da ich nun Ollama nutze (siehe oben) und LM Studio nicht Open­Source ist, habe ich derzeit keinen neuen Test mit LM Studio mehr vor­gesehen.

Optimiert: Open-Weight-Modelle

Neue Modell-Architekturen sind so konzi­piert, dass sie weniger Ressour­cen be­anspru­chen, etwa durch spar­samere Attention-Mechanis­men oder einen modu­la­ren Aufbau. Das Zusam­men­spiel aller Opti­mie­run­gen er­mög­licht es, dass nun Sprach­modelle mit Milliar­den Parame­tern auf norma­len PCs lauf­fähig sind.

Ein zentraler Ansatz ist die Modell-Distillation: Dabei überträgt ein großes „Teacher“-Modell sein Wissen auf ein kleine­res „Student“-Modell, das mit deut­lich weniger Parame­tern nahe­zu ver­gleich­bare Ergeb­nisse lie­fert.

Ergänzend spielt die Quantisierung eine ent­schei­den­de Rolle: die Gewichte des Modells werden in kleinere Zahlen­formate (z.B. 8 Bit oder 4 Bit) um­ge­rech­net, was den Speicher­bedarf und die Rechen­zeit massiv redu­ziert.

Darüber hinaus sorgt das Pruning dafür, dass selten ge­nutzte oder redun­dan­te Teile des Netz­werks ent­fernt wer­den, ohne die Modell­güte stark zu be­ein­träch­ti­gen.

Ergänzt werden diese Methoden durch Frame­works wie MLC-LLM (Opti­mie­rung für spezi­fi­sche Hard­ware) oder z.B. TensorRT-LLM (hersteller­spezi­fi­sche High-Perfor­mance-Libra­ry), die die Hard­ware effi­zient aus­nutzen und CPUs, GPUs oder NPUs ge­zielt an­spre­chen.

Q4_K_M und ähnliche Abkürzungen findet man in den Datei­namen. Q4 be­deu­tet eine Quanti­sie­rung auf 4 Bit. K-Quanti­sie­rung be­deutet eine vari­able Skalie­rung, und das M (Medium) steht für selek­tive Kompri­mie­rung. Q4_K_M wird oft als der beste All­round-Kompro­miss zwischen Größe, Geschwin­dig­keit und Quali­tät für die meis­ten Be­nutzer an­ge­sehen.

Text: Jörg Rosenthal, Aidex GmbH Software, 2025 - 2026