| LLM auf lokalem PC ausführen | • Aidex • KI • Impressum • Datenschutz |
| Private LLM/VLM auf deinem PC
Seit 2025 ist es möglich, Sprachmodelle offline auf einem normalen PC auszuführen, also unabhängig von einem Betreiber im Internet. Beim Betrieb auf dem eigenen PC hat man bezüglich Personendaten und Firmengeheimnissen weniger Probleme mit dem Datenschutz, weil die Eingaben nicht nach außen übertragen werden (Private LLM oder Offline LLM genannt). Ermöglicht wurde der lokale Betrieb durch die Veröffentlichung kompakter und kostenloser Modelle (Open-Weight-Modelle) basierend auf einem Bündel neuer Techniken zur Verkleinerung, z.B. Distillation und Quantisierung, siehe unten. Die runterladbaren Modelle selbst sind passive Dateien, mit Größen beginnend ab 3 Gigabyte. Um ein Modell quasi "zum Leben" zu erwecken, wird ein Programm benötigt - allgemein kurz als „Model Runner“ oder „LLM Runner“ oder „Local LLM Client“ bezeichnet. Ein solches Anwendungsprogramm besteht aus der Oberfläche, in die man seine Fragen und Aufgaben eingibt, sowie die im Hintergrund arbeitende „LLM Inference Engine“. Die Inference Engine ist ein Berechnungsprogramm, das Texte tokenisiert und mittels Matrizenberechnungen den Antwort-Text erzeugt. Bekannte LLM/VLM Runner sind „LM Studio“ und „Ollama“, die beide unten beschrieben werden. Beide Programme sind kostenlos, gehören aber zu kommerziellen Unternehmen. Beide nutzen die Inferenz-Engine ↗llama.cpp bzw. ggml, das seit 2023 als OpenSource entwickelt wird. „Ollama“ ist Open Source, „LM Studio“ ist proprietär. Beide sind kostenlos für die gängigen Betriebssysteme macOS, Windows und Linux verfügbar. Für iOS und Android gibt es andere Projekte, jedoch waren Smartphones bisher nicht leistungsstark genug für größere Modelle. |
| Ausprobiert: Ollama
Die Software ↗Ollama ist Open Source und ist seit Mitte 2025 auch als Desktop-App verfügbar. Der Programm-Download ist 1,7 GB groß, weil viele Programmbibliotheken für verschiedene CPUs/GPUs enthalten sind. Zusätzlich zum Ollama-Programm benötigt man ein Sprachmodell, das man gesondert auswählen und runterladen muss. Dazu kann man sich in der ↗Modell-Suche umschauen. Folgende Modelle habe ich selber getestet. Das Runterladen läuft per Kommandozeile, z.B.
Ein runtergeladenes Modell ist sofort nach dem Download in der Programmoberfläche verfügbar. ↗Gemma ist ein Modell von Google USA,
Die Offline-Nutzung eines ausländischen Modells auf dem lokalen PC ist unbedenklich. Bei dem von China geprägten Modell kann man evtl. bei der Frage nach dem Tiananmen-Massaker nicht die gleiche Antwort erwarten wie von einem westlichen Sprachmodel. Und ob sich die Modelle aus den USA und China in Fragen von Kapitalismus und Sozialismus unterscheiden, habe ich (noch) nicht getestet. Wahrscheinlich spielt das aber im normalen Nutzungs-Alltag keine Rolle. Damit ein lokales Modell einen Webzugriff erhält und eine Websuche durchführen kann, wird ein Ollama-Account benötigt. |
| Auf die Größe kommt es an
Ich habe Ollama auf einem normalen Büro-PC mit nur 16 GB Hauptspeicher und ohne externe Grafikkarte getestet. Seit dem KI-Hype ist Speicher (RAM) sehr teuer geworden, ebenso Grafikkarten mit viel Speicher. Deshalb habe ich für meine KI-Versuche vom Kauf eines teuren PCs abgesehen. Anfangs habe ich sehr kleine Sprachmodelle mit nur 3 GB Größe runtergeladen und getestet, aber dabei schlechte Erfahrungen gemacht. Die kleinen Sprachmodelle sind wie Wirrköpfe mit Laberfluss. Sie verrennen sich in Gedankengängen (Reasoning) und Denkschleifen, und kommen nicht zu einem brauchbaren Ergebnis. Das ist mir den Strom und die Zeit nicht wert. Ich kann mir nicht vorstellen, dass das einen praktischen Nutzen haben kann. Als Gegenpol habe ich auch ein zu großes Modell ausprobiert, nämlich Qwen 3.8 (27b) mit 17 GB Größe. Dieses Modell passt nicht als Ganzes in die 16 GB RAM meines Büro-PCs, zumal im Hauptspeicher mehrere Gigabytes bereits durch das Betriebssystem und andere Programme belegt sind. Aber durch die automatische Auslagerung auf die Festplatte funktioniert das große Sprachmodell trotzdem. Doch das Ergebnis des zu großen Modells ist enttäuschend, denn der Flaschenhals ist nun nicht mehr die Rechenleistung, sondern die Festplatten-Zugriffe. Selbst auf eine sehr einfache Antwort wartet man dann viele Minuten. Zudem wird bei der Auslagerung nicht nur von der Festplatte gelesen, sondern auch ständig geschrieben. Ich hätte Angst, damit auf Dauer die SSD kaputt zu schreiben, denn bei SSDs ist die Anzahl an Schreibzyklen begrenzt. Wie so oft im Leben, ist es der goldene Mittelweg, der recht gut funktioniert: Auf meinem Büro-PC laufen die Modelle qwen3.5:9b und gemma4:12b (beide um die 7 GB groß) recht zügig und liefern Antworten - immerhin. Inwiefern diese Antworten ausreichend sind, muss jeder für seinen Anwendungsfall selber testen. Mit kommerziellen Online-Angeboten können die kleinen/mittleren Modelle jedoch nicht mithalten. |
| LM Studio
Ich habe ↗LM Studio (Chat) heruntergeladen, nicht Bionic (Agent). Der Agent braucht große Sprachmodelle und viel Rechenpower. Ich wollte hingegen einen Chat auf einem kleinen Büro-PC ausprobieren. Es ist wohl das Geschäftsmodell des Herstellers, bei größerem Bedarf doch die kostenpflichtige Cloud anzubieten. Ich habe den kurzen Testbericht über LM Studio wieder von dieser Seite entfernt, weil mein Test von 2025 inzwischen überholt ist.
|
| Optimiert: Open-Weight-Modelle
Neue Modell-Architekturen sind so konzipiert, dass sie weniger Ressourcen beanspruchen, etwa durch sparsamere Attention-Mechanismen oder einen modularen Aufbau. Das Zusammenspiel aller Optimierungen ermöglicht es, dass nun Sprachmodelle mit Milliarden Parametern auf normalen PCs lauffähig sind. Ein zentraler Ansatz ist die Modell-Distillation: Dabei überträgt ein großes „Teacher“-Modell sein Wissen auf ein kleineres „Student“-Modell, das mit deutlich weniger Parametern nahezu vergleichbare Ergebnisse liefert. Ergänzend spielt die Quantisierung eine entscheidende Rolle: die Gewichte des Modells werden in kleinere Zahlenformate (z.B. 8 Bit oder 4 Bit) umgerechnet, was den Speicherbedarf und die Rechenzeit massiv reduziert. Darüber hinaus sorgt das Pruning dafür, dass selten genutzte oder redundante Teile des Netzwerks entfernt werden, ohne die Modellgüte stark zu beeinträchtigen. Ergänzt werden diese Methoden durch Frameworks wie MLC-LLM (Optimierung für spezifische Hardware) oder z.B. TensorRT-LLM (herstellerspezifische High-Performance-Library), die die Hardware effizient ausnutzen und CPUs, GPUs oder NPUs gezielt ansprechen. Q4_K_M und ähnliche Abkürzungen findet man in den Dateinamen. Q4 bedeutet eine Quantisierung auf 4 Bit. K-Quantisierung bedeutet eine variable Skalierung, und das M (Medium) steht für selektive Komprimierung. Q4_K_M wird oft als der beste Allround-Kompromiss zwischen Größe, Geschwindigkeit und Qualität für die meisten Benutzer angesehen. |