LLM lokal ausführen

Seit 2025 bietet sich fast plötzlich die Möglichkeit, Sprachmodelle auch off­line auf dem eige­nen, norma­len PC aus­zu­füh­ren. Somit kann man eine KI selber be­trei­ben, unab­hängig von einem Anbie­ter im Inter­net. Dadurch be­freit man sich von dem massi­ven Speicher­begehren der KI-Anbie­ter und ist frei von Kompli­ka­tio­nen mit dem Daten­schutz, weil keine Daten über­tra­gen werden.

Die Installation ist erstaun­lich ein­fach, wie unsere kurze Anleitung zum Ein­richten eines lokalen LLM-Runners be­schreibt. Man kann dann ein kompak­tes Sprach­modell passend für den eige­nen Bedarf und pas­send zur eige­nen Hard­ware aus­wählen.

Da handelsübliche PCs nur über mittel­mäßig viel Haupt­speicher ver­fügen und nicht unbe­dingt mit einer riesi­gen Grafik­karte aus­ge­stattet sind, ist es nur mög­lich, quanti­sier­te KI-Modelle zu ver­wen­den. Man muss ehr­lich sagen, dass diese kleine­ren Varian­ten leider nicht beson­ders „schlau“ sind. Bei ech­tem Be­darf müsste man ggf. über einen bes­se­ren Com­puter nach­denken.

In ChatGPT gibt es keine be­stimm­te Speicherfrist, d.h. man muss von einer Speiche­rung auf unbe­stimmte Zeit aus­gehen! Auch wenn man das Trai­ning ab­ge­schal­tet hat (s.o.), bleibt ein ge­lösch­ter Chat noch 30 Tage ge­speichert. Doch wegen eines Rechts­streits ist OpenAI derzeit (2025) zur Beweis­sicherung ver­pflich­tet und muss alle "Nutzer­inhalte auf unbe­stimmte Zeit" speichern.

Mir erzählte eine Freundin, dass sie ihren ganzen Lebens­lauf in Chat­GPT kopiert hatte, um sich ein Bewer­bungs-Anschrei­ben auf eine eben­falls hinein­kopierte Stellen­anzeige formu­lieren zu lassen. Das hat gut ge­klappt, sie hat die Stelle sogar be­kom­men. Aber bezüg­lich all ihrer persön­li­chen Daten aus ihrem Lebens­lauf hatte sie sich keine Gedan­ken ge­macht.

Und nun stellen Sie sich mal vor, wie in einer Firma gedanken­los eine Liste mit Mitar­beiter- oder Kunden­daten in eine KI hoch­gela­den würde, ohne dass man weiß, ob und wie diese Daten weiter­verwen­det werden. Das wäre ein Daten­schutz­verstoß: als unbefug­te Weiter­gabe und als Daten­übertra­gung in ein Dritt­land.

Muster erkennen und reproduzieren

Ein Sprachmodell (LLM) basiert auf einem neuro­nalen Netz­werk, das mit riesi­gen Mengen an Text­daten trai­niert wurde, um Muster in der Sprache zu er­ken­nen. Um selber Texte zu ge­nerie­ren, ver­wen­den Sprach­modelle statis­tische Zusam­men­hänge, um vor­her­zusagen, welche Wörter oder Sätze wahr­schein­lich als näch­stes fol­gen werden.

Aber die KI hat kein Bewusst­sein für den Inhalt, den sie pro­du­ziert. GenAI er­zeugt Ant­wor­ten nur auf der Grund­lage von Wahr­schein­lich­keiten, nicht durch echtes Ver­ständ­nis für deren Be­deu­tung. Sprach­modelle können phy­si­sche und logi­sche Prin­zi­pien und Wider­sprüche nicht selber er­ken­nen, son­dern ken­nen dies nur über das Vor­han­den­sein von Sprach­mustern aus den Trai­nings­daten.

Aus diesem Grund bezeichnete die Linguis­tin Emily Bender solche Sprach­modelle als „stochas­tic parrots“ (stochas­ti­sche Papa­gei­en), denn sie plap­pern nur, ohne den Inhalt ihres Plap­perns wirk­lich zu ver­stehen. Siehe dazu: ↗Überprü­fung von Intelli­genz.

2023 stießen die vielen neuen Nutzer zu­nächst auf zahl­reiche unlogi­sche Ant­wor­ten und herbei­fabulier­te Aus­sagen, die ganz offen­sicht­lich falsch waren. Solche Hallu­zina­tio­nen konn­ten ver­ringert wer­den, indem neuen Tech­ni­ken u.a. ehr­liche „Ich weiß es nicht“-Antwor­ten stärker be­lohnen.

Auch die Tat­sache, dass die meisten KI-Out­puts keine Original­werke direkt repro­du­zie­ren, wurde als Schutz­schild gegen Urheber­rechts­klagen ver­wen­det. Doch dieses Argu­ment bröckelt je mehr Fälle be­kannt wer­den, wo KI längere Sätze oder Bild-Elemente nahe­zu unver­ändert wieder­ge­geben hat.

Bisher begünstigte die juristi­sche Unsicher­heit in den USA die KI-Anbie­ter. Besonders rele­vant wird nun auch der kom­merzielle Charak­ter vieler KI-Ange­bote (Abo-Modelle), was eine „faire“ Nut­zung zum Wohle der Gesell­schaft zusätz­lich in Frage stellt. Die Disney-Klage könnte zu einem Präzedenz­fall werden, der defi­niert, wie weit sich KI-Unter­nehmen bei der Nut­zung von Trainings­daten auf Fair Use be­rufen dürfen.

Sollten Gerichte entscheiden, dass schon das Training mit ge­schütz­ten Inhal­ten eine urheber­recht­liche Ver­let­zung dar­stellt, könnte es die Branche zwingen, nur lizen­zierte Inhalte zu ver­wen­den.

Allerdings sind eben­falls im Juni 2025 mehre­re Buch-Autoren mit ihren Ur­heber­rechts­klagen vor US-Gerich­ten unter­legen. Ein Richter ent­schied, dass beim Trai­ning von Claude mit ge­kauf­ten Gebraucht-Büchern „Fair Use“ gilt, weil die Bücher legal er­wor­ben und digi­tali­siert wur­den. Ein ande­rer Richter ur­teilte, dass kein Nach­weis von Markt- oder Lizenz­schäden durch die Repro­duk­tion durch Llama (Meta) vor­liege.

KI-Bildgenerator: Sie kennen sicher­lich das lange deut­sche Wort „Donau­dampf­schiff­fahrts­gesell­schafts­kapitän“. Es wurde erst­mals 1936 in einem Lied aus Wien be­sun­gen: „Kein Lied war je so schön, als das vom Donau­dampf­schiffahrts­gesell­schafts­kapitän […]“.

Das Bild ist eine KI-erzeugte Visu­ali­sie­rung die­ses Wortes. Auf dem ers­ten Blick ganz hübsch.
Doch auf den zweiten und drit­ten Blick fal­len auf dem Bild sonder­bare Sachen auf. Das Steuer­rad ist nicht in Fahrt­richtung an­ge­bracht. Zudem scheint der Steuer­stand gar nicht zum Haupt­schiff zu ge­hö­ren. Die KI hat wohl eine eigen­artige Vor­stel­lung von einem Steuer­stand. Zudem sind die unte­ren bei­den Decks merk­wür­dig ver­formt. Das Bild ist nicht in sich stimmig.

Eine Erklärung für diese Abnor­mi­tä­ten liegt in der Auf­gaben­stel­lung: „Zeige den Kapi­tän eines Dampf­schif­fs auf einem Fluss.“ Das klingt ein­fach, ist es aber nicht.

Einen Kapi­tän würde man norma­ler­weise im Steuer­haus dar­stel­len. Dann könnte man jedoch nicht er­ken­nen, dass es sich um ein Dampf­schiff han­delt. Und man würde nicht sehen, dass es auf einem Fluss fährt. Um alle An­for­de­run­gen unter einen Hut zu krie­gen, hat sich die KI die uns be­kann­ten Rea­li­tä­ten wohl etwas zu­recht­gebo­gen.

Oder besser gesagt: Dem Bild-Generator war gar nicht „be­wusst“, dass die Kons­truk­tion nicht logisch oder tech­nisch nicht richtig ist. Der Gene­ra­tor hat nur Bild­muster, die er aus sei­nen Trai­nings­daten kennt, so re­kombi­niert, dass alles zu der An­for­de­rung passt.

So wie es beim oben ge­zeigten Bild ein Pro­blem mit komi­schen Unge­nauig­kei­ten gibt, gibt es ein ähn­li­ches Pro­blem auch bei der Text­ausgabe. Von An­fang an war auf­ge­fal­len, dass Chat­GPT kon­fa­bu­liert - sich fehlende Infor­ma­tio­nen herbei-halluzi­niert.

Beim Menschen spricht man von ↗Konfa­bu­lation, wenn jemand ver­sucht mehr Erin­ne­rungen aus sei­nem Ge­dächt­nis ab­zu­rufen als er sich ge­merkt hat. Das Ge­hirn füllt die Erin­ne­rungs­lücken dann mit Sachen, die wahr­schein­lich pas­sen. Der Be­fragte weiß dabei selbst gar nicht, dass es sich nicht um eine echte Erin­ne­rung han­delt. Und das machen wir alle. Jeder hat Lücken, die er auto­ma­tisch mit krea­ti­ven Er­klä­run­gen auf­füllt.

Wenn man nicht unter Druck steht, kann man ein­fach locker sagen: „Das weiß ich nicht.“ Wenn man je­doch unter dem Druck steht, jetzt eine Aus­sage tref­fen zu müs­sen, oder wenn man z.B. einen Auf­satz mit einer be­stimm­ten Länge ab­lie­fern muss, steigt die Nei­gung zum Konfa­bu­lieren. Unter dem Druck, die Erwar­tung zu er­fül­len, schwa­felt man irgend­etwas, das pas­send klingt - in der Hoff­nung, dass es rich­tig sein könnte (provo­zier­te Kon­fa­bu­la­tion).
Möglicher­weise unter­liegt ChatGPT auf­grund irgend­wel­cher tech­ni­scher Para­meter eben­falls so einem Be­ant­wor­tungs­druck.

Abgesehen von möglichen Fehl­informa­tio­nen ist eine KI ein sehr inte­res­san­tes Tool, das nicht nur für lustige KI-Bilder in den Sozia­len Medien gut ist, son­dern auch für ernst­hafte An­wen­dun­gen in Indus­trie und Wis­sen­schaft ein­ge­setzt wer­den kann.

Firmen versuchen ihre Produkt­kataloge oder lang­wei­lige Spezi­fi­ka­tio­nen durch einen freund­lichen KI-Kauf­berater zu er­set­zen. Aber aller An­fang ist schwer: In der Presse wurde be­rich­tet, wie die ers­ten Chat­bots gro­ßer Anbie­ter sich ver­lei­ten lie­ßen, auf Nach­frage kosten­lose Zusatz­leis­tun­gen oder Preis­rabatte zu ver­spre­chen, die real gar nicht an­ge­bo­ten wer­den. Dies ist womög­lich der glei­che Effekt wie beim o.g. Antwort­druck und der provo­zier­ten Kon­fa­bu­la­tion.

Andere Beispiele für Fachanwen­dun­gen sind Sprach­über­setzer, wie z.B. von der deut­schen Firma DeepL, die ggf. in beste­hende Anwen­dun­gen inte­griert wer­den kön­nen. Dazu werden API-Schnitt­stellen an­ge­bo­ten, wo­durch die Daten aus einer Fach­anwen­dung in die externe KI und zurück über­mit­telt werden.

In der Produktion kann KI einge­setzt werden, um anhand von Maschinen­sensoren voraus­zu­sagen, wann eine Maschine ge­war­tet wer­den muss, bevor es zu einem Aus­fall kommt.
Und bei der Lagerverwal­tung kann KI helfen, durch Vorher­sagen Eng­pässe zu ver­mei­den, ggf. schon bei der Be­schaf­fung und in der Liefer­kette.

Außerdem können Künstliche Intelli­genzen hel­fen große Daten­mengen (Big Data) zu analy­sie­ren und daraus Voraus­sagen ab­zulei­ten. Ein bekann­tes Bei­spiel sind lang­fris­tige Klima-Modelle.
Ein anderes Beispiel betrifft das Wachs­tum und die Ver­ände­rung der Be­völke­rung, z.B. um vorher­sagen zu kön­nen, wie viele Lehrer und andere Fach­kräfte ganz ande­rer Berufs­grup­pen aus­gebil­det wer­den müs­sen, um den zu­künf­ti­gen Be­darf der Wirt­schaft und der Ge­sell­schaft decken zu können.