Große Sprachmodelle im Unternehmen: Potenziale und Grenzen.

Was ein Sprachmodell ist, in einfachen Worten

Ein Large Language Model (LLM), also ein großes Sprachmodell, ist ein künstliches neuronales Netz mit Milliarden von Parametern, heute meist auf Basis der sogenannten Transformer-Architektur. Diese Parameter programmiert niemand von Hand, sie werden beim Training auf riesigen Textmengen gelernt. Das Modell lernt dabei vor allem, das nächste Token vorherzusagen, also das nächste Wort oder den nächsten Wortteil. Anschließend wird es in der Regel nachtrainiert, etwa mit Beispielantworten und menschlichem Feedback, damit es Anweisungen befolgt und als Assistent antwortet.

Beim Antworten berechnet das Modell für jedes mögliche nächste Token eine Wahrscheinlichkeit, wählt eines aus (je nach Einstellung das wahrscheinlichste oder mit etwas Zufall), hängt es an und wiederholt das Ganze, Token für Token. Das Programm drumherum, also Chat-Oberfläche, Schnittstelle und Anbindung an Deine Systeme, ist ein eigener Teil der Lösung.

Weil es dabei unzählige Formulierungen, Satzbauten und Fachsprachen gesehen hat, klingen die Antworten flüssig und souverän, auch wenn sie falsch sind. Das Modell optimiert auf Plausibilität, nicht auf Wahrheit. Kennt es eine Antwort nicht, erzeugt es oft trotzdem eine, die gut klingt. Ein Sprachmodell „weiß“ nicht, dass es etwas nicht weiß, es sei denn, man baut das System drumherum genau dafür.

Wo das Potenzial liegt

Den größten Nutzen sehe ich meist bei kleinen, wiederkehrenden Aufgaben, bei denen heute jemand Text liest, abtippt oder umformuliert. Diese Anwendungsfälle begegnen mir in der Praxis am häufigsten:

Am meisten lohnt es sich dort, wo viele gleichartige Vorgänge anfallen und das Ergebnis leicht zu prüfen ist. Eine ausgelesene Rechnungsnummer lässt sich gegen das Original abgleichen, eine weitergeleitete Anfrage landet sichtbar im richtigen Postfach. Ein Chatbot, der direkt mit Kunden spricht, braucht dagegen klare Grenzen und eine Übergabe an Menschen. Deshalb steckt dort mehr Aufwand drin.

Drei Wege, ein Modell an Dein Unternehmen anzupassen

Ein Standardmodell kennt weder Deine Produkte noch Deine Prozesse. Um das zu ändern, gibt es drei Stellschrauben, die sich auch kombinieren lassen:

• Prompting reicht erstaunlich oft. Eine klare Rollenbeschreibung, ein festes Ausgabeformat und zwei, drei Beispiele machen aus einem allgemeinen Modell einen brauchbaren Spezialisten. Das kostet wenig und lässt sich jederzeit ändern.
• RAG (Retrieval-Augmented Generation) ist der richtige Weg, wenn das Modell Dein Wissen nutzen soll. Ein vorgeschaltetes Suchsystem findet die passenden Stellen in Deinen Dokumenten und gibt sie dem Modell zusammen mit der Frage mit. Das Modell formuliert die Antwort auf Basis dieser Treffer. Neue Dokumente stehen zur Verfügung, sobald sie aufbereitet und indexiert sind, ohne neues Training. Warum dabei die Aufbereitung der Dokumente so wichtig ist, erkläre ich im Artikel über Chunking und RAG.
• Fine-Tuning verändert das Modell selbst. Das lohnt sich, wenn es dauerhaft einen bestimmten Stil oder ein Spezialformat beherrschen soll. Für Faktenwissen ist es meist der falsche Hebel, weil sich Wissen ändert und ein trainiertes Modell nicht zeigt, woher eine Aussage stammt. Wie ressourcenschonend das mit LoRA (Low-Rank Adaptation) geht, zeige ich in Fine-Tuning mit LoRA.

Grenzen und Risiken

Halluzinationen

Ein Sprachmodell kann Fakten, Quellen oder Zahlen erfinden, und zwar im gleichen selbstbewussten Ton wie korrekte Antworten. RAG senkt dieses Risiko, weil das Modell auf echte Textstellen verwiesen wird und die Quelle anzeigen kann. Ganz ausschließen lässt es sich nicht. Ein System sollte deshalb so gebaut sein, dass Fehler auffallen: Quellen anzeigen, Plausibilität prüfen, im Zweifel „weiß ich nicht“ sagen dürfen.

Datenschutz und Ort der Verarbeitung

Bevor Kundendaten, Verträge oder Personalunterlagen in ein Modell gehen, muss klar sein, wo sie verarbeitet werden. Grob gibt es zwei Wege: Cloud-Modelle großer Anbieter, oft mit wählbarer Region in der EU, etwa über Azure oder AWS. Oder Modelle mit offenen Gewichten wie Llama oder Mistral, die auf eigener Infrastruktur laufen, sodass die Daten das eigene Netz nicht verlassen. Welcher Weg passt, hängt davon ab, wie sensibel die Daten sind und was Verträge und Datenschutzvorgaben verlangen. Das ist keine Rechtsberatung. Bei personenbezogenen Daten gehört die Datenschutzseite von Anfang an mit an den Tisch.

Kosten pro Nutzung

Cloud-Modelle werden meist nach verarbeiteter Textmenge abgerechnet. Für einzelne Anfragen ist das kaum spürbar, bei tausenden Dokumenten pro Monat oder langen Kontexten summiert es sich. Lokale Modelle verursachen keine Gebühren pro Anfrage, dafür Kosten für Hardware, Strom und Betrieb. Beides lässt sich vorab grob abschätzen, wenn der Anwendungsfall klar ist.

Qualität muss gemessen werden

Im Chat wirken viele Varianten „gut genug“. Ob ein System wirklich zuverlässig ist, zeigt erst ein Test mit festen Fragen und Referenzantworten. In meinem RAG-Projekt RT-Vector habe ich deshalb verschiedene Varianten mit einer eigenen Evaluierungs-Pipeline gegeneinander antreten lassen. Die Unterschiede waren messbar, im Chat allein aber nicht zu sehen.

So startest Du sinnvoll

In meiner Erfahrung liegt das Problem oft weniger an der Technik als an zu großen Erwartungen am Anfang. Bewährt hat sich ein schrittweiser Weg:

1. Einen kleinen Anwendungsfall wählen. Eine Aufgabe, die oft vorkommt, heute Zeit kostet und deren Ergebnis sich leicht prüfen lässt, zum Beispiel das Auslesen einer Dokumentart.
2. Einen Prototyp bauen. Mit echten Beispieldokumenten steht ein erster Prototyp meist innerhalb weniger Tage. Dabei zeigt sich schnell, was funktioniert und wo es hakt.
3. Messen. Eine Sammlung typischer Fälle mit erwarteten Ergebnissen macht Qualität sichtbar und Varianten vergleichbar, statt sich auf einen guten Eindruck zu verlassen.
4. Erweitern. Erst wenn die Qualität stimmt, wird integriert, abgesichert und auf weitere Dokumente oder Prozesse ausgedehnt.

Was das für Dein Unternehmen heißt

Für Aufgaben rund um Text sind große Sprachmodelle ein brauchbares Werkzeug, sie lösen aber nicht jedes Problem. Am besten steigst Du mit einem klar umrissenen Prozess ein, in dem heute Dokumente gelesen, abgetippt oder sortiert werden. Dort lässt sich der Nutzen schnell zeigen und messen.