Inhalt
  1. Was ein KI-Wissensassistent ist und wie RAG funktioniert
  2. Welche Dokumente sich eignen
  3. Dokumente aufbereiten: der unterschätzte Teil
  4. Rechte und Vertraulichkeit
  5. Antworten mit Quellenangabe
  6. Pflege und typische Fehler
  7. So sieht ein kleiner Pilot aus
  8. Fazit
  9. Häufige Fragen

Das Wichtigste in Kürze

  • Ein KI-Wissensassistent beantwortet Fragen aus euren eigenen Dokumenten, indem er zu jeder Frage passende Textstellen heraussucht und ein Sprachmodell nur daraus eine Antwort formulieren lässt.
  • Dieses Verfahren heißt Retrieval-Augmented Generation (RAG) und funktioniert umso besser, je aktueller, eindeutiger und besser gegliedert die Dokumente sind.
  • Der Assistent darf jeder Person nur Inhalte zeigen, auf die sie auch sonst Zugriff hätte, und das muss in der Suche technisch umgesetzt sein, nicht nur per Anweisung.
  • Jede Antwort sollte ihre Quelle nennen, und für den Einstieg reicht ein Pilot mit einem abgegrenzten Dokumentenbestand und einem festen Satz echter Testfragen.

Was ein KI-Wissensassistent ist und wie RAG funktioniert

Ein gewöhnlicher KI-Chat weiß viel über die Welt, aber nichts über dein Unternehmen. Er kennt weder euer Reklamationsverfahren noch die Reisekostenregel oder die Einstellungen eurer Anlage. Fragt man ihn trotzdem, erfindet er im ungünstigen Fall eine plausible Antwort.

Ein Wissensassistent löst das mit einem Verfahren namens Retrieval-Augmented Generation, kurz RAG. Frei übersetzt heißt das „Formulieren mit vorherigem Nachschlagen“. Das Prinzip ist einfacher, als der Name klingt:

  1. Eure Dokumente werden in kurze Abschnitte zerlegt, zum Beispiel einzelne Kapitel oder Absätze.
  2. Jeder Abschnitt wird in eine Art Bedeutungs-Fingerabdruck umgerechnet, eine lange Zahlenfolge, die den Inhalt beschreibt. Fachleute nennen das Embedding. Diese Fingerabdrücke landen in einer Suchdatenbank.
  3. Stellt jemand eine Frage, wird auch sie umgerechnet. Die Datenbank findet die Abschnitte, die inhaltlich am besten passen, auch wenn darin andere Wörter stehen als in der Frage.
  4. Das Sprachmodell bekommt die Frage und diese wenigen Abschnitte mit der Anweisung: Antworte nur auf Basis dieser Texte und nenne die Quelle. Steht nichts Passendes darin, sag das.

Der Vorteil: Das Modell muss nichts über euer Unternehmen gelernt haben. Es schlägt bei jeder Frage nach, ähnlich wie ein neuer Kollege, dem man den richtigen Ordner hinlegt. Ändert sich ein Dokument, wird nur dieser Teil neu eingelesen; ein aufwendiges Training des Modells entfällt.

Die Schwäche folgt direkt daraus: Der Assistent ist nur so gut wie die Abschnitte, die er findet. Erwischt die Suche die falsche Stelle, antwortet er gut formuliert an der Frage vorbei. Nach meiner Erfahrung haben die meisten Probleme solcher Assistenten mit den Dokumenten und der Suche zu tun, kaum mit dem Sprachmodell selbst.

Übrigens: Wenn ihr ein großes Office-Paket in der Cloud nutzt, bringt es inzwischen oft einen eigenen Assistenten mit, der auf eure Dateien zugreifen kann. Auch der arbeitet nach diesem Prinzip, und für ihn gelten die folgenden Punkte genauso.

Welche Dokumente sich eignen

Nicht jedes Dokument gehört in einen Wissensassistenten. Gut geeignet sind Texte, die wiederkehrende Fragen beantworten und von denen es eine verbindliche Fassung gibt.

DokumentartEignungWorauf achten
Prozessbeschreibungen, Arbeitsanweisungensehr gutnur aktuelle, freigegebene Fassungen
Produkt- und Servicehandbücher, Datenblättersehr gutTabellen vorher prüfen
Interne FAQ und Richtlinien (Reisekosten, IT, Urlaub)sehr gutGültigkeitsdatum angeben
Protokolle, Projektordnereingeschränktviel Veraltetes, widersprüchliche Stände
E-Mail-Postfächer, Chatverläufefür den Start nichtunstrukturiert, voller personenbezogener Daten
Personalakten, Gehaltsdaten, vertrauliche Verträgeneingehören nicht in einen allgemeinen Assistenten

Auch wichtig: Ein Wissensassistent ersetzt keine Auswertung. Fragen wie „Wie viele Aufträge hatten wir im März?“ beantwortet er schlecht, weil die Antwort in keinem Dokument steht, sondern in ERP oder CRM gezählt werden muss. Dafür ist Business Intelligence mit Dashboards und Berichten das richtige Werkzeug.

Dokumente aufbereiten: der unterschätzte Teil

„Wir laden einfach den ganzen Laufwerksordner hoch“ ist der häufigste Start und einer der häufigsten Gründe, warum Piloten enttäuschen. Liegen im Ordner drei Fassungen der Reisekostenrichtlinie, findet die Suche womöglich die von vor fünf Jahren. Der Assistent zitiert sie dann korrekt, nur leider die falsche. Vor dem Einlesen lohnt deshalb ein Aufräumen:

  • Nur freigegebene, aktuelle Fassungen aufnehmen; alte Stände und Entwürfe aussortieren.
  • Gescannte PDFs vorher durch eine Texterkennung schicken, sonst findet die Suche darin nichts.
  • Aussagekräftige Überschriften setzen. Ein Abschnitt „Sonstiges“ hilft niemandem.
  • Interne Abkürzungen und Begriffe einmal erklären, etwa in einem Glossar, das mit eingelesen wird.
  • Zu jedem Dokument festhalten, wer verantwortlich ist, seit wann es gilt und für wen.
  • Tabellen und Diagramme prüfen, denn komplexe Tabellen werden beim Zerlegen in Abschnitte leicht zerrissen.

Das klingt nach Fleißarbeit, und das ist es auch. Die gute Nachricht: Es ist dieselbe Arbeit, die gutes Wissensmanagement ohnehin verlangt. Wie du das Grundgerüst dafür aufbaust, beschreibe ich im Artikel zum Wissensmanagement im KMU.

Praxis-Tipp: Bitte vor dem Start drei oder vier Kolleginnen und Kollegen, je zehn Fragen aufzuschreiben, die sie in den letzten Wochen tatsächlich gestellt oder gehört haben. Damit siehst du, welche Dokumente wirklich gebraucht werden, und hast gleich deine ersten Testfragen.

Rechte und Vertraulichkeit

Ein Wissensassistent macht Wissen leichter auffindbar. Das gilt leider auch für Wissen, das nicht jeder finden soll. Legt die Geschäftsführung ihre Planungsunterlagen im selben Bestand ab, fasst der Assistent sie auch einem Auszubildenden zusammen, und zwar sehr gut.

Deshalb gilt: Die Suche muss filtern, bevor das Modell etwas zu sehen bekommt. Jeder Abschnitt trägt die Information, wer ihn sehen darf, und gesucht wird nur in Abschnitten, auf die die fragende Person Zugriff hat. Es reicht nicht, das Sprachmodell anzuweisen, vertrauliche Inhalte nicht zu verraten. Was das Modell gar nicht erst bekommt, kann es auch nicht weitergeben.

Für den Anfang ist die einfachste Lösung oft die beste: ein Bestand, den alle Pilotnutzer sehen dürfen, und sonst nichts. Getrennte Bestände für einzelne Abteilungen kommen später. Bei eingebauten Assistenten in Office-Paketen liegt die Falle woanders. Sie übernehmen in der Regel die vorhandenen Dateiberechtigungen, und Ordner, die irgendwann versehentlich für alle freigegeben wurden, sind plötzlich mit einer einfachen Frage durchsuchbar. Räum die Freigaben deshalb vor dem Einschalten auf.

Dazu kommen die üblichen Datenschutzpunkte: Auftragsverarbeitungsvertrag mit dem Anbieter, Speicherort und mögliche Drittlandübermittlung, vertraglicher Ausschluss des Trainings mit euren Daten und eine Regel, wie lange gestellte Fragen gespeichert werden. Auch Fragen können personenbezogene Daten enthalten. Eine Übersicht bietet meine Checkliste zum DSGVO-konformen KI-Einsatz; sie ersetzt keine Rechtsberatung.

Antworten mit Quellenangabe

Eine Antwort ohne Quelle ist im Unternehmen wenig wert. Niemand sollte eine Reklamation auf Grundlage einer Aussage bearbeiten, deren Herkunft er nicht prüfen kann. Ein guter Assistent nennt deshalb bei jeder Antwort das Dokument, den Abschnitt und den Stand, idealerweise mit einem Link direkt an die Stelle. Widersprechen sich zwei Quellen, sagt er das, statt sich still für eine zu entscheiden.

Ebenso wichtig ist die Fähigkeit, „Dazu habe ich nichts gefunden“ zu sagen. Findet die Suche nichts Passendes, soll der Assistent das offen zugeben und auf eine zuständige Person verweisen, statt aus seinem allgemeinen Wissen zu antworten. Das musst du ausdrücklich so einstellen und mit Fragen testen, deren Antwort bewusst in keinem Dokument steht. Ein Assistent, der gelegentlich ehrlich passt, ist im Alltag wertvoller als einer, der immer etwas sagt.

Pflege und typische Fehler

Pflege im Alltag

Ein Assistent veraltet so schnell wie die Dokumente dahinter. Plane deshalb von Anfang an, dass geänderte Dokumente automatisch neu eingelesen werden und gelöschte auch aus der Suchdatenbank verschwinden. Jedes Dokument braucht eine verantwortliche Person. Unter jeder Antwort sollte es eine einfache Rückmeldung geben („hilfreich“ oder „falsch bzw. veraltet“), die bei dieser Person landet. Und die Fragen, auf die der Assistent nichts gefunden hat, sind eine wertvolle Liste: Sie zeigen dir, welche Dokumente fehlen.

Typische Fehler

  • alles auf einmal einlesen, statt mit einem klar abgegrenzten Bestand zu beginnen
  • alte Fassungen und Entwürfe im Bestand lassen
  • Rechte nur per Anweisung an das Modell regeln statt in der Suche
  • ohne feste Testfragen starten und am Ende nach Bauchgefühl urteilen
  • erwarten, dass der Assistent zählt, rechnet oder vollständige Listen aus vielen Dokumenten zusammenstellt
  • niemanden für die Pflege benennen

So sieht ein kleiner Pilot aus

Für den Einstieg empfehle ich einen Pilot mit klaren Grenzen. Ein typisches Szenario: Angenommen, ein Maschinenbauer mit eigenem Service möchte, dass neue Servicetechniker und der Innendienst Antworten zu Wartungsintervallen, Fehlermeldungen und Garantiebedingungen schneller finden. Bisher wissen das vor allem zwei erfahrene Kollegen, die entsprechend oft unterbrochen werden. Ein Pilot könnte so aufgebaut sein:

  • Bestand: nur die freigegebenen Servicehandbücher, die Garantiebedingungen und eine interne FAQ, alles für alle Pilotnutzer sichtbar.
  • Testfragen: einige Dutzend echte Fragen aus dem Alltag, zu jeder die richtige Antwort und Quelle, aufgeschrieben von den beiden Experten.
  • Nutzer: eine kleine Gruppe von etwa fünf bis zehn Personen, darunter die beiden Experten selbst.
  • Dauer: einige Wochen, mit einem kurzen wöchentlichen Termin, in dem falsche Antworten besprochen und Dokumente nachgebessert werden.
  • Entscheidung am Ende: Wie viele Testfragen beantwortet der Assistent richtig und mit korrekter Quelle? Wie oft sagt er ehrlich, dass er nichts gefunden hat? Und wollen die Nutzer weitermachen?

Ein nützlicher Nebeneffekt: Beim Aufschreiben der Testfragen fällt oft auf, was nirgends dokumentiert ist. Allein diese Liste ist für viele Teams schon ein Gewinn, auch wenn der Assistent danach noch nicht ausgerollt wird.

Fazit

Ein KI-Wissensassistent ist kein Zauberkasten, sondern eine gute Suche mit einem Sprachmodell als Formulierer. Er steht und fällt mit aktuellen, gut gegliederten Dokumenten, sauber umgesetzten Rechten und Antworten mit Quelle. Mein Rat für den ersten Schritt: Sammle in einem Team zehn echte Fragen pro Person und prüfe, ob die Antworten überhaupt irgendwo aufgeschrieben sind. Wenn ja, lohnt sich ein kleiner Pilot; wenn nein, fang beim Dokumentieren an. Bei beidem unterstütze ich dich im Rahmen meiner KI-Beratung und KI-Integration.

Häufige Fragen

RAG ist ein Verfahren, bei dem ein KI-System zu einer Frage zuerst passende Textstellen aus einem festgelegten Dokumentenbestand heraussucht. Erst danach formuliert ein Sprachmodell eine Antwort, und zwar nur auf Basis dieser Textstellen. So kann die KI Fragen zu internen Dokumenten beantworten und die Quelle nennen, ohne mit diesen Dokumenten trainiert worden zu sein.
Bei einem RAG-Wissensassistenten nicht: Die Dokumente werden nur durchsucht, und die passenden Abschnitte werden dem Modell bei jeder Frage mitgegeben. Ob ein Anbieter eingegebene Daten für eigene Zwecke nutzt, hängt allerdings vom Vertrag ab. Achte deshalb darauf, dass die Nutzung zum Training vertraglich ausgeschlossen ist und ein Auftragsverarbeitungsvertrag besteht.
Die Berechtigungen müssen in der Suche selbst umgesetzt werden: Der Assistent durchsucht nur Abschnitte, auf die die fragende Person auch sonst Zugriff hätte. Eine bloße Anweisung an das Sprachmodell, vertrauliche Inhalte nicht zu verraten, reicht nicht aus. Am einfachsten ist es, mit einem Dokumentenbestand zu starten, den alle Nutzer sehen dürfen.
Ein kleiner Pilot mit einem abgegrenzten Dokumentenbestand und etwa fünf bis zehn Nutzern läuft erfahrungsgemäß einige Wochen. Den größten Teil der Vorbereitung machen meist Auswahl und Aufbereitung der Dokumente aus, nicht die Technik. Entscheidend ist ein fester Satz echter Testfragen, an dem sich am Ende messen lässt, wie oft die Antworten stimmen.

Soll dein Team Antworten finden, statt Kollegen zu fragen?

Ich helfe dir, die passenden Dokumente auszuwählen und aufzubereiten, baue den Assistenten mit Rechtekonzept und Quellenangaben auf und begleite den Pilot mit einem festen Satz Testfragen. So weißt du nach wenigen Wochen, ob es sich lohnt.

Kostenloses Erstgespräch Mehr zur Leistung