Chatbot für technische Handbücher: Architektur, Quellenangabe und Grenzen
- Veröffentlicht:
- Lesezeit
- 17 Min. Lesezeit
- Autor:
- Abbas Mohammadi
Ein Chatbot für technische Handbücher ist in der Instandhaltung nur dann brauchbar, wenn er zu jeder Antwort die Fundstelle nennt und schweigt, sobald der Beleg fehlt. Dieser Beitrag beschreibt die Architektur eines solchen Systems in fünf Bausteinen und die zwei Pflichtfunktionen Quellenangabe und Antwortverweigerung. Dazu kommen der Umgang mit Sicherheitshinweisen, die Kennzeichnungspflicht nach Artikel 50 der KI-Verordnung und ein Testkatalog für die Abnahme.
Wofür ein Chatbot für technische Handbücher taugt – und wofür nicht
Ein Handbuch-Chatbot taugt für drei Aufgaben – Nachschlagen am Arbeitsplatz, Einarbeitung neuer Kollegen und Entlastung der Service-Hotline – und für nichts, was eine Freigabe verlangt. Die typische Frage lautet nicht „Wie funktioniert die Anlage?“, sondern „Welches Anzugsmoment hat die Spannschraube an Station 4?“ oder „Was bedeutet Fehlercode F0843 am Frequenzumrichter?“. Solche Fragen haben im Dokumentenbestand genau eine richtige Antwort, und die steht auf einer bestimmten Seite in einer bestimmten Version eines bestimmten Dokuments.
- Nachschlagen am Arbeitsplatz: Der Instandhalter steht an der Maschine, hat das Tablet in der Hand und braucht in 30 Sekunden die Fundstelle – nicht ein 400-seitiges PDF, in dem er selbst suchen muss.
- Einarbeitung: Neue Kollegen stellen Fragen, die erfahrene Kollegen für selbstverständlich halten. Ein KI Chatbot mit eigenen Dokumenten beantwortet sie, ohne dass jemand aus der Arbeit gerissen wird.
- Hotline-Entlastung: Maschinenbauer beantworten am Servicetelefon regelmäßig Fragen, deren Antwort in der Betriebsanleitung steht. Ein Assistent für Betriebsanleitungen auf der Kundenseite nimmt diese Anrufe vorweg.
Ebenso klar sind die Grenzen. Der Chatbot gibt keine sicherheitsrelevante Handlung frei, etwa das Überbrücken einer Schutzeinrichtung oder das Zurücksetzen einer Sicherheitssteuerung. Er ist keine Ersatzquelle für die verbindliche Betriebsanleitung. Und er stellt keine Diagnose ohne Anlagenkontext: Ohne Seriennummer, Softwarestand und Ausbaustufe kann er nicht wissen, welche von drei Varianten einer Baureihe vor dem Anwender steht. Ein Handbuch-Chatbot für die Instandhaltung, der diese Grenzen nicht kennt, wird von erfahrenen Fachkräften nach der ersten falschen Antwort nicht mehr benutzt.
Die Architektur in fünf Bausteinen
Die Architektur besteht aus fünf Bausteinen, und in jedem fällt eine Entscheidung, die später die Antwortqualität bestimmt. Das Grundmuster heißt Retrieval-Augmented Generation (RAG): Das Sprachmodell antwortet nicht aus seinem Trainingswissen, sondern aus Textabschnitten, die zuvor aus Ihren Dokumenten herausgesucht und in die Anfrage kopiert wurden. Das BSI führt RAG in seiner Publikation zu generativen KI-Modellen (Version 2.0, Januar 2025) als Gegenmaßnahme M14 gegen Halluzinationen – und weist zugleich darauf hin, dass damit ein neues Risiko entsteht: die Vergiftung der hinterlegten Wissensdaten (R18).
Ingest und Layout-Parsing
Entscheidung: reine Textextraktion oder Layout-Analyse mit Tabellen, Überschriftenhierarchie und Seitenzuordnung. Technische Handbücher bestehen zu großen Teilen aus Tabellen – Anzugsmomente, Fehlercodes, Wartungsintervalle. Wer sie als Fließtext einliest, zerstört die Zuordnung von Zeile und Spalte. Gescannte Altdokumente und Zeichnungen brauchen einen eigenen OCR-Pfad; was dort geht und wo es endet, steht in Technische Zeichnungen automatisch auslesen. Wie Sie den PDF-Bestand vorher sichten und priorisieren, beschreibt KI für technische Dokumentation.
Chunking mit Metadaten
Entscheidung: feste Fenster oder strukturbasierte Abschnitte entlang der Kapitelgliederung. Jeder Abschnitt trägt Dokument-ID, Version, Kapitel, Seite, Maschinentyp, Gültigkeitsstatus und Berechtigungsgruppe. Ohne diese Metadaten gibt es später weder eine Quellenangabe noch eine Berechtigungsprüfung – beides lässt sich nachträglich nicht mehr ergänzen.
Retrieval mit Reranking
Entscheidung: nur Vektorsuche oder Kombination aus Volltext- und Vektorsuche mit anschließendem Reranking. Fehlercodes, Artikelnummern und Typbezeichnungen sind Zeichenketten, die eine reine Vektorsuche schlecht trifft; die Volltextsuche findet
F0843exakt. Das Reranking sortiert die Treffer und liefert den Ähnlichkeitswert, an dem später die Verweigerung hängt.Antwortgenerierung mit Belegzwang
Entscheidung: Darf das Modell frei formulieren oder nur aus den gelieferten Abschnitten? Die Anweisung an das Modell erlaubt ausschließlich Aussagen, die in den mitgelieferten Abschnitten stehen, verlangt zu jeder Aussage die Abschnitts-ID und schreibt für Warnhinweise die wörtliche Übernahme vor.
Feedback- und Auditpfad
Entscheidung: Welche Daten werden protokolliert und wie lange? Frage, gefundene Abschnitte, Ähnlichkeitswerte, Antwort und Nutzerbewertung werden gespeichert, damit sich jede Antwort später nachvollziehen lässt. Das ist zugleich die Datenbasis für den Testkatalog und für die Pflege des Dokumentenbestands.
Quellenangabe und Antwortverweigerung: die zwei Pflichtfunktionen
Quellenangabe und Antwortverweigerung sind keine Komfortfunktionen, sondern die beiden Eigenschaften, die einen Chatbot für technische Handbücher von einem Textgenerator unterscheiden. Beide entstehen nicht durch eine geschickte Formulierung des Prompts, sondern durch Architektur.
Warum jede Antwort Dokument, Version, Kapitel und Seite braucht
Ein Instandhalter muss die Aussage im Original nachlesen können, bevor er handelt. Deshalb nennt jede Antwort das Dokument, die Version, das Kapitel und die Seite und verlinkt auf die Originalstelle – nicht auf das ganze PDF, sondern auf die Seite. Das ist keine Frage des Vertrauens in das Modell, sondern der Prüfbarkeit: Wer ein Anzugsmoment aus einem Chatbot übernimmt, muss belegen können, woher es stammt. Ein Chatbot mit Quellenangabe aus den eigenen Dokumenten ist deshalb der Mindeststandard, nicht die Ausbaustufe.
Da den Nutzenden in der Ausgabe angezeigt werden kann, auf welchen konkreten Textauszügen die Antwort des LLMs basiert, können Auswirkungen von Halluzinationen gemildert werden
Der Beleg entsteht aus den Chunk-Metadaten, nicht aus dem Modelltext. Sprachmodelle erzeugen Referenzen, die plausibel aussehen und nicht existieren; das BSI warnt in derselben Publikation, dass generierte Ausgaben gerade dann glaubhaft wirken, wenn sie auf Referenzen verweisen, die selbst frei erfunden sein können. Deshalb darf das Modell nie eine Seitenzahl schreiben. Es gibt die ID des Abschnitts zurück, und die Anwendung löst die ID gegen die Metadaten auf. Eine Antwort, deren ID sich nicht auflösen lässt, wird nicht angezeigt.
{
"chunk_id": "BA-4711-v3.2-c07-p142-02",
"document": "Betriebsanleitung Rundtaktmaschine RT-400",
"document_id": "BA-4711",
"version": "3.2",
"valid_from": "2025-11-01",
"status": "gueltig",
"chapter": "7.3 Wartung Spannsystem",
"page": 142,
"machine_type": "RT-400",
"content_type": "table",
"safety_notice": false,
"acl": ["instandhaltung", "schichtleitung"]
}Verweigerung erzwingen statt erhoffen
Ein System, das immer antwortet, ist im technischen Umfeld schlechter als eines, das oft schweigt. Eine ausbleibende Antwort kostet einen Griff zum Handbuch; eine plausible Erfindung kostet im ungünstigen Fall ein Bauteil oder mehr. Das BSI beschreibt den Mechanismus dahinter als Automation Bias (R8): Sprachlich fehlerfreier, schlüssiger Text erzeugt ein zu großes Vertrauen, und Ausgaben werden ungeprüft übernommen. Die Verweigerung wird deshalb an drei Stellen erzwungen:
- Schwellenwert im Retrieval: Liegt der beste Ähnlichkeitswert nach dem Reranking unter einer im Test kalibrierten Schwelle, erreicht die Frage das Modell gar nicht. Die Antwort lautet „Dazu liegt im Dokumentenbestand kein Beleg vor“ – mit dem Hinweis, welche Dokumente durchsucht wurden.
- Prüfschritt nach der Generierung: Ein zweiter, unabhängiger Aufruf prüft jede Aussage der Antwort gegen die gelieferten Abschnitte: Steht das wirklich da? Aussagen ohne Deckung werden gestrichen oder die Antwort wird verworfen.
- „Nicht belegt“ als reguläres Ergebnis: Die Oberfläche zeigt die Verweigerung nicht als Fehler, sondern als Ergebnis mit Wert, damit Nutzer und Betreiber lernen, wo der Bestand Lücken hat.
Halluzinationen mit RAG zu vermeiden gelingt nur, wenn die Verweigerung auch getestet wird. Nehmen Sie deshalb bewusst Fragen in den Testkatalog auf, deren Antwort im Bestand nicht steht – etwa zu einer Baureihe, deren Handbuch fehlt, oder zu einer Option, die Ihre Anlage nicht hat. Ein System, das diese Fragen beantwortet, ist durchgefallen, unabhängig davon, wie gut die übrigen Antworten sind.
Sicherheitshinweise, Warnungen und die Betriebsanleitung
Warn- und Sicherheitshinweise werden nie zusammengefasst oder umformuliert, sondern nur wörtlich und mit Fundstelle ausgegeben. Ein Warnhinweis ist in der Betriebsanleitung als Ganzes formuliert: Signalwort, Gefahr, Folge, Maßnahme. Ein Modell, das daraus „Vorsicht bei heißen Oberflächen“ macht, hat die Maßnahme weggekürzt. Technisch heißt das: Abschnitte mit safety_notice: true werden vollständig und unverändert in die Antwort übernommen, und die Anweisung an das Modell erlaubt für sie nur das Zitat, keine Paraphrase.
Dazu gehört die Trennung von Auskunft und Handlungsanweisung. Eine Auskunft lautet: „Kapitel 7.3, Seite 142, nennt für die Spannschraube 45 Nm.“ Eine Handlungsanweisung lautet: „Ziehen Sie die Schraube mit 45 Nm an.“ Der Chatbot gibt Auskünfte. Die Entscheidung zu handeln trifft die Fachkraft, die die Anlage, ihren Zustand und die Freigabesituation kennt. Diese Trennung ist keine Stilfrage: Sie legt fest, wer für die Handlung verantwortlich bleibt, und sie muss sich in der Formulierung jeder Antwort und im Aufbau der Oberfläche wiederfinden.
Kennzeichnungspflicht für Chatbots nach Artikel 50 KI-Verordnung
Seit dem 2. August 2026 muss ein KI-System, das für die direkte Interaktion mit natürlichen Personen bestimmt ist, so gestaltet sein, dass die Betroffenen erfahren, dass sie mit einer KI interagieren – es sei denn, das ist für eine angemessen informierte Person offensichtlich. So formuliert es Artikel 50 Absatz 1 der KI-Verordnung (EU) 2024/1689; Absatz 5 verlangt die Information klar und unterscheidbar spätestens bei der ersten Interaktion. Für einen Handbuch-Chatbot heißt das praktisch: ein sichtbarer Hinweis im Chatfenster vor der ersten Antwort, nicht ein Satz in der Datenschutzerklärung. Die Pflicht trifft den Anbieter des Systems – wer einen Chatbot selbst baut oder bauen lässt, sollte klären, ob er diese Rolle einnimmt.
Verbreitet ist die Annahme, der Digital Omnibus habe auch diese Pflicht verschoben. Das ist falsch. Die Verordnung (EU) 2026/1744, in Kraft seit dem 27. Juli 2026, verschiebt die Pflichten für Hochrisiko-Systeme nach Anhang III auf den 2. Dezember 2027 und nach Anhang I auf den 2. August 2028. Artikel 50 Absatz 1 bleibt unberührt. Eine Übergangsfrist bis zum 2. Dezember 2026 gibt es nur für die Kennzeichnung synthetischer Inhalte nach Absatz 2, und nur für Systeme, die vor dem 2. August 2026 in Verkehr gebracht wurden. Ob Absatz 2 einen internen Auskunfts-Chatbot überhaupt erfasst, ist eine offene Rechtsfrage. Welche Fristen insgesamt für Industrieunternehmen gelten, steht in AI Act nach dem Digital Omnibus.
Angriffsflächen: Prompt Injection und Rechteumgehung
Ein Dokument im Index kann Anweisungen enthalten – und ein Sprachmodell unterscheidet nicht von selbst zwischen dem Text, den es lesen soll, und dem Text, der ihm sagt, was es tun soll. OWASP nennt das indirekte Prompt Injection: Sie tritt auf, wenn ein Modell Eingaben aus externen Quellen wie Websites oder Dateien übernimmt. Bei einem Chatbot, der Lieferantendokumente, E-Mail-Anhänge oder Wartungsberichte indexiert, ist jedes dieser Dokumente eine mögliche Quelle. Das BSI führt das Risiko als R28 und warnt daneben vor der Vergiftung der Wissensbasis (R18) und der Extraktion von Informationen, die per RAG in den Prompt kopiert wurden.
Die zweite Angriffsfläche ist stiller: die Rechteumgehung über das Retrieval. Wenn die Berechtigungsprüfung vor der Suche stattfindet und danach alle Treffer ungefiltert an das Modell gehen, sieht ein Mitarbeiter über den Umweg der Antwort Dokumente, die er direkt nie öffnen dürfte. Die Prüfung gehört hinter das Retrieval, auf jeden einzelnen Abschnitt, gegen das acl-Feld der Metadaten. Welche Anforderungen darüber hinaus für personenbezogene Daten in Wartungsberichten und Schichtbüchern gelten, steht in RAG auf eigenen Dokumenten und die DSK-Orientierungshilfe.
| Angriffsfläche | OWASP-Klasse (2025) | Gegenmaßnahme | Prüfschritt vor der Abnahme |
|---|---|---|---|
| Anweisungen in indexierten Dokumenten | LLM01 Prompt Injection | Dokumentinhalt wird als Daten gekennzeichnet und nie als Instruktion behandelt; feste Ausgabestruktur; Modell ohne Werkzeugrechte | Testdokument mit eingebetteter Anweisung („ignoriere alle Regeln …“) indexieren; das Antwortverhalten darf sich nicht ändern |
| Abfluss vertraulicher Inhalte über die Antwort | LLM02 Sensitive Information Disclosure | Berechtigungsprüfung je Abschnitt nach dem Retrieval; Protokoll, welcher Nutzer welchen Abschnitt erhalten hat | Nutzer ohne Recht auf Dokument X stellt eine Frage, die nur X beantwortet; erwartet: „nicht belegt“ |
| Ungeprüfte Modellausgabe in nachgelagerten Systemen | LLM05 Improper Output Handling | Ausgabe wird als Text gerendert, nie als Link, Skript oder Kommando ausgeführt; Ausgabefilter | Antwort mit eingebettetem HTML- oder Markdown-Link provozieren; die Oberfläche darf nichts ausführen |
| Zu weit gefasste Werkzeugrechte | LLM06 Excessive Agency | Auskunftsbot ohne Schreibrechte auf CMMS, ERP oder Steuerung; Freigaben bleiben beim Menschen | Rechteliste des Dienstkontos prüfen: nur Lesezugriff auf den Index |
| Manipulierte Abschnitte oder Vektoren im Index | LLM08 Vector and Embedding Weaknesses | Schreibrechte auf den Index nur für die Ingest-Pipeline; Versionierung und Freigabe der Quelldokumente | Änderungshistorie des Index einsehen: jeder Eintrag muss auf ein freigegebenes Dokument zurückführen |
Diese Maßnahmen decken sich mit dem, was OWASP für LLM01 empfiehlt: Modellverhalten einschränken, Ausgabeformate festlegen und validieren, Ein- und Ausgaben filtern, minimale Rechte, menschliche Freigabe für riskante Aktionen, externe Inhalte getrennt kennzeichnen und das System gegnerisch testen. Das BSI empfiehlt vor der Integration generativer KI eine individuelle Risikoanalyse und nennt die Verwaltung und Kontrolle von Zugriffsrechten als klassische Maßnahme, die viele der KI-spezifischen Risiken mit abdeckt.
Wie Sie vor der Abnahme messen, ob es funktioniert
Vor der Abnahme messen Sie mit einem Testkatalog aus 50 realen Fragen aus dem Betrieb, zu denen Sie vorab die erwartete Fundstelle notiert haben. Die Fragen kommen von den Menschen, die das System benutzen sollen: Instandhalter, Einrichter, Servicetechniker. Mindestens zehn davon dürfen im Bestand keine Antwort haben. Jede Antwort wird in eine von vier Stufen einsortiert.
| Stufe | Beschreibung | Bewertung | Typische Ursache |
|---|---|---|---|
| Richtig mit richtigem Beleg | Aussage korrekt, Fundstelle stimmt und ist klickbar | Ziel | – |
| Richtig mit falschem Beleg | Aussage korrekt, Fundstelle zeigt auf eine andere Stelle oder Version | Gefährlichster Fall, Toleranz null | Beleg aus Modelltext statt Metadaten; veraltete Version im Index |
| Verweigert | „Nicht belegt“, obwohl oder weil kein Beleg vorliegt | Erwünscht bei fehlendem Beleg, sonst Retrieval-Problem | Schwelle zu hoch; Chunking zerschneidet Tabellen; Fehlercode nicht per Volltext gefunden |
| Falsch | Aussage falsch oder erfunden | Ausschlusskriterium | Kein Prüfschritt nach der Generierung; Schwelle zu niedrig |
Ein Rechenbeispiel mit angenommenen Zahlen: Von 50 Fragen werden 38 richtig mit richtigem Beleg beantwortet, 3 richtig mit falschem Beleg, 8 verweigert (davon 7 zu Recht) und 1 falsch. Die Trefferquote von 76 % klingt ordentlich. Abnahmefähig ist das System trotzdem nicht: Die eine falsche Antwort und die drei falschen Belege müssen auf ihre Ursache zurückgeführt und behoben sein, bevor die Fachkräfte das System zum ersten Mal benutzen. Der erste Eindruck entscheidet über die Akzeptanz, und eine zweite Chance gibt es auf dem Shopfloor selten.
Abnahmekriterien vor dem Rollout
- Jede Antwort nennt Dokument, Version, Kapitel und Seite und verlinkt auf die Originalseite.
- Der Beleg wird aus den Metadaten des Abschnitts erzeugt, nie aus dem Modelltext.
- Fragen ohne Beleg im Bestand werden mit „nicht belegt“ beantwortet – im Test mit mindestens zehn solcher Fragen geprüft.
- Warn- und Sicherheitshinweise erscheinen wörtlich und vollständig, nie zusammengefasst.
- Antworten sind als Auskunft formuliert, nicht als Handlungsanweisung.
- Berechtigungen werden je Abschnitt nach dem Retrieval geprüft; ein Testnutzer ohne Recht erhält keine Inhalte aus gesperrten Dokumenten.
- Ein Testdokument mit eingebetteter Anweisung verändert das Verhalten nicht.
- Das Dienstkonto des Chatbots hat nur Lesezugriff auf den Index und keine Schreibrechte auf CMMS, ERP oder Steuerung.
- Der KI-Hinweis nach Artikel 50 KI-Verordnung ist vor der ersten Antwort sichtbar.
- Frage, Treffer, Ähnlichkeitswerte, Antwort und Nutzerbewertung werden protokolliert.
- Ein Verantwortlicher pflegt den Dokumentenbestand: neue Versionen einspielen, zurückgezogene Anleitungen sperren.
- Die verbindliche Betriebsanleitung bleibt unabhängig vom Chatbot zugänglich.
Fazit: Ehrlichkeit ist eine Architekturentscheidung
Ein Chatbot für technische Handbücher wird nicht durch ein besseres Sprachmodell brauchbar, sondern durch vier Entscheidungen: Beleg aus Metadaten, erzwungene Verweigerung, wörtliche Sicherheitshinweise und Berechtigungsprüfung nach dem Retrieval. Dazu kommen zwei Pflichten von außen – der KI-Hinweis nach Artikel 50 seit dem 2. August 2026 und die Einsicht, dass die Betriebsanleitung auch unter der Maschinenverordnung ein eigenständiges, jederzeit zugängliches Dokument bleibt.
Beginnen Sie mit dem Testkatalog, nicht mit dem Modell: 50 Fragen, erwartete Fundstellen, zehn davon ohne Antwort im Bestand. Wenn Sie ein solches System für Ihre Dokumentation aufbauen oder ein vorhandenes nach diesen Kriterien prüfen lassen möchten, beschreibt KI-Lösungen für technische Dokumente, wie ralwo solche Vorhaben angeht.
Häufige Fragen
Quellen
- Article 50: Transparency Obligations for Providers and Deployers of Certain AI Systems — EU Artificial Intelligence Act (Future of Life Institute)
- Implementation Timeline | EU Artificial Intelligence Act (Stand 31. August 2026) — EU Artificial Intelligence Act (Future of Life Institute)
- Regulation (EU) 2026/1744 of the European Parliament and of the Council of 8 July 2026 (Digital Omnibus on AI) — EUR-Lex, Amt für Veröffentlichungen der Europäischen Union
- Verordnung (EU) 2023/1230 des Europäischen Parlaments und des Rates vom 14. Juni 2023 über Maschinen — EUR-Lex, Amt für Veröffentlichungen der Europäischen Union
- Maschinenverordnung (EU) 2023/1230 – Konsolidierte Fassung mit Hyperlinks zum Online-Kommentar, Version 1.5.1 — maschinenrichtlinie.de (Ostermann / DCEM)
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden (Version 2.0) — Bundesamt für Sicherheit in der Informationstechnik (BSI)
- OWASP Top 10 for LLM Applications 2025 — OWASP Gen AI Security Project
- LLM01:2025 Prompt Injection — OWASP Gen AI Security Project