Beratung vereinbaren
|
Beratung vereinbaren

Skalierung von RAG-Chatbots: Zentrale Herausforderungen und Best Practices

Lukas Neuhauser, Senior Data Scientist at HMS Analytical Software and author of AI and data strategy insights
Lukas Neuhauser

Veröffentlicht am 9. September 2025

Unternehmen verwalten enorme Mengen an Wissen – sowohl in kommerziellen als auch in klinischen Bereichen, darunter regulatorische Einreichungen, Produktinformationen, Vertriebsunterlagen und klinische Dokumentationen. Dieses Wissen im gesamten globalen Unternehmenskontext zugänglich zu machen, ist keine leichte Aufgabe. Klassische Suchfunktionen stoßen dabei oft an ihre Grenzen, und Mitarbeitende haben Schwierigkeiten, die benötigten Informationen schnell zu finden.

Retrieval-Augmented Generation (RAG)-Chatbots versprechen hier einen Durchbruch: eine zentrale Schnittstelle, über die Mitarbeitende Dokumente in natürlicher Sprache abfragen können. Doch die Einführung einer solchen Lösung in einem globalen Konzern bringt spezifische Herausforderungen mit sich.

Im Folgenden beleuchten wir die wichtigsten Herausforderungen, die uns bei Rollouts begegnet sind, sowie die Best Practices, die eine Skalierung ermöglichen.

Herausforderung 1: Fragmentierte Dokumentquellen

Die Situation: Unterschiedliche Marktorganisationen verwalten oft ihre eigenen SharePoint-Repositories – jeweils mit eigenen Strukturen und Taxonomien. Vertriebsniederlassungen speichern teils Tausende von Produktdokumenten, während regulatorische Teams hochsensible Einreichungen verwalten.

Best Practice: Implementierung einer Dokumenten-Ingestion-Pipeline mit SharePoint-API-Anbindung. Dokumente werden in eine standardisierte zentrale Repository-Struktur überführt, während die ursprünglichen Quellordner erhalten bleiben. Jede Pipeline einer Business Unit wird einmalig konfiguriert und läuft danach automatisch. Auf Basis der standardisierten Dokumentenablage werden Embeddings generiert und in einer Vektordatenbank gespeichert. So kann der Chatbot konsistent auf das Wissen zugreifen, während die lokale Verwaltung bestehen bleibt.

Herausforderung 2: Wissen aktuell halten

Die Situation: Business Units löschen, aktualisieren oder erstellen täglich neue Dokumente. Diese bilden die Wissensgrundlage für den Chatbot. Gibt der Chatbot veraltete Inhalte aus, verliert er sofort das Vertrauen der Nutzenden.

Best Practice: Automatisierte Synchronisierung zwischen lokalen Repositories und der zentralen Wissensbasis. Kontinuierliche Updates stellen sicher, dass Mitarbeitende stets aktuelle Informationen erhalten. Das stärkt das Vertrauen in das RAG-System, fördert die Akzeptanz und gewährleistet zugleich Compliance.

Herausforderung 3: Zugriffsrechte managen

Die Situation: Nicht jeder Mitarbeitende darf auf alle Dokumente zugreifen. Zugriffsrechte unterscheiden sich nach Markt, Produkttyp oder Funktion – und ändern sich im Laufe der Zeit.

Best Practice: Einführung von Role-Based Access Control (RBAC) direkt auf Ebene des Vektorstores. Jede Chatbot-Instanz setzt Berechtigungen dynamisch um, sodass Nutzende ausschließlich auf die Dokumente zugreifen können, für die sie berechtigt sind.

Herausforderung 4: Globaler Maßstab vs. lokale Anforderungen

Die Situation: Business Units benötigen oft spezifische Chatbot-Funktionen, die auf ihre Workflows zugeschnitten sind. Ohne Struktur entstehen schnell zahlreiche individuelle Versionen, die schwer zu verwalten sind.

Best Practice: Entwicklung lokaler Use Cases während des Onboardings und Bereitstellung in einem globalen Marktplatz. So können Märkte erprobte Anwendungsfälle anderer Einheiten übernehmen – für Skalierbarkeit, Wiederverwendbarkeit und gleichzeitig die Abdeckung lokaler Anforderungen.

Herausforderung 5: Betrieblichen Aufwand minimieren

Die Situation: Ein globaler Rollout über Dutzende Business Units wirkt ressourcenintensiv. Viele Unternehmen fürchten, große lokale Support-Teams aufbauen zu müssen.

Best Practice: Mit der richtigen Architektur ist der operative Aufwand nach dem Onboarding minimal. Dokumenten-Ingestion läuft automatisiert, Berechtigungen werden lokal verwaltet, Use Cases zentral aktiviert. Ein kleines globales Team kann die Plattform effektiv betreiben.

Zentrale Erkenntnisse

  1. Ingestion zentralisieren, Use Cases dezentralisieren. Eine Wissensbasis, viele Anwendungen.
  2. Synchronisierung automatisieren. Veraltete Inhalte zerstören Vertrauen am schnellsten.
  3. Compliance von Beginn an einbetten. RBAC ist unverzichtbar.
  4. Use Cases global teilen und wiederverwenden. Das Rad nicht in jedem Markt neu erfinden.
  5. Operationen schlank halten. Ein kleines zentrales Team steuert den globalen Rollout.

Fazit: Struktur ermöglicht Skalierung

Für Unternehmen sind GenAI-Chatbots kein Trend, sondern eine Notwendigkeit, um komplexes und verteiltes Wissen handhabbar zu machen. Erfolg in der Skalierung erfordert die richtige Balance: zentrale Struktur für Konsistenz, lokale Flexibilität für Relevanz und Automatisierung für Nachhaltigkeit.

Wer diese Herausforderungen proaktiv adressiert, kann RAG-Chatbots erfolgreich weltweit ausrollen – angepasst an lokale Bedürfnisse, mit minimalem Aufwand und mit verlässlichem, regelkonformem Zugang zu kritischen Informationen für Mitarbeitende.

Kernaussagen

  • Fragmentierte Repositories erfordern zentrale Ingestion.
  • Kontinuierliche Synchronisierung sichert Vertrauen und Compliance.
  • Ein gemeinsamer Use-Case-Pool verbindet globale Skalierung mit lokalen Anforderungen.
  • Schlanke Strukturen ermöglichen nachhaltige Skalierung.

Lukas Neuhauser
Senior Data Scientist

Fragen zum Artikel?

Wir geben gerne Antworten.
Kontaktieren Sie uns
© 2024 – 2025 HMS Analytical Software
chevron-down