Stellen Sie sich vor, jeder Mitarbeiter hätte Zugang zu einem persönlichen Assistenten, der jedes interne Dokument kennt: jede SOP, jede Confluence-Seite, jede CRM-Notiz, jedes SharePoint-Handbuch. Mit ChatGPT und seinem generischen Internet-Wissen hat das wenig zu tun. Ein solches AI-System versteht Ihr Unternehmen. Auf die Frage „Wie läuft unser Reklamationsprozess bei Lieferant X?" liefert es in Sekunden die richtige Antwort, samt Quellenangabe.
Genau das ist ein InhouseGPT: ein firmeninterner AI-Assistent, der auf Ihrem eigenen Unternehmenswissen trainiert wurde. Er ersetzt keine Mitarbeiter. Er gibt jedem Einzelnen Zugang zum gesamten Wissensschatz der Organisation, und zwar DSGVO-konform, ohne dass vertrauliche Daten das Unternehmen verlassen.
In diesem Artikel zeige ich Ihnen Schritt für Schritt, wie Sie ein InhouseGPT einführen: von der technischen Architektur (verständlich erklärt) über die DSGVO-konforme Implementierung bis zum konkreten 6-Wochen-Rollout-Plan. Am Ende wissen Sie, welche der drei gängigen Implementierungs-Optionen zu Ihrem Unternehmen passt und welche Fehler Sie besser vermeiden.
Warum jedes Unternehmen ein InhouseGPT braucht
In jedem mittelständischen Unternehmen existiert ein Problem, über das selten gesprochen wird: Wissen ist unsichtbar verteilt. Es steckt in Confluence-Seiten, die niemand findet. In SharePoint-Ordnern mit kryptischen Namen. In E-Mail-Postfächern einzelner Personen. Und vor allem: in den Köpfen von Senior-Mitarbeitern, die seit 15 Jahren im Unternehmen sind.
Die versteckten Kosten von Wissenssilos
Die Zahlen sind ernüchternd: Laut einer McKinsey-Studie verbringen Wissensarbeiter durchschnittlich 30-45 Minuten pro Tag mit der Suche nach internen Informationen. Bei 50 Mitarbeitern sind das 125 bis 187 Stunden pro Monat: reines Suchen, kein Arbeiten. Umgerechnet in Euro (bei 65 EUR Vollkostenstundensatz): 8.000 bis 12.000 EUR monatlich, die für Informationssuche verschwendet werden.
Doch der größere Schaden liegt woanders:
- Onboarding dauert Monate: Neue Mitarbeiter brauchen 3-6 Monate, bis sie „wissen, wen man fragen muss". Dieses informelle Netzwerk steht in keinem Handbuch.
- Single Points of Failure: Wenn der eine Kollege, der den Reklamationsprozess in- und auswendig kennt, krank wird oder kündigt, steht die Abteilung still.
- Doppelarbeit: Teams in verschiedenen Standorten lösen dieselben Probleme unabhängig voneinander, weil sie nicht wissen, dass es längst eine Lösung gibt.
- Qualitätsschwankungen: Ohne zentrales Wissensmanagement hängt die Antwortqualität davon ab, wen der Kunde zufällig am Telefon hat.
„Wir hatten 2.400 Confluence-Seiten und 15.000 Dateien auf SharePoint. Trotzdem haben Mitarbeiter mir erzählt: ‚Ich finde nie, was ich suche.' Uns fehlte also kein Wissen. Es war bloß unsichtbar."
— IT-Leiter eines Logistik-Unternehmens, 380 Mitarbeiter
Ein InhouseGPT löst dieses Problem, indem es das gesamte Unternehmenswissen durchsuchbar, verständlich und sofort verfügbar macht. Ihre Mitarbeiter stellen dafür einfach Fragen in natürlicher Sprache.
Die RAG-Architektur erklärt (für Nicht-Techniker)
Hinter einem InhouseGPT steckt eine Technologie namens RAG (Retrieval-Augmented Generation). Der Name klingt kompliziert, das Prinzip ist es nicht. Stellen Sie sich eine extrem schnelle Bibliothekarin vor, die jedes einzelne Dokument in Ihrem Unternehmen gelesen hat und sich an alles erinnert. Wenn Sie ihr eine Frage stellen, blättert sie nicht durch Ordner. Sie weiß sofort, welche drei Absätze aus welchen Dokumenten die Antwort enthalten.
Technisch funktioniert RAG in fünf Schritten:
Schritt 1: Dokumente werden „zerlegt" und gespeichert
Ihre internen Dokumente (Confluence-Seiten, PDFs, Word-Dateien, CRM-Einträge) werden in kleine, sinnvolle Abschnitte (sogenannte Chunks) aufgeteilt. Jeder Chunk wird in einen mathematischen Vektor umgewandelt (ein Zahlen-Array, das die Bedeutung des Textes repräsentiert) und in einer Vektordatenbank gespeichert. Dieser Prozess heißt „Embedding".
Schritt 2: Ein Mitarbeiter stellt eine Frage
Der Mitarbeiter tippt seine Frage in natürlicher Sprache ein, z.B. „Wie ist die Rückgabefrist für Produkte der Kategorie A bei Großkunden?". Diese Frage wird ebenfalls in einen Vektor umgewandelt.
Schritt 3: Das System findet die relevantesten Textabschnitte
Die Vektordatenbank vergleicht den Frage-Vektor mit allen gespeicherten Dokument-Vektoren und findet die semantisch ähnlichsten Chunks. Das Besondere: Die Suche versteht Bedeutung statt bloßer Schlagwörter. Die Frage „Rückgabefrist für Großkunden" findet auch Dokumente, in denen von „Retourenregelung für Key Accounts" die Rede ist.
Schritt 4: Das LLM formuliert eine Antwort
Die gefundenen Textabschnitte werden zusammen mit der Frage an ein Large Language Model (z.B. GPT-5, Claude oder ein Open-Source-Modell) übergeben. Das LLM nutzt diese Chunks als Kontext und formuliert daraus eine verständliche, zusammenhängende Antwort. Die Grundlage dafür sind Ihre Dokumente und eben nicht das allgemeine Weltwissen des Modells.
Schritt 5: Antwort mit Quellenangabe
Zur Antwort verlinkt das System zusätzlich die Originaldokumente, aus denen die Information stammt. So kann der Mitarbeiter jede Auskunft jederzeit verifizieren. Für Vertrauen und Akzeptanz ist das entscheidend.
„Wie eine extrem schnelle Bibliothekarin, die jedes Dokument gelesen hat. Nur dass sie nie Urlaub nimmt, nie krank wird und 500 Fragen gleichzeitig beantworten kann."
Der entscheidende Vorteil von RAG gegenüber reinem Fine-Tuning: Die Daten bleiben aktuell. Wenn ein neues Handbuch auf SharePoint hochgeladen wird, kann es innerhalb von Minuten in die Vektordatenbank aufgenommen werden, ohne dass das gesamte Modell neu trainiert werden muss.
DSGVO-konforme Implementierung: die 5 Säulen
Für deutsche Unternehmen ist die DSGVO-Konformität kein Nice-to-have, sondern eine harte Anforderung. Die gute Nachricht: Ein InhouseGPT lässt sich vollständig DSGVO-konform betreiben. Voraussetzung ist, dass Sie die folgenden fünf Säulen beachten.
Säule 1: EU-only Hosting
Alle Daten müssen in der EU verarbeitet werden, von der Vektordatenbank über die Dokumente bis zu den LLM-Anfragen. Konkrete Optionen:
- Azure Germany / Azure EU: Microsofts Azure OpenAI Service mit EU-Datenresidenz. Daten verlassen die EU nicht.
- AWS Frankfurt: Amazon Bedrock mit Claude-Modellen, gehostet in der Region eu-central-1.
- On-Premise: Für maximale Kontrolle: Open-Source-Modelle wie Llama oder Mistral auf eigener Hardware. Höherer Aufwand, aber volle Datensouveränität.
Säule 2: Kein Training Data Leakage
Ein häufiges Missverständnis: Viele Unternehmen fürchten, dass ihre Daten zum Training des AI-Modells verwendet werden. Bei Consumer-Versionen von ChatGPT ist das tatsächlich ein Risiko. Bei API-Zugängen (OpenAI API, Anthropic API, Azure OpenAI) ist es vertraglich ausgeschlossen. Wichtig: Nutzen Sie immer den API-Modus, niemals die Consumer-Oberfläche für Unternehmensdaten.
Säule 3: Rollenbasierte Zugriffssteuerung (RBAC)
Nicht jeder Mitarbeiter sollte alles sehen. Ein Vertriebsmitarbeiter braucht Zugang zu CRM-Daten und Produkthandbüchern, aber nicht zu Gehaltsabrechnungen oder Vorstandsprotokollen. Ein gutes InhouseGPT-System spiegelt die bestehende Berechtigungsstruktur wider, idealerweise direkt aus Ihrem Active Directory oder Identity Provider synchronisiert.
Säule 4: Audit-Trail für alle Anfragen
Jede Anfrage an das InhouseGPT muss protokolliert werden: Wer hat wann welche Frage gestellt und welche Dokumente wurden als Kontext verwendet? Das hilft neben der DSGVO auch bei der kontinuierlichen Verbesserung des Systems: Sie sehen, welche Fragen häufig gestellt werden und wo Wissenslücken existieren.
Säule 5: Auftragsverarbeitungsvertrag (AVV)
Mit jedem externen LLM-Provider muss ein Auftragsverarbeitungsvertrag (AVV, englisch: Data Processing Agreement) geschlossen werden. Die großen Anbieter (Microsoft, Amazon, Anthropic) bieten Standard-AVVs an. Prüfen Sie zusätzlich, ob Subunternehmer eingesetzt werden und wo diese sitzen.
Ein besonders interessanter Ansatz kommt von Langdock, einem deutschen Middleware-Anbieter, der mehrere LLM-Modelle (GPT-5, Claude, Mistral) unter einem Dach bündelt und komplett EU-konform betreibt. Langdock übernimmt die gesamte Compliance-Schicht: Hosting in Frankfurt, deutsches Datenschutzrecht, fertige AVVs. Für Unternehmen, die nicht selbst die Infrastruktur betreiben wollen, ist das eine attraktive Option.
3 Implementierungs-Optionen im Vergleich
Je nach IT-Reife, Budget und Anforderungen stehen Ihnen drei grundsätzliche Wege offen. Hier ein ehrlicher Vergleich:
Option A: Microsoft 365 Copilot
Für wen: Unternehmen, die bereits stark im Microsoft-Ökosystem arbeiten (Teams, SharePoint, Outlook, OneDrive).
- Vorteil: Nahtlose Integration in bestehende Tools. Copilot greift direkt auf SharePoint, Teams-Chats und E-Mails zu. Kein separates Setup nötig.
- Nachteil: Begrenzte Anpassbarkeit. Sie können das System nicht mit externen Datenquellen (z.B. CRM, ERP) erweitern. Die Antwortqualität hängt stark davon ab, wie gut Ihre SharePoint-Struktur organisiert ist.
- Kosten: ~30 EUR/User/Monat (zusätzlich zur bestehenden M365-Lizenz).
- Zeitaufwand: 1-2 Wochen für Rollout.
Option B: Custom RAG mit OpenAI/Claude API
Für wen: Unternehmen mit spezifischen Anforderungen, eigener IT oder Entwicklungsressourcen.
- Vorteil: Maximale Flexibilität. Sie bestimmen, welche Datenquellen angebunden werden, welches LLM verwendet wird und wie die Benutzeroberfläche aussieht. Auch die Integration in CRM, ERP oder Ticketsystem ist möglich.
- Nachteil: Erfordert Entwickler-Know-how (Python, Vektordatenbanken, API-Integration). Laufende Wartung nötig.
- Kosten: 5.000-15.000 EUR einmalig für Setup + 500-2.000 EUR/Monat für API-Kosten und Hosting.
- Zeitaufwand: 4-8 Wochen für die erste Version.
Option C: Langdock oder vergleichbare Plattform
Für wen: Unternehmen, die maximale Flexibilität ohne eigene Entwicklung wollen.
- Vorteil: No-Code-Setup. EU-gehostet. Unterstützt mehrere LLM-Modelle gleichzeitig. Fertige Integrationen für Confluence, SharePoint, Notion, Google Drive. RBAC und Audit-Trail inklusive.
- Nachteil: Weniger Anpassbarkeit als eine Custom-Lösung. Abhängigkeit von einem externen Anbieter.
- Kosten: ~15-25 EUR/User/Monat.
- Zeitaufwand: 2-3 Wochen für produktiven Einsatz.
Unsere Empfehlung: Für die meisten mittelständischen Unternehmen ist Option C der beste Einstieg. Sie kommen schnell zu Ergebnissen, bleiben DSGVO-konform und können später bei Bedarf auf eine Custom-Lösung (Option B) migrieren. Microsoft-zentrierte Organisationen sollten zuerst Option A evaluieren, besonders wenn SharePoint bereits gut strukturiert ist.
Rollout-Plan: 6 Wochen vom Pilot zum Unternehmen
Die Einführung eines InhouseGPT ist kein 6-Monats-Projekt. Mit dem richtigen Plan schaffen Sie es in sechs Wochen vom ersten Assessment bis zum unternehmensweiten Rollout. Hier ist der bewährte Fahrplan:
Woche 1-2: Data Audit, Quellenauswahl, Tool-Entscheidung
Bevor Sie ein Tool konfigurieren, müssen Sie wissen, welches Wissen überhaupt existiert und wo es liegt. Führen Sie ein Data Audit durch:
- Welche Datenquellen gibt es? (SharePoint, Confluence, CRM, Dateiserver, E-Mail-Archive)
- Welche davon enthalten hochwertige, aktuelle Informationen?
- Wo liegen sensible Daten, die besondere Berechtigungen erfordern?
- Welche Fragen werden am häufigsten an den IT-Helpdesk oder an Senior-Mitarbeiter gestellt?
Auf Basis des Audits wählen Sie die 2-3 wichtigsten Datenquellen für den Pilot und treffen die Tool-Entscheidung (Option A, B oder C). Weniger ist hier mehr. Starten Sie fokussiert.
Woche 3: Technisches Setup und erste Datenaufnahme
Richten Sie die gewählte Plattform ein, verbinden Sie die ausgewählten Datenquellen und starten Sie die erste Indexierung (Embedding). Testen Sie das System intern mit 20-30 typischen Fragen und prüfen Sie die Antwortqualität. Passen Sie Chunk-Größen und Retrieval-Parameter an, bis die Ergebnisse überzeugen.
Woche 4: Pilot mit 5-10 Power-Usern
Wählen Sie 5-10 Mitarbeiter aus verschiedenen Abteilungen, die das System im Tagesgeschäft testen. Ideal sind Personen, die häufig nach Informationen suchen: Vertriebler, Kundenservice, neue Mitarbeiter. Geben Sie ihnen ein kurzes Briefing (15 Minuten), aber keine umfangreiche Schulung. Wenn das Tool erklärt werden muss, ist es nicht intuitiv genug.
Woche 5: Feedback, Tuning, Datenquellen erweitern
Sammeln Sie strukturiertes Feedback von den Pilotanwendern:
- Welche Fragen hat das System gut beantwortet?
- Wo waren die Antworten ungenau oder fehlerhaft?
- Welche Datenquellen fehlen?
- Wie oft wurde das Tool tatsächlich genutzt (vs. alte Gewohnheiten)?
Auf Basis des Feedbacks optimieren Sie die Konfiguration, ergänzen fehlende Datenquellen und verbessern die Antwortqualität gezielt dort, wo Lücken aufgefallen sind.
Woche 6: Unternehmensweiter Rollout, Training, Dokumentation
Rollout auf alle Mitarbeiter, begleitet von einer kurzen Schulung (30 Minuten, am besten live mit Q&A). Erstellen Sie eine interne FAQ: „Was kann das InhouseGPT? Was nicht? Wie formuliere ich gute Fragen?" Definieren Sie einen Feedback-Kanal (z.B. Slack-Channel oder Teams-Kanal) für laufende Verbesserungsvorschläge.
Im AI-Champions-Programm durchlaufen Sie diesen Rollout-Plan im Programm mit unseren Templates und Checklisten, inklusive Data-Audit-Vorlage, Pilotanwender-Briefing und Schulungsfolien.
Die häufigsten Fehler (und wie Sie sie vermeiden)
Aus der Begleitung dutzender InhouseGPT-Einführungen kennen wir die Muster, die zum Scheitern führen. Hier die drei häufigsten Fehler:
Fehler 1: Zu viele Datenquellen auf einmal
Der Instinkt vieler IT-Abteilungen: „Wir schließen gleich alles an: SharePoint, Confluence, CRM, E-Mail, Teams, Dateiserver." Das Ergebnis: Die Antwortqualität sinkt, weil das System veraltete, widersprüchliche oder irrelevante Dokumente als Kontext verwendet. Die Lösung: Starten Sie mit 1-2 hochwertigen, gut gepflegten Quellen. Lieber 200 aktuelle Dokumente als 20.000 veraltete.
Fehler 2: Keine Qualitätskontrolle der AI-Antworten
LLMs können halluzinieren, auch mit RAG. Das Risiko ist geringer als bei reinem ChatGPT (weil die Antwort auf echten Dokumenten basiert), aber nicht null. Wenn das System eine falsche Auskunft zu einem Kundenvertrag gibt und niemand das prüft, entsteht echtes Geschäftsrisiko. Die Lösung: Zeigen Sie immer die Quelldokumente an. Schulen Sie Mitarbeiter, Antworten zu verifizieren, besonders bei vertraglichen, finanziellen oder rechtlichen Themen. Implementieren Sie ein Feedback-System: „War diese Antwort hilfreich? Ja/Nein."
Fehler 3: Change Management ignorieren
Das beste InhouseGPT nützt nichts, wenn niemand es nutzt. Und Menschen ändern ihre Gewohnheiten nicht freiwillig. Wer seit 10 Jahren Kollegen per E-Mail fragt, wird nicht über Nacht zum InhouseGPT-Anwender, selbst wenn es schneller wäre. Die Lösung: Identifizieren Sie Champions in jeder Abteilung, die das Tool aktiv promoten. Zeigen Sie konkrete Zeitersparnis-Beispiele. Integrieren Sie das InhouseGPT in bestehende Workflows (z.B. als Slack-Bot oder Teams-App), statt eine separate Oberfläche zu erwarten.
„Die Technik war in 3 Wochen fertig. Die Akzeptanz? Die hat 3 Monate gedauert. Hätten wir von Anfang an Power-User als interne Botschafter eingesetzt, wäre es deutlich schneller gegangen. Der eigentliche Erfolgsfaktor bei InhouseGPT ist das Change Management, nicht die RAG-Pipeline."
— CDO eines Versicherungskonzerns, 1.200 Mitarbeiter
Was ein InhouseGPT konkret leistet: Drei Praxis-Szenarien
Szenario 1: Onboarding in halber Zeit
Ein neuer Mitarbeiter im Kundenservice startet am Montag. Statt zwei Wochen lang Kollegen zu fragen, wie der Reklamationsprozess für verschiedene Produktkategorien funktioniert, fragt er das InhouseGPT. In Sekunden erhält er eine präzise Antwort mit Link zur aktuellen SOP. Einarbeitungszeit: von 3 Monaten auf 6 Wochen reduziert.
Szenario 2: Vertrieb beantwortet Kundenfragen in Echtzeit
Ein Vertriebsmitarbeiter sitzt im Kundengespräch. Der Kunde fragt nach den technischen Spezifikationen eines Produkts, das vor zwei Jahren eingestellt wurde. Statt „Ich muss nachfragen und melde mich" sagt der Vertriebler nur: „Einen Moment." Zehn Sekunden später hat er die Antwort auf dem Bildschirm, inklusive Migrationspfad zum Nachfolgeprodukt.
Szenario 3: IT-Helpdesk entlastet
70% der internen IT-Tickets betreffen wiederkehrende Fragen: VPN-Einrichtung, Druckerinstallation, Software-Bestellungen. Ein InhouseGPT beantwortet diese Fragen direkt, mit Schritt-für-Schritt-Anleitungen aus der internen Wissensdatenbank. Das IT-Team gewinnt Zeit für strategische Projekte statt für repetitiven First-Level-Support.
So starten Sie: Ihr nächster Schritt
Die Einführung eines InhouseGPT ist kein Mammutprojekt und keine Raketenwissenschaft. Mit dem richtigen Plan, guten Datenquellen und einem fokussierten Piloten bauen Sie in sechs Wochen ein System auf, das jeden Mitarbeiter produktiver macht und sich innerhalb der ersten zwei Monate refinanziert.
Ob Sie ein InhouseGPT einführen sollten, ist damit eigentlich beantwortet. Spannender ist, wie schnell Sie damit starten. Denn jeder Monat ohne ein solches System bedeutet tausende Stunden, die Ihre Mitarbeiter mit Informationssuche statt mit wertschöpfender Arbeit verbringen.
Im AI-Champions-Programm ist die InhouseGPT-Einführung ein zentraler Baustein. Sie erhalten praxiserprobte Vorlagen für den kompletten Rollout: Data-Audit-Checkliste, Tool-Vergleichsmatrix, Pilotanwender-Briefing, DSGVO-Checkliste und Schulungsunterlagen. Damit haben Sie alles an der Hand, um in wenigen Wochen ein produktives InhouseGPT im Unternehmen zu haben.
Jetzt das AI-Champions-Programm entdecken und InhouseGPT in Ihrem Unternehmen einführen →
