Stellen Sie sich vor, jeder Mitarbeiter hätte Zugang zu einem persönlichen Assistenten, der jedes interne Dokument kennt — jede SOP, jede Confluence-Seite, jede CRM-Notiz, jedes SharePoint-Handbuch. Nicht ChatGPT, das generisches Internet-Wissen wiedergibt. Sondern ein AI-System, das Ihr Unternehmen versteht. Eines, das auf die Frage „Wie läuft unser Reklamationsprozess bei Lieferant X?" in Sekunden die richtige Antwort liefert — mit Quellenangabe.
Genau das ist ein InhouseGPT: ein firmeninterner AI-Assistent, der auf Ihrem eigenen Unternehmenswissen trainiert wurde. Er ersetzt keine Mitarbeiter — er gibt jedem Mitarbeiter Zugang zum gesamten Wissensschatz der Organisation. Und er tut das DSGVO-konform, ohne dass vertrauliche Daten das Unternehmen verlassen.
In diesem Artikel zeige ich Ihnen Schritt für Schritt, wie Sie ein InhouseGPT einführen: von der technischen Architektur (verständlich erklärt) über die DSGVO-konforme Implementierung bis zum konkreten 6-Wochen-Rollout-Plan. Am Ende wissen Sie, welche der drei gängigen Implementierungs-Optionen zu Ihrem Unternehmen passt — und welche Fehler Sie unbedingt vermeiden sollten.
Warum jedes Unternehmen ein InhouseGPT braucht
In jedem mittelständischen Unternehmen existiert ein Problem, über das selten gesprochen wird: Wissen ist unsichtbar verteilt. Es steckt in Confluence-Seiten, die niemand findet. In SharePoint-Ordnern mit kryptischen Namen. In E-Mail-Postfächern einzelner Personen. Und vor allem: in den Köpfen von Senior-Mitarbeitern, die seit 15 Jahren im Unternehmen sind.
Die versteckten Kosten von Wissenssilos
Die Zahlen sind ernüchternd: Laut einer McKinsey-Studie verbringen Wissensarbeiter durchschnittlich 30-45 Minuten pro Tag mit der Suche nach internen Informationen. Bei 50 Mitarbeitern sind das 125 bis 187 Stunden pro Monat — reines Suchen, kein Arbeiten. Umgerechnet in Euro (bei 65 EUR Vollkostenstundensatz): 8.000 bis 12.000 EUR monatlich, die für Informationssuche verschwendet werden.
Doch der größere Schaden liegt woanders:
- Onboarding dauert Monate: Neue Mitarbeiter brauchen 3-6 Monate, bis sie „wissen, wen man fragen muss" — ein informelles Netzwerk, das in keinem Handbuch steht.
- Single Points of Failure: Wenn der eine Kollege, der den Reklamationsprozess in- und auswendig kennt, krank wird oder kündigt, steht die Abteilung still.
- Doppelarbeit: Teams in verschiedenen Standorten lösen dieselben Probleme unabhängig voneinander — weil sie nicht wissen, dass es bereits eine Lösung gibt.
- Qualitätsschwankungen: Ohne zentrales Wissensmanagement hängt die Antwortqualität davon ab, wen der Kunde zufällig am Telefon hat.
„Wir hatten 2.400 Confluence-Seiten und 15.000 Dateien auf SharePoint. Trotzdem haben Mitarbeiter mir erzählt: ‚Ich finde nie, was ich suche.' Das Problem war nicht fehlendes Wissen — es war unsichtbares Wissen."
— IT-Leiter eines Logistik-Unternehmens, 380 Mitarbeiter
Ein InhouseGPT löst dieses Problem, indem es das gesamte Unternehmenswissen durchsuchbar, verständlich und sofort verfügbar macht. Nicht über eine bessere Suchfunktion — sondern über natürliche Sprache.
Die RAG-Architektur erklärt (für Nicht-Techniker)
Hinter einem InhouseGPT steckt eine Technologie namens RAG — Retrieval-Augmented Generation. Der Name klingt kompliziert, das Prinzip ist es nicht. Stellen Sie sich eine extrem schnelle Bibliothekarin vor, die jedes einzelne Dokument in Ihrem Unternehmen gelesen hat und sich an alles erinnert. Wenn Sie ihr eine Frage stellen, blättert sie nicht durch Ordner — sie weiß sofort, welche drei Absätze aus welchen Dokumenten die Antwort enthalten.
Technisch funktioniert RAG in fünf Schritten:
Schritt 1: Dokumente werden „zerlegt" und gespeichert
Ihre internen Dokumente — Confluence-Seiten, PDFs, Word-Dateien, CRM-Einträge — werden in kleine, sinnvolle Abschnitte (sogenannte Chunks) aufgeteilt. Jeder Chunk wird in einen mathematischen Vektor umgewandelt (ein Zahlen-Array, das die Bedeutung des Textes repräsentiert) und in einer Vektordatenbank gespeichert. Dieser Prozess heißt „Embedding".
Schritt 2: Ein Mitarbeiter stellt eine Frage
Der Mitarbeiter tippt seine Frage in natürlicher Sprache ein — z.B. „Wie ist die Rückgabefrist für Produkte der Kategorie A bei Großkunden?". Diese Frage wird ebenfalls in einen Vektor umgewandelt.
Schritt 3: Das System findet die relevantesten Textabschnitte
Die Vektordatenbank vergleicht den Frage-Vektor mit allen gespeicherten Dokument-Vektoren und findet die semantisch ähnlichsten Chunks. Das Besondere: Die Suche versteht Bedeutung, nicht nur Schlagwörter. Die Frage „Rückgabefrist für Großkunden" findet auch Dokumente, in denen von „Retourenregelung für Key Accounts" die Rede ist.
Schritt 4: Das LLM formuliert eine Antwort
Die gefundenen Textabschnitte werden zusammen mit der Frage an ein Large Language Model (z.B. GPT-4, Claude oder ein Open-Source-Modell) übergeben. Das LLM nutzt diese Chunks als Kontext und formuliert eine verständliche, zusammenhängende Antwort — nicht aus seinem allgemeinen Weltwissen, sondern aus Ihren Dokumenten.
Schritt 5: Antwort mit Quellenangabe
Das System liefert nicht nur die Antwort, sondern verlinkt auch die Originaldokumente, aus denen die Information stammt. So kann der Mitarbeiter die Antwort jederzeit verifizieren — ein entscheidender Faktor für Vertrauen und Akzeptanz.
„Wie eine extrem schnelle Bibliothekarin, die jedes Dokument gelesen hat — nur dass sie nie Urlaub nimmt, nie krank wird und 500 Fragen gleichzeitig beantworten kann."
Der entscheidende Vorteil von RAG gegenüber reinem Fine-Tuning: Die Daten bleiben aktuell. Wenn ein neues Handbuch auf SharePoint hochgeladen wird, kann es innerhalb von Minuten in die Vektordatenbank aufgenommen werden — ohne das gesamte Modell neu zu trainieren.
DSGVO-konforme Implementierung — die 5 Säulen
Für deutsche Unternehmen ist die DSGVO-Konformität kein Nice-to-have, sondern eine harte Anforderung. Die gute Nachricht: Ein InhouseGPT lässt sich vollständig DSGVO-konform betreiben. Voraussetzung ist, dass Sie die folgenden fünf Säulen beachten.
Säule 1: EU-only Hosting
Alle Daten — Vektordatenbank, Dokumente und LLM-Anfragen — müssen in der EU verarbeitet werden. Konkrete Optionen:
- Azure Germany / Azure EU: Microsofts Azure OpenAI Service mit EU-Datenresidenz. Daten verlassen die EU nicht.
- AWS Frankfurt: Amazon Bedrock mit Claude-Modellen, gehostet in der Region eu-central-1.
- On-Premise: Für maximale Kontrolle — Open-Source-Modelle wie Llama 3 oder Mistral auf eigener Hardware. Höherer Aufwand, aber volle Datensouveränität.
Säule 2: Kein Training Data Leakage
Ein häufiges Missverständnis: Viele Unternehmen fürchten, dass ihre Daten zum Training des AI-Modells verwendet werden. Bei Consumer-Versionen von ChatGPT ist das tatsächlich ein Risiko. Bei API-Zugängen (OpenAI API, Anthropic API, Azure OpenAI) ist es vertraglich ausgeschlossen. Wichtig: Nutzen Sie immer den API-Modus, niemals die Consumer-Oberfläche für Unternehmensdaten.
Säule 3: Rollenbasierte Zugriffssteuerung (RBAC)
Nicht jeder Mitarbeiter sollte alles sehen. Ein Vertriebsmitarbeiter braucht Zugang zu CRM-Daten und Produkthandbüchern, aber nicht zu Gehaltsabrechnungen oder Vorstandsprotokollen. Ein gutes InhouseGPT-System spiegelt die bestehende Berechtigungsstruktur wider — idealerweise direkt aus Ihrem Active Directory oder Identity Provider synchronisiert.
Säule 4: Audit-Trail für alle Anfragen
Jede Anfrage an das InhouseGPT muss protokolliert werden: Wer hat wann welche Frage gestellt und welche Dokumente wurden als Kontext verwendet? Das ist nicht nur für die DSGVO relevant, sondern auch für die kontinuierliche Verbesserung des Systems — Sie sehen, welche Fragen häufig gestellt werden und wo Wissenslücken existieren.
Säule 5: Auftragsverarbeitungsvertrag (AVV)
Mit jedem externen LLM-Provider muss ein Auftragsverarbeitungsvertrag (AVV, englisch: Data Processing Agreement) geschlossen werden. Die großen Anbieter (Microsoft, Amazon, Anthropic) bieten Standard-AVVs an. Prüfen Sie zusätzlich, ob Subunternehmer eingesetzt werden und wo diese sitzen.
Ein besonders interessanter Ansatz kommt von Langdock — einem deutschen Middleware-Anbieter, der mehrere LLM-Modelle (GPT-4, Claude, Mistral) unter einem Dach bündelt und komplett EU-konform betreibt. Langdock übernimmt die gesamte Compliance-Schicht: Hosting in Frankfurt, deutsches Datenschutzrecht, fertige AVVs. Für Unternehmen, die nicht selbst die Infrastruktur betreiben wollen, ist das eine attraktive Option.
3 Implementierungs-Optionen im Vergleich
Je nach IT-Reife, Budget und Anforderungen stehen Ihnen drei grundsätzliche Wege offen. Hier ein ehrlicher Vergleich:
Option A: Microsoft 365 Copilot
Für wen: Unternehmen, die bereits stark im Microsoft-Ökosystem arbeiten (Teams, SharePoint, Outlook, OneDrive).
- Vorteil: Nahtlose Integration in bestehende Tools. Copilot greift direkt auf SharePoint, Teams-Chats und E-Mails zu. Kein separates Setup nötig.
- Nachteil: Begrenzte Anpassbarkeit. Sie können das System nicht mit externen Datenquellen (z.B. CRM, ERP) erweitern. Die Antwortqualität hängt stark davon ab, wie gut Ihre SharePoint-Struktur organisiert ist.
- Kosten: ~30 EUR/User/Monat (zusätzlich zur bestehenden M365-Lizenz).
- Zeitaufwand: 1-2 Wochen für Rollout.
Option B: Custom RAG mit OpenAI/Claude API
Für wen: Unternehmen mit spezifischen Anforderungen, eigener IT oder Entwicklungsressourcen.
- Vorteil: Maximale Flexibilität. Sie bestimmen, welche Datenquellen angebunden werden, welches LLM verwendet wird und wie die Benutzeroberfläche aussieht. Integration in CRM, ERP, Ticketsystem — alles möglich.
- Nachteil: Erfordert Entwickler-Know-how (Python, Vektordatenbanken, API-Integration). Laufende Wartung nötig.
- Kosten: 5.000-15.000 EUR einmalig für Setup + 500-2.000 EUR/Monat für API-Kosten und Hosting.
- Zeitaufwand: 4-8 Wochen für die erste Version.
Option C: Langdock oder vergleichbare Plattform
Für wen: Unternehmen, die maximale Flexibilität ohne eigene Entwicklung wollen.
- Vorteil: No-Code-Setup. EU-gehostet. Unterstützt mehrere LLM-Modelle gleichzeitig. Fertige Integrationen für Confluence, SharePoint, Notion, Google Drive. RBAC und Audit-Trail inklusive.
- Nachteil: Weniger Anpassbarkeit als eine Custom-Lösung. Abhängigkeit von einem externen Anbieter.
- Kosten: ~15-25 EUR/User/Monat.
- Zeitaufwand: 2-3 Wochen für produktiven Einsatz.
Unsere Empfehlung: Für die meisten mittelständischen Unternehmen ist Option C der beste Einstieg. Sie kommen schnell zu Ergebnissen, bleiben DSGVO-konform und können später bei Bedarf auf eine Custom-Lösung (Option B) migrieren. Microsoft-zentrierte Organisationen sollten zuerst Option A evaluieren — besonders wenn SharePoint bereits gut strukturiert ist.
Rollout-Plan: 6 Wochen vom Pilot zum Unternehmen
Die Einführung eines InhouseGPT ist kein 6-Monats-Projekt. Mit dem richtigen Plan schaffen Sie es in sechs Wochen vom ersten Assessment bis zum unternehmensweiten Rollout. Hier ist der bewährte Fahrplan:
Woche 1-2: Data Audit, Quellenauswahl, Tool-Entscheidung
Bevor Sie ein Tool konfigurieren, müssen Sie wissen, welches Wissen überhaupt existiert und wo es liegt. Führen Sie ein Data Audit durch:
- Welche Datenquellen gibt es? (SharePoint, Confluence, CRM, Dateiserver, E-Mail-Archive)
- Welche davon enthalten hochwertige, aktuelle Informationen?
- Wo liegen sensible Daten, die besondere Berechtigungen erfordern?
- Welche Fragen werden am häufigsten an den IT-Helpdesk oder an Senior-Mitarbeiter gestellt?
Auf Basis des Audits wählen Sie die 2-3 wichtigsten Datenquellen für den Pilot und treffen die Tool-Entscheidung (Option A, B oder C). Weniger ist hier mehr — starten Sie fokussiert.
Woche 3: Technisches Setup und erste Datenaufnahme
Richten Sie die gewählte Plattform ein, verbinden Sie die ausgewählten Datenquellen und starten Sie die erste Indexierung (Embedding). Testen Sie das System intern mit 20-30 typischen Fragen und prüfen Sie die Antwortqualität. Passen Sie Chunk-Größen und Retrieval-Parameter an, bis die Ergebnisse überzeugen.
Woche 4: Pilot mit 5-10 Power-Usern
Wählen Sie 5-10 Mitarbeiter aus verschiedenen Abteilungen, die das System im Tagesgeschäft testen. Ideal sind Personen, die häufig nach Informationen suchen: Vertriebler, Kundenservice, neue Mitarbeiter. Geben Sie ihnen ein kurzes Briefing (15 Minuten), aber keine umfangreiche Schulung — wenn das Tool erklärt werden muss, ist es nicht intuitiv genug.
Woche 5: Feedback, Tuning, Datenquellen erweitern
Sammeln Sie strukturiertes Feedback von den Pilotanwendern:
- Welche Fragen hat das System gut beantwortet?
- Wo waren die Antworten ungenau oder fehlerhaft?
- Welche Datenquellen fehlen?
- Wie oft wurde das Tool tatsächlich genutzt (vs. alte Gewohnheiten)?
Auf Basis des Feedbacks optimieren Sie die Konfiguration, ergänzen fehlende Datenquellen und verbessern die Antwortqualität gezielt dort, wo Lücken aufgefallen sind.
Woche 6: Unternehmensweiter Rollout, Training, Dokumentation
Rollout auf alle Mitarbeiter — begleitet von einer kurzen Schulung (30 Minuten, am besten live mit Q&A). Erstellen Sie eine interne FAQ: „Was kann das InhouseGPT? Was nicht? Wie formuliere ich gute Fragen?" Definieren Sie einen Feedback-Kanal (z.B. Slack-Channel oder Teams-Kanal) für laufende Verbesserungsvorschläge.
Im AI-Champions-Programm durchlaufen Sie diesen Rollout-Plan in Woche 5 mit unseren Templates und Checklisten — inklusive Data-Audit-Vorlage, Pilotanwender-Briefing und Schulungsfolien.
Die häufigsten Fehler (und wie Sie sie vermeiden)
Aus der Begleitung dutzender InhouseGPT-Einführungen kennen wir die Muster, die zum Scheitern führen. Hier die drei häufigsten Fehler:
Fehler 1: Zu viele Datenquellen auf einmal
Der Instinkt vieler IT-Abteilungen: „Wir schließen gleich alles an — SharePoint, Confluence, CRM, E-Mail, Teams, Dateiserver." Das Ergebnis: Die Antwortqualität sinkt, weil das System veraltete, widersprüchliche oder irrelevante Dokumente als Kontext verwendet. Die Lösung: Starten Sie mit 1-2 hochwertigen, gut gepflegten Quellen. Lieber 200 aktuelle Dokumente als 20.000 veraltete.
Fehler 2: Keine Qualitätskontrolle der AI-Antworten
LLMs können halluzinieren — auch mit RAG. Das Risiko ist geringer als bei reinem ChatGPT (weil die Antwort auf echten Dokumenten basiert), aber nicht null. Wenn das System eine falsche Auskunft zu einem Kundenvertrag gibt und niemand das prüft, entsteht echtes Geschäftsrisiko. Die Lösung: Zeigen Sie immer die Quelldokumente an. Schulen Sie Mitarbeiter, Antworten zu verifizieren — besonders bei vertraglichen, finanziellen oder rechtlichen Themen. Implementieren Sie ein Feedback-System: „War diese Antwort hilfreich? Ja/Nein."
Fehler 3: Change Management ignorieren
Das beste InhouseGPT nützt nichts, wenn niemand es nutzt. Und Menschen ändern ihre Gewohnheiten nicht freiwillig. Wer seit 10 Jahren Kollegen per E-Mail fragt, wird nicht über Nacht zum InhouseGPT-Anwender — selbst wenn es schneller wäre. Die Lösung: Identifizieren Sie Champions in jeder Abteilung, die das Tool aktiv promoten. Zeigen Sie konkrete Zeitersparnis-Beispiele. Integrieren Sie das InhouseGPT in bestehende Workflows (z.B. als Slack-Bot oder Teams-App), statt eine separate Oberfläche zu erwarten.
„Die Technik war in 3 Wochen fertig. Die Akzeptanz hat 3 Monate gedauert. Hätten wir von Anfang an Power-User als interne Botschafter eingesetzt, wäre es deutlich schneller gegangen. Change Management ist bei InhouseGPT der eigentliche Erfolgsfaktor — nicht die RAG-Pipeline."
— CDO eines Versicherungskonzerns, 1.200 Mitarbeiter
Was ein InhouseGPT konkret leistet: Drei Praxis-Szenarien
Szenario 1: Onboarding in halber Zeit
Ein neuer Mitarbeiter im Kundenservice startet am Montag. Statt zwei Wochen lang Kollegen zu fragen, wie der Reklamationsprozess für verschiedene Produktkategorien funktioniert, fragt er das InhouseGPT. In Sekunden erhält er eine präzise Antwort mit Link zur aktuellen SOP. Einarbeitungszeit: von 3 Monaten auf 6 Wochen reduziert.
Szenario 2: Vertrieb beantwortet Kundenfragen in Echtzeit
Ein Vertriebsmitarbeiter sitzt im Kundengespräch. Der Kunde fragt nach den technischen Spezifikationen eines Produkts, das vor zwei Jahren eingestellt wurde. Statt „Ich muss nachfragen und melde mich" sagt der Vertriebler: „Einen Moment" — und hat die Antwort 10 Sekunden später auf dem Bildschirm. Inklusive Migrationspfad zum Nachfolgeprodukt.
Szenario 3: IT-Helpdesk entlastet
70% der internen IT-Tickets betreffen wiederkehrende Fragen: VPN-Einrichtung, Druckerinstallation, Software-Bestellungen. Ein InhouseGPT beantwortet diese Fragen direkt — mit Schritt-für-Schritt-Anleitungen aus der internen Wissensdatenbank. Das IT-Team gewinnt Zeit für strategische Projekte statt für repetitiven First-Level-Support.
So starten Sie: Ihr nächster Schritt
Die Einführung eines InhouseGPT ist kein Mammutprojekt und kein Raketenwissenschaft. Mit dem richtigen Plan, den richtigen Datenquellen und einem fokussierten Piloten können Sie in sechs Wochen ein System aufbauen, das jeden Mitarbeiter produktiver macht — und das sich innerhalb der ersten zwei Monate refinanziert.
Die entscheidende Frage ist nicht, ob Sie ein InhouseGPT einführen sollten. Die Frage ist, wie schnell Sie damit starten. Denn jeder Monat ohne ein solches System bedeutet tausende Stunden, die Ihre Mitarbeiter mit Informationssuche statt mit wertschöpfender Arbeit verbringen.
Im AI-Champions-Programm ist die InhouseGPT-Einführung ein zentraler Baustein in Woche 5. Sie erhalten praxiserprobte Vorlagen für den kompletten Rollout: Data-Audit-Checkliste, Tool-Vergleichsmatrix, Pilotanwender-Briefing, DSGVO-Checkliste und Schulungsunterlagen. Kein theoretisches Framework — sondern alles, was Sie brauchen, um in sechs Wochen ein produktives InhouseGPT im Unternehmen zu haben.
Jetzt das AI-Champions-Programm entdecken und InhouseGPT in Ihrem Unternehmen einführen →
