InhouseGPT: So führst du einen firmeninternen AI-Assistenten ein

Ein InhouseGPT ist ein AI-Assistent, der die Fragen deiner Mitarbeitenden aus dem eigenen Firmenwissen beantwortet: aus SOPs, Confluence-Seiten, CRM-Notizen und SharePoint-Handbüchern. Wer wissen will, wie der Reklamationsprozess bei Lieferant X läuft, bekommt in Sekunden eine Antwort mit Link auf das Dokument, aus dem sie stammt. Mit dem allgemeinen Internetwissen eines öffentlichen Chatbots hat das wenig zu tun.

Das Sprachmodell wird dafür nicht neu trainiert. Das System sucht zu jeder Frage die passenden Stellen in euren Dokumenten heraus und gibt sie dem Modell als Grundlage mit. Richtig aufgesetzt, bleiben vertrauliche Daten dabei in der EU und unter eurer Kontrolle. Ein InhouseGPT ersetzt keine Mitarbeitenden. Es macht Wissen, das heute in einzelnen Köpfen und Ordnern steckt, für alle erreichbar.

Den meisten Aufwand machen bei der Einführung zwei Dinge: gute Quellen auswählen und dafür sorgen, dass die Leute das Werkzeug im Alltag benutzen. Die Technik selbst steht mit einer fertigen Plattform in wenigen Wochen. Mit einem fokussierten Piloten ist ein InhouseGPT nach etwa sechs Wochen im ganzen Unternehmen im Einsatz.

Warum jedes Unternehmen ein InhouseGPT braucht

Ein InhouseGPT lohnt sich für fast jedes Unternehmen ab einigen Dutzend Beschäftigten, weil das Wissen dort verteilt und schwer auffindbar ist. Es steckt in Confluence-Seiten, die niemand findet, in SharePoint-Ordnern mit kryptischen Namen, in einzelnen Postfächern und vor allem in den Köpfen der Kolleginnen und Kollegen, die seit 15 Jahren dabei sind. Ein InhouseGPT macht dieses Wissen über eine Frage in normaler Sprache zugänglich.

Die versteckten Kosten von Wissenssilos

Die Suche nach internen Informationen kostet mehr Zeit, als die meisten schätzen, weil sie in kleinen Stücken über den Tag verteilt passiert. Angenommen, jede Person in einem Team von 50 Leuten sucht am Tag 15 Minuten nach einer Vorlage, einer Regelung oder der richtigen Ansprechperson. Bei 20 Arbeitstagen sind das 250 Stunden im Monat. Bei einem Vollkostensatz von 60 Euro pro Stunde entspricht das 15.000 Euro. Rechne das mit deinen eigenen Zahlen im ROI-Rechner nach, bevor du einen Business Case baust.

Die Suchzeit ist nur der sichtbare Teil. Mindestens so teuer sind diese Folgen:

• Lange Einarbeitung: Neue Mitarbeitende brauchen Monate, bis sie wissen, wen man was fragt. Dieses informelle Netzwerk steht in keinem Handbuch.
• Single Points of Failure: Wenn die eine Kollegin, die den Reklamationsprozess in- und auswendig kennt, krank wird oder kündigt, stockt die ganze Abteilung.
• Doppelarbeit: Teams an verschiedenen Standorten lösen dieselben Probleme parallel, weil keiner weiß, dass es längst eine Lösung gibt.
• Schwankende Qualität: Ohne zentrale Wissensbasis hängt die Qualität einer Auskunft davon ab, wen der Kunde zufällig am Telefon hat.

Ein typisches Szenario: Ein Logistikunternehmen hat einige tausend Confluence-Seiten und noch mehr Dateien auf SharePoint. Trotzdem sagen die Mitarbeitenden, sie fänden nie, was sie suchen. Das Wissen ist vorhanden, es ist nur unsichtbar.

Hier setzt ein InhouseGPT an. Die Mitarbeitenden stellen eine Frage in normaler Sprache und bekommen eine Antwort aus den vorhandenen Dokumenten, samt Quelle zum Nachlesen.

Die RAG-Architektur erklärt (für Nicht-Techniker)

Hinter einem InhouseGPT steckt meist ein Verfahren namens RAG (Retrieval-Augmented Generation), auf Deutsch etwa: durch Suche ergänzte Texterzeugung. Das System sucht zu jeder Frage die passenden Stellen in euren Dokumenten und lässt ein Sprachmodell daraus eine Antwort formulieren. Stell dir eine sehr schnelle Bibliothekarin vor, die jedes Dokument im Haus gelesen hat. Auf deine Frage hin weiß sie sofort, welche drei Absätze aus welchen Dokumenten die Antwort enthalten, und legt sie dir hin.

Technisch läuft das in fünf Schritten ab.

Schritt 1: Dokumente werden zerlegt und gespeichert

Eure Dokumente, also Confluence-Seiten, PDFs, Word-Dateien oder CRM-Einträge, werden in kurze, sinnvolle Abschnitte zerlegt, sogenannte Chunks. Jeder Chunk wird in einen Vektor umgerechnet, eine lange Zahlenreihe, die die Bedeutung des Textes abbildet. Diesen Vorgang nennt man Embedding. Die Vektoren landen in einer Vektordatenbank.

Schritt 2: Jemand stellt eine Frage

Eine Mitarbeiterin tippt ihre Frage in normaler Sprache ein, zum Beispiel nach der Rückgabefrist für Produkte der Kategorie A bei Großkunden. Auch diese Frage wird in einen Vektor umgerechnet.

Schritt 3: Das System findet die passenden Textabschnitte

Die Vektordatenbank vergleicht den Vektor der Frage mit allen gespeicherten Abschnitten und liefert die, deren Bedeutung am nächsten liegt. Die Suche arbeitet mit der Bedeutung eines Textes, gleiche Schlagwörter sind dafür nicht nötig. Die Frage nach der Rückgabefrist für Großkunden findet deshalb auch ein Dokument, in dem von der Retourenregelung für Key Accounts die Rede ist.

Schritt 4: Das Sprachmodell formuliert eine Antwort

Die gefundenen Abschnitte gehen zusammen mit der Frage an ein großes Sprachmodell (Large Language Model, kurz LLM), etwa ein GPT-Modell, Claude oder ein Open-Source-Modell. Das Modell formuliert daraus eine zusammenhängende Antwort. Die Grundlage bilden eure Dokumente, das allgemeine Wissen des Modells hilft vor allem beim Formulieren.

Schritt 5: Antwort mit Quellenangabe

Zu jeder Antwort zeigt das System die Originaldokumente an, aus denen die Information stammt. So kann jede Person die Auskunft mit einem Klick prüfen. Für Vertrauen und Akzeptanz ist das der wichtigste Baustein.

Der große Vorteil von RAG gegenüber Fine-Tuning, also dem Nachtrainieren eines Modells mit eigenen Daten, sind aktuelle Antworten. Lädt jemand ein neues Handbuch auf SharePoint, ist es nach der nächsten Indexierung durchsuchbar, oft schon nach Minuten. Das Modell muss dafür nicht neu trainiert werden. Auch Zugriffsrechte lassen sich so abbilden, weil jedes Dokument seine Berechtigungen behält.

DSGVO-konforme Implementierung: die 5 Säulen

Ein InhouseGPT lässt sich DSGVO-konform betreiben, wenn fünf Punkte erfüllt sind: Verarbeitung in der EU, keine Nutzung eurer Daten fürs Training, Zugriffsrechte nach Rollen, Protokollierung der Anfragen und ein Auftragsverarbeitungsvertrag mit jedem Anbieter. Für deutsche Unternehmen sind das harte Anforderungen. Holt euren Datenschutzbeauftragten deshalb von Anfang an dazu.

Säule 1: EU-only Hosting

Alle Daten sollten in der EU verarbeitet werden, von den Dokumenten über die Vektordatenbank bis zu den Anfragen an das Sprachmodell. Gängige Wege sind:

• Azure in der EU: Microsofts Azure OpenAI Service mit Rechenzentren in der EU, auch in Deutschland.
• AWS Frankfurt: Amazon Bedrock mit Claude-Modellen in der Region Frankfurt (eu-central-1).
• On-Premise: Open-Source-Modelle wie Llama oder Mistral auf eigener Hardware. Das bedeutet mehr Aufwand und volle Kontrolle über die Daten.

Säule 2: Kein Training Data Leakage

Viele Unternehmen fürchten, dass ihre Daten zum Training des Modells verwendet werden. Bei privaten Konten der Chat-Oberflächen kann das je nach Einstellung passieren. Bei API-Zugängen und Business-Tarifen der großen Anbieter, also etwa OpenAI, Anthropic oder Azure OpenAI, ist das vertraglich ausgeschlossen. Unternehmensdaten gehören deshalb nur in API-Zugänge oder Business-Tarife, nie in private Konten.

Säule 3: Rollenbasierte Zugriffssteuerung (RBAC)

Rollenbasierte Zugriffssteuerung heißt: Jede Person sieht über das InhouseGPT nur, was sie auch ohne AI sehen dürfte. Der Vertrieb braucht CRM-Daten und Produkthandbücher, mit Gehaltsabrechnungen oder Vorstandsprotokollen hat er nichts zu tun. Ein gutes System übernimmt die bestehenden Berechtigungen, idealerweise direkt aus eurem Active Directory oder Identity Provider. An dieser Stelle passieren die meisten Pannen. Ist in SharePoint ein Ordner versehentlich für alle freigegeben, findet das InhouseGPT ihn auch. Räumt die Freigaben deshalb vor dem Start auf.

Säule 4: Audit-Trail für alle Anfragen

Jede Anfrage sollte protokolliert werden: wer wann welche Frage gestellt hat und welche Dokumente als Grundlage dienten. Das hilft bei Datenschutz-Nachweisen und beim Verbessern des Systems, weil du siehst, welche Fragen häufig kommen und wo Dokumente fehlen. Klärt vorher mit Betriebsrat und Datenschutz, wer diese Protokolle einsehen darf, denn auch sie enthalten personenbezogene Daten.

Säule 5: Auftragsverarbeitungsvertrag (AVV)

Mit jedem externen Anbieter eines Sprachmodells braucht ihr einen Auftragsverarbeitungsvertrag (AVV, englisch Data Processing Agreement). Die großen Anbieter wie Microsoft, Amazon und Anthropic stellen Standardverträge bereit. Prüfe zusätzlich, welche Unterauftragnehmer eingesetzt werden und wo sie sitzen.

Einen bequemen Weg bietet Langdock, ein deutscher Anbieter, der Sprachmodelle von OpenAI, Anthropic, Mistral und weiteren Herstellern in einer Oberfläche bündelt und in der EU betreibt. Hosting, AVV und die Anbindung der Modelle liegen dort in einer Hand. Für Unternehmen, die keine eigene Infrastruktur betreiben wollen, ist das eine gute Option. Vergleichbare Plattformen gibt es auch von anderen Anbietern, ein Vergleich von Hosting-Standort, Zertifizierungen und Vertragsbedingungen lohnt sich.

3 Implementierungs-Optionen im Vergleich

Für ein InhouseGPT gibt es drei grundsätzliche Wege: Microsoft 365 Copilot, eine eigene RAG-Lösung über die APIs der Modellanbieter oder eine fertige Plattform wie Langdock. Welcher passt, hängt von eurer IT, eurem Budget und euren Datenquellen ab. Lizenzpreise der Anbieter nennen wir hier nur grob, weil sie sich häufig ändern (Stand: September 2026).

Option A: Microsoft 365 Copilot

Für wen: Unternehmen, die stark im Microsoft-Umfeld arbeiten, also mit Teams, SharePoint, Outlook und OneDrive.

• Vorteil: Copilot ist direkt in die vorhandenen Programme eingebaut und greift auf SharePoint, Teams-Chats und E-Mails zu. Ein separates Setup entfällt weitgehend.
• Nachteil: Die Anpassungsmöglichkeiten sind begrenzt. Externe Quellen wie CRM oder ERP lassen sich über Connectors oder Copilot Studio anbinden, das bedeutet zusätzlichen Aufwand. Die Antwortqualität hängt stark davon ab, wie aufgeräumt eure SharePoint-Struktur ist.
• Kosten: Zusatzlizenz pro Nutzer und Monat, zusätzlich zur bestehenden Microsoft-365-Lizenz.
• Zeitaufwand: etwa ein bis zwei Wochen für den Rollout, sofern die Berechtigungen sauber sind.

Option B: Custom RAG mit OpenAI/Claude API

Für wen: Unternehmen mit eigener IT oder Entwicklungskapazität und besonderen Anforderungen.

• Vorteil: Die größte Freiheit. Ihr bestimmt, welche Quellen angebunden werden, welches Sprachmodell arbeitet und wie die Oberfläche aussieht. Auch CRM, ERP oder Ticketsystem lassen sich einbinden.
• Nachteil: Ihr braucht Entwickler-Know-how für Python, Vektordatenbanken und API-Anbindung und müsst laufende Wartung einplanen.
• Kosten: ein einmaliges Entwicklungsprojekt, nach unserer Erfahrung grob 5.000 bis 15.000 Euro, plus laufende Kosten für API-Nutzung und Hosting, die mit der Zahl der Anfragen steigen.
• Zeitaufwand: vier bis acht Wochen bis zur ersten nutzbaren Version.

Option C: Langdock oder vergleichbare Plattform

Für wen: Unternehmen, die flexibel bleiben wollen, ohne selbst zu entwickeln.

• Vorteil: Einrichtung ohne Programmierung, Hosting in der EU, mehrere Sprachmodelle zur Auswahl. Fertige Anbindungen für Confluence, SharePoint, Notion oder Google Drive sind meist dabei, ebenso Rechteverwaltung und Protokollierung.
• Nachteil: Weniger Anpassung als bei einer eigenen Lösung, und ihr hängt von einem externen Anbieter ab.
• Kosten: Lizenz pro Nutzer und Monat, je nach Paket und Vertragsgröße.
• Zeitaufwand: zwei bis drei Wochen bis zum produktiven Einsatz.

Unsere Empfehlung: Für die meisten Mittelständler ist Option C der beste Einstieg. Ihr kommt schnell zu Ergebnissen, bleibt DSGVO-konform und könnt später auf eine eigene Lösung nach Option B wechseln, wenn die Anforderungen wachsen. Wer ganz auf Microsoft setzt und eine gut gepflegte SharePoint-Struktur hat, prüft zuerst Option A. Welches Sprachmodell hinter dem Assistenten arbeiten soll, vergleichen wir im Beitrag ChatGPT, Claude und Gemini im Unternehmen.

Rollout-Plan: 6 Wochen vom Pilot zum Unternehmen

In sechs Wochen kommt ein InhouseGPT vom ersten Daten-Check bis zum Einsatz im ganzen Unternehmen, wenn ihr mit wenigen guten Quellen und einer kleinen Pilotgruppe startet. Der Fahrplan sieht so aus:

Woche 1-2: Data Audit, Quellenauswahl, Tool-Entscheidung

Bevor ihr ein Tool einrichtet, klärt ihr, welches Wissen es gibt und wo es liegt. Diese Bestandsaufnahme heißt Data Audit. Halte dabei fest:

• welche Datenquellen es gibt, etwa SharePoint, Confluence, CRM, Dateiserver oder E-Mail-Archive
• welche davon aktuelle und verlässliche Informationen enthalten
• wo sensible Daten liegen, die besondere Berechtigungen brauchen
• welche Fragen am häufigsten beim IT-Helpdesk oder bei erfahrenen Kolleginnen und Kollegen landen

Auf dieser Basis wählt ihr die zwei bis drei wichtigsten Quellen für den Pilot und trefft die Tool-Entscheidung zwischen Option A, B und C. Weniger Quellen bringen am Anfang bessere Antworten.

Woche 3: Technisches Setup und erste Datenaufnahme

Richte die Plattform ein, verbinde die ausgewählten Quellen und starte die erste Indexierung. Teste das System danach mit 20 bis 30 typischen Fragen, deren richtige Antwort du kennst. Wenn Antworten danebenliegen, liegt das oft an der Größe der Abschnitte oder an veralteten Dokumenten in der Quelle. Passe beides an, bis die Ergebnisse überzeugen.

Woche 4: Pilot mit 5-10 Power-Usern

Wähle 5 bis 10 Leute aus verschiedenen Abteilungen, die das System im Tagesgeschäft nutzen. Gut geeignet sind alle, die oft nach Informationen suchen, etwa im Vertrieb, im Kundenservice oder in der Einarbeitung. Ein Briefing von 15 Minuten reicht. Braucht das Werkzeug eine lange Schulung, ist es zu kompliziert.

Woche 5: Feedback, Tuning, Datenquellen erweitern

Sammle strukturiertes Feedback von der Pilotgruppe, und zwar zu diesen Punkten:

• welche Fragen das System gut beantwortet hat
• wo Antworten ungenau oder falsch waren
• welche Datenquellen gefehlt haben
• wie oft das Tool tatsächlich genutzt wurde und wann doch die alte Gewohnheit gewonnen hat

Mit diesen Rückmeldungen passt ihr die Konfiguration an, ergänzt fehlende Quellen und verbessert die Antworten gezielt dort, wo Lücken aufgefallen sind.

Woche 6: Unternehmensweiter Rollout, Training, Dokumentation

Jetzt folgt der Rollout auf alle, begleitet von einer kurzen Live-Schulung von etwa 30 Minuten mit Fragerunde. Schreibt eine interne FAQ dazu: was das InhouseGPT kann, was nicht und wie man gute Fragen stellt. Richtet außerdem einen festen Kanal für Rückmeldungen ein, zum Beispiel in Teams oder Slack.

Das Handwerkszeug für diese Schritte bekommst du im AI-Champions-Programm. Das Modul zu eigenen AI-Assistenten zeigt, wie du Anweisungen und Wissen hinterlegst und Assistenten im Team teilst. Im Modul zu Governance, Recht und Change geht es um Datenschutz, den EU AI Act und darum, wie du Kolleginnen und Kollegen mitnimmst. Für ganze Abteilungen gibt es AIC Corporate mit Use Cases aus eurem Arbeitsalltag.

Die häufigsten Fehler (und wie du sie vermeidest)

Die drei häufigsten Fehler bei der Einführung eines InhouseGPT sind zu viele Datenquellen auf einmal, fehlende Qualitätskontrolle der Antworten und ein unterschätztes Change Management. Alle drei lassen sich mit etwas Planung vermeiden.

Fehler 1: Zu viele Datenquellen auf einmal

Viele IT-Abteilungen wollen gleich alles anschließen: SharePoint, Confluence, CRM, E-Mail, Teams und Dateiserver. Die Antwortqualität sinkt dann, weil das System veraltete, widersprüchliche oder unpassende Dokumente als Grundlage nimmt. Starte deshalb mit ein bis zwei gut gepflegten Quellen. 200 aktuelle Dokumente bringen mehr als 20.000 veraltete.

Fehler 2: Keine Qualitätskontrolle der AI-Antworten

Sprachmodelle können halluzinieren, also plausibel klingende Antworten erfinden, die falsch sind. Mit RAG ist das Risiko geringer, weil die Antwort auf vorhandenen Dokumenten beruht. Es verschwindet aber nicht. Gibt das System eine falsche Auskunft zu einem Kundenvertrag und niemand prüft sie, entsteht ein Geschäftsrisiko. Zeig deshalb immer die Quelldokumente an und schule die Leute darin, Antworten zu prüfen, besonders bei Verträgen, Finanzen und Rechtsfragen. Ein einfacher Daumen hoch oder runter unter jeder Antwort zeigt dir, wo nachgebessert werden muss.

Fehler 3: Change Management ignorieren

Das beste InhouseGPT bringt nichts, wenn es niemand benutzt. Wer seit zehn Jahren Kollegen per E-Mail fragt, ändert das nicht über Nacht, auch wenn der neue Weg schneller wäre. Such dir in jeder Abteilung eine Person, die das Werkzeug gern nutzt und es anderen zeigt. Sammle Beispiele, bei denen es Zeit gespart hat, und erzähl sie weiter. Und bring das InhouseGPT dorthin, wo die Leute ohnehin arbeiten, etwa als App in Teams oder als Bot in Slack.

Ein typisches Szenario: Die Technik steht nach drei Wochen, bis das Werkzeug im Alltag angekommen ist, vergehen Monate. Wer von Anfang an feste Ansprechpersonen in den Abteilungen benennt, kommt spürbar schneller ans Ziel.

Was ein InhouseGPT konkret leistet: Drei Praxis-Szenarien

Im Alltag spart ein InhouseGPT vor allem dort Zeit, wo dieselben Fragen immer wieder gestellt werden: in der Einarbeitung, im Vertrieb und im internen Support. Drei typische Beispiele zeigen, wie das aussieht.

Szenario 1: Schnelleres Onboarding

Ein neuer Mitarbeiter im Kundenservice fängt am Montag an. Er will wissen, wie der Reklamationsprozess für verschiedene Produktkategorien läuft. Er fragt das InhouseGPT und bekommt in Sekunden eine Antwort mit Link zur aktuellen SOP. Die erfahrenen Kolleginnen werden seltener unterbrochen, und er arbeitet früher selbstständig.

Szenario 2: Vertrieb beantwortet Kundenfragen in Echtzeit

Eine Vertriebsmitarbeiterin sitzt im Kundengespräch. Der Kunde fragt nach den technischen Daten eines Produkts, das vor zwei Jahren eingestellt wurde. Früher hieß das: „Ich kläre das und melde mich.“ Mit dem InhouseGPT hat sie die Antwort nach wenigen Sekunden auf dem Bildschirm, samt Hinweis auf das Nachfolgeprodukt.

Szenario 3: IT-Helpdesk entlastet

In vielen Firmen dreht sich ein großer Teil der internen IT-Tickets um wiederkehrende Fragen: VPN einrichten, Drucker installieren, Software bestellen. Ein InhouseGPT beantwortet solche Fragen direkt mit Schritt-für-Schritt-Anleitungen aus der internen Wissensdatenbank. Das IT-Team gewinnt dadurch Zeit für Projekte. Schau vorher in dein Ticketsystem: Die zehn häufigsten Ticket-Kategorien zeigen dir, welche Anleitungen das InhouseGPT als Erstes kennen muss.

So startest du: dein nächster Schritt

Starte mit einer Bestandsaufnahme deiner Datenquellen und einer kleinen Pilotgruppe. Mit einem klaren Plan, zwei oder drei guten Quellen und einem fokussierten Piloten steht in etwa sechs Wochen ein System, das euren Leuten einen großen Teil der täglichen Suche abnimmt.

Den Nutzen kannst du vorher abschätzen. Trag im ROI-Rechner ein, wie viele Personen wie viel Zeit mit Suchen verbringen, dann siehst du, ab wann sich Lizenz und Einführung rechnen. Wo dein Unternehmen beim Thema AI insgesamt steht, zeigt der kostenlose AI-Readiness-Check.

Im AI-Champions-Programm lernst du, eigene AI-Assistenten zu bauen, Use Cases nach ROI zu bewerten und AI sicher im Unternehmen einzuführen. Vorlagen, Prompts und Checklisten findest du dort direkt neben den Lektionen. Wer mit dem ganzen Team einsteigen will, fragt nach AIC Corporate. Fragen zu deinem Vorhaben kannst du jeden Mittwoch um 15 Uhr in der offenen Sprechstunde stellen.

Das AI-Champions-Programm ansehen und dein InhouseGPT planen