Frag doch mal das Brändi-GPT

Brändi fördert die Inklusion von Menschen mit vorwiegend kognitiver oder psychischer Beeinträchtigung. Dazu bietet Brändi im Kanton Luzern 1‘100 geschützte Arbeits- und Ausbildungsplätze sowie 340 Wohnplätze an. Mithilfe von Künstlicher Intelligenz (KI) hat Brändi ein innovatives, inklusives Wissensmanagement implementiert, das die schnelle Verfügbarkeit von Dokumenten und Informationen ermöglicht.

Wissensmanagement stellt in Unternehmen eine grosse Herausforderung dar. Die dynamischen Veränderungen aufgrund der Digitalisierung und das Arbeiten in agilen Umgebungen erschweren die Aufgabe zusätzlich. Die Anforderungen an die Verfügbarkeit werden höher, das schnelle Auffinden und die Anpassung von Unternehmensinformationen werden wichtiger.

Unternehmenshandbücher, Richtlinien, Berichte oder Projektinformationen werden in verschiedenen Dokumenttypen gespeichert und in unterschiedlichen Systemen wie einem Dokumentenmanagementsystem (DMS) oder auf Laufwerken abgelegt. Dabei ist die Struktur der Laufwerke oft nicht systematisch, und auch im DMS kann die Organisation kompliziert sein. Selbst in gut strukturierten Ablagen ist es nicht immer gewährleistet, dass relevante Informationen leicht und schnell gefunden werden.

Für Menschen mit Beeinträchtigung ist der Zugang zu Unternehmensinformationen noch schwieriger. Internet- oder Intranet-Seiten sind nicht immer vollständig barrierefrei gestaltet. Auch wenn dies der Fall ist, bedeutet es nicht automatisch, dass Informationen leicht zu finden sind. Eine Volltextsuche stellt unter anderem Anforderungen an das Verständnis und die Formulierungsfähigkeit der Nutzer:innen. Suchen mit fehlerhaften Texteingaben oder Rechtsschreibfehlern, führen oft zu keinen Ergebnissen.

Brändi adressiert die Problematik des Wissensmanagements mit dem «Brändi-GPT». Dabei wurde die Zielsetzung durch folgende Fragen definiert:

Die Lösung, der Brändi-GPT, soll es ermöglichen, Unternehmensinformationen schnell und einfach zu finden. Die Suche ist inklusiv gestaltet und unterstützt auch Menschen mit Beeinträchtigung. Der gezielte Einsatz von KI bietet der Organisation dazu einen praxisnahen Einstieg in die Welt der KI. Vorteile werden direkt sichtbar, und eventuelle Berührungsängste mit KI sollen verringert werden.

Die bei Brändi eingesetzte Lösung kombiniert aus der Vielfalt von KI-Anwendungen die Stärken abfragebasierter Techniken (Semantic Search, Semantik Index) mit denen von generativen Modellen (GPT). Diese Kombination beider KI-Anwendungen wird als Retrieval Augmented Generation (RAG) bezeichnet.

Die Grundidee von RAG basiert auf der Nachbildung menschlichen Verhaltens. Wenn eine Projektleitung beispielsweise nach Details aus den Testergebnissen des letzten Jahres gefragt wird, könnte die Antwort aus dem Gedächtnis kommen – dann möglicherweise aber mit Unsicherheiten oder Fehlern, weil die Ereignisse lange zurückliegen oder nicht alle Details bekannt sind. Daher greift eine erfahrene Projektleitung auf das frühere Testprotokoll zurück und nutzt dieses zusammen mit ihrem Fachwissen, um eine präzise Antwort zu geben. Genau so funktioniert auch RAG: Es wird nicht direkt eine Antwort mittels eines LLMs (Large Language Model) gegeben, sondern zunächst nach zusätzlicher Information gesucht. Erst mit diesen zusätzlichen Informationen wird eine Antwort generiert.

Generative KI-Modelle, wie der ChatGPT, können spezifische, kontextbezogene Antworten erzeugen, doch ihre Genauigkeit kann manchmal problematisch sein, was als „Halluzination“ bezeichnet wird. ChatGPT ist sehr leistungsfähig in der Sprachinterpretation und versteht Eingabetexte (Prompts) in der Regel gut. Allerdings generiert ChatGPT Antworten aus einem enorm grossen Datenpool, mit dem er trainiert wurde und ist kein geschriebenes Lexikon. Die gegebenen Antworten werden durch die Algorithmen des ChatGPT als «sehr wahrscheinlich richtig» bewertet, können jedoch trotzdem fehlerhaft sein.

Abfragebasierte KI-Modelle, wie Semantic Index/Search, hingegen sind besonders effektiv darin, qualitativ hochwertige Informationen aus vorgegebenen Quellen zu extrahieren. Sie liefern präzise Ergebnisse, wenn verlässliche Informationsquellen als Basis vorhanden sind. Allerdings können diese Modelle keinen individuellen Antworttext generieren. Ihre Stärken und Schwächen unterscheiden sich daher von denen generativer Modelle. Die Kombination beider Ansätze, wie es bei der RAG geschieht, vereint das Beste aus beiden Welten.

Das Ziel von Brändi in diesem Projekt ist es, die umfangreichen Unternehmensinformationen aus dem Internetauftritt oder internen Regelungen, Projektberichten und SharePoint-Seiten zu nutzen, um in Kombination von abfragebasierten Modellen mit dem Azure OpenAI-Service von Microsoft qualitativ hochwertige Antworten auf Fragen zu generieren.

Im ersten Schritt sollen zwei unterschiedliche Anwendungsfälle abgedeckt werden: Zum einen sollen Besucher:innen der Internetseite Zugriff auf diese Funktionalität haben, wobei hierzu alle öffentlichen Informationen der Brändi-Internetseite als Quelle dienen. Zum anderen sollen Mitarbeitende davon profitieren, hier sollen zusätzlich alle internen Informationen aus dem Intranet, dem DMS oder weiteren Quellen einbezogen werden.

Alle unternehmensspezifischen Informationsquellen, die zukünftig zur Beantwortung von Fragen herangezogen werden sollen, werden zunächst in eine separate, nur für Brändi verfügbare Umgebung (Knowledge Base) kopiert. Mithilfe eines Embedding-Modells wird ein Semantic Index erzeugt, mit dem später die passenden Informa­tionsanteile zur gezielten Antwortfindung evaluiert werden kann. Bei der Auswahl der Quellen für die Knowledge Base kann auf Dokumentenebene entschieden werden, welche Informationen in die Knowledge Base kopiert werden.

Für externe Besucher:innen der Internetseiten kommt der Inhalt des Internetauftritts in die Knowledge Base. Besteht Bedarf, so können noch weitere Inhalte hinzugefügt werden. Bei Brändi sind dies beispielsweise aktuelle Informationen aus dem Web Shop. Für interne Mitarbeitende werden zusätzlich alle internen Informationsquellen einbezogen. Vertrauliche Dokumente, die nicht allen Mitarbeitenden zugänglich sind, werden nicht in diese Knowledge Base kopiert.

Die Anwender:innen des Brändi-GPT können über einen Prompt ihre Fragen formulieren. Mithilfe von Semantic Search werden im ersten Schritt relevante Dokumente bzw. passende Textabschnitte aus der Knowledge Base selektiert. Diese werden über die Azure OpenAI Service API an das LLM (aktuell ChatGPT-3.5 oder ChatGPT-4.0) weitergeleitet. Basierend auf den angefügten, relevanten Informationen generiert das LLM dann eine passende Antwort.

Die Benutzerschnittstelle (Eingabemaske für die Prompt) für den Brändi-GPT kann individuell nach Wunsch bspw. auf SharePoint-Seiten oder in Applikationen integriert werden.

Mit dem Einsatz der Lösung, können auch Anfragen interpretiert werden, die nicht korrekt formuliert sind oder inhaltlich verwandte Begriffe verwenden. Wird beispielsweise nach dem Event «Frühjahrszauber» gesucht, obwohl es auf der Webseite als «Frühlingszauber» bezeichnet wird, kann das Event trotzdem gefunden werden. Dies eröffnet neue Wege zur Informationsbeschaffung. Schwächere Deutschkenntnisse oder Schwierigkeiten in der Formulierung stellen in diesem inklusiven Informationszugang keine Barrieren mehr dar. Rechtschreibfehler können ebenfalls ausgeglichen werden. Beispielsweise wird bei der Eingabe von «Teater» dennoch die korrekte Antwort zum «Theater» erzeugt.

Ein weiterer Vorteil ist, dass der spezifische Inhalt von Dokumenten durch das Modell interpretiert und für Antworten genutzt werden kann. In den wöchentlichen Menüplänen der Restaurants, die als PDF-Dokumente vorliegen, kann so beispielsweise gezielt nach glutenfreien Gerichten gefragt werden.

Der dritte Vorteil für Mitarbeitende ist, dass nach Themen gesucht werden kann, ohne genau zu wissen, wo die Informationen dazu konkret abgelegt sind. Bei einer Fragestellung nach «bring your own device bei Brändi?» muss die Person nicht wissen, ob die Information in einer offiziellen Anweisung, im DMS oder in einer IT-Regelung zu finden ist. Zusätzlich zur inhaltlichen Antwort wird auch das Dokument oder die Quelle referenziert, auf deren Basis die Antwort generiert wurde. Damit können weitere Informationen auch direkt in der Quelle nachgeschaut werden.

Der Brändi-GPT kann in verschiedenen Konfigurationen umgesetzt werden: für Besucher:innen der Internetseiten, alle Mitarbeitenden von Brändi auf den Intranetseiten oder für spezifische Applikationen. Für jede Anwendungsgruppe wird eine eigene, klar definierte und abgegrenzte Knowledge Base erstellt. Zwischen den unterschiedlichen Knowledge Bases gibt es keine Verbindung. Damit ist sichergestellt, dass externe Besucher:innen der Internetseite keine Informationen bekommen, die in internen Dokumenten abgelegt sind.
Die Knowledge Base wird in der Schweiz gehostet. Microsoft Azure Switzerland sichert zu, dass weder die Prompts noch die generierten Antworten anderen Kunden oder OpenAI zugänglich gemacht und auch nicht für Trainingszwecke verwendet werden.

Die Umsetzung erfolgt mit der swiss Moonshot AG, deren aiaibot-Plattform für den abfragebasierenden Teil eigene Module einsetzt. Für den GPT Anteil wird der Azure OpenAI-Service von Microsoft CH verwendet.

In einer ersten Phase werden bei Brändi drei Use Cases implementiert:

Zusammenfassend entsteht so ein inklusiver Zugang zu allen gewünschten Unternehmensinformationen für Menschen mit und ohne Beeinträchtigung.

Die Erwartungen der Mitarbeitenden an die Qualität der Antworten sind hoch. Die Vorteile und Chancen für die eigene Arbeit werden schnell erkannt, und die Hemmschwelle, den unternehmensinternen GPT auszuprobieren, ist gering. Mit dieser Anwendung ist ein spielerischer Einstieg in die Welt der KI möglich, und alle Mitarbeitenden, unabhängig von ihrer Rolle, können den Unternehmens-GPT nutzen.

Es besteht jedoch auch beim Brändi-GPT grundsätzlich das Risiko, dass fehlerhafte Antworten durch Halluzinationen entstehen. Auch die Kombination mit RAG kann diesen Effekt nicht vollständig ausschliessen. Diese Möglichkeit muss den Mitarbeitenden kommuniziert werden, und die Antworten sollten insbesondere in der Anfangsphase regelmässig überprüft werden. Um falsche Antworten zu vermeiden, wurden auch vereinzelt besonders sensible Informationen, beispielsweise die Benennung der Mitglieder der Geschäftsleitung oder vorhandene Unternehmenszertifikate, direkt im System hinterlegt.

Die Art und Weise der Antworten sollte festgelegt und ebenfalls in der Anfangsphase überwacht werden. Bei Brändi wurden humoristische Antworten ausgeschlossen, sodass der Brändi-GPT im Kontext von Brändi keine Witze erzählen kann oder lustig gemeinte Antworten formuliert. Der externe Brändi-GPT, der auf der Website für alle Besucher zugänglich ist, beantwortet ausschliesslich Brändi-spezifische Fragen. Auf allgemeine Wissensfragen, die normalerweise von ChatGPT beantwortet werden könnten, geht der externe Brändi-GPT nicht ein. Auch zu politischen Themen nimmt der Brändi-GPT keine Stellung. Dies stellt sicher, dass der Brändi-GPT neutral bleibt und sich ausschliesslich auf den Kontext von Brändi konzentriert.

Bei der Implementierung des internen GPT müssen Fragen in Abhängigkeit von der IT-Infrastruktur geklärt und unternehmensspezifische Besonderheiten berücksichtigt werden. Dazu gehört zum Beispiel, wie oft die Knowledge Base aufgrund von Veränderungen in den Dokumenten aktualisiert werden muss oder wie Informationen aus den Applikationen in die Knowledge Base gelangen. Die Implementierung kann je nach SaaS-Lösung (Software-as-a-Service) unterschiedlich sein, verglichen mit einer On-Premise-Umgebung.

Die Umsetzung des Brändi-GPT auf der Internetseite war innerhalb weniger Wochen möglich. Diskussionen um die Thematik bezüglich einer Namensgebung bzw. Personifizierung für den Brändi-GPT wurden zu Beginn unterschätzt. Bei der Implementierung der internen Lösung ist technische Expertise notwendig, um die Hürden aufgrund der Abhängigkeiten zur IT-Infrastruktur zu überwinden.

Der Einstieg für alle Mitarbeitende in die Nutzung von KI ist mit dem Brändi-GPT einfach. Brändi ist insgesamt davon überzeugt, dass der eingeschlagene Weg eine innovative und sehr sinnvolle, effizienzsteigernde Art im Wissensmanagement darstellt und die Inklusion unterstützt.