Massnahmen bei einer halluzinierenden KI

Large Language Models (LLM) wie Google Bard oder ChatGPT brauchen Hilfe. Das Problem: Interpretieren die Chatbots Daten falsch oder verstehen die Frage nicht korrekt, beginnen sie zu "halluzinieren". In der Praxis bedeutet das, sie verpacken Falschinformationen als gegebene Fakten in einem durchaus logischen Kontext. Dabei erfinden LLMs sogar Informationen sowie Quellen und stellen falsche Zusammenhänge auf den ersten Blick so wahrheitsgetreu dar, dass Anwender gar nicht merken, dass sie es mit den ausgedachten Antworten einer halluzinierenden KI zu haben. Einige dieser Abweichungen scheinen nachvollziehbar, interpretieren die Modelle doch lediglich Statistiken und Trainingsdaten – andere Ergebnisse scheinen völlig aus der Luft gegriffen zu sein. Auch wenn das Phänomen vermutlich nie gänzlich zu verhindern ist, nennt Couchbase drei effektive Gegenmassnahmen, mit denen die Genauigkeit und Zuverlässigkeit von ChatGPT und Co. deutlich gesteigert werden kann.

1. Feintuning. Die naheliegendste Herangehensweise an das Problem der falschen Informationsausgabe ist das erneute Trainieren des Modells anhand von spezifischen Daten, die für den jeweiligen Einsatzzweck des LLM relevant sind. Auch wenn die Verzerrungen auf diese Weise abgeschwächt werden können, ist die Methode aufgrund des zeitlichen und finanziellen Aufwandes aber nicht immer durchführbar. Das Finetuning ist darüber hinaus als Prozess zu betrachten, denn die zu Grunde liegenden Daten können ohne kontinuierliches Training schnell wieder veralten.

2. Prompt Engineering. Ein sehr viel direkterer Ansatz als das Feintuning besteht in der Optimierung der textbasierten Eingaben über die Befehlszeile eines LLM. Je mehr kontextbezogene Informationen und konkrete Anweisungen der Input besitzt, desto weniger Abweichungen und Fehlinterpretationen hat der Output. Neben präzisen Formulierungen und zusätzlichen Informationen setzt das Prompt Engineering auch auf mehrere, aufeinanderfolgende Anweisungen an die KI, die das Ergebnis immer weiter präzisieren und etwaigen Halluzinationen vorbeugen.

3. Retrieval Augmented Generation (RAG). Als vielversprechendes Framework gegen KI-Halluzinationen konzentriert sich das RAG-Konzept darauf, LLMs kontinuierlich mit aktuellen Daten zu versorgen. So können beispielsweise Unternehmen ihre Modell stetig mit kontextbezogenen und domainspezifischen Daten füttern, um einen exakten Output sicherzustellen und Verzerrungen zu minimieren.

Gregor Bauer, Manager Solutions Engineering CEUR bei Couchbase: "Die steigende Bedeutung von LLMs in unserem Alltag macht eine hohe Zuverlässigkeit und eine Minimierung der KI-Halluzinationen dringend notwendig. Vor allem RAG-Frameworks stellen ein wirkungsvolles Konzept zur Verfügung, das sein volles Potenzial in der Kombination mit einer hochverfügbaren Datenbank entfaltet, die grosse Mengen an unstrukturierten Daten speichern und mit Hilfe einer semantischen Suche abfragen kann."