Demokratisierung der KI-Technologie

Im Bereich künstliche Intelligenz stehen derzeit generative KI-Anwendungen (GenAI) im Mittelpunkt des Interesses. Dazu zählen unter anderem Chat-GPT von OpenAI, Bard von Google und Copilot von Microsoft. Sie basieren auf grossen Sprachmodellen (Large Language Models, LLMs) wie Llama 2 von Meta AI, GPT von OpenAI, Falcon von TTI und Palm von Google. Auch Luminous des deutschen Start-up-Unternehmen Aleph-Alpha gehört in diese Riege.

«Generative KI bekommt aus mehreren Gründen grosse Aufmerksamkeit. Bei Kreativ-Anwendungen hat der Ansatz bewiesen, dass Nutzer damit attraktive Inhalte erstellen können», erläutert Markus W. Hacker, Direktor Enterprise Business DACH bei Nvidia. «Es lassen sich ausserdem realistische Simulationen und synthetische Daten erzeugen, die in Bereichen wie autonome Fahrzeuge, Robotik und Gesundheitswesen von grossem Nutzen sind.»  Generative KI wird ausserdem eingesetzt, um Inhalte und Empfehlungen für Nutzer zu personalisieren und das Nutzererlebnis in Bereichen wie E-Commerce, Streaming-Diensten und Social-Media-Plattformen zu optimieren.

Ein weiterer Grund für die hohe Popularität von GenAI ist «eine Demokratisierung der KI durch die Einführung von Transformer-Modellen, die Large Language Models antreiben», erläutert Mat Keep, Distinguished Product Manager bei MongoDB, einem Anbieter von Datenservices für KI-Anwendungen. Die Transformer-Architektur ermögliche es im Vergleich zu Recurrent Neural Networks (RNN), Texte schneller zu erfassen und den Kontext von Wörtern besser zu verstehen.

Durch die Kombination von Transformator-Ansätzen mit Techniken wie künstlichen neuronalen Netzen (Generative Adversarial Networks, GANs) und Variational Autoencoders (VAEs) werden KI-Anwendungen, speziell GenAI, leistungsfähiger und letztlich auch bezahlbarer. Damit erhalten auch kleinere Unternehmen einen besseren Zugang zu KI-Entwicklungsressourcen und Applikationen. «Dabei kann es sich um Anwendungen handeln, die auf der Verarbeitung natürlicher Sprache basieren, beispielsweise Chatbots, Spracherkennung und Übersetzungen», so Keep weiter. Oder auch um Code-Assistenten sowie analytische Aufgaben wie die Planung von Marketingkampagnen.

Die Grundlage von KI-Anwendungen bildet ein Modell. Bei Generative AI sind dies Large Language Models. Vereinfacht gesagt versteht man unter einem Modell Programme, die mithilfe von Daten trainiert werden. Dadurch sind sie der Lage, Muster zu erkennen und selbstständig zu lernen und Entscheidungen zu treffen. Eine Herausforderung besteht darin, aus das passende Modell auswählen. Der Grund: «Auf der Open-Source Plattform Hugging Face gibt es mittlerweile über hunderttausend generative KI-Modelle in verschiedenen Grössen und für diverse Anwendungsfälle», berichtet Nils Nörmann, Advisory Technical Specialist – Watson, Data & AI bei IBM Technology. Ein Teil dieser LLMs stammt von Universitäten und Forschungseinrichtungen wie dem Big Science Project («Bloom»), dem europäischen OpenGPT-X-Projekt und dem Technology Innovation Institute («Falcon»). Hinzu kommen Modelle von Firmen wie Meta AI, Google, OpenAI, IBM, Microsoft und vielen weiteren Unternehmen.

«Large» bezieht sich bei LLMs darauf, dass die Modelle mit grossen Datenmengen trainiert werden: Bildern, Texten und Symbolen. Diese Informationen stammen aus dem Internet, Büchern, Programmcode und den Eingaben der Nutzer. Ausserdem kann ein Unternehmen eigene Datenquellen nutzen, um ein Modell zu trainieren.

Ein Indikator für die Leistungsfähigkeit eines LLM ist die Zahl der verwendeten Parameter. Diese stieg in den vergangenen Jahren deutlich an. So verfügt GPT-4 von OpenAI über 1,76 Billionen Parameter. Beim Vorgänger GPT-3 waren es nur 175 Milliarden. Ein Parameter steht für die Stärke der neuronalen Verbindungen, die ein Modell während des Trainingsvorgangs aufbaut. Eine hohe Zahl von Parametern ermöglicht es dem Modell, nuancierte und komplexere Muster von Sprachinformationen zu erfassen. Das führt zu einer besseren Darstellung von Wörtern und Konzepten, die für das Verständnis des Kontextes und das Erstellen von Texten wichtig sind.

Ein weiterer Faktor, der die Performance von LLMs beeinflusst, ist die Zahl der Token. Das sind die Einheiten, in die ein Text unterteilt ist. Das können einzelne Zeichen, Silben oder ganze Wörter sein. Der Satz «Er kommt hundertprozentig zu spät» lässt sich beispielsweise in Token wie «Er», «kommt», «hundert», «prozent» et cetera aufteilen. Während des Trainings lernt ein Modell, in welchem Kontext bestimmte Token verwendet werden. Dadurch kann es präziser und schneller vorhersagen, welche Wörter in einem Satz vermutlich als nächste folgen und damit seine Ausgabegenauigkeit erhöhen.

Ein guter Einstiegspunkt in generative KI sind Basismodelle (Foundation Models). Dazu zählen die LLMs der etablierten Anbieter. Diese Modelle werden vortrainiert, verfügen also gewissermassen bereits über ein «Allgemeinwissen». Fähigkeiten, die auf spezielle Einsatzfelder zugeschnitten sind, können Firmen durch ein Feintuning hinzufügen. Dabei wird den Modellen domänenspezifisches Wissen vermittelt, häufig mit Unterstützung von Menschen. Diese stellen dem Modell Eingabe-Ausgabe-Kombinationen zur Verfügung, etwa Antworten auf bestimmte Fragen.

«Durch zielgerichtetes Prompting und Feintuning können Nutzer Modelle anpassen und mit eigenen, kleineren Datenmengen die Ergebnisqualität deutlich verbessern», bestätigt Nils Nörmann von IBM. Diese Feinabstimmung nehmen auf Wunsch auch externe Spezialisten vor, neben IBM beispielsweise Nvidia, Google, AWS, H2O oder Hugging Face.

Ein Beispiel ist die Klassifizierung von Kundenanfragen, die per E-Mail eingehen. «Kundenanfragen können auf einfache Weise typisiert und nach Art der Anfrage klassifiziert werden, etwa ob es sich um eine Bestellung oder eine Support-Anfrage handelt», erläutert Mark Neufurth, Lead Strategist beim Cloud-Serviceprovider Ionos. «Zudem lassen sich Textdokumente zusammenfassen, gruppieren und suchen. Das erfolgt mithilfe der KI in wenigen Augenblicken und mit einem kurzen Prompt.»

Durch die Kombination von Basismodell und Feintuning reichen einige Tage oder gar Stunden aus, um einem GenAI-Modell branchenspezifisches Wissen zu vermitteln. Trainiert ein Nutzer dagegen ein Modell von Grund auf, kann dies je nach Grösse des Modells mehrere Wochen in Anspruch nehmen.

Eine Kernfrage bei KI ist, ob Interessenten KI-Modelle in Eigenregie entwickeln sollen oder besser vorgefertigte Lösungen erwerben. Die Antwort darauf hängt von mehreren Faktoren ab, wie AppliedAI in einem Whitepaper erläutert. Diese Initiative mit Sitz in München fördert die Anwendung vertrauenswürdiger KI-Technologie in Unternehmen. Zu diesen Faktoren zählen:

Für Branchen mit hohen Anforderungen in Bezug auf Compliance und Datenschutz, etwa den Finanzsektor und den Pharma- und Gesundheitsbereich, kommt eine «Ende-zu-Ende»-Strategie in Frage. Das heisst, sowohl die Entwicklung der KI-Anwendung als auch das Pre-Training und Tuning der Modelle finden im eigenen Haus statt. Der Vorteil: Anwendungen, Daten und KI-Modelle bleiben unter der Kontrolle der Unternehmen. Dem stehen höhere Kosten und möglicherweise ein höherer Zeitaufwand gegenüber. Für die meisten Firmen kommen daher Mischkonzepte in Frage. Eine Option ist, KI-Anwendungen selbst zu entwickeln und  vortrainierte oder bereits optimierte Large Language Models von externen Anbietern zu beziehen. Der Vorteil ist, dass der Aufwand für das Training und Bereitstellen der Modelle sinkt. Anbieter wie Microsoft (Azure OpenAI) und KI-Plattformen stellen entsprechende Schnittstellen (APIs) für solche LLMs zur Verfügung. Allerdings müssen Datenschutz- und Compliance-Regelungen diesen Ansatz unterstützen.

Ein weiterer Punkt, der bei GenAI nicht unterschätzt werden sollte, ist der Aufwand, der mit dem Training von KI-Modellen verbunden ist, speziell von umfangreichen Large Langue Models. Laut dem «AI Index 2023» des Institute for Human-Centered Artificial Intelligence (HA) der Stanford-Universität lagen beispielsweise 2022 die Trainingskosten eines LLM auf Basis des Palm-Modells bei acht Millionen Dollar. Niedriger waren sie bei GPT-NeoX-20B mit rund einer Viertelmillion Dollar und bei Stable Diffusion bei 0,6 Millionen Dollar.

Laut Tests von MosaicML, dem Betreiber einer KI- und Machine-Learning-Plattform, sind die Trainingskosten allerdings oft geringer, als dies Unternehmen glauben. Das Training eines GPT-3-Modells mit 30 Milliarden Parametern und 610 Milliarden Token kostete demnach auf der MosaicML-Plattform Ende 2022 rund 450.000 Dollar. Etwa 79 Prozent der befragten KI-Fachleute gingen von höheren Summen aus, rund 60 Prozent von einer Million Dollar und mehr. Vergleichbare Ergebnisse ergab 2023 ein Test von MosaicML mit dem Stable-Diffusion-Modell.

Dennoch sollten Unternehmen, die KI-Modelle entwickeln und trainieren möchten, den Faktor Kosten im Auge behalten: «Die grössten Hürden für Unternehmen, die KI-Lösungen implementieren wollen, sind die Vorabkosten für Hard- und Software sowie für den Aufbau eines Teams mit KI-Kenntnissen, das die Infrastruktur einrichtet und wartet», erläutert Markus Hacker von Nvidia. Unternehmen seien sich in der Regel darüber im Klaren, dass die Investition in eine KI in den Folgejahren Kosten sparen. «Sie benötigen jedoch eine Möglichkeit, Modelle zu testen oder mit ihnen zu experimentieren, um sie an ihre branchenspezifischen Bedürfnisse anzupassen», so der Experte.