«KI-Modelle können zu Angriffszielen werden»

Auch beim Training und Einsatz von KI-Modellen sind Sicherheitsvorkehrungen erforderlich. Wo Risiken liegen und was dagegen zu tun ist, erläutert Moritz Plassnig, Chief Product Officer beim Datensicherheitsspezialisten Immuta.

Moritz Plassnig
Datensicherheitsexperte und Chief Product Officer, Immuta

Quelle: Immuta

Moritz Plassnig: Die Kuration und Datenklassifizierung unstrukturierter Daten sind deutlich anspruchsvoller als bei strukturierten Daten. Beim Kuratieren strukturierter Daten gibt es bereits etablierte Tools zur Durchführung von Qualitätskontrollen und schematischen Einschränkungen. Beim Umgang mit unstrukturierten Daten muss die Bereinigung und Aufbereitung der Daten innerhalb der Modelle meist selbst durchgeführt werden, was eine zusätzliche potenzielle Fehlerquelle darstellt. Das zeigt sich bereits bei der Datenklassifizierung, bei der Daten auf Grundlage ihrer Merkmale in verschiedene Kategorien eingeteilt werden. In der Regel weist ein strukturiertes Datensatzfeld eine Reihe einheitlicher Merkmale auf. Unstrukturierte Daten brechen diese Homogenitätsannahme.

Plassnig: In einem Text, in dem es beispielsweise um eine bestimmte Krankheit geht, würde es in automatisierten Prozessen schwierig werden, zwischen einem wissenschaftlichen Text, der Forschungsarbeiten thematisiert, und einem medizinischen Befund zu unterscheiden. Ohne präzise Datenklassifizierung besteht die Gefahr, dass ein Modell mit sensiblen Daten trainiert wird.

Plassnig: Öffentliche Modelle sind weitaus anfälliger für Diebstahl als kleinere private Modelle. In absehbarer Zukunft könnten öffentlich zugängliche Modelle zudem zu begehrten Angriffszielen für sogenanntes Data Poisoning werden, bei dem ungenaue Daten in den Trainingsprozess eingeschleust werden. Ein solcher Datenverfälschungsansatz wurde bereits bei Anwendungen beobachtet, die nicht auf KI basieren, etwa Online-Märkten und deren Bewertungssystemen.

Plassnig: Solche Plattformen stellen Modellvorhersagen ausschliesslich über API-Endpunkte bereit, was das Risiko eines Modelldiebstahls erheblich minimiert. Sicherheitsvorfälle, wie das online durchgesickerte Facebook-Llama-Modell, zeigen jedoch, dass das Risiko auch hier nicht bei null liegt.

Die Sicherheit von KI-Modellen ist und bleibt ein wichtiges Thema, das kontinuierlich analysiert und angepasst werden muss, um die Integrität und den Schutz von Nutzerdaten und Anwendungen zu gewährleisten. Angesichts des Fortschritts in der KI-Entwicklung ist es wahrscheinlich, dass künftige Spitzen-KI-Modelle verstärkt aus der Open-Source-Community stammen, was die Aufmerksamkeit  vermehrt auf Sicherheitsaspekte lenken könnte.

Plassnig: Bei den meisten Gegenmassnahmen handelt es sich um bewährte Verfahren im Bereich Datensicherheit. Dazu gehören Zugriffskontrolle, Hygiene der Datenwege sowie die Verschleierung sensibler Daten. Einige dieser Best Practices sind jedoch im Kontext von LLMs nicht gleichermassen effektiv. Es hat sich gezeigt, dass das einfache Schwärzen vertraulicher Informationen in unstrukturierten Datensätzen nach wie vor dazu führen kann, dass sensible Daten unbeabsichtigt preisgegeben werden.

Selbst Trainingsmodelle mit stochastischen Schutzmassnahmen, etwa der differenziellen Privatsphäre, «verlieren» immer noch Informationen, wenn sie nicht richtig angewendet werden. Daher ist es wichtig, bei der Auswahl  von Gegenmassnahmen im Bereich KI-Sicherheit sorgfältig vorzugehen und sich bewusst zu sein, dass nicht alle herkömmlichen Ansätze in dieser speziellen Domäne gleichermassen wirksam sind.