Wenn Barack Obama in einem Youtube-Video Donald Trump als «Volltrottel» bezeichnet, werden ihm sicher viele zustimmen. Natürlich würde der Ex-US-Präsident so etwas nie über seinen Nachfolger sagen - zumindest nicht öffentlich, und er hat es auch nicht getan. Das täuschend echte Filmchen, das mittlerweile fast sechs Millionen Aufrufe verzeichnet, ist ein sogenannter Deepfake, ein mit Hilfe von künstlichen neuronalen Netzen manipuliertes Video. Die dafür genutzte App basiert auf dem von Google entwickelten Machine-Learning-Framework Tensorflow. «Gesichter in Videos auszutauschen, ist nichts Neues», sagt David Wollmann, Executive Consultant beim Sicherheitsspezialisten NTT Security, «aber der Aufwand dafür ist dramatisch gesunken.»

Doch nicht nur Videos können mit Hilfe von Machine-Learning-Methoden gefälscht werden, auch Stimmen lassen sich täuschend echt nachahmen. Während noch vor wenigen Jahren Aufnahmen von vier bis fünf Stunden Länge notwendig waren, um das digitale Abbild eines Sprechers zu erzeugen, können Unternehmen wie Lyrebird heute nach eigenen Angaben auf Basis von nur einer Minute Audiomaterial einen Chatbot mit fremder Stimme sprechen lassen. Auch Google arbeitet an einer Optimierung der Sprachsynthese durch Machine-Learning-Methoden: Das Projekt WaveNet basiert auf einem vollständig faltenden neuronalen Netzwerk (Convolutional Neural Network, CNN) und liefert laut den Entwicklern eine wesentlich natürlichere Sprachwiedergabe als andere Text-to-Speech-Systeme.

Deepfakes und Stimm-Imitationen hatten bisher vor allem Prominente und Politiker zum Ziel. Zukünftig könnten sie auch die Wirtschaft bedrohen. So liesse sich etwa der gefürchtete C-Level-Fraud, bei dem Kriminelle sich als hochrangige Manager ausgeben, nicht nur per E-Mail, sondern auch per Telefon oder Video-Chat durchführen.

Organisationen wie die Defense Advanced Research Projects Agency (DARPA) forschen derzeit an Möglichkeiten, Deep-fakes zu identifizieren, indem sie sogenannte kompetitive neuronale Netze (Generative Adversarial Networks, GAN) einsetzen. Die Technik besteht im Wesentlichen aus zwei künstlichen neuronalen Netzen, die versuchen, sich gegenseitig auszutricksen. In bestimmten Fällen ist es relativ leicht möglich, Deepfakes zu erkennen, etwa wenn die Gesichts­simulation nur auf Standbildern basiert. «Da auf Fotos in der Regel die Augen einer Person immer geöffnet sind, kann das Blinzeln nicht korrekt simuliert werden», erklärt dazu Sicherheitsexperte Wollmann, «das lässt sich mit Hilfe von KI detektieren.»

Wesentlich schwieriger wird dies allerdings, wenn Videos als Basismaterial verwendet werden. Langfristig besteht sogar die Gefahr, dass sich Deepfakes gar nicht mehr von echtem Material unterscheiden lassen. Das befürchten zumindest die Rechtswissenschaftler Bobby Chesney und Danielle Citron, Autoren der Studie «Deep Fakes: A Looming Chal­lenge for Privacy, Democracy, and National Security». Eine solche Entwicklung könnte sogar massive Auswirkungen auf die Strafverfolgung haben. Schliesslich verlieren Audio- und Videobeweise ihre Aussagekraft, wenn echtes und gefälschtes Material nicht mehr unterscheidbar ist.

David Wollmann empfiehlt Unternehmen, sich durch Aufklärung gegen Deepfakes zu wappnen: «Security Awareness wird angesichts der neuen KI-basierten Bedrohungen noch wichtiger.» Auch organisatorische Massnahmen können das Risiko verringern: «Unternehmen sollten Prozesse implementieren, die eine Deepfake-Attacke erschweren.» Entscheidungen von grösserer Tragweite müssten nach dem Vier-Augen-Prinzip von mindestens zwei Mitarbeitern überprüft und genehmigt werden, Anweisungen per E-Mail oder Telefon sollten prinzipiell erst nach Bestätigung über einen weiteren Kanal ausgeführt werden. Das erfordere allerdings ein Umdenken der oberen Führungsriege: «Auch das Management muss sich der Gefahr bewusst sein und sich an vorgegebene Entscheidungsprozesse halten», betont der Sicherheitsexperte. «Es geht ja nicht darum, Prozesse tagelang zu verzögern, sondern das Unternehmen als Ganzes zu schützen.»

Deepfakes sind ein beeindruckendes Beispiel für die Leistungsfähigkeit KI-basierter Algorithmen, aber bei Weitem nicht das einzige Szenario, bei dem Cyberkriminelle neuronale Netze und andere Methoden des maschinellen Lernens einsetzen könnten. «Mit Hilfe von KI lassen sich Angriffe besser skalieren und profitabler durchführen. Sie sind schwerer zu entdecken und schwieriger zurückzuverfolgen», erklärt Max Heinemeyer, Director of Threat Hunting beim Sicherheitsspezialisten Darktrace. Auch völlig neue Angriffsszenarien seien denkbar: «KI kann Dinge entstehen lassen, die Menschen nicht vorhersehen können.»

Wie Kriminelle die Schwachstellenanalyse automatisieren könnten, zeigt beispielhaft die «Cyber Grand Challenge», die 2016 von der DARPA veranstaltet wurde. In ihr traten sieben autonome Systeme gegeneinander an, die vollautomatisch Sicherheitslücken erkennen und schliessen sollten. Eines dieser Programme ist Mechanical Phish der universitären Hacker-Gruppe Shellphish. Es basiert zwar nicht auf maschinellem Lernen, sondern nutzt Methoden wie Symbolic Execution und Binary Reassembling, zeigt aber dennoch bereits, welche Bedeutung solche Tools in Zukunft bekommen könnten.

KI kann jedoch nicht nur eingesetzt werden, um Schwachstellen in Systemen zu finden, sondern auch, um Menschen auszuspähen. Eine Kombination aus Clustering- und Klassifikationsmethoden wie K-Means oder Random Forest, Bild­erkennung, Natural Language Processing (NLP) und Sentiment-Analyse könnte es viel leichter machen, lohnende Opfer zu identifizieren und für einen zielgruppengerechten Angriff zu klassifizieren. Wer etwa gerne auf Facebook oder Instagram mit Gucci-Täschchen vor dem Porsche posiert und Bilder von Sonnenuntergängen am Strand postet, könnte automatisch als reicher Bürger im Urlaub identifiziert werden und ungebetenen Besuch in der verwaisten Villa erhalten.

Wie sich Nutzer automatisiert ausspähen lassen, zeigt das Tool Social Mapper. Es durchforstet Social-Media-Kanäle und nutzt eine automatische Gesichtserkennung, um die verschiedenen Profile einer Person zu finden und zuordnen zu können. Die Informationen werden übersichtlich als Excel-File dargestellt. So erhält der Angreifer ein umfassendes Bild über alle Aktivitäten eines potenziellen Opfers.

Neben der allgemeinen Identifikation lohnender Zielgruppen und Personen lassen sich auch sogenannte Spear-Phishing-Attacken durch den Einsatz von KI optimieren. Dabei suchen Kriminelle gezielt auf sozialen Medien, in Blogs und Foren nach persönlichen Informationen, um sie für gezielte Angriffe zu verwenden. Wie sich dies künftig automatisieren liesse, zeigt das Tool SNAP_R. Es nutzt Markow-Modelle und LSTM-Netze (Long Short-Term Memory), um die Timeline eines Twitter-Nutzers zu analysieren und dann über den Account des Ausgespähten Spear-Phishing-Tweets mit möglichst echt klingenden Inhalten zu generieren. In einem Test war das Tool erfolgreicher als ein menschlicher Hacker. Es verfasste mehr Tweets pro Zeit, die ausserdem mehr Reaktionen hervorriefen.

Auch bei der Analyse gestohlener Daten können Machine-Learning-Methoden den Kriminellen helfen. Statt beispielsweise selbst mühsam in erbeuteten Accounts nach kompromittierenden Bildern zu suchen, könnten Kriminelle Tools wie das von Yahoo entwickelte pen_nsfw verwenden. Es nutzt neuronale Netze auf Basis des Frameworks Caffe, um anstössige NSFW-Inhalte (Not Safe For Work) zu erkennen. «So lässt sich die Produktivität eines Angriffs massiv erhöhen», berichtet Max Heinemeyer von Darktrace.

Captcha (Completely Automated Public Turing Test to Tell Computers and Humans Apart) sollen automatisierte Zugriffe auf Webseiten, Formulare und Suchdienste durch Bots und Crawler verhindern oder zumindest erschweren. Sie zeigen Buchstaben- und Zahlenkombinationen oder verschwommene Bilder, die zumindest theoretisch nur von Menschen erkannt werden können. Captchas stellen allerdings die KI nicht vor allzu grosse Probleme. «Machine Learning wird bereits häufig zum Knacken von Captchas eingesetzt», beobachtet Max Heinemeyer. Bereits 2012 publizierten Claudia Cruz-Perez und ihre Kollegen von der Universidad de las Américas Puebla im mexikanischen Cholula eine KI-basierte Methode zur Captcha-Überwindung. Mit Hilfe der SVM-Methode (Support Vector Machine) liessen sich die Rätsel mit einer Erkennungsrate von 82 Prozent knacken. Durch den Einsatz von Deep Learning erhöhte sich der Erfolg sogar auf über 90 Prozent.

Ein weiteres Einsatzgebiet für KI könnte die automatisierte Erstellung von gefälschten Webadressen sein. Angreifer kreieren kontinuierlich neue Fake-URLs für ihre Phishing- und Malware-Kampagnen, die ebenso kontinuierlich geblockt werden. «2018 produzierten Kriminelle im Monat durchschnittlich 17 Millionen solcher bösartigen Adressen, die meist nur eine Lebensdauer von wenigen Minuten oder Stunden hatten», rechnet Rajarshi Gupta, Head of AI beim Sicherheitsanbieter Avast, vor.

Die Kriminellen stehen dabei nicht nur vor der Herausforderung, möglichst viele Domains in kurzer Zeit zu produzieren, sondern diese auch echt wirken zu lassen. «Zufällig aus Buchstaben und Zahlen zusammengewürfelte oder aus Wörterbucheinträgen generierte Domain-Names sind leicht zu erkennen», erklärt Gupta. «Der Einsatz von KI könnte zu realistischer klingenden URLs führen, die schwerer zu entdecken sind.»

Auch Bot-Netze liessen sich laut dem Avast-Experten effi­zienter betreiben. Traditionell nutzen Kriminelle bekannte Schwachstellen und Backdoors, etwa in IP-fähigen Überwachungskameras oder Routern, um Heimnetze und IoT-Umgebungen zu infizieren. Von diesen Einstiegspunkten aus scannen sie skriptbasiert das Inventar auf weitere Infektionsmöglichkeiten.

Angreifer können sich auch die Tatsache zunutze machen, dass neuronale Netze völlig anders lernen und Muster erkennen, als dies Menschen tun. Gezielte kleine Störungen, die von Menschen kaum wahrgenommen werden, können die KI komplett aus der Bahn werfen, die Erkennungsrate drastisch verringern oder Klassifizierungen gar ins Gegenteil verkehren. Chawin Sitawarin von der Princeton University und seine Kollegen demonstrieren in der Studie «DARTS: Deceiving Autonomous Cars with Toxic Signs», wie sich autonome Fahrzeuge durch Manipulation von Verkehrszeichen in die Irre führen lassen, die für einen Menschen nicht sichtbar sind oder irrelevant erscheinen.

Zur Malware-Generierung könnte Adversarial AI eingesetzt werden, um Viren, Trojaner und Würmer so zu modifizieren, dass sie nicht nur einer Signaturerkennung entgehen, sondern auch mit Hilfe Künstlicher Intelligenz nicht entdeckt werden. «Jede Malware-Erkennung kann theoretisch überlistet werden, das gilt auch für KI-basierte Methoden», unterstreicht Rajarshi Gupta. Angreifer müssten allerdings Millionen von Malware-Varianten ausprobieren, um die KI zu knacken, so der Avast-Experte weiter.

Verbrecher machen keine Werbung für ihre Produkte - zumindest nicht in öffentlich zugänglichen Quellen. Deshalb ist es unklar, wie weit Cyberkriminelle bereits KI-basierte Methoden für ihre Angriffe nutzen. Die Wahrscheinlichkeit, dass sie es tun, ist hoch, denn die Vorteile sind offensichtlich. Angriffe lassen sich mit Hilfe von Machine Learning und anderen Methoden effektiver gestalten, besser skalieren und effizienter durchführen. Der Einstieg ist zudem niedrigschwellig. Viele Tools, die für Cyberangriffe missbraucht werden könnten, sind frei zugänglich und auch unter Fachkräftemangel dürfte die dunkle Seite angesichts der Verdienstmöglichkeiten nicht leiden. Unternehmen müssen daher technisch auf dem neuesten Stand sein und es auch bleiben. Signaturbasierte Malware-Erkennung und Perimetersicherheit reichen schon heute nicht mehr aus und werden in Zukunft noch weniger gegen intelligente Angriffe ausrichten können.

Technik allein wird aber nicht genügen, um etwa Deep­fake-basierte Angriffsszenarien abwehren zu können. Veränderungen in der Unternehmenskultur und in den Prozessen sind genau so wichtig. Entscheidungswege müssen so gestaltet sein, dass ein Geschäftsführerbetrug schwieriger wird, und Mitarbeiter müssen sensibilisiert werden. Dank KI wird es Angreifern künftig ein Leichtes sein, Informationen aus Facebook, Twitter, Instagram und anderen Social-Media-Kanälen zu analysieren, per Knopfdruck lohnende Ziele zu identifizieren und eine an das Opfer angepasste Angriffsstrategie zu generieren.