KI ist meistens ein schlechter Wachmann

Grosse Sprachmodelle (LLMs) können bei der Analyse von Überwachungsvideos uneinheitliche Entscheidungen darüber treffen, ob die Situation so ernst ist, dass die Polizei alarmiert werden muss. Ähnliche Schwächen offenbaren sich auch bei anderen sensiblen Aufgaben, die generativer Künstlicher Intelligenz (KI) zur Analyse übertragen werden, so Forscher des Massachusetts Institute of Technology (MIT) und der Pennsylvania State University.

Bei Tests mit Videos, auf denen Fahrzeugeinbrüche zu sehen waren, schlugen die LLMs GPT-4, Gemini und Claude mal vor, die Polizei zu rufen, mal sahen sie keine Gefahr. Verschiedene LLMs kamen oft zu unterschiedlichen Schlussfolgerungen. Darüber hinaus empfanden einige Modelle Videos von Vierteln, in denen die meisten Bewohner weiss sind, relativ seltener als bedrohlich. Demgegenüber wurden Regionen mit vorzugsweise schwarzer Bevölkerung anders wahrgenommen.

Den Experten nach haben die Modelle inhärente Vorurteile, die von der Demografie eines Stadtviertels beeinflusst werden. Diese Ergebnisse deuteten darauf hin, dass Modelle bei der Anwendung sozialer Normen auf Überwachungsvideos, die ähnliche Aktivitäten darstellen, inkonsistent seien. Dieses Phänomen, das die Forscher als Norminkonsistenz bezeichnen, macht es schwierig vorherzusagen, wie sich Modelle in verschiedenen Kontexten verhalten.

"Die Vorgehensweise, generative KI-Modelle überall und insbesondere in Situationen mit hohen Risiken einzusetzen, sollte gründlicher überdacht werden, da sie sehr schädlich sein könnte", sagt Ashia Wilson, Professorin für Elektrotechnik und Computerwissenschaften und leitende Forscherin am Labor für Informations- und Entscheidungssysteme.

LLMs werden derzeit kaum zur Auswertung von Videos mit kriminellen Inhalten eingesetzt. Doch sie werden verwendet, um normative Entscheidungen in anderen Bereichen mit hohen Risiken zu treffen, beispielsweise im Gesundheitswesen, bei Hypothekenkrediten und bei der Überprüfung von Bewerbern um Jobs. Es sei wahrscheinlich, dass LLMs in diesen Situationen ähnliche Inkonsistenzen aufweisen.

"Es gibt diese implizite Annahme, dass diese LLMs eine Reihe von Normen und Werten gelernt haben oder lernen können. Unsere Arbeit zeigt, dass dies nicht der Fall ist. Vielleicht lernen sie nur willkürliche Muster oder Rauschen", unterstreicht Doktorand Shomik Jain abschliessend. (pressetext.com)