KI kapituliert bei Grammatikfehlern fast immer

Künstliche Intelligenz (KI) kapituliert bei Grammatikfehlern. Das haben Forscher der Humboldt-Universität zu Berlin, der Universitat Autònoma de Barcelona (UAB) und des Catalan Institute of Research and Advanced Studies herausgefunden. Sie haben die Fähigkeiten des Menschen mit den drei besten derzeit verfügbaren grossen Sprachmodellen verglichen, zwei basierend auf GPT3 und eines (ChatGPT) basierend auf GP3.5.

Die Forscher haben menschlichen Probanden und den KI-gestützten Sprachmodellen korrekt formulierte und fehlerhafte Sätze vorgelegt und sie anschliessend mit folgenden Fragen konfrontiert: "Ist dieser Satz grammatikalisch korrekt?" Es zeigte sich, dass Menschen fast immer richtig antworteten, während die grossen Sprachmodelle viele falsche Antworten gaben.

Tatsächlich wurde festgestellt, dass sie die Standardstrategie verwendeten, meistens mit "Ja" zu antworten, unabhängig davon, ob die Antwort richtig war oder nicht. "Das Ergebnis ist überraschend, da diese Systeme auf der Grundlage dessen trainiert werden, was in einer Sprache grammatikalisch korrekt ist und was nicht. KI-Sprachmodelle können sehr hilfreich sein, aber wir müssen uns ihrer Mängel bewusst sein", mahnt Evelina Leivada von der Abteilung für Katalanistik der UAB.