die Meinung

Wie „entlarvt“ man von
ChatGPT geschriebene Texte

von Sandra Mitrovic
Forscherin am Dalle Molle Institut für künstliche Intelligenz

Nur jemand, der an einem Ort ohne Zeitungen und Internet sitzt, hätte gegen die Medienpräsenz von ChatGPT, dem neuen auf künstlicher Intelligenz basierenden Sprachmodell, immun bleiben können. Seit seiner Veröffentlichung Ende November 2022 hat ChatGPT eine beispiellose Aufmerksamkeit erregt: Bereits in der ersten Woche seiner Veröffentlichung erreichte er mehr als eine Million Nutzer.

Was macht ChatGPT so beliebt? Zunächst einmal ist ChatGPT kostenlos zugänglich (zumindest in seiner einfachsten Version) und ist äusserst einfach zu nutzen. Er wurde wie ein Gesprächspartner entwickelt: Der Nutzer liefert eine Prämisse als Input (er stellt zum Beispiel eine Frage) und ChatGPT schreibt seinen Output (zum Beispiel eine Antwort auf die gestellte Frage). Ja, es ist wirklich so einfach. Zweitens versteht ChatGPT die Fragen der Nutzer, die sich auf verschiedene Domänen beziehen und in verschiedenen Sprachen geschrieben sind. Er kann Outputs verschiedener Arten und Stile generieren (zum Beispiel von sehr knapp bis lang, vom poetischen Stil bis zu verschiedenen Texten, die an den Stil der sozialen Medien angepasst sind). Drittens, und was wahrscheinlich am meisten zu seiner Beliebtheit beigetragen hat, neigt der Output von ChatGPT dazu, grammatikalisch fehlerfrei und sehr menschenähnlich zu sein. Selbstverständlich war dies für viele Nutzer sehr attraktiv, da er das Anwendungspotential in den verschiedenen Bereichen deutlich machte, vom Schreiben kurzer Zusammenfassungen bis hin zur Erklärung komplexer Phänomene wie der Kernverschmelzung in einfachen Worten. Viertens, was uns in gewisser Weise eine gewisse „Intelligenz“ in ChatGPT vermuten lässt, ist seine Fähigkeit, falsche Prämissen zu beanstanden und sich zu weigern, auf unangemessene Fragen zu antworten (beispielsweise können Sie ihn nicht darum bitten, ein Post mit aggressiver und intoleranter Sprache zu schreiben).

Was kann ChatGPT für einen „normalen“ Nutzer im Alltag tun? Er kann verschiedene Texte schreiben: Er kann auf die E-Mail des Chefs antworten, einen Tweet verfassen, dabei helfen, einen Aufsatz zu schreiben (zum Beispiel für die Hausaufgaben eines Kindes – aber nicht nur), erklären, wie man ein Rezept ausführt, um einen ausgezeichneten Kuchen zu backen, aber auch eine falsche Nachricht schreiben. Und das alles kann er in verschiedenen Sprachen tun, was bedeutet, dass er auch einen Text von einer in die andere Sprache übersetzen kann. Darüber hinaus kann er ein Dokument zusammenfassen oder eine Übersicht über ein gewisses Thema von Interesse erstellen, ein Gedicht schreiben (zum gewünschten Thema oder mit bestimmter Schlüsselwörter) und sogar einen Teil des Codes schreiben, um einen Computer zu programmieren.

Kann man ChatGPT also vertrauen? Was sind seine Grenzen? Nach den allerersten als besonders positiv bewerteten Erfahrungen, konnte man insbesondere in sozialen Netzwerken viele Erfahrungsberichte zur Analyse des Outputs von ChatGPT und zum Test seiner Fähigkeiten und der Korrektheit seiner Outputs lesen. Die Menschen haben ChatGPT gebeten, auf Fragen zu bekannten Fakten zu antworten und einige relativ einfache Berechnungen durchzuführen, und mehrmals wurden falsche, ungenaue oder von Sitzung zu Sitzung andere Antworten festgestellt. Dies hat die anfängliche Euphorie für ChatGPT etwas untergraben. Aber ist das vernünftig? Es ist zu berücksichtigen, welche Hauptaufgabe ChatGPT hat und wofür er trainiert wurde, d. h. Texte zu generieren, die mehr oder weniger denen in den meisten Dokumenten entsprechen, mit denen er trainiert wurde. ChatGPT ist keine Enzyklopädie und wurde auch nicht dafür entwickelt.
Schlussendlich sollte man ihm nicht blind vertrauen. Es ist wahr, dass er viele Dinge „weiss“, weil er Unmengen von Texten „gelesen“ hat. Mehr als jeder von uns in seinem Leben lesen wird. Dies bedeutet jedoch nicht, dass er „alles“ weiss (und zudem erfolgte sein Training mit Daten bis zum Jahr 2021 und daher hat er auch offiziell „keine Ahnung“, was danach geschah). Zudem wurde ChatGPT nicht darauf trainiert, über schwierige mathematische und logische Aufgaben nachzudenken oder sie zu lösen. Würden Sie einen Sprachlehrer zu seinen Mathematikkenntnissen auf die Probe stellen? Wahrscheinlich nicht. Warum also ChatGPT darauf testen? Aber jemand könnte sich fragen: Wie ist es also möglich, dass ChatGPT gut zu funktionieren scheint, wenn er aufgefordert wird, einige Rechenaufgaben durchzuführen (zum Beispiel Additionen, aber auch Ableitungen)? Die Wahrheit ist, dass die komplexe Natur seiner zugrunde liegenden Architektur den Nebeneffekt erzeugt, dass ChatGPT mehr tun kann als das, wofür er ursprünglich trainiert wurde. Aber die Wahrheit ist, dass diese mächtige Architektur noch nicht in allen ihren verborgenen Einzelheiten verstanden wurde und heutzutage sogar ein sehr aktives Forschungsfeld darstellt.

Nun aber zurück zu den Texten. Wenn der von ChatGPT generierte Output so überzeugend ist, können wir dann sagen, ob ein Text von ChatGPT oder von einem Menschen generiert wurde? Wir haben die Möglichkeit untersucht, den Autor eines Textes mithilfe eines Algorithmus für automatisches Lernen bei einfachen und kurzen Texten wie Online-Bewertungen von Restaurants zu identifizieren. Man könnte darüber diskutieren, ob Restaurantbewertungen mehr oder weniger dazu geeignet sind, zu untersuchen, ob der Autor ein Mensch oder ChatGPT ist, aber Tatsache ist, dass die Restaurantbewertungen einfach sind: Jeder kann sie schreiben. Es gibt zwei weitere interessante Punkte bei dieser Art von Bewertung: Zunächst sind sie im Allgemeinen recht kurz und ausserdem berücksichtigen wir nur die wirklich kurzen, zum Beispiel die, die nicht länger als zwei Sätze sind, da wir diese Aufgabe für unseren Algorithmus schwierig machen wollen. Wenn wir jemand mit wenig Erfahrung bitten, in ein oder zwei Sätzen über etwas zu sprechen, gibt er uns vielleicht sogar eine augenscheinlich vernünftige Erklärung, wenn wir jedoch dieselbe Person bitten, eine halbe Stunde lang zu sprechen, würden wir mit grösserer Sicherheit verstehen, ob sie Unsinn redet oder nicht.

Auch wenn Restaurantbewertungen weniger wichtig als beispielsweise Gesetzestexte zu sein scheinen, könnte ihr Missbrauch jedoch erhebliche finanzielle Auswirkungen haben. Insbesondere wenn er zur Erstellung falscher Bewertungen in der Restaurantbranche verwendet wird, könnte er den Ruf eines hochwertigen Unternehmens schädigen oder umgekehrt, den Ruf eines minderwertigen Unternehmens fälschlicherweise verbessern und möglicherweise seinen Kunden schaden. Wir haben festgestellt, dass die Unterscheidung zwischen einem von Menschen erstellten Text und ChatGPT ziemlich genau automatisch erfolgen kann. Zudem neigt ChatGPT zu einer ganz eigenartigen Sprache: Sehr formell, höflich, unpersönlich, beschreibt eher Erfahrungen als Gefühle und konzentriert sich auf allgemeine Konzepte, ohne auf Details einzugehen. Menschliche Bewertungen sind viel vielfältiger. Ein Mensch, der von seinem Essen begeistert ist, könnte zum Beispiel nur diesen Aspekt seiner Erfahrung im Restaurant kommentieren, aber mit vielen raffinierten Details über das Gericht (sowie zahlreichen Ausdrücken, um sein Vergnügen zu unterstreichen). Umgekehrt könnte ein Mensch, dem ein Restaurant nicht gefällt, gewagte Metaphern verwenden (zum Beispiel „dieses Steak ist wie eine Schuhsohle“) oder sich sogar zu sehr unhöflichen Bemerkungen über das Restaurant und das Personal hinreissen lassen.

Also, ChatGPT verwenden oder nicht (und wie)? Vielleicht könnte der Rummel um ChatGPT vermieden werden, wenn die Personen, insbesondere die Medien, seine Vorzüge nicht überbetonen und ihm Fähigkeiten zuschreiben würden, die er nicht besitzt. Schliesslich erinnern wir daran, dass ChatGPT von Menschen geschaffen wurde und nicht als Maschine für komplexe und akkurate Rechnungen oder philosophische Überlegungen oder gar als Enzyklopädie wie zum Beispiel Wikipedia entwickelt wurde. ChatGPT kann etwas umschreiben, aber im Gegensatz zum Menschen hat er weder Phantasie noch die Fähigkeit zum abstrakten Denken. Erinnern wir abschliessend daran, dass ChatGPT wie alle Systeme der künstlichen Intelligenz hier ist, um uns zu helfen und nicht, um uns zu ersetzen.