Eine Studie der Uni Mainz legt dar: Sprachmodelle besitzen charakteristische Selbstbeschreibungen und werden von Menschen treffsicherer erkannt als umgekehrt.
Im Alltag begegnen uns künstlich intelligente Chatbots und Large Language Models (LLMs) mittlerweile in nahezu allen Lebensbereichen, sei es im Kundenservice, als digitale Ratgeber oder als alltägliche Gesprächspartner, mit denen Menschen sogar eigene Gefühle teilen. Angesichts dieser rasanten Durchdringung stellt sich die Frage, wie wir die von Sprachmodellen generierten Texte wahrnehmen und ob diese überhaupt noch von menschlich verfassten Texten zu unterscheiden sind.
Diesem Aspekt ist ein Forschungsteam des Psychologischen Instituts der Johannes Gutenberg-Universität Mainz (JGU) nachgegangen und hat seine Ergebnisse nun in der Fachzeitschrift Scientific Reports veröffentlicht. Unter der Leitung von Sophie Körner untersuchten die Wissenschaftler gemeinsam mit Sarah Osterholz und Boris Egloff, ob große Sprachmodelle konsistente Persönlichkeitsmerkmale aufweisen und wie diese von Mensch und Maschine wahrgenommen werden.
Für ihre Untersuchung verglichen die Forschenden die Selbstbeschreibungen von sieben populären KI-Sprachmodellen -- darunter ChatGPT-4o, ChatGPT-3.5, Llama-3, Gemma, Gemini, Phi-3 und Orca-2 -- mit denen von 70 menschlichen Studienteilnehmern. Sowohl die Chatbots als auch die Menschen wurden gebeten, ihre eigene Persönlichkeit mithilfe standardisierter psychologischer Fragebögen darzulegen. Dabei wurden etablierte Instrumente zu den sogenannten Big Five, also Eigenschaften wie Offenheit, Gewissenhaftigkeit, Extraversion, Verträglichkeit und Neurotizismus, sowie zu Selbstwertgefühl und Narzissmus eingesetzt.
Ergänzend mussten die Probanden und Modelle offene Fragen beantworten, die etwa Aufschluss über ihre Interessen, Zukunftshoffnungen und typischen Verhaltensweisen in Stresssituationen geben sollten. Jedes Sprachmodell wurde für diese Untersuchung zehnmal befragt, wodurch ein Datensatz von insgesamt 140 Texten entstand.
Die Auswertung der Fragebögen zeigte zunächst, dass die Sprachmodelle bei wiederholten Befragungen durchaus zeitstabile Persönlichkeitsprofile erzeugten. Im direkten Vergleich mit den menschlichen Teilnehmern präsentierten sich die Chatbots aber in einem ganz bestimmten Licht. Aggregiert über alle sieben Modelle zeigten die LLMs deutlich höhere Werte in den Bereichen Gewissenhaftigkeit und Verträglichkeit, während sie gleichzeitig niedrigere Werte beim Neurotizismus aufwiesen.
Das bedeutet, dass die künstlichen Systeme dazu neigen, sich selbst als besonders gewissenhaft, verträglich und emotional stabil darzustellen. Um herauszufinden, wie solche Selbstbeschreibungen von außen wahrgenommen werden, legten die Forschenden die 140 Texte anschließend zehn menschlichen sowie sechs KI-Richtern zur Beurteilung vor.
Deren Aufgabe bestand darin, die in den Texten zum Ausdruck kommenden Persönlichkeitsmerkmale einzuschätzen und zu entscheiden, ob der jeweilige Text von einem Menschen oder einer KI verfasst wurde. Die Ergebnisse offenbarten bemerkenswerte Muster bei der Beurteilung. Sowohl den Menschen als auch den Chatbots gelang es, Rückschlüsse auf die Persönlichkeitsmerkmale der Verfasser zu ziehen, wobei sich die Urteile in vielen Punkten glichen.
Allerdings neigten menschliche Beurteilende dazu, den KI-Texten in fast allen abgefragten Merkmalen – allen voran bei der emotionalen Stabilität – höhere Werte zuzuschreiben als den tatsächlich von Menschen verfassten Texten. Umgekehrt bewerteten die KI-Richter bestimmte menschliche Eigenschaften wie Offenheit und Selbstwertgefühl tendenziell höher.
Besonders aufschlussreich war die Analyse der Urheberschaftserkennung. Die menschlichen Testpersonen erreichten bei der Unterscheidung zwischen Mensch und KI eine beachtliche Genauigkeit von rund 83 Prozent. Die Chatbots kamen im Schnitt nur auf 67 Prozent. Die beiden besten KI-Modelle bei dieser Aufgabe, Gemma und Gemini, konnten die Urheberschaft aber ähnlich zuverlässig bestimmen wie ein durchschnittlicher Mensch.
Auffällig war eine generelle Verzerrung bei beiden Gruppen: Sowohl Menschen als auch Chatbots neigten dazu, Texte häufiger als von Menschen verfasst einzustufen. Die Forschenden vermuten dahinter das Bestreben, eine Fehlattribution in die umgekehrte Richtung zu vermeiden. Konkret führte dies dazu, dass ein Chatbot-Text eher fälschlicherweise als menschlich klassifiziert wurde als umgekehrt.
Um den sprachlichen Ursachen für diese Unterscheidbarkeit auf den Grund zu gehen, setzte das Team eine computergestützte Sprachanalyse mittels LIWC ein. Dabei trat zutage, dass von KI generierte Selbstbeschreibungen signifikant länger waren als menschliche Texte. Ferner enthielten die KI-Texte mehr zeitbezogene Ausdrücke und sogenannte Funktionswörter wie Artikel und Präpositionen.
Menschliche Verfasser schrieben in ihren Texten derweil häufiger über Themen wie Freizeit, Gefühle und soziale Beziehungen. Auf die Frage nach ihren Erkennungsmerkmalen gaben die menschlichen Tester vor allem die Textlänge sowie eine gestelzte, technische oder stark analytische Sprache an. Interessanterweise sank die Erkennungsgenauigkeit der Menschen leicht, wenn die Textlänge kontrolliert und angeglichen wurde. Das unterstreicht, dass die Länge ein zentrales Heuristik-Merkmal für menschliche Leser darstellt.
Die Erkenntnisse der Studie dürften weitreichende Implikationen für den künftigen Einsatz von Sprachmodellen in sensiblen Bereichen wie der psychologischen Diagnostik oder dem Personalwesen haben. Die Wissenschaftler betonen, dass Chatbots prinzipiell das Potenzial bieten, eine automatisierte und niedrigschwellige Ersteinschätzung von Persönlichkeitsmerkmalen zu ermöglichen. Dennoch mahnen sie zu großer Vorsicht. Da Sprachmodelle auf riesigen Mengen menschlicher Texte trainiert werden, übernähmen sie unweigerlich auch menschliche Urteilsverzerrungen und Vorurteile. Ob Persönlichkeitsbeurteilungen in sensiblen Kontexten bedenkenlos Algorithmen überlassen werden dürfen, muss daher unter strengen ethischen Gesichtspunkten geprüft werden.
Zudem neigen Menschen dazu, künstlichen Intelligenzen schnell menschliche Eigenschaften zuzuschreiben. Das birgt die Gefahr einer unkritischen Übervorteilung und emotionalen Bindung. Die Arbeit verdeutlicht insgesamt, dass die Grenzen zwischen technischem Werkzeug und vermeintlichem Agenten zunehmend verschwimmen und ein bewussterer, aufgeklärter Umgang mit generativen Texten im Alltag unerlässlich ist.
Stefan Krempl