Ist der Mensch in der Lage, Texte einer künstlichen Intelligenz von Texten menschlicher Verfasser zu unterscheiden? 

Gleb Grinich

Maximilian Wucherpfennig

Abstract 

Diese Studie soll helfen zu verstehen, ob Menschen von künstlicher Intelligenz generierte Texte zuverlässig erkennen können und woran sie diese erkennen. Es wird spezifisch untersucht welche Rolle die Satzkomplexität nach Szmrecsanyi 2004 spielt. Um die Rolle der Satzkomplexität zu verstehen, verwendeten wir eine Umfrage. In der Umfrage mussten die Befragten mehrfach angeben, wie wahrscheinlich es für sie ist das die Sätze von einer Künstlicher Intelligenz generiert wurden. Die Sätze in der Umfrage variieren jeweils in der Satzkomplexität. 

1 Einleitung 

Künstliche Intelligenz entwickelt sich immer weiter und findet immer neue Anwendungsbereiche. Das hat erstmal einen positiven Effekt, da die künstliche Intelligenz uns dadurch viele Arbeiten erleichtert. Zum anderen ist es aber auch ein Grund zur Sorge, wenn wir von künstlicher Intelligenz generierte Texte, Informationen usw. nicht mehr von Menschen geschriebenen Texten unterscheiden können führt das zu einem Vertrauensbruch. Ist das ein echter Erfahrungsbericht aus dem Journalismus oder wurde der Bericht von einer künstlichen Intelligenz generiert, ist das ein qualitativ hochwertiger Text mit menschlicher Recherche oder wurde er von einer künstlichen Intelligenz verfasst, die Quellen halluziniert hat und Falschinformationen verbreitet. Die Kernfrage dieser Studie ist, ob wir eine Chance haben anhand von der Satzkomplexität nach Szmrecsanyi 2004 die von künstlicher Intelligenz generierten Texte von Menschlichen Texten zu unterscheiden. Die Hypothese, dass Menschen die Texte anhand der Satzkomplexität unterscheiden können, basiert auf Daniel R. Fredrick’s 2025 veröffentlichter Studie. 

2 Literaturübersicht 

Künstliche Intelligenz ist in der heutigen Gesellschaft eines der prominentesten Themen, sie hilft uns alle Arten von Aufgaben zu lösen und oder zu vereinfachen dennoch entstehen durch künstliche Intelligenzen auch neue Probleme. Mit einem dieser Probleme beschäftigen sich Daniel R. Fredrick* and Laurence Craven* 2025. In ihrer Studie wird untersucht, wie sich die Texte von ChatGPT und L2 Englisch Sprechern Unterscheiden. Außerdem wird die Problematik offengelegt, was es für folgen hat, wenn Schüler vermehrt, künstliche Intelligenz benutzten, um ihre Texte zu schreiben. Das Hauptproblem ist, dass der Lernprozess ausfällt aber auch kritisches Denken und komplexes Sprachverständnis werden geschwächt. Unsere Studie möchte herausfinden, ob Lehrer eine Chance haben zu bemerken, dass Schüler künstliche Intelligenz verwenden. Der Schwerpunkt liegt dabei auf der Satzkomplexität, welch in dem Paper von Szmrecsanyi 2004 beschrieben und erklärt wird. In diesem Text wird geschildert, dass es eindeutig zu bestimmen sei, wie man die Komplexität des Satzes bestimmt. Eine Möglichkeit wäre nach ihm, schlicht die Wörter zu zählen. Oftmals ist diese Herangehensweise nicht ausreichend. Als Alternative führt Szmrecsanyi einen so genannten Index of syntactical complexity (ISC), der die Anzahl der Nebensätze, Anzahl der Who-Pronomen, Nomen und Verben berücksichtigt. Dabei werden die Nebensätze und Who-Pronomen mit dem Koeffizienten 2 gezählt. Die Formel für den ISC setzt sich folgendermaßen zusammen: 

ISC(U)= 2(u,SUB) + 2(u,WH)+ n(u,VF) + n(u, NP)  

3 Methodik 

In diesem Projekt haben wir eine soziale Umfrage herangezogen. Die Umfrage zielte darauf ab, herauszufinden, ob ein komplexer Satzbau und eine gehobene Ausdrucksweise den Eindruckt hinterlässt, dass der Satz von einer künstlichen Intelligenz generiert worden ist. Dabei haben wir drei Paare von Sätzen gebildet. Hierbei hat jedes Sätzepaar eine äquivalente Bedeutung. Ein Satz ist jedoch deutlich komplizierter gebildet: er enthält zum einen Neben- und Bedingungssätze, außerdem ist die Wortwahl in manchen Sätzen gehobener oder literarischer gewählt. Beispielhafte Sätze waren: “If you spend a lot of time reading through stirring literature pieces, you are capable to recover your mental health, reduce the stress and feel delighted.”, Die Komplexität der Sätze wurde mit dem Index of syntactical complexity (im weiteren Verlauf als ISC abgekürzt) bestimmt. Die Teilnehmer können dabei auf einer Skala von eins bis fünf jeden Satz einzeln bewerten, wie wahrscheinlich sie es finden, ob der Satz von einer künstlichen Intelligenz erstellt worden sei. Dabei bedeutet die Eins eine sehr geringe Wahrscheinlichkeit und die Fünf eine sehr große Wahrscheinlichkeit für einen KI-Einsatz. 

4 Ergebnisse: 

Die Umfrage wurde von insgesamt 27 Teilnehmern beantwortet. 

Die ersten beiden Sätze der Umfrage lauteten: “Reading books is a perfect activity to relax” bzw. “If you spend a lot of time reading through stirring literature pieces, you are capable to recover your mental health, reduce the stress and feel delighted”. 

Der erste Satz enthält 8 Wörter und besitzt einen ISC von 5. 

Der zweite Satz ist aus syntaktischer Hinsicht komplexer aufgebaut. Er besitzt einen If- Nebensatz, enthält insgesamt 26 Wörter, damit hat er einen ISC von 14.  

Laut der Umfrage hat der erste Satz eine deutlich höhere Tendenz der Probanden, der Satz sei von einem Menschen verfasst worden. 37% haben mit der Angabe “1” und 25,9% mit der Angabe “2” abgestimmt. Bei dem zweiten, komplexen aufgebauten Satz liegen die Ergebnisse mit 40,7% bei Angabe “4” und mit 18,5% bei der Angabe “5”.  

Bei den nächsten zwei Sätzen “You can not only expend the vocabulary but also train your imagination and patience by learning foreign languages.” und “Considering the imaginative capacity and perseverant score, foreign languages indicate such a good methodic to fulfill the lack of it.” sind syntaktische Unterschiede im Vergleich zu den ersten Sätzen deutlich. 

Satz eins enthält 18 Wörter und hat einen ISC von 9. 

Währenddessen hat Satz zwei 20 Wörter und hat einen ISC von 10. Die Wortwahl ist bei dem zweiten Satz jedoch komplexer und wirkt zum Teil professioneller (vgl. “perseverant score” oder “indicate”. Die Umfrageergebnisse des dritten Satzes sind gespalten. Der Anteil der Angaben “1” und “2” liegt bei 44,4%, der Anteil der Angaben “4” und “5” liegt bei 37%. Bei dem vierten Satz liegt der Antei der Antworten “1” und “2” bei 22,2% und der Anteil der Antworten “4” und “5” liegt bei 59,2%. Dies könnte ein Indiz dafür sein, dass Probanden einen Satz mit einer komplexen und professionellen Ausdrucksweise wahrscheinlicher als KI generiert rezipieren.  

Bei den letzten zwei Sätzen sind die Ergebnisse jedoch anders ausgefallen. Der fünfte Satz “Walking through the beautiful landscape, I feel very calm and admired”.  

Dieser Satz enthält 11 Wörter und verfügt über einen ISC von 3. Die meisten Antworten sind zwischen den Angaben “1” und “2” bei 66,6% ausgefallen. Der Anteil der Angaben “4” und “5” lag bei 18,5%. Obwohl dieser Satz eine geringe syntaktische Komplexität sowie eine geringere Wörteranzahl aufweist, sind die Stimmen dafür das der Text von einer künstlichen Intelligenz generierte wurde deutlich höher ausgefallen. Dies könnte daran liegen, dass der Satz ziemlich neutral im Vergleich zum letzten Satz klingt. Der zweite Satz lautete “When I’m strolling throw the beauty of gorgeous and fabulous wood, this unforgettable feeling makes me appeased and elated”. 

Dieser Satz enthält 20 Wörter und hat einen ISC von 10. Der Anteil der Angaben “1” und “2” ist bei 55,5% ausgefallen. Der Anteil der Antworten “4” und “5” war bei 37%. Obgleich dieser Satz über mehr Wörter verfügt, haben die Ergebnisse ergeben, dass die Mehrheit der Probanden ihn als menschenverfasst wahrgenommen haben. Dies könnte darauf zurückzuführen sein, dass diesem Satz durch die Adjektive “gorgeous”, “elated” und “fabuluos” ein märchenhafter, literarischer Charakter verliehen wird. Dies könnte die Probanden veranlasst haben, den Satz als Menschen geschrieben einzustufen, weil künstlerische und literarische Sprache oft mit realen Menschen wie Bücherautoren in Verbindung gebracht werden. 

5 Diskussion 

Abschließend lässt sich sagen, dass unsere These überwiegend bestätigt wurde. Die durchgeführte Umfrage hat ergeben, dass eine größere syntaktische Komplexität bei den Probanden oft den Eindruck erzeugt hat, dass der Satz von einer künstlichen Intelligenz generiert worden ist.  

Jedoch sind bei der Umfrage auch Ambiguitäten hervorgetreten. Die Syntax scheint in der Umfrage nicht der einzige Faktor zu sein, anhand dessen die Probanden ihn als von einer künstlichen Intelligenz generiert wahrnehmen. Unter anderem führten Professionelle und fachspezifische Lexika bei der Umfrage dazu, dass der Satz weniger natürlich klang. Aus diesem Grund stimmten viele für einen KI generierten Satz ab. 

Auffällig ist außerdem, dass literarische und gehobene Sprache bei den Probanden das Gegenteil erzeugt hat. Diese wirkte offenbar authentischer als professionelle Lexika. Demnach haben viele dafür gestimmt, der Satz sei von einem Menschen verfasst worden.  

Es ist auch wichtig zu erwähnen, dass Texte, welche von künstlicher Intelligenz generiert wurden, sich auch in anderen Gesichtspunkten als nur dem der Satzkomplexität unterscheiden. Damit befasste sich die Studie von Daniel R. Fredrick and Laurence Craven (2025). Sie kamen aber auch zu dem Ergebnis das die Satzkomplexität, beziehungsweise die syntaktische Verschachtelung bei den Texten einer künstlichen Intelligenz höher ist. 

Zusammenfassend lässt sich sagen, dass die KI generierte Sprache ein vielseitiges und komplexes Thema ist. Es betrifft mehrere Bereiche der Linguistik, sowohl die Syntax als auch die Lexika. In Zeiten der voranschreitenden Weiterentwicklung der Algorithmen der künstlichen Intelligenz wird es zunehmend herausfordernder, die KI generierte Sprache von der menschlichen Sprache zu unterscheiden. Jedoch bleiben die Authentizität und die Harmonie des menschlichen Ausdrucks das entscheidende Merkmal, das uns Menschen in unserem Wesen ausmacht und unersetzlich macht.  

Quellen: 

Daniel R. Fredrick und Laurence Craven “Lexical diversity, syntactic complexity, and readability: a corpus-based analysis of ChatGPT and L2 student essays.” 

Benedikt M. Szmrecsányi “On Operationalizing Syntactic Complexity”