Studie: Menschen und KI reagieren ähnlich auf verwirrenden Code

Menschen und KI reagieren ähnlich auf komplexen Programmcode

Forscher der Universität des Saarlandes und des Max-Planck-Instituts für Softwaresysteme haben nachgewiesen, dass Menschen und große Sprachmodelle auf komplexen oder irreführenden programmcode ähnlich reagieren. Wie die Universität am Donnerstag mitteilte, zeigten sowohl menschliche Testpersonen als auch KI-Systeme an denselben Stellen im Code erhöhte Unsicherheit.

Vergleich von Hirnaktivität und KI-unsicherheit

In der Studie verglichen die Wissenschaftler die Hirnaktivität von Probanden mit der Vorhersageunsicherheit von Sprachmodellen.Die Hirnaktivität wurde mit Elektroenzephalografie (EEG) und eye-Tracking gemessen.Dabei stellten die Forscher fest, dass die sogenannte „Late Frontal Positivity“ im Gehirn genau dort anstieg, wo auch die KI-Modelle Unsicherheitssprünge zeigten.

Nach Angaben der Universität war die Übereinstimmung zwischen der menschlichen hirnaktivität und der Unsicherheit der Sprachmodelle signifikant.

Neues Verfahren zur Erkennung unklarer Code-Stellen

Auf Basis dieser Erkenntnisse entwickelten die Forscher ein datengetriebenes Verfahren, das unklare Stellen im Code automatisch erkennt. In Tests identifizierte der Algorithmus über 60 Prozent der bekannten verwirrenden Strukturen und entdeckte mehr als 150 neue Muster im Programmcode.

studie bei internationaler Fachkonferenz angenommen

Die aktuell als Preprint veröffentlichte Studie wurde bei der „International Conference on Software Engineering“ (ICSE), einer Fachkonferenz im Bereich der Softwareentwicklung, zur Veröffentlichung akzeptiert. Die ICSE wird im April 2026 in Rio de janeiro stattfinden.