Aus dem Unerwarteten lernen

Überraschende und unerwartete Ereignisse – ein Bösewicht in einem Film, der plötzlich eine mitfühlende Geste macht, ein Präsidentschaftskandidat, der gewinnt, obwohl seine Freunde dachten, er würde verlieren, oder ein lang vermisster Freund, den man im Urlaub in einem fernen Land trifft – lösen natürliche Reaktionen in unserem Körper aus. Diese Reaktionen sind eine Kombination aus Gedanken und Verhaltensweisen und könnten in diesen Beispielen bedeuten, dass wir den Filmregisseur besser kennenlernen, unseren sozialen Kreis überdenken oder eine alte Freundschaft wieder aufleben zu lassen.

Mit solchen Reaktionen beschäftigen sich die Wissenschaftlerinnen und Wissenschaftler des Labors für Computational Neuroscience der EPFL unter der Leitung von Wulfram Gerstner. Obwohl in den Neurowissenschaften und der Psychologie bereits viel darüber geforscht wurde, wie das Gehirn auf Überraschungen und Neuheiten reagiert und welche Auswirkungen dies auf das Verhalten hat, bleiben viele Fragen offen. So ist beispielsweise nicht klar, was genau mit «Überraschung» und «Neuheit» gemeint ist und wie sich diese Situationen auf bestimmte Gehirnfunktionen auswirken.

Alireza Modirshanechi, derzeit Postdoc am Helmholtz-Zentrum München, untersuchte diese Fragen im Rahmen seiner Doktorarbeit in Gerstners Labor mit Hilfe von künstlicher Intelligenz (KI). Er stellte verschiedene Definitionen von Überraschung zusammen, um einen Algorithmus zu entwickeln, der vorhersagen kann, wie Menschen auf überraschende und neuartige Situationen reagieren werden. Der Algorithmus beschreibt im Wesentlichen einen intelligenten Agenten, der einen Menschen nachahmt und verschiedene Aufgaben (in den von den Forschenden durchgeführten Experimenten) mit denselben Ergebnissen wie die menschlichen Teilnehmenden ausführen kann. «Durch das Verständnis des Algorithmus können wir Einblicke in die Funktionsweise des menschlichen Gehirns und der Kognition gewinnen», sagt Modirshanechi. Dies ebnet den Weg zu einem besseren Verständnis von Lern-, Gedächtnis- und Entscheidungsprozessen. Für seine Doktorarbeit erhielt er den Dimitris N. Chorafas Foundation Award der EPFL für das Jahr 2024.

18 mathematische Definitionen von Überraschung und Neuartigkeit

Die erste Herausforderung, der sich Modirshanechi gegenübersah, bestand darin, einen Weg zu finden, «Überraschung» für einen intelligenten Agenten zu definieren. Der Grundgedanke ist, dass der Agent, der den Menschen nachahmen soll, in Situationen überrascht sein sollte, in denen der Mensch überrascht ist. Auf der Grundlage klassischer Experimente in der Verhaltensforschung entwickelte Modirshanechi eine Taxonomie von 18 mathematischen Definitionen von Überraschung und Neuheit, die er in den intelligenten Agenten einprogrammierte. In einigen dieser Experimente wurden menschliche Teilnehmer gebeten, Sätze zu lesen, die Wörter enthielten, die entweder als erwartet oder als unerwartet eingestuft wurden; in anderen hörten die Teilnehmenden eine Reihe sich wiederholender Töne, die plötzlich durch ein seltsames Geräusch unterbrochen wurden. Und in wieder anderen Fällen wurden die logischen Vorhersagen der Teilnehmer durcheinander gebracht – sie erwarteten, dass X eintritt, aber stattdessen trat Y ein. Modirshanechis Taxonomie mathematischer Definitionen dient dazu, zu bewerten, wie sich ein intelligenter Agent in solchen Situationen «überrascht» fühlt – eine Information, die Forschenden schliesslich helfen kann, besser zu verstehen, wie Menschen auf überraschende und neuartige Ereignisse reagieren.

Modirshanechi setzte mathematische Methoden ein, um die Ähnlichkeiten und Unterschiede zwischen den 18 Definitionen und die Bedingungen, die sie ununterscheidbar machen, zu untersuchen. Anschliessend skizzierte er einen einheitlichen Rahmen für den systematischen Vergleich verschiedener Ansätze zur Quantifizierung von Überraschung und der Auswirkungen dieser Emotion auf das Gehirn. Sein Algorithmus unterscheidet zwischen «Überraschung» als Modulator der Lerngeschwindigkeit und «Neuheit» als Treiber der zielgerichteten Exploration.

Testen Sie die Vorhersagen des Algorithmus an Menschen

«Neues kann überraschen, aber auch erwartet werden», sagt Modirshanechi: «Wenn man zum Beispiel zum ersten Mal eine Sonnenfinsternis sieht, ist das eine neue Erfahrung, aber auch eine erwartete, denn man hat in den Nachrichten von der Sonnenfinsternis gehört. Wenn hingegen Ihre Mutter, die in einem anderen Land lebt, plötzlich an Ihre Tür klopft, wäre ihr Besuch zwar keine neue Erfahrung, aber eine überraschende. In unserer Forschung haben wir dies mathematisch quantifiziert und eine Unterscheidung zwischen Überraschung, die den Lernprozess beschleunigt, und Neuartigkeit, die die Exploration vorantreibt, getroffen. Wir haben diese Signale im Gehirn voneinander getrennt.

Der nächste Schritt bestand darin, die Vorhersagen des Algorithmus mit dem tatsächlichen Verhalten von Menschen zu vergleichen. Zu diesem Zweck arbeitete Modirshanechi mit dem EPFL-Labor für Psychophysik unter der Leitung von Michael Herzog zusammen, um Verhaltens- und Elektroenzephalographie-Daten zu analysieren, die während kognitiver Experimente mit menschlichen Teilnehmenden gesammelt wurden. Er fand heraus, dass sowohl Überraschung als auch Neuartigkeit entscheidende Faktoren für das menschliche Verhalten in unbeständigen Umgebungen mit spärlichen Belohnungen sind. 60 bis 80 % der Entscheidungen der Teilnehmer wurden vom Algorithmus erfolgreich vorhergesagt», sagt Modirshanechi.

«Unser Ziel ist es nicht, ein KI-System zu schaffen, das besser funktioniert als der Mensch, sondern ein System zu entwickeln, das dem menschlichen Verhalten besser entspricht, um unser Verständnis des Gehirns zu verbessern», erklärt er: «Jeder weiss, dass ein Apfel zu Boden fällt, wenn man ihn fallen lässt. Aber Newton fand eine mathematische Formel, um diesen Vorgang zu beschreiben. Wir haben einen Algorithmus entwickelt, der vorhersagen kann, wann und wie sehr Menschen überrascht werden, und wir können die Gleichung erklären, nach der Menschen schneller lernen, wenn sie überrascht werden.»

Darüber hinaus bietet Modirshanechis Algorithmus eine Grundlage für weitere Forschungen: «EEG-Daten deuten zum Beispiel darauf hin, dass Menschen mit Schizophrenie Überraschungen anders wahrnehmen als Menschen in Kontrollgruppen», sagt er, «aber wir wissen nicht, inwieweit ihre Wahrnehmung anders ist. Unsere mathematische Formel kann das quantifizieren. Sie kann auch zur Beantwortung anderer Fragen verwendet werden: Lernen schizophrene Patienten langsamer, weil sie sich nicht überrascht fühlen? Suchen sie weniger effektiv nach Informationen, weil sie keine neuen Erfahrungen machen? Mit unserem Algorithmus können Wissenschaftlerinnen und Wissenschaftler Experimente entwerfen, um diese Art von Hypothesen zu testen.»

Anwendungen in anderen Bereichen

Der Algorithmus lässt sich auch in anderen Bereichen anwenden. In der Bildung können Lehrer ihn beispielsweise nutzen, um zu erforschen, wie Überraschungen den Lern- und Gedächtnisprozess verstärken können.

Modirshanechis Forschung leistet ebenfalls einen wichtigen Beitrag zum Bereich der KI: «Die meisten Algorithmen, die heute existieren, basieren auf stabilen Umgebungen», sagt er, «aber in der realen Welt ändern sich die Dinge ständig. Ingenieurfachleute müssen in der Lage sein, den Faktor 'Überraschung' in ihre Modelle einzubeziehen, um sie zuverlässiger und sicherer zu machen. Ich denke, die Zeit ist reif, dieses Problem anzugehen und die nächste Generation von KI-Programmen zu entwickeln.»