Im "Innenleben" grosser Sprachmodelle der Künstlichen Intelligenz (KI) sind oft zusätzliche Infos enthalten, die in der endgültigen Antwort nicht vollständig sichtbar sind. Forscher der Universitäten Bayreuth und München machen diese mit ihrer eigens entwickelten Methode sichtbar und verbessern somit die KI-Prognosen für Wahlen.
"Der bisherige Forschungsansatz der reinen Analyse der KI-Antwort ist, als würde man nur das Ergebnis eines Taschenrechners betrachten, ohne zu verstehen, wie er gerechnet hat. Wir haben in unserer Studie der KI praktisch beim Denken über die Schulter geschaut", unterstreicht Doktorand Simeon Allmendinger von der Universität Bayreuth.
Die Forscher haben über 24 Millionen Kombinationen diverser Faktoren wie KI-Sprachmodell, Personenmerkmale, Parteienkonstellation und Prompt mit sieben KI-Sprachmodellen für sechs nationale Wahlen betrachtet. Innerhalb der unterschiedlichen Konfigurationen wurde untersucht, welche internen Bereiche der KI aktiviert werden, welche Parteien mit bestimmten Eigenschaften verknüpft werden und wie die Modelle Alter und Bildung verarbeiten.
Soll ein Sprachmodell beispielsweise vorhersagen, welche Partei eine Person wählen würde, und lautet die Antwort "Partei X", können im Inneren des Modells Hinweise darauf enthalten sein, dass die Person eine ähnlich starke Verbindung zu "Partei Y" hat. "Unsere Ergebnisse machen ersichtlich, dass die Modelle mehr über die Zusammenhänge erlernen, als sie im finalen Output preisgeben", ergänzt Niklas Kühl von der Universität Bayreuth.
"Unsere Methode stellt ein ergänzendes Werkzeug dar und ist kein Ersatz für klassische Umfragen. Gerade für unterrepräsentierte Gruppen bleiben echte Befragungen statt KI-Befragungen unverzichtbar", betont Allmendinger. Die Studie ist in Zusammenarbeit mit dem Munich Center for Machine Learning, dem Fraunhofer-Institut für Angewandte Informationstechnik FIT und der University of Maryland entstanden.
KI-Sprachmodelle wie jene von OpenAI sagen die Ergebnisse vieler sozialwissenschaftlicher Experimente zwar erstaunlich gut vorher. Doch ein System, das menschliche Antworten vorhersagen oder imitieren kann, versteht menschliches Verhalten nicht zwangsläufig, kritisieren auch Forscher der Harvard University in ihrer aktuellen Untersuchung.
