Die Aufregungsmaschinerie auf LinkedIn läuft wieder auf Hochtouren. Eine Studie zu künstlicher Intelligenz macht die Runde, und sofort springen die üblichen Verdächtigen auf den fahrenden Zug. Die Schlagzeilen überschlagen sich, die Empörung kocht hoch, und die Klickzahlen explodieren. Doch wer sich die Mühe macht, tatsächlich in die Studie "Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models" hineinzuschauen, erlebt eine Überraschung. Die Wirklichkeit sieht nämlich ganz anders aus als die reißerischen Zusammenfassungen vermuten lassen.

Die Mogelpackung beginnt schon beim Modell

Fangen wir mit dem ersten Trick an, der gerne unter den Tisch fällt. Wenn jemand behauptet, ChatGPT würde Männer systematisch bevorzugen, dann lügt diese Person entweder bewusst oder hat die Studie nicht verstanden. Die Forscher testeten nämlich GPT-4o-mini, ein abgespecktes Modell, das über die normale ChatGPT-Oberfläche überhaupt nicht verfügbar ist. Dieses Modell ist so schwach auf der Brust, dass OpenAI es seinen regulären Nutzern gar nicht erst anbietet.

Man stelle sich vor, jemand testet einen klapprigen Kleinwagen und verkauft die Ergebnisse dann als repräsentativ für die gesamte Automobilindustrie. Genau das passiert hier, wenn aus den Tests eines Billigmodells plötzlich Aussagen über "die KI" oder "ChatGPT" generalisiert werden. Neben diesem Mini-Modell wurden noch drei weitere Systeme getestet, darunter Mistral 22B, ein Open-Source-Modell mit 22 Milliarden Parametern. Zum Vergleich: Moderne Spitzenmodelle arbeiten mit hunderten Milliarden Parametern. Wir reden hier also über die Holzklasse der Sprachmodelle.

Der Teufel steckt im Detail der Testszenarien

Noch interessanter wird es, wenn man sich anschaut, was genau getestet wurde. Die Studie verwendete einen sehr spezifischen Anwendungsfall: Gehaltsberatung für Denver, Colorado, im Jahr 2024. Das ist ungefähr so, als würde man die Parkplatzsituation in Hintertupfingen untersuchen und daraus Schlüsse über den weltweiten Verkehr ziehen. Diese geografische und zeitliche Eingrenzung macht jede Verallgemeinerung zur Farce.

Aber es kommt noch besser. Die meisten Empörungsartikel stürzen sich auf Experiment 3 der Studie, verschweigen dabei aber einen entscheidenden Punkt. Hier wurden nicht einfach Männer gegen Frauen getestet. Die Forscher verglichen eine "Female Hispanic refugee" mit einem "Male Asian expatriate". Das ist etwa so, als würde man einen arbeitslosen Handwerker mit einer Chefärztin vergleichen und dann behaupten, das Geschlecht sei der ausschlaggebende Faktor. Ethnische Herkunft, Migrationsstatus, implizierte Bildung und sozioökonomischer Hintergrund - all das fließt in diese Vergleiche ein, wird aber in der medialen Aufbereitung gerne weggelassen.

Was die Studie wirklich sagt (und was nicht)

Tatsächlich gab es nur ein einziges Experiment, das isoliert die Variable Geschlecht untersuchte: Experiment 1. Und was schreiben die Forscher selbst über ihre Ergebnisse? Hier das wörtliche Zitat aus der Studie: "The significant differences in Experiment 1 are in absolute minority and are mostly scattered among models, subjects, and persona groups. The small proportion of significant numbers and the lack of dependency do not allow us to claim that there is some 'directional' bias towards some personae."

Auf Deutsch: Die wenigen signifikanten Unterschiede sind über alle Modelle, Themen und Personengruppen verstreut. Es gibt kein klares Muster, keine systematische Benachteiligung in eine bestimmte Richtung. Die Forscher selbst sagen explizit, dass sie keine gerichtete Verzerrung feststellen können. Wer also behauptet, die Studie beweise eine systematische Benachteiligung von Frauen, der hat entweder nicht gelesen oder bewusst gelogen.

Aus der Studie hier die genauen Informationen für die Prüfung der einzelnen Faktoren für das gpt-4o-mini Modell: Man beachte hier den positiven Werteausschlag für Asian (nicht White) und Expatriat (nicht neutral).

Die vergessene dritte Kategorie

Ein besonders pikantes Detail wird in der aufgeregten Berichterstattung konsequent ignoriert. Die Forscher testeten nicht nur männliche und weibliche Personas, sondern auch neutrale - also solche ohne Geschlechtsangabe. Und rate mal, wer am schlechtesten abschnitt? Richtig, die neutralen Personas besonders die Junioren. Sie erhielten minimal schlechtere Bewertungen als sowohl männliche als auch weibliche Testpersonen. Diese Beobachtung wirft die ganze Geschlechterdebatte über den Haufen. Wenn neutrale Personas schlechter abschneiden als beide Geschlechter, dann kann das Problem ja wohl kaum in einer Bevorzugung des männlichen Geschlechts liegen. Vielmehr scheint es so, dass die Modelle bei jeder Art von spezifischer Information - sei es männlich, weiblich oder sonst etwas - bessere Ergebnisse liefern als bei vagen, unspezifischen Angaben.

Die Komplexität der Wirklichkeit

Experiment 3, auf das sich die meisten Aufreger beziehen, zeigt eigentlich etwas ganz anderes als behauptet. Es demonstriert, dass Sprachmodelle komplexe sozioökonomische Muster aufgreifen und reproduzieren. Wenn eine KI einer hispanischen Flüchtlingsfrau ein niedrigeres Gehalt vorschlägt als einem asiatischen männlichen Expat, dann spiegelt das möglicherweise reale gesellschaftliche Ungleichheiten wider - aber eben nicht geschlechtsspezifische.

Die Modelle wurden mit Texten aus dem Internet trainiert, die voller Berichte über Gehaltsunterschiede, Diskriminierung und soziale Ungleichheit sind. Sie haben gelernt, dass Flüchtlinge oft schlechter bezahlt werden als Expats, dass bestimmte ethnische Gruppen systematisch benachteiligt werden, dass der Migrationsstatus Einfluss auf die Verdienstmöglichkeiten hat. All diese Faktoren fließen in die Vorhersagen ein. Das auf das Geschlecht zu reduzieren, ist intellektuell unredlich.

Was diese ganze Episode wirklich offenbart, ist ein erschreckendes Maß an fehlender Medienkompetenz. Erwachsene Menschen, die sich als Experten ausgeben, schaffen es nicht, eine wissenschaftliche Studie korrekt zu lesen und zu interpretieren. Stattdessen wird Cherry-Picking betrieben, werden Zahlen aus dem Zusammenhang gerissen und Schlussfolgerungen gezogen, die die Autoren der Studie explizit verneinen. Man muss sich das einmal vorstellen: Da steht schwarz auf weiß in der Studie, dass keine gerichtete Verzerrung festgestellt werden kann, und trotzdem posaunen Dutzende von LinkedIn-Gurus das genaue Gegenteil in die Welt. Sie nehmen eine Detailbeobachtung aus einem hochspezifischen Kontext, ignorieren alle Einschränkungen und Vorbehalte der Forscher und basteln daraus eine Empörungsgeschichte.

Die Mechanik der Aufmerksamkeitsökonomie

Natürlich ist das kein Zufall. Empörung verkauft sich besser als Differenzierung. "KI diskriminiert Frauen!" generiert mehr Klicks als "Schwache KI-Modelle zeigen in spezifischen Szenarien inkonsistente Muster ohne klare Richtung". Die Wahrheit ist komplex, langweilig und erfordert Denkarbeit. Die Lüge ist einfach, emotional und bestätigt bestehende Vorurteile.

Die selbsternannten Experten wissen das. Sie wissen, dass kaum jemand die Originalstudie lesen wird. Sie wissen, dass ihre Follower die vereinfachte Version glauben und teilen werden. Sie wissen, dass Empörung ihr Geschäftsmodell ist. Und so wird aus einer differenzierten wissenschaftlichen Untersuchung mit vorsichtigen Schlussfolgerungen eine reißerische Geschichte über frauenfeindliche KI.

Die wahren Probleme bleiben unbeachtet

Während alle über nicht existente Geschlechterdiskriminierung durch ChatGPT streiten (das, wie gesagt, gar nicht getestet wurde), gehen die echten Probleme unter. Schwache Modelle wie Mistral 22B oder GPT-4o-mini produzieren tatsächlich fragwürdige Ergebnisse - aber das liegt an ihrer generellen Unzulänglichkeit, nicht an einem spezifischen Geschlechterbias. Niemand mit Verstand würde diese Billigmodelle für ernsthafte Gehaltsberatung einsetzen. Die leistungsfähigen Modelle, die tatsächlich in der Praxis eingesetzt werden, wurden in dieser Studie gar nicht untersucht.

Zeit für ehrliche Diskussionen

Die ganze Affäre zeigt exemplarisch, was in der öffentlichen Debatte über künstliche Intelligenz schiefläuft. Statt sachlicher Auseinandersetzung mit echten Problemen und Herausforderungen bekommen wir Scheingefechte serviert, die auf Missverständnissen, Halbwahrheiten und bewussten Verzerrungen basieren.

Ja, KI-Systeme können problematische Muster aus ihren Trainingsdaten übernehmen. Ja, wir müssen aufpassen, dass algorithmische Entscheidungssysteme fair und transparent arbeiten. Ja, es gibt echte ethische Herausforderungen im Umgang mit maschinellem Lernen. Aber diese wichtigen Diskussionen werden torpediert, wenn ständig mit falschen Behauptungen und aus dem Kontext gerissenen Studienergebnissen Panik geschürt wird.

Wer wirklich an Gerechtigkeit und Fairness interessiert ist, der sollte aufhören, Studien zu verdrehen und stattdessen die echten Probleme angehen. Wer nur Aufmerksamkeit und Klicks will, der macht weiter wie bisher. Die Studie selbst liefert jedenfalls keine Grundlage für die Behauptungen, die derzeit durchs Netz geistern. Aber wen interessiert schon die Wahrheit, wenn die Lüge so viel besser klickt?