Gerade als die Anzahl der Zitate zu Schnelles Denken, langsames Denken/1/ zu verebben scheint, hat Daniel Kahneman ein neues, großes Buch veröffentlicht, das sicherlich viel gelesen und zitiert werden wird. Zusammen mit dem HEC-Professor Olivier Sibony und dem Harvard-Professor Cass Sunstein geschrieben, ist Kahnemans Noise: Was unsere Entscheidungen verzerrt /2/ ein lesenswertes Werk über ein wenig erkanntes menschliches Problem, nämlich dass professionelle Urteile und Entscheidungen ein inakzeptables Maß an Varianz enthalten, obwohl wir erwarten, dass sie fair, durchdacht und überlegt sind. Der Ausmaß des Noise/3/ in unserer Welt hat tiefgreifende Auswirkungen auf Gesellschaft und Organisationen. Glücklicherweise bieten Kahneman et al. praktikable Abhilfemaßnahmen an. Ihre Schlussfolgerungen zeigen einmal mehr, wie strukturierte Zusammenarbeit in Teams menschliche Fehlbarkeit ausgleichen kann.
[English Version]
In seiner früheren Arbeit beschrieb Kahneman psychologische Verzerrungen (Bias) als individuelle, fehleranfällige Heuristiken, die das Denken prägen. Noise dagegen ist „die unerwünschte Variabilität von Urteilen“. Es ist die systematische Varianz sowohl innerhalb eines Individuums als auch innerhalb von Organisationen, die auf Fehler hinausläuft. Um den Unterschied zwischen Bias und Noise zu verdeutlichen, präsentieren sie Bernoullis klassisches Zieldiagramm (s. Abb. 1). Während Verzerrungen das Ziel systematisch in derselben Richtung verfehlen, streut Noise weit um das Ziel herum. Natürlich kann ein Beurteilungsproblem für beides gleichzeitig anfällig sein.
Was ist Noise?
 |
| Abb. 1: Bernoullis Zielscheibe: Bias vs. Noise |
Das Anliegen der Autoren ist das menschliche Urteilsvermögen, also jede Situation, in der eine Person evaluiert, beurteilt, vorhersagt oder entscheidet: „Urteilsvermögen ist eine Messung, bei der das Instrument der menschliche Verstand ist“. Wir verlassen uns in hohem Maße auf Urteile. Die Autoren nennen zahlreiche Beispiele: Richter in Gerichten, Manager, die Investitionen bewerten, forensische Analysten, die Fingerabdrücke vergleichen, die Risikoprüfer, die Versicherungstarife berechnen, Personalabteilungen, die Stellenbewerber bewerten, Lehrer, die Schüler benoten usw. Wie diese Beispiele zeigen, sind Urteile wichtig, weil sie sozial sind; sie kommen in sozialen und politischen Institutionen und in Organisationen aller Art vor; und sie haben reale Konsequenzen für die Beteiligten. (Anmerkung: Die Autoren verwenden das Wort „Richter“ als Begriff für jede Person, die ein Urteil fällt, nicht nur für Richter in einem Gerichtssaal).
Warum Noise wichtig ist
Die Autoren behaupten, dass Noise allgegenwärtig ist. Es kann große Ausmaße annehmen. Es kann finanziell und menschlich kostspielig sein (Reputationsverlust usw.). Und, es kann unser Vertrauen in die Institutionen untergraben, die mit der Urteilsfindung beauftragt sind. Sie zitieren ungeheuerliche Beispiele, in denen Menschen, die wegen ähnlicher Verbrechen verurteilt wurden, sehr unterschiedliche Urteile erhielten. Als gute Wissenschaftler zitieren sie nicht nur Beispiele, sondern eine Studie nach der anderen, sogar Metastudien mit Hunderttausenden von z.B. Gerichtsfällen, die eine große Varianz in den Urteilen zeigen. In finanziellen Kontexten, wie Versicherungsabschlüssen oder Investitionsentscheidungen, signalisieren sie riesige Spannen für Kosten und Preisgestaltung. Denjenigen, der argumentiert, „aber wenn der Preis manchmal zu niedrig und manchmal zu hoch ist, gleicht sich das aus“, weisen sie darauf hin, dass sich der Fehler nicht mittelt, sondern summiert: Ein niedriger Preis lässt Geld auf dem Tisch liegen, und ein hoher Preis veranlasst die Kunden, woanders hinzugehen.
Das Buch wirbt dafür, Noise zu reduzieren. Einige Methoden dafür gibt es bereits. Das Nutzen von Richtlinien zum Beispiel ist eine einfache Methode zur Strukturierung von Urteilen, die Noise drastisch reduzieren, indem sie enge Entscheidungsgrenzen vorschreiben. Andere Techniken, z. B. Regressionsanalysen oder KI-Algorithmen, reduzieren Noise und übertreffen menschliche Richter durchweg. Dies gilt insbesondere bei prädiktiven Urteilen, wenn sie daran gemessen werden, ob eine Vorhersage eintrifft (z. B. ob ein neuer Mitarbeiter mehrere Jahre im Unternehmen bleibt). Dies ist seit den 1950er Jahren bekannt und wurde in Hunderten von Studien zu einer Vielzahl von Themen bestätigt./4/ Dennoch lehnen wir es im Allgemeinen ab, starre Regeln zu befolgen oder das Urteilsvermögen an Maschinen abzugeben, selbst in Fällen, in denen Maschine bessere Vorhersagen oder konsistentere Ergebnisse liefern./5/
Menschen sind einfach fehlerhaft: Wir sind anfällig für die von Kahneman u.a. katalogisierten Verzerrungen. Wir verfallen der „Illusion der Gültigkeit“, was bedeutet, dass wir die verfügbaren Beweise mit unserer Fähigkeit verbinden, zukünftige Leistungen vorherzusagen. Da wir die Zukunft nicht kennen, gibt es grundlegende Unsicherheiten, die wir tendenziell ignorieren. Außerdem sind wir sehr geschickt darin, kohärente Erklärungen zu konstruieren, selbst angesichts widersprüchlicher oder fehlender Informationen. Diese Konstruktion erzeugt eine psychologische Belohnung. Kognitiv wird das Gefühl mit dem Glauben, etwas zu wissen, verwechselt und trägt so zu einem „Bauchgefühl“ bei, das Führungskräfte häufig zur Rechtfertigung ihrer Entscheidungen anführen. Schließlich verstehen wir unsere Welt in erster Linie durch kausales Denken und durch die Verknüpfung von Ereignissen zu Geschichten. Im Nachhinein bauen wir kohärente Erzählungen auf, die als logische Ketten von Ereignissen erscheinen und so die Illusion erzeugen, dass wir das Ergebnis vorausgesehen haben, obwohl wir keine Möglichkeit hatten, in diese Zukunft zu schauen.
Ein Problem mit Noise, so merken die Autoren an, ist, dass es sich um ein Phänomen handelt, das nur durch statistische Auswertung klar zu erkennen ist. Wir ärgern uns vielleicht, wenn ein Lehrer die Arbeit eines Schülers unfair benotet. Wir verurteilen die Benotung als voreingenommen. Das Noise ist jedoch der systematische Fehler, der durch eine Reihe von Lehrern entsteht, die nach verschiedenen Standards oder persönlichen Werten benoten. Wir können das Ausmaß von Noise eher nur statistisch sehen, auch wenn es jeden Schüler betrifft. (Ein technisches Detail: Die psychologischen Biases von Individuen tragen als Faktor zum gesamten Noise einer Organisation bei.) Mechanische Werkzeuge zur Reduzierung von Noise wirken also ebenfalls auf der statistischen Ebene. Obwohl sie oft besser sind, wehren wir uns gegen sie als unmenschlich, zu starr oder als Angriff auf unser Selbstwertgefühl als Experten.
Reduzierung des Noise in Organisationen
Trotz der Bedeutung und Popularität von Kahnemans Arbeit über Verzerrungen ist es unklar, ob wir viel tun können, um die Fallstricke der Selbstüberschätzung, der Verfügbarkeitsheuristik, des Planungsfehlschlusses oder des Ankereffekts zu vermeiden. Kahneman selbst räumt ein: „Meine eigene Erfahrung, wie wenig dieses Wissen [über Verzerrungen und Fehlbarkeit] die Qualität meines eigenen Urteils verändert hat, kann ernüchternd sein.“/6/ Dieser Satz ließ mich in meinem eigenen Kampf gegen der Verzerrungen auf Kahnemans Liste nicht so schlecht fühlen. Der Einzelne hat keine große Chance gegen Noise. Kahneman fährt fort: „Das Vermeiden von Noise im Urteil ist nicht wirklich etwas, worin Individuen sehr gut sein werden. Ich vertraue wirklich auf Organisationen, wenn man ihnen überhaupt vertrauen kann.“/6/
Letztendlich bleiben Kahneman, Sibony und Sunstein bei ihrem Appell, Noise zu reduzieren, hartnäckig. Da die Menschen skeptisch bleiben, wenn es darum geht, Urteile an Maschinen abzugeben, sehen die Autoren es als dringlich an, Noise in menschlichen Urteilen zu reduzieren. Sie empfehlen Lösungen, die in organisatorischen Kontexten funktionieren. Aus der Perspektive unserer Mission hier im Teamworkblog wird das Buch an dieser Stelle besonders interessant. Es fügt Substanz der Plattitüde hinzu: “Gemeinsam werden wir stärker”, oder besser gesagt, schlauer. (Eine Schlussfolgerung aus dem Buch ist allerdings, dass wir das bis jetzt nicht wirklich getan haben.)
Die Empfehlungen der Autoren konzentrieren sich auf die Strukturierung unserer Entscheidungsprozesse durch den Einsatz einer guten “Entscheidungshygiene”. Sie schlagen vor, sich an die folgenden sechs Prinzipien zu halten:
- Urteilen Sie genau. Während Werte und Kreativität eine Rolle bei der Festlegung von Zielen spielen, führen zu Noise, wenn sie ein Urteil beeinflussen.
- Denken Sie statistisch und verwenden Sie Hilfsmittel wie Basisrate, Referenzklassen oder die Statistik ähnlicher Fälle usw. Diese Elemente können den Urteilsfall einrahmen, ohne ihn auf eine mechanische Regel zu reduzieren.
- Strukturieren Sie Urteile in separate Aufgaben. Die Autoren empfehlen als Werkzeug das “vermittelnde Beurteilungsprotokoll”, das faktenbasierte Beurteilungen von Komponenten aufnimmt, bevor diese zu einer endgültigen Entscheidung konsolidiert werden. Kombiniert mit Prinzip 5 und unterstützt durch Prinzip 2, kann ein so derart strukturierter Prozess zu deutlich weniger Noise führen.
- Vermeiden Sie voreilige Urteile, die nicht mehr als Intuitionen sind. Zu diesem Prinzip gehört es, Informationen zum richtigen Zeitpunkt verfügbar zu machen, so dass der Experte nicht zu früh dadurch voreingenommen ist.
- Verwenden Sie, wenn möglich, mehrere Meinungen und fassen Sie diese zusammen. Stellen Sie sicher, dass die Urteile unabhängig sind und den anderen unbekannt bleiben. Die Autoren empfehlen unter anderem ein “Schätzen-Besprechen-Schätzen”-Verfahren, das dem aus agilen Teams bekannten Planungspoker sehr ähnlich ist.
- Bevorzugen Sie relative Urteile und relative Skalen. Menschen sind besser im paarweisen Vergleich als bei abstrakten Kategorien und Skalen.
Konkret sehe ich keine unüberwindbaren Herausforderungen für eine Organisation, die ihr Noise reduzieren will, um die Prozesse zu finden, die zur Umsetzung dieser Prinzipien notwendig sind. Wir brauchen Strukturen, um unsere Fehler nicht zu wiederholen. Sie ermöglichen es uns, intelligent und kreativ zu sein - gemeinsam. Struktur muss nicht bürokratisch sein. Ohne Struktur haben wir Chaos und Noise. Wir brauchen mehr statistische Grundlagen und Bewusstsein bei der Kontextualisierung von Entscheidungen. Diese Schritte sind nicht schwer. Wo ein Wille ist, da ist auch ein Weg.
Es gibt noch viel mehr in diesem Buch, als ich hier besprechen konnte. Noise ist ein wichtiges Konzept und das Buch ist eine großartige Darstellung des Themas.
Anmerkungen
/1/ Daniel Kahneman, Schnelles Denken, langsames Denken, übers. Thorsten Schmidt (München: Siedler Verlag, 2012); Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar Straus & Giroux, 2011).
/2/ Deutsch: Daniel Kahneman, Olivier Sibony, und Cass R. Sunstein, Noise: Was unsere Entscheidungen verzerrt - und wie wir sie verbessern können, übers. Thorsten Schmidt (München: Siedler Verlag, 2021). Englisch: Daniel Kahneman, Olivier Sibony, and Cass R. Sunstein, Noise: A Flaw in Human Judgment (New York: Little, Brown and Company, 2021).
/3/ Der Begriff „Noise“ wurde in der deutschen Fassung nicht übersetzt, wobei „verrauscht“ für „noisy“ jedoch genutzt wird. Ich halte mich an diese Nutzung.
/4/ Ein Hauptgrund ist, dass mechanische Systeme Noise entfernen. Sie können immer noch voreingenommen sein, aber sie sind nicht verrauscht. Die Menge an Fehlern und Variabilität, die das menschliche Urteilsvermögen mit sich bringt, ist so hoch, dass das einfache Entfernen von Noise zu besseren Ergebnissen führt. Wir glauben, dass der Mensch besser mit Feinheiten und einer komplexen Situation umgehen kann, als es jedes mechanische Modell könnte. Die Forschung zeigt jedoch oft hohe Korrelationen zwischen den verschiedenen Variablen, so dass das Hinzufügen weiterer Variablen die Entscheidungsfindung kaum verbessert. Daher wird ein geräuschloses Regressionsmodell, das sich nur auf eine oder zwei Schlüsselvariablen stützt, ein besseres Ergebnis erzielen, auch wenn keine Gewichtung vorgenommen wird.
/5/ Die Autoren erkennen diese Einwände an und behandeln die Frage der Einwände gegen ihr Argument mit angemessener Sensibilität. Sie zeigen sich selbst ambivalent gegenüber einer technokratischen Welt der AI. Sie merken auch an, dass Deep-Learning-Algorithmen immer noch rassistisch voreingenommen sein können, selbst wenn sie speziell programmiert wurden, um jede Art von Profilierung zu vermeiden.
/6/ Tim Adams, “Daniel Kahneman: ‘Clearly AI Is Going to Win. How People Are Going to Adjust Is a Fascinating Problem,'” The Guardian, 16. Mai 2021. Kahneman ist ein bescheidener Wissenschaftler, der sich freut, wenn er herausfindet, dass er sich geirrt hat. Wie er einmal zu Adam Grant sagte: „Falsch zu liegen ist der einzige Weg, wie ich sicher sein kann, dass ich etwas gelernt habe.“ Adam M. Grant, Think Again: The Power of Knowing What You Don't Know (New York, New York: Viking, 2021), S. 61-62.
Kommentare
Kommentar veröffentlichen