Direkt zum Hauptbereich

Noise: Wie wir Entscheidungsfehler verringern können

Gerade als die Anzahl der Zitate zu Schnelles Denken, langsames Denken/1/ zu verebben scheint, hat Daniel Kahneman ein neues, großes Buch veröffentlicht, das sicherlich viel gelesen und zitiert werden wird. Zusammen mit dem HEC-Professor Olivier Sibony und dem Harvard-Professor Cass Sunstein geschrieben, ist Kahnemans Noise: Was unsere Entscheidungen verzerrt /2/ ein lesenswertes Werk über ein wenig erkanntes menschliches Problem, nämlich dass professionelle Urteile und Entscheidungen ein inakzeptables Maß an Varianz enthalten, obwohl wir erwarten, dass sie fair, durchdacht und überlegt sind. Der Ausmaß des Noise/3/ in unserer Welt hat tiefgreifende Auswirkungen auf Gesellschaft und Organisationen. Glücklicherweise bieten Kahneman et al. praktikable Abhilfemaßnahmen an. Ihre Schlussfolgerungen zeigen einmal mehr, wie strukturierte Zusammenarbeit in Teams menschliche Fehlbarkeit ausgleichen kann.
[English Version]

Was ist Noise?

Abb. 1: Bernoullis Zielscheibe: Bias vs. Noise
In seiner früheren Arbeit beschrieb Kahneman psychologische Verzerrungen (Bias) als individuelle, fehleranfällige Heuristiken, die das Denken prägen. Noise dagegen ist „die unerwünschte Variabilität von Urteilen“. Es ist die systematische Varianz sowohl innerhalb eines Individuums als auch innerhalb von Organisationen, die auf Fehler hinausläuft. Um den Unterschied zwischen Bias und Noise zu verdeutlichen, präsentieren sie Bernoullis klassisches Zieldiagramm (s. Abb. 1). Während Verzerrungen das Ziel systematisch in derselben Richtung verfehlen, streut Noise weit um das Ziel herum. Natürlich kann ein Beurteilungsproblem für beides gleichzeitig anfällig sein. 



Das Anliegen der Autoren ist das menschliche Urteilsvermögen, also jede Situation, in der eine Person evaluiert, beurteilt, vorhersagt oder entscheidet: „Urteilsvermögen ist eine Messung, bei der das Instrument der menschliche Verstand ist“. Wir verlassen uns in hohem Maße auf Urteile. Die Autoren nennen zahlreiche Beispiele: Richter in Gerichten, Manager, die Investitionen bewerten, forensische Analysten, die Fingerabdrücke vergleichen, die Risikoprüfer, die Versicherungstarife berechnen, Personalabteilungen, die Stellenbewerber bewerten, Lehrer, die Schüler benoten usw. Wie diese Beispiele zeigen, sind Urteile wichtig, weil sie sozial sind; sie kommen in sozialen und politischen Institutionen und in Organisationen aller Art vor; und sie haben reale Konsequenzen für die Beteiligten. (Anmerkung: Die Autoren verwenden das Wort „Richter“ als Begriff für jede Person, die ein Urteil fällt, nicht nur für Richter in einem Gerichtssaal).

Warum Noise wichtig ist

Die Autoren behaupten, dass Noise allgegenwärtig ist. Es kann große Ausmaße annehmen. Es kann finanziell und menschlich kostspielig sein (Reputationsverlust usw.). Und, es kann unser Vertrauen in die Institutionen untergraben, die mit der Urteilsfindung beauftragt sind. Sie zitieren ungeheuerliche Beispiele, in denen Menschen, die wegen ähnlicher Verbrechen verurteilt wurden, sehr unterschiedliche Urteile erhielten. Als gute Wissenschaftler zitieren sie nicht nur Beispiele, sondern eine Studie nach der anderen, sogar Metastudien mit Hunderttausenden von z.B. Gerichtsfällen, die eine große Varianz in den Urteilen zeigen. In finanziellen Kontexten, wie Versicherungsabschlüssen oder Investitionsentscheidungen, signalisieren sie riesige Spannen für Kosten und Preisgestaltung. Denjenigen, der argumentiert, „aber wenn der Preis manchmal zu niedrig und manchmal zu hoch ist, gleicht sich das aus“, weisen sie darauf hin, dass sich der Fehler nicht mittelt, sondern summiert: Ein niedriger Preis lässt Geld auf dem Tisch liegen, und ein hoher Preis veranlasst die Kunden, woanders hinzugehen. 

Das Buch wirbt dafür, Noise zu reduzieren. Einige Methoden dafür gibt es bereits. Das Nutzen von Richtlinien zum Beispiel ist eine einfache Methode zur Strukturierung von Urteilen, die Noise drastisch reduzieren, indem sie enge Entscheidungsgrenzen vorschreiben. Andere Techniken, z. B. Regressionsanalysen oder KI-Algorithmen, reduzieren Noise und übertreffen menschliche Richter durchweg. Dies gilt insbesondere bei prädiktiven Urteilen, wenn sie daran gemessen werden, ob eine Vorhersage eintrifft (z. B. ob ein neuer Mitarbeiter mehrere Jahre im Unternehmen bleibt). Dies ist seit den 1950er Jahren bekannt und wurde in Hunderten von Studien zu einer Vielzahl von Themen bestätigt./4/ Dennoch lehnen wir es im Allgemeinen ab, starre Regeln zu befolgen oder das Urteilsvermögen an Maschinen abzugeben, selbst in Fällen, in denen Maschine bessere Vorhersagen oder konsistentere Ergebnisse liefern./5/

Menschen sind einfach fehlerhaft: Wir sind anfällig für die von Kahneman u.a. katalogisierten Verzerrungen. Wir verfallen der „Illusion der Gültigkeit“, was bedeutet, dass wir die verfügbaren Beweise mit unserer Fähigkeit verbinden, zukünftige Leistungen vorherzusagen. Da wir die Zukunft nicht kennen, gibt es grundlegende Unsicherheiten, die wir tendenziell ignorieren. Außerdem sind wir sehr geschickt darin, kohärente Erklärungen zu konstruieren, selbst angesichts widersprüchlicher oder fehlender Informationen. Diese Konstruktion erzeugt eine psychologische Belohnung. Kognitiv wird das Gefühl mit dem Glauben, etwas zu wissen, verwechselt und trägt so zu einem „Bauchgefühl“ bei, das Führungskräfte häufig zur Rechtfertigung ihrer Entscheidungen anführen. Schließlich verstehen wir unsere Welt in erster Linie durch kausales Denken und durch die Verknüpfung von Ereignissen zu Geschichten. Im Nachhinein bauen wir kohärente Erzählungen auf, die als logische Ketten von Ereignissen erscheinen und so die Illusion erzeugen, dass wir das Ergebnis vorausgesehen haben, obwohl wir keine Möglichkeit hatten, in diese Zukunft zu schauen.

Ein Problem mit Noise, so merken die Autoren an, ist, dass es sich um ein Phänomen handelt, das nur durch statistische Auswertung klar zu erkennen ist. Wir ärgern uns vielleicht, wenn ein Lehrer die Arbeit eines Schülers unfair benotet. Wir verurteilen die Benotung als voreingenommen. Das Noise ist jedoch der systematische Fehler, der durch eine Reihe von Lehrern entsteht, die nach verschiedenen Standards oder persönlichen Werten benoten. Wir können das Ausmaß von Noise eher nur statistisch sehen, auch wenn es jeden Schüler betrifft. (Ein technisches Detail: Die psychologischen Biases von Individuen tragen als Faktor zum gesamten Noise einer Organisation bei.) Mechanische Werkzeuge zur Reduzierung von Noise wirken also ebenfalls auf der statistischen Ebene. Obwohl sie oft besser sind, wehren wir uns gegen sie als unmenschlich, zu starr oder als Angriff auf unser Selbstwertgefühl als Experten.

Reduzierung des Noise in Organisationen

Trotz der Bedeutung und Popularität von Kahnemans Arbeit über Verzerrungen ist es unklar, ob wir viel tun können, um die Fallstricke der Selbstüberschätzung, der Verfügbarkeitsheuristik, des Planungsfehlschlusses oder des Ankereffekts zu vermeiden. Kahneman selbst räumt ein: „Meine eigene Erfahrung, wie wenig dieses Wissen [über Verzerrungen und Fehlbarkeit] die Qualität meines eigenen Urteils verändert hat, kann ernüchternd sein.“/6/ Dieser Satz ließ mich in meinem eigenen Kampf gegen der Verzerrungen auf Kahnemans Liste nicht so schlecht fühlen. Der Einzelne hat keine große Chance gegen Noise. Kahneman fährt fort: „Das Vermeiden von Noise im Urteil ist nicht wirklich etwas, worin Individuen sehr gut sein werden. Ich vertraue wirklich auf Organisationen, wenn man ihnen überhaupt vertrauen kann.“/6/

Letztendlich bleiben Kahneman, Sibony und Sunstein bei ihrem Appell, Noise zu reduzieren, hartnäckig. Da die Menschen skeptisch bleiben, wenn es darum geht, Urteile an Maschinen abzugeben, sehen die Autoren es als dringlich an, Noise in menschlichen Urteilen zu reduzieren. Sie empfehlen Lösungen, die in organisatorischen Kontexten funktionieren. Aus der Perspektive unserer Mission hier im Teamworkblog wird das Buch an dieser Stelle besonders interessant. Es fügt Substanz der Plattitüde hinzu: “Gemeinsam werden wir stärker”, oder besser gesagt, schlauer.  (Eine Schlussfolgerung aus dem Buch ist allerdings, dass wir das bis jetzt nicht wirklich getan haben.)

Die Empfehlungen der Autoren konzentrieren sich auf die Strukturierung unserer Entscheidungsprozesse durch den Einsatz einer guten “Entscheidungshygiene”. Sie schlagen vor, sich an die folgenden sechs Prinzipien zu halten:
  1. Urteilen Sie genau. Während Werte und Kreativität eine Rolle bei der Festlegung von Zielen spielen, führen zu Noise, wenn sie ein Urteil beeinflussen.
  2. Denken Sie statistisch und verwenden Sie Hilfsmittel wie Basisrate, Referenzklassen oder die Statistik ähnlicher Fälle usw. Diese Elemente können den Urteilsfall einrahmen, ohne ihn auf eine mechanische Regel zu reduzieren.
  3. Strukturieren Sie Urteile in separate Aufgaben. Die Autoren empfehlen als Werkzeug das “vermittelnde Beurteilungsprotokoll”, das faktenbasierte Beurteilungen von Komponenten aufnimmt, bevor diese zu einer endgültigen Entscheidung konsolidiert werden. Kombiniert mit Prinzip 5 und unterstützt durch Prinzip 2, kann ein so derart strukturierter Prozess zu deutlich weniger Noise führen. 
  4. Vermeiden Sie voreilige Urteile, die nicht mehr als Intuitionen sind. Zu diesem Prinzip gehört es, Informationen zum richtigen Zeitpunkt verfügbar zu machen, so dass der Experte nicht zu früh dadurch voreingenommen ist.
  5. Verwenden Sie, wenn möglich, mehrere Meinungen und fassen Sie diese zusammen.  Stellen Sie sicher, dass die Urteile unabhängig sind und den anderen unbekannt bleiben. Die Autoren empfehlen unter anderem ein “Schätzen-Besprechen-Schätzen”-Verfahren, das dem aus agilen Teams bekannten Planungspoker sehr ähnlich ist.
  6. Bevorzugen Sie relative Urteile und relative Skalen. Menschen sind besser im paarweisen Vergleich als bei abstrakten Kategorien und Skalen.
Konkret sehe ich keine unüberwindbaren Herausforderungen für eine Organisation, die ihr Noise reduzieren will, um die Prozesse zu finden, die zur Umsetzung dieser Prinzipien notwendig sind. Wir brauchen Strukturen, um unsere Fehler nicht zu wiederholen. Sie ermöglichen es uns, intelligent und kreativ zu sein - gemeinsam. Struktur muss nicht bürokratisch sein. Ohne Struktur haben wir Chaos und Noise. Wir brauchen mehr statistische Grundlagen und Bewusstsein bei der Kontextualisierung von Entscheidungen. Diese Schritte sind nicht schwer. Wo ein Wille ist, da ist auch ein Weg.

Es gibt noch viel mehr in diesem Buch, als ich hier besprechen konnte. Noise ist ein wichtiges Konzept und das Buch ist eine großartige Darstellung des Themas. 


Anmerkungen


/1/ Daniel Kahneman, Schnelles Denken, langsames Denken, übers. Thorsten Schmidt (München: Siedler Verlag, 2012); Daniel Kahneman, Thinking, Fast and Slow (New York: Farrar Straus & Giroux, 2011).

/2/ Deutsch: Daniel Kahneman, Olivier Sibony, und Cass R. Sunstein, Noise: Was unsere Entscheidungen verzerrt - und wie wir sie verbessern können, übers. Thorsten Schmidt (München: Siedler Verlag, 2021). Englisch: Daniel Kahneman, Olivier Sibony, and Cass R. Sunstein, Noise: A Flaw in Human Judgment (New York: Little, Brown and Company, 2021).

/3/ Der Begriff „Noise“ wurde in der deutschen Fassung nicht übersetzt, wobei „verrauscht“ für „noisy“ jedoch genutzt wird. Ich halte mich an diese Nutzung.

/4/ Ein Hauptgrund ist, dass mechanische Systeme Noise entfernen. Sie können immer noch voreingenommen sein, aber sie sind nicht verrauscht. Die Menge an Fehlern und Variabilität, die das menschliche Urteilsvermögen mit sich bringt, ist so hoch, dass das einfache Entfernen von Noise zu besseren Ergebnissen führt.  Wir glauben, dass der Mensch besser mit Feinheiten und einer komplexen Situation umgehen kann, als es jedes mechanische Modell könnte. Die Forschung zeigt jedoch oft hohe Korrelationen zwischen den verschiedenen Variablen, so dass das Hinzufügen weiterer Variablen die Entscheidungsfindung kaum verbessert. Daher wird ein geräuschloses Regressionsmodell, das sich nur auf eine oder zwei Schlüsselvariablen stützt, ein besseres Ergebnis erzielen, auch wenn keine Gewichtung vorgenommen wird.

/5/ Die Autoren erkennen diese Einwände an und behandeln die Frage der Einwände gegen ihr Argument mit angemessener Sensibilität. Sie zeigen sich selbst ambivalent gegenüber einer technokratischen Welt der AI. Sie merken auch an, dass Deep-Learning-Algorithmen immer noch rassistisch voreingenommen sein können, selbst wenn sie speziell programmiert wurden, um jede Art von Profilierung zu vermeiden.

/6/ Tim Adams, “Daniel Kahneman: ‘Clearly AI Is Going to Win. How People Are Going to Adjust Is a Fascinating Problem,'” The Guardian, 16. Mai 2021.  Kahneman ist ein bescheidener Wissenschaftler, der sich freut, wenn er herausfindet, dass er sich geirrt hat. Wie er einmal zu Adam Grant sagte: „Falsch zu liegen ist der einzige Weg, wie ich sicher sein kann, dass ich etwas gelernt habe.“ Adam M. Grant, Think Again: The Power of Knowing What You Don't Know (New York, New York: Viking, 2021), S. 61-62.

Kommentare

Beliebte Posts aus diesem Blog

Microsoft Teams: Die neuen Besprechungsnotizen - Loop-Komponenten

  Haben Sie in letzter Zeit in einer Teams-Besprechung die Notizen geöffnet? Dort sind inzwischen die Loop-Komponenten hinterlegt. Die sind zwar etwas nützlicher als das, was zuvor zur Verfügung stand. Trotzdem ist noch Luft nach oben. Und es gibt sogar einige ernstzunehmende Stolperfallen. Hier ein erster, kritischer Blick auf das was Sie damit tun können. Und auch darauf, was Sie besser sein lassen.

Agile Sternbilder: Die Entdeckung kosmischer Agilitäts-Superkräfte

Hast du dich je gefragt, ob dein Sternzeichen deine Fähigkeiten in einer agilen Arbeitsumgebung beeinflusst? In diesem Blogpost tauchen wir ein in die faszinierende Welt der Astrologie und ihre mögliche Verbindung zu modernen Arbeitsweisen. Entdecke, wie die Sterne deine agilen Stärken prägen könnten. Ob überzeugter Agilist oder neugieriger Sternzeichenliebhaber – dieser Artikel kann dir neue Perspektiven eröffnen und vielleicht sogar dein nächstes Teamprojekt inspirieren!

Den passenden Job finden

Hier teile ich, wie ich daran arbeite, endlich den richtigen Job zu finden. Kleingedrucktes: Dieser Artikel richtet sich (natürlich) an jene, die gerade in der luxuriösen Position sind, dass sie nicht jedes Angebot annehmen müssen. Anstatt von Engagement zu Engagement zu hetzen und frustriert zu sein über Konzernstrukturen, fehlende Ausrichtung und die Erkenntnis, dass in einem selbst beständig die Hintergrundfrage nagt, ob es das ist, womit man seine immer knapper werdende Lebenszeit wirklich verbringen möchte, gibt es manchmal auch die Möglichkeit, die nächste berufliche Station etwas nachhaltiger auszusuchen - auch, um tatsächlich (etwas) mehr beitragen zu können.

Die Microsoft Teams-Not-To-Do-Liste

Viele hoffen, dass es  für die Einrichtung von Microsoft Teams  den Königsweg gibt, den perfekten Plan – doch den gibt es leider (oder glücklicherweise?) nicht. Genauso wenig, wie es jemals einen Masterplan für die Organisation von Gruppenlaufwerken gab, gibt oder je geben wird. Was gut und vernünftig ist hängt von vielen Faktoren und ganz besonders den Unternehmensprozessen ab. Sicher ist nur eines: Von alleine entsteht keine vernünftige Struktur und schon gar keine Ordnung. Dafür braucht es klare Entscheidungen.

Agilität ist tot. Ausgerechnet jetzt?

Agilität wird zurückgefahren, Hierarchien kehren zurück. Doch ist das wirklich der richtige Weg in einer Welt, die immer unberechenbarer wird? Oder erleben wir gerade eine riskante Rolle rückwärts?

Wie beschreibt man einen Workshop für eine Konferenz?

Konferenzen bieten immer ein gutes Forum, um sein Wissen und seine Erfahrungen zu teilen. Was für die Vortragenden selbstverständlich scheint, ist für die Besucher:innen oft unverständlich. Wie können Vortragende ihren Workshop in 2-3 Sätzen beschreiben, damit die Besucher:innen schnell einschätzen können, er sich für sie lohnt?

Gemeinsam eine Anwenderdokumentation erstellen

Unternehmenssoftware ist ein wichtiges Bindeglied zwischen Anwenderinnen und Anwendern, den Unternehmensprozessen und den Ergebnissen. Normalerweise schreibt der Hersteller der Software die Dokumentation für diejenigen, die die Software benutzen. Wenn die Software allerdings stark angepasst wurde, muss die Dokumentation von denen kommen, die die Prozessmaschine am besten verstehen - den Anwenderinnen und Anwendern. Wie könnte man das praktisch machen?

Scrum und Hardware: Es kommt auf die Basics an

Man kann Hardwareprodukte agil entwickeln. Zum einen kommt Scrum aus der Hardwareentwicklung. Die Softwerker haben die Hardwarekonzepte auf ihre Situation übertragen. Zum anderen hat Hardwareentwicklung heute ganz viel mit Software zu tun. Gerade in frühen Phasen kann man sich mit Simulationen noch viele Wege offen halten und mehrere Pfade parallel verfolgen. In diesem Beitrag empfehle ich eine Podcastfolge und ein Buch, für alle, die mit der Geschwindigkeit ihrer Hardwareentwicklung nicht zufrieden sind.