Neue Studie zur Qualität von Entscheidungen im Schach!

Unter dem Titel „Schnelligkeit und Qualität komplexer strategischer Entscheidungen“ der Autoren Uwe Sunde  (uw*******@*mu.de), Dainis Zegners und Anthony Strittmatter GmbH wurde folgender wissenschaftlicher Beitrag weitgehend übernommen – in der Annahme, dass die Autoren mit einer Veröffentlichung einverstanden sind. Der Artikel konnte aufgrund seiner Länge aber nur auszugsweise übernommen werden. Die Studie erschien im Original auf englisch und wurde auf deutsch übersetzt.

Die Studie kommt auf gut deutsch gesagt, zu dem Ergebnis, dass sich die Qualität von Entscheidungen mit längerem Nachdenken über einen Zug nicht verbessert, sondern in der Regel verschlechtert!

Doch nun lassen wir die Autoren selbst sprechen:

Der Zusammenhang zwischen Geschwindigkeit und Qualität komplexer strategischer Entscheidungen ist a priori unklar. Wenn Sie sich mehr Zeit nehmen, um eine Entscheidung zu treffen, kann dies zu einer besser durchdachten Entscheidung von höherer Qualität führen, aber sie kann auch eine größere wahrgenommene Schwierigkeit widerspiegeln und daher mit einer niedrigeren Entscheidungsqualität verbunden sein. Empirische Beweise zu dieser Frage bleiben knapp und stützen sich oft auf Beobachtungen für verschiedene Entscheidungsträger in Kontexten, die nicht streng vergleichbar sind. Diese Arbeit trägt dazu bei, indem sie eine robuste negative Verbindung zwischen der Zeit, die für eine Entscheidung aufgewendet wird, und ihrer Qualität dokumentiert, indem sie Zug-für-Zug-Daten von professionellen Schachturnieren verwendet, die einen Vergleich von Entscheidungen desselben Spielers mit demselben Gegner unter unterschiedlichen Konfigurationen ermöglichen.

Viele strategische Entscheidungen beinhalten sowohl substanzielle Komplexität als auch Zeitdruck, aber der Zusammenhang zwischen Entscheidungsgeschwindigkeit und Entscheidungsqualität von kognitiv anspruchsvollen strategischen Entscheidungen ist nicht gut verstanden. Dieser Artikel präsentiert Beweise für diese Frage anhand einer Umgebung mit außergewöhnlich detaillierten und präzisen Informationen über Entscheidungszeiten und Entscheidungsqualität – sie analysiert Zug-für-Zug-Daten von professionellen Schachturnieren. Die Entscheidungsqualität wird gemessen, indem tatsächliche Züge mit einem rechnerischen Benchmark der besten Züge verglichen werden, die mit der künstlichen Intelligenz einer Schachmaschine konstruiert wurden. Die Ergebnisse zeigen, dass schnellere Entscheidungen mit einer höheren Entscheidungsqualität verbunden sind, auch wenn sie rechnerische Komplexität, Unterscheidungskraft zwischen Alternativen und Zeitdruck berücksichtigen. Größere Rechenkomplexität und geringere Unterscheidungskraft zwischen Zugalternativen sind mit längeren Entscheidungszeiten verbunden, während ein höherer Zeitdruck mit kürzeren Entscheidungszeiten verbunden ist. Alle drei Faktoren sind mit einer geringeren Entscheidungsqualität verbunden. Wir diskutieren die Ergebnisse gegen die Vorhersagen verschiedener Entscheidungsmodelle, in denen Individuen sequentiell Informationen über Alternativen mit unsicheren Bewertungen erwerben und Theorien, die ursprünglich im Rahmen nicht strategischer Entscheidungen entwickelt wurden, auf ein strategisches Umfeld ausdehnen.

Hier präsentieren wir eine empirische Untersuchung des Zusammenhangs zwischen Entscheidungsgeschwindigkeit und Entscheidungsqualität für kognitiv anspruchsvolle Entscheidungen in einem komplexen strategischen Entscheidungsumfeld mit hohem Einsatz: professionelles Schach. Die Untersuchung ergänzt die gemischten vorhandenen Beweise für den Zusammenhang zwischen dem Zeitpunkt der Entscheidungen und ihrer Qualität. Diese Evidenz basiert hauptsächlich auf Experimenten, die sich auf einfache individuelle Entscheidungen oder stilisierte Spiele beziehen, oft in Laboreinstellungen. Solche Einstellungen ermöglichen eine kontrollierte Variation bestimmter Aspekte des Auswahlproblems und erleichtern die Isolierung und Interpretation spezifischer Mechanismen. Im Gegensatz dazu beinhaltet unser Setting strategische Entscheidungen, die komplexer sind als die, die typischerweise in Experimenten untersucht werden, die Identifizierung von Variationen wird nicht experimentell randomisiert, und der Fokus beschränkt sich auf eine sehr ausgewählte Gruppe von Entscheidungsträgern. Dennoch ist Schach ein konzeptionell interessanter Fall für die Untersuchung des Zusammenhangs zwischen Entscheidungsgeschwindigkeit und Qualität bei komplexen Entscheidungen, indem es ein Setting mit außerordentlich reichhaltigen und präzisen Informationen über den Kontext, in dem Entscheidungen getroffen werden, ermöglicht. Insbesondere Daten aus persönlichen Spielen enthalten direkte Maße der Zeit, um eine Entscheidung zu treffen, Zug-für-Zug-Daten beinhalten Variationen in Entscheidungsproblemen, und die Re-Analyse von Daten mit Schach-Engines liefert Informationen über die rechnerische Komplexität und Schwierigkeit dieser Entscheidungsprobleme. Alle diese Maßnahmen weisen eine beträchtliche Variation innerhalb eines Spiels auf, was es ermöglicht, sich auf Entscheidungen desselben Spielers in verschiedenen Konfigurationen zu konzentrieren.

Der Entscheidungsprozess im Schach kann als Lösung eines komplexen strategischen Entscheidungsproblems betrachtet werden, bei dem der Entscheidungsträger unsicher ist, was die Qualität eines bestimmten Umzugs betrifft, und aufgrund von Zeitbeschränkungen mit Kosten für die Erfassung weiterer Informationen konfrontiert ist, indem er bei der Ermittlung des optimalen Umzugs über die verschiedenen eigenen Entscheidungsalternativen und die jeweiligen strategischen Optionen des Gegners in Betracht zieht. Entscheidungen im Schach werden sequentiell getroffen, und das Hauptziel des Spielers ist die Qualität des Zuges, nicht die Geschwindigkeit, mit der eine Entscheidung getroffen wird. Die Entscheidungsgeschwindigkeit trägt jedoch einen Optionswert, indem sie sich auf das Zeitbudget auswirkt, das für zukünftige Züge zur Verfügung steht, und sie kann auch einen strategischen Wert haben, indem sie Dominanz oder Schwäche signalisiert oder Zeitdruck auf den Gegner ausübt. Letztendlich bleibt das Ziel, die Qualität des Spiels zu maximieren. Dies ist konzeptionell sehr ähnlich zu den Entscheidungsproblemen, mit denen Entscheidungsträger häufig in verschiedenen anderen Zusammenhängen konfrontiert sind. Aus diesem Grund stellt professionelles Schach eine einzigartige Datenquelle für hochauflösende und hohe Genauigkeit auf das Verhalten von Entscheidungsträgern in einem Wettbewerb mit hohen Anreizen dar, in dem sie wiederholt beobachtet werden, während komplexe strategische Entscheidungsprobleme unter Zeitdruck gelöst werden, und mit unterschiedlichen Schwierigkeitsgraden und verfügbarer Zeit, um ihre Entscheidungen zu treffen.

Die empirische Analyse basiert auf Informationen über Entscheidungszeiten und Zugqualität für mehr als 215.000 Züge aus rund 3.600 Turnierpartien zwischen professionellen Schachspielern. Die Entscheidungszeit und die Entscheidungsqualität werden mit hoher Genauigkeit gemessen. Insbesondere für jeden Schritt wird die Zeit für die Entscheidung genau erfasst, und die Qualität der Entscheidung wird anhand des von der künstlichen Intelligenz einer hochmodernen Schachmaschine vorgeschlagenen Benchmarks des bestmöglichen Zugs bewertet. Diese Bewertung beinhaltet den Vergleich der vom Spieler gewählten Züge in einer bestimmten Konfiguration von Schachfiguren auf dem Brett mit der von der Engine in derselben Konfiguration als optimal empfohlenen Zug. Dies stellt eine leistungsstarke Metrik für die Bewertung der Qualität eines Zugs her und stützt sich auf den Suchalgorithmus der Schachmaschine, der den Spielbaum untersucht, der sich aus einer bestimmten Schachposition unter der spieltheoretischen Annahme der besten Reaktionen des Gegners ergibt. Während diese Metrik von den spezifischen algorithmischen Entscheidungen abhängt, die in der Schach-Engine implementiert werden und nicht perfekt sind, macht die erhebliche Lücke in der Spielstärke zwischen modernen Engines und sogar den stärksten menschlichen Spielern dies zu einem sehr informativen Maßstab für die Bewertung der Entscheidungsqualität, der von früheren Forschungen wie z.B. Refs weit verbreitet wurde.

Darüber hinaus ermöglicht die Verwendung von Schachdaten zusammen mit einer Schachmaschine die Messung von drei für das Entscheidungsproblem relevanten zusätzlichen Faktoren. Der erste ist der Zeitdruck, gemessen an der verbleibenden verfügbaren Zeit, die die Entscheidungszeiten einschränkt und die Entscheidungsqualität beeinflussen kann. In der Analyse wird der Zeitdruck an der verbleibenden Zeit gemessen, die ein Spieler unter verschiedenen standardisierten Zeitsteuerungen hat, wobei jeder den Spielern unterschiedliche Zeitbeschränkungen auferlegt. Der zweite Faktor ist die rechnerische Komplexität des Entscheidungsproblems. Als Basismaß verwendet die Analyse die Anzahl der Knoten, die die Schach-Engine bewerten muss, um eine feste Suchtiefe in einer bestimmten Konfiguration auf dem Schachbrett zu erreichen. Alternative Maßnahmen der Komplexität beinhalten die Suchtiefe, die für die Identifizierung des besten Zugs erforderlich ist, und ob eine Schach-Engine, die trainiert wurde, um das Spiel im menschlichen Stil zu replizieren, ohne den Spielbaum zu durchsuchen, in der Lage ist, den besten Zug zu bestimmen. Der dritte Faktor ist die Schwierigkeit, zwischen Entscheidungsalternativen zu entscheiden. Dies wird durch die Auswertungslücke zwischen dem besten und dem nächstbesten Zug in einer bestimmten Spielstellung gemessen, wie sie von der Schachmaschine bestimmt wird. Eine alternative Interpretation für die Bewertungslücke ist, dass sie einen Proxy für den Wert des Denkens bietet, um den besten Zug zu finden.

Die Analyse des Zusammenhangs zwischen Entscheidungsgeschwindigkeit und Entscheidungsqualität auf der Grundlage von Zug-für-Zug-Daten für viele Entscheidungen derselben einzelnen Entscheidungsträger ermöglicht es uns, die systematische Heterogenität über einzelne Entscheidungsträger oder über bestimmte Spielerpaarungen hinweg zu berücksichtigen, die zu bestimmten Spielstilen führen können. Die Analyse zeigt somit Hinweise auf den Zusammenhang zwischen Entscheidungsgeschwindigkeit und Entscheidungsqualität bei gleichzeitiger Berücksichtigung anderer Muster der Entscheidungsfindung oder systematischer Einflüsse, die den Verhältnis von Geschwindigkeit und Qualität zwischen den Fachvergleichen beeinflussen könnten.

Abb. 1 zeigt Schätzungen aus einem Modell, das eine bessere Vergleichbarkeit der geschätzten Koeffizienten über Spieltypen hinweg ermöglicht. Anstatt die Wirkung einer zusätzlichen Minute zu messen, die in klassischen, Rapid- und Blitz-Spielen unterschiedliche Auswirkungen hat, werden die Entscheidungszeiten in zehn gleich große Behälter (durch Anzahl der Beobachtungen) unterteilt, die für jedes Zeitsteuerformat separat definiert sind. Durch Benchmarking-Entscheidungsgeschwindigkeiten im Verhältnis zu jedem Format werden die Ergebnisse in den Spielen von Classical, Rapid und Blitz vergleichbar.

Entscheidungszeit und Zugqualität über die Zeitverteilung. Hinweis: Die Abbildung enthält Schätzungen eines flexiblen Modells. Die Entscheidungszeiten sind in zehn gleich große Behälter unterteilt (durch die Anzahl der Beobachtungen), die separat für klassische, Rapid- und Blitz-Spiele definiert sind. Alle Koeffizienten werden relativ zu den 10% schnellsten Züge (der [0, 10%] Bin) ausgedrückt. Zum Beispiel zeigt der Koeffizient für den Bin (70%, 80%] die Wahrscheinlichkeit, den besten Zug für diesen Bin relativ zu den schnellsten 10% der Züge zu spielen, innerhalb jedes Zeitsteuerformats. Die Regressionsspezifikation ist ansonsten die gleiche wie in Tabelle 1, einschließlich Kontrollen für verfügbares Zeitbudget, Rechenkomplexität und Unterscheidungskraft sowie feste Effekte für Spieler-Spiele, fixe Effekte mit der Zugnummer und Indikatoren für günstige oder ungünstige Positionen.