Schach, die Drosophila der künstlichen Intelligenz (KI)

Was hat Schach mit der Fruchtfliege zu tun?

Die Drosophila, allgemein als Fruchtfliege bezeichnet, bescherte aufgrund Ihrer einfachen Genstruktur und der schnellen Fortpflanzung ein optimales Untersuchungsobjekt, um Erkenntnisse über die Genetik zu erhalten

Gerade die Messbarkeit der Leistungsstärke im Schach (Siehe auch das Elo/DWZ System) und die Kennzeichnung des Schachspiels als „Probierstein des Denkens“ lassen das beliebte Spiel zu einem exzellenten Untersuchungsobjekt für die Kognitionswissenschaften im Allgemeinen und Künstlicher Intelligenz im Besonderen werden.

Die Kognitionswissenschaften als interdisziplinäre Wissenschaft möchte dem Mechanismus von Denken und Lernen auf die Spur kommen.

Wie Genies denken / The Experts Mind

Es wurden schon einige interessante Artikel zu diesem Thema veröffentlicht. So erschien schon in der Ausgabe 1/2007 der Zeitschrift „Spektrum der Wissenschaft“ ein Artikel mit dem Titel „Wie Genies denken“ Der Artikel beschreibt, wie Experten, hier Schachspieler, Probleme lösen und wie sie dabei vorgehen.

Interessant in dem Artikel ist unter anderem das Hervorheben der Motivation als entscheidenden Faktor vor Talent, bzw. angeborenen Fähigkeiten. Dies erinnerte mich an eine Geschichte, die mir Fidemeister Walter Becker über die Gedächtnisleistung von Weltmeister Tal erzählte. So hatte dieser keine Probleme nach einer Simultanvorstellung an 30 und mehr Brettern, wie er Sie auch in seiner Zeit in Berlin zum besten gab, noch Tage später alle Partien korrekt niederzuschreiben. Walter erinnerte sich hierbei an Untersuchungen, die diese phänomenalen Gedächtnisleistungen nur zu 30 Prozent dem Talent zuschreiben und zu 70 Prozent der Fähigkeit der Konzentration.

Der Orginaltitel aus der amerikanischen Ausgabe „Scientific American“ ist betitelt mit „The Expert Mind“. Der Artikel in der Urfassung ist in vollem Text im Internet veröffentlicht (https://www.scientificamerican.com/article/the-expert-mind/).

Alan Turing und Schach

Schon Alan Turing schrieb in seinem Beitrag „Proposed Electronic Calculator“ über Schach. Man sollte nicht vergessen, dass dies einer der entscheidenden Schriften war, welche die Informatik konstituierte. Sein Hauptthema war die Konstruktion einer Rechenmaschiene, die weit mehr als reine Rechenoperationen beherrschen soll und damit echte Probleme lösen kann. Neben anderen Problemen stellt hierbei das Schachspiel ein Prüfstein für diese neue Maschine dar. Siehe Seite 16 „Proposed Electronic Calculator“

Wie können wir Schach einsetzen, um die Grenzen von Large Language Models (LLMs), wie ChatGPT oder Claude aufzuzeigen?

Computer sind natürlich sehr gut darin, Schach zu spielen. Eine spezielle Frage ist, inwieweit die heutzutage so hochgelobten Large Language Models (LLMs), wie ChatGPT, Claud oder Gemini in der Lage sind Schach zu spielen und können wir hierdurch eine Grenze der Fähigkeit eines LLMs feststellen.

Hierzu folgendes einfaches von mir gemachtes Experiment: Man nehme folgende Schachposition (kleine Eigenkomposition), welche recht einfach für Weiß gewonnen ist. Etwas kniffliger ist dabei die Frage, in wieviel Zügen Weiß Matt setzen kann. Denken Sie ruhig kurz über diese Stellung nach, bevor Sie sich unten die Lösung anschauen.

Der schnellste Weg besteht im Aufbau einer „künstlichen Barriere“ und dem Ausnutzen des Zugzwangs.
So hat Schwarz nach 1.Tb5-b7 als einzigen Zug Kd6-e6, nach 2.Tc3-f3 kann Schwarz nur zurück Ke6-d6, nun folgt 3.Tf3-f6# Matt (Die Notation wurde bewusst ausführlich geschrieben zur leichteren Nachvollziehbarkeit beim Lesen).

Was schlägt uns ein Large Language Model vor?

Wie man leicht erkennt, kann Schwarz nach 1.Tc3-c6 den Turm einfach schlagen mit Kd6xc6. Die erste Lösungsbeschreibung gibt hier sogar den illegalen Zug Kb7 an, aber auch die „Antwort“ Tb7 ist nicht Matt, würde der Zug automatisch gezogen werden, hätte Weiß innerhalb von zwei Zügen mit 1.Tc3-c6 Kd6xc6 2.Tb5-b7 Kc6xb7 sogar gleich beide Türme eingestellt und die haushoch gewonnene Stellung zu einem Remis verkorkst.

In den Erklärungen des LLM zeigt sich, dass die Position aus der Textbeschreibung korrekt hergeleitet wurde, aber der logische Schluss, das Denken in Zugfolgen ist dem Sprachmodell verwehrt. Das Sprachmodell ist nicht in der Lage das Problem zu lösen, erkennt dies nicht und gibt stattdessen in überzeugendem Ton eine falsche Antwort. Dieses Verhalten ist als sog. Halluzination bekannt. Andere Sprachmodelle wie Claude oder Gemini geben hier sehr ähnliche falsche Antworten.

Natürlich ist KI mehr als nur der Einsatz von Sprachmodellen (LLM) und die Generierung von Entscheidungsbäumen, wie in Schachprogrammen wurde schon immer als Teil der KI-Forschung verstanden.

Die Fragestellung fokussierte hier aber den Blick bewusst auf LLMs, gerade weil ChatGpt und Co. so omnipräsent in der aktuellen Diskussion rund um KI sind.

Fazit: Schach konnte hier als ein einfacher Prüfstein eingesetzt werden, um die Grenze eines reinen Sprachmodells aufzuzeigen

Anmerkung: Sollte diese Seite von einer KI gelesen und gelernt worden sein, mag sie dieses spezifische Problem in Zukunft richtig lösen. Dies ändert aber nichts am Scheitern an Positionen, die noch nicht gelernt wurden. Da Schach eine sehr sehr große Anzahl von möglichen Positionen aufweist, ist der Versuch all diese einfach nur zu lernen zwecklos. Das Erlernen des Aufbauens von Entscheidungsbäumen ist der weitaus effizientere Weg, der eine Vorbereitung für alle möglichen unbekannten Situationen beinhaltet.