"KI automatisiert menschliche Entscheidungen – Vorurteile inklusive"

Herr Hallensleben, die VDE SPEC soll messbar machen, zu welchem Grad KI-Systeme bestimmte Werte umsetzen – wie zum Beispiel Transparenz oder Fairness. Aber wenn wir uns mal das Thema Transparenz anschauen, dann gibt es Experten, die behaupten, dass eine Künstliche Intelligenz gar nicht transparent sein muss. Wie sehen Sie das?
Es kommt darauf an, welchen Vergleichsmaßstab man anlegt. Menschliche Entscheidungen sind nur teilweise transparent, weil wir dem Entscheider nicht in den Kopf schauen können und nicht wissen, welche Erfahrungen im Leben ihn bewogen haben, seinen Ermessensspielraum in dieser oder jener Form zu nutzen. Wenn eine KI menschliche Entscheidungen automatisiert – Stichwort Kreditvergabe oder Recruitment –, dann muss man sich überlegen, ob man weiterhin mit einer solchen nur partiellen Transparenz zufrieden ist oder aber die Latte höher legen will. Hier sehe ich eine große Chance, die Einführung von KI nicht nur als Risiko zu diskutieren, sondern auch als Chance für mehr Transparenz und auch Qualität und Konsistenz von Entscheidungen.
an kann aber auch aus einer anderen Perspektive auf das Thema schauen und fragen: Was ist der minimale Sicherheitsstandard? Wenn die KI einen Roboter oder ein autonomes Fahrzeug steuert, dann gibt es Experten, die sagen: "Wir lassen nichts für den sicherheitskritischen Bereich zu, das nicht zu 100 Prozent transparent ist und das ich verstehen kann." In diesem Fall argumentiert man aus einer Sicherheits- oder aus einer Risiko-Perspektive, wie transparent eine KI sein muss, und kommt eventuell zu einer anderen Abwägung.

Inwieweit ist denn Transparenz überhaupt möglich? Oder muss man letztendlich damit leben, dass KI zu einem gewissen Teil eine Black Box bleibt?
Da muss man unterscheiden zwischen Transparenz und Erklärbarkeit. Wenn ich mir die Kriterien für Transparenz anschaue, wie wir sie in der VDE SPEC definiert haben, dann geht es darum, Trainingsdatensätze und Algorithmen umfassend zu dokumentieren und außerdem dafür zu sorgen, dass diese Informationen nicht nur zugänglich, sondern auch breit verständlich sind. Einer hohen Transparenz sind keine prinzipiellen Grenzen gesetzt. Wenn sie eingeschränkt wird, dann typischerweise durch die Abwägungen gegenüber anderen Erfordernissen, beispielsweise dem Schutz der Privatsphäre, wenn Trainingsdaten persönliche Daten enthalten. Bei der Erklärbarkeit – also der Möglichkeit, das Entstehen einer Einzelentscheidung der KI zu begründen – wird es deutlich schwieriger. Bei einem neuronalen Netz stoße ich dabei an technische Grenzen, die möglicherweise sogar grundsätzlicher Natur sind. 
Heruntergebrochen auf das Beispiel Kreditvergabe heißt das: Ich kann Transparenz herstellen, indem ich unter anderem offenlege, mit welchen Trainingsdaten die KI angelernt wurde. Was dann aber die KI aus diesen Daten macht, also wie sie zu einer Entscheidung im konkreten Einzelfall kommt, das lässt sich nicht erklären.
Richtig – also zumindest, wenn ein neuronales Netz genutzt wird. Ich würde dabei aber auch zwischen der statistischen Betrachtung und der eines Einzelfalls unterscheiden.

Inwiefern?
Bleiben wir beim Credit Scoring: In der Masse der Entscheidungen kann ich statistisch zeigen, dass bestimmte Gruppen auf eine bestimmte Weise behandelt werden – zum Beispiel diskriminiert oder bevorzugt werden. Oder dass die Entscheidungen, die das System trifft, besser sind als die eines Sachbearbeiters. Wenn ich jetzt aber den Einzelfall betrachte und frage: Warum hat die KI genau dieser Person keinen Kredit gegeben? Dann wird es viel, viel schwieriger. Wir wissen noch nicht mal, ob es bei einem neuronalen Netz überhaupt prinzipiell möglich ist, hier eine Erklärbarkeit zu erreichen.

Wir haben jetzt viel über den Einsatz der KI bei Kreditanträgen gesprochen. In diesen Anwendungen kam es auch zu viel diskutierten Fällen, in denen die Entscheidungen der KI diskriminierend waren. Das Problem dabei waren die Trainingsdaten, richtig?
Ich überspitze es ein bisschen: KI automatisiert menschliche Entscheidungen, inklusive bisheriger menschlicher Vorurteile. Denn es ist einfach das Wesen von neuronalen Netzen, dass ich sie zum Training mit alten Daten füttern muss. Und in diesen können dann eben auch Vorurteile stecken. Wenn man diese Vorurteile nicht in das Training der KI einfließen lassen möchte, dann muss man die alten Daten vorher sehr sorgfältig säubern und sich dazu kritisch fragen, welche Ungleichgewichte sachlich begründbar sind und welche als unerwünschte Vorurteile eliminiert werden sollen. Es gibt in solchen Situationen aber auch noch ein prinzipielles Problem beim Lernen anhand von Daten.

Welches ist das?
In den alten Daten sind ja nur Kredite aufgeführt, die tatsächlich vergeben wurden. Und für jeden vergebenen Kredit lässt sich dann sehen, ob und wann er zurückgezahlt wurde. Es gibt in diesen Daten aber keine Informationen zu Krediten, die nicht vergeben wurden. Man weiß also nicht: Wäre ein Kredit, der trotz negativer Einschätzung gewährt wurde, auch zurückgezahlt worden? Es lässt sich nicht nachprüfen, ob ein menschlicher Entscheider früher vielleicht in manchen Fällen zu vorsichtig war. Das heißt, der Lerndatensatz für das KI-System hat einen großen blinden Fleck. Das gleiche Problem wird etwa in den USA diskutiert, wenn dort KI genutzt wird, um die Rückfallwahrscheinlichkeit inhaftierter Straftäter vorherzusagen, die eventuell auf Bewährung entlassen werden sollen. Man kann dabei immer nur sehen, ob ein Straftäter rückfällig wurde, nachdem er vorzeitig in die Bewährung entlassen wurde. Aber bei den Personen, die im Gefängnis bleiben mussten, wird sich nie feststellen lassen, ob diese in Freiheit wie erwartet tatsächlich wieder straffällig geworden wären. 

Gibt es bestimmte Anwendungen oder Bereiche, für die man den Einsatz von KI kategorisch ausschließen sollte?
Das ist aus meiner Sicht eine Entscheidung der Politik. Die Standardisierung muss Möglichkeiten schaffen, damit diese Entscheidung sauber getroffen werden kann. Also dass die Risikoklassen klar definiert sind und die ethisch relevanten Eigenschaften eines Systems beschrieben werden. Das ist eine ganz wichtige Aufgabe der Standardisierung. 

Aber was ist Ihre persönliche Meinung?
Ich finde, dass die erste grobe Abgrenzung der strikt verbotenen Fälle, welche die EU-Kommission vorgeschlagen hat, ein ganz guter Ausgangspunkt ist. Dazu zählt zum Beispiel der massenhafte Einsatz von Biometrie – also quasi auf offener Straße routinemäßig alle Gesichter erkennen zu können. Da würde ich persönlich sagen, dass ich in einer solchen Gesellschaft nicht so gerne leben möchte. Das Gleiche gilt aber auch, wenn KI genutzt wird, um in großem Stil zu manipulieren. Also wenn mithilfe von KI ein Feed in sozialen Netzwerken so gestaltet wird, dass dadurch die Masse der User in eine ganz bestimmte Richtung gelenkt wird. Auch da sind für mich persönlich ethische Grenzen erreicht. Aber das muss eben im politischen Prozess diskutiert und entschieden werden und nicht im Rahmen der Standardisierung.

Interview: Markus Strehlitz