Künstliche Intelligenz im Qualitätscheck

VDE und Land Hessen eröffnen AI Quality & Testing Hub 

Made in Germany. Das ist mehr als ein Label, das ist ein Versprechen. Produkte, die diese Auszeichnung tragen, gehören in der Regel nicht zu den günstigsten – aber zu den qualitativ besten. Dieses Geschäftsmodell funktionierte mal hervorragend und auch heute noch recht passabel. Das liegt nicht zuletzt daran, dass es etwa bei Autos oder Maschinen vergleichsweise einfach ist, die Qualität zu belegen und ihre Überlegenheit zu Konkurrenzprodukten zu beweisen. Für Produkte aus dem Bereich der Künstlichen Intelligenz (KI) ist das jedoch nicht so einfach. "Das liegt daran, dass wir bisher keine anerkannten Bewertungskriterien für die Qualität von KI haben, keine Prüfwerkzeuge und keine Standards, nach denen zertifiziert werden könnte“, weiß Dr. Sebastian Hallensleben, Leiter für KI und Digitalisierung im VDE. Hinzu käme, dass die Prüfung auch einfach schwierig sei, da die neueren KI-Systeme – also alles, was in irgendeiner Form neuronale Netze enthält – weitgehend intransparente Blackboxen seien. Bedeutet: Man kann nie sicher sein, was darin tatsächlich genau vor sich geht und manchmal auch nicht, was hinten rauskommt.

Ein riskantes Spiel. Denn der Einsatz qualitativ minderwertiger KI kann verheerende Folgen haben. Wenn ein Chatbot mal eine Frage nicht befriedigend beantwortet oder eine Übersetzungssoftware bei Liebeslyrik aus dem Hochmittelalter versagt, ist das vielleicht noch zu verzeihen. Doch wenn man einer KI beispielweise beim Autonomen Fahren seine Sicherheit anvertraut, ist ein fehlerfreies Funktionieren sogar überlebenswichtig. "Gerade hier hat sich aber beispielsweise gezeigt, dass minimale Störungen wie etwa das Anbringen von kleinen Klebestreifen auf einem Verkehrsschild die Erkennung durch die KI komplett sabotieren kann", berichtet Hallensleben. Dann würde diese beispielsweise statt eines Stopp-Schildes ein Tempo-50-Schild registrieren – was in der Praxis fatal enden kann.

Fokus auf verantwortungsbewusste KI

Bei der Prüfung der Qualität von KI-Systeme ist noch eine Menge Innovation nötig. Aber das schöne ist: Die Innovationsführerschaft ist an der Stelle noch zu vergeben, so Hallensleben: "Weder China noch die Vereinigten Staaten sind uns hier voraus". Doch die Qualität wird letztendlich von dem reguliert und standardisiert, der sie auch technisch beherrscht. Allein: Selbst wenn man KI-Entwickler fragt, wie Qualität zu erreichen sei, zucken sie in der Regeln mit den Schultern. Auch haben sie keine Ahnung, ob es rechtlich problematisch ist, wenn sie irgendwelche Versprechen machen, die nachher nicht eingehalten werden. "Und eigentlich wissen sie noch nicht einmal, an wen sie sich wenden können, wenn sie die Qualität ihrer KI verbessern wollen", erklärt Hallensleben.

Doch das soll sich jetzt ändern! Zusammen mit dem Land Hessen hat der VDE im Dezember 2022 den "AI Quality & Testing Hub" gegründet, der nun offiziell eröffnet wurde. Für das Land ist der neue Hub Teil einer KI-Agenda, die gut ein Jahr zuvor von Prof. Dr. Kristina Sinemus, Hessische Ministerin für Digitale Strategie und Entwicklung, veröffentlicht wurde. Im Zuge dieser Strategie soll nicht nur ein starkes KI-Ökosystem aufgebaut, sondern vor allem ein Fokus auf die Gestaltung einer verantwortungsbewussten KI gesetzt werden, heißt es in dem Papier. Dafür gibt es in Hessen bereits das Forschungs- und Kompetenznetzwerk ZEVEDI sowie den KI-Verbund hessian.AI. "Diese KI-Landschaft wird nun mit dem Hub um das Thema Qualität ergänzt und vervollständigt", freut sich Dr. Tina Klug, Leiterin des Referats Digitalisierung und KI in Wirtschaft, Forschung und Gesellschaft im Ministerium. Denn ohne die entsprechende Qualitätssicherung sei ein verantwortungsbewusster Umgang mit dem Thema nicht möglich.

Leistungsportfolio des Hub umfasst Information, Training und Beratung

Aber was macht der Hub eigentlich genau? "Um herauszukriegen, ob es einen Bedarf für einen solchen Hub gibt und wenn ja, wie er dann ausgestaltet werden sollte, haben wir zunächst einen ausführlichen Stakeholderdialog durchgeführt", erläutert Klug. Dabei sei herausgekommen, dass der Qualitätsbegriff recht breit gefasst werden müsste: Es ginge eben nicht nur um die Performance einer KI, sondern auch um Themen wie Transparenz, Nichtdiskriminierung, Nachhaltigkeit, Rechtssicherheit oder rechtliche Robustheit. Zudem wurde auch recht schnell deutlich, dass der hessische Hub keine regionale Ausrichtung haben dürfte. Im Gegenteil: Von Anfang an sollte es einen europäischen Anspruch geben.

"Ganz zentral war für uns der Aufbau eines Netzwerks", erklärt Klug. Und dieser habe auch schon lange vor der offiziellen Gründung des Hubs begonnen. So wurde im November 2022 erstmals zum AI Quality Summit geladen, eine international und hochkarätig besetzte Veranstaltung, die nun jährlich stattfinden soll und so etwas wie ein Kickoff-Event für den Hub war. Zudem wurde ein Expert Council eingerichtet, in dem alle nichtkommerziellen Beteiligten rund um den Hub zusammenkommen und sich in loser Folge treffen werden, um Input zur strategischen Richtung zu geben. Hinzu kommt in Kürze ein Business Council, also ein Unternehmensgremium, das die Industriebedarfe an den Hub formuliert und entsprechenden Input gibt.

"Was das weitere Leistungsportfolio angeht, werden wir uns zunächst auf den Bereich 'Information, Training und Beratung' fokussieren, weil wir hier schnell KI-Anbietern wie -Anwendern wertvolle Hilfe bieten können", erklärt Dr. Michael Rammensee. Er ist Geschäftsführer des neuen Hubs. Ende Januar ist Rammensee in sein neues Büro im House of Logistics and Mobility (HOLM) am Frankfurter Flughafen gezogen.

Der Standort ist gut gewählt. Nicht nur, weil Logistik und Mobilität neben der Gesundheitsindustrie und der Finanzwirtschaft Schwerpunkte des Hubs sein werden, sondern auch, weil das HOLM sich selbst als Entwicklungs‑ und Vernetzungsplattform versteht, auf der Unternehmen und Start-ups, Hochschulen und Forschungsinstitutionen, Verbände und politische Institutionen aufeinander treffen, um gemeinsam Projekte und Innovationen voranzutreiben. Vor allem jedoch bietet der Standort die Möglichkeit zu wachsen: "Mindestens 50 Mitarbeiterinnen und Mitarbeiter!", antwortet Rammensee selbstbewusst auf die Frage, wo er den Hub in den nächsten Jahren sieht. Das ist freilich ein ehrgeiziges Ziel, zumal selbst finanzstärkere KI-Unternehmen permanent über Fachkräftemangel klagen. Doch ein Ass hat Rammensee im Ärmel: "Wir sind die Guten!" Denn während es in Unternehmen unter dem Strich dann doch weniger um die "Verbesserung der Welt", sondern eher um privatwirtschaftliche Interessen ginge, wolle der Hub tatsächlich einen Brückenschlag zwischen Innovation und Verantwortung schaffen – zum Wohle der Menschen. Genau das hätte damals den promovierten Physiker und KI-Spezialisten auch gereizt, als er gefragt wurde, ob er Interesse habe, den neuen Hub aufzubauen.

Ohne Standards geht es nicht

Wenn der Hub erst einmal weiter konsolidiert ist, warten weitere Aufgaben: So sind qualitätsgesicherte Datensätze zu entwickeln, mit denen KI-Systeme trainiert werden können. Wichtig sind auch Test- und Simulationsumgebungen, quasi digitale Äquivalente eines Prüfmittels oder einer Werkbank. "Dies kann eine Prüfsoftware sein, die den Unternehmen zu Verfügung gestellt wird, aber auch ein Komplett-Service ist geplant, bei dem der Hub selbst die KI eines Unternehmens auf Herz und Nieren prüft", erläutert Rammensee.

All dies geht natürlich nicht ohne Standards, ein weiterer wichtiger Aufgabenbereich des Hubs. Und damit zurück zu Sebastian Hallensleben vom VDE. Denn wenn "Made in Germany" als Qualitätssiegel auch für KI funktionieren soll, muss man genau bestimmen können, was gut und was schlecht ist – nach vorher exakt definierten Kriterien. "Doch genau hier liegt die Herausforderung", erläutert der Experte, "und mit einem einfachen Siegel würde man der Komplexität des Themas auch nicht gerecht werden." Deshalb hat der VDE bereits mit einer VDE SPEC vor einem Jahr eine Vorlage für ein international gültiges "AI Trust Label" entwickelt, das in Kürze präsentiert werden soll. Dies soll eher wie ein Etikett funktionieren, wie man es von Inhaltsstoffen in Nahrungsmitteln oder dem Energieverbrauch von Haushaltsgeräten kennt: mit standardisierten Ratings für bestimmte Teilaspekte von Qualität, wie Transparenz, Fairness und Schutz der Privatsphäre. Ein solches Label ist bedeutend aussagefähiger, vor allem aber nützlicher. "Denn wir wollen schließlich Innovationen nicht ausbremsen, sondern im Gegenteil: fördern", so Hallensleben.