Was die Anforderungen an die Hersteller angeht, gibt es erhebliche Überschneidungen zwischen AI Act und MDR / IVDR, etwa bei Risikomanagementsystemen, beim Qualitätsmanagement und bei den Kennzeichnungspflichten. Neu bzw. AI-Act-spezifisch sind dagegen Anforderungen im Bereich Data Governance und bei der automatisierten Funktionsüberwachung. Auch muss die Aufsicht eines Menschen über die KI technisch unterstützt werden. Hier zeigt sich gleich die nächste Besonderheit des AI Acts: Er gilt nicht nur für Hersteller, sondern auch für Betreiber von KI-Anwendungen. Eine medizinische Einrichtung muss die menschliche Aufsicht über das KI-basierte Medizinprodukt vor Ort konkret umsetzen: „Der AI Act macht die Sicherheit KI-basierter Medizinprodukte zu einer gemeinsamen Aufgabe von Herstellern und Betreibern, das ist eigentlich die Quintessenz“, so Prinz. Insgesamt hält er den Zusatzaufwand für relevant, aber handhabbar: „Ein Hersteller, der schon Erfahrung mit Software als Medizinprodukt hat, hat relativ gute Karten, weil er vieles von dem, was er ohnehin etabliert hat, nutzen kann.“
Wie sieht es mit der Zulassung selbstlernender KI-basierter Medizinprodukte aus? Prinzipiell, so Prinz, sehe der AI Act vor, dass Hersteller schon im Markt befindliche Anwendungen künftig in engem Rahmen verändern dürfen. Ein Algorithmus, der Bild- oder EKG-Daten analysiert, könnte künftig zum Beispiel auf lokalen Daten nachtrainiert werden, ohne dass eine Rezertifizierung erforderlich wird. Allerdings muss der jeweilige Hersteller sich das dann schon vorab, im Rahmen der CE-Konformitätsprüfung, von der Benannten Stelle absegnen lassen. „Wichtig ist, dass es hier um ein kontrolliertes Weiterlernen des Systems geht, bei dem der Hersteller genau wissen muss, welche Daten in das System eingehen“, betont Prinz. „Das hat nichts zu tun mit unkontrolliert im Feld lernenden Systemen.“ Der KI-Chatbot, der mit Hilfe eines LLMs auf solcher Basis Therapievorschläge macht, wäre nach diesem Modell sicher nicht zertifizierbar. „Ich glaube, dass unkontrolliert lernende Systeme auf absehbare Zeit nicht kommen werden“, so Prinz.
Stephen Gilbert sieht das anders. Er fürchtet, dass Europa in Sachen KI-basierte Medizinprodukte den Anschluss verlieren könnte. Das umso mehr, als die britische Zulassungsbehörde seit Ende 2024 einen Zulassungsweg für LLM-basierte Medizinprodukte zu etablieren versucht (siehe Kasten). Die USA sind den Briten knapp auf den Fersen. Dort haben es KI-basierte Medizinprodukte ohnehin leichter. Denn Entscheidungsunterstützungs-Software, die nur mit Textdaten arbeitet und sich nur an Ärzte – nicht an Patienten – richtet, braucht unter gewissen Bedingungen gar keine Medizinproduktezulassung. Entsprechend, so Gilbert, seien in den USA mittlerweile mehrere LLM-basierte Softwarelösungen, die in Europa Medizinprodukte wären, bereits im aktiven Einsatz. Das bekannteste Beispiel ist Glass Health, das auf Basis von Textdaten aus den Patientenakten konkrete Vorschläge für das klinische Management macht. Auch Europa wird sich über kurz oder lang Gedanken machen müssen, wie es mit solchen Anwendungen umgeht. Zu warten, bis der AI Act 2027 voll implementiert ist, dürfte keine geeignete Strategie sein, wenn Europa wettbewerbsfähig bleiben will.