KI in der Medizin: Wie sind die rechtlichen Rahmenbedingungen?

20 März, 2024 - 07:00
Miriam Mirza
Experte im Gespräch: Sebastian Vorberg
Sebastian Vorberg ist Fachanwalt für Medizinrecht, Innovation, Digitale und KI-Medizin, Speaker, Autor und Visionär.

Sebastian Vorberg ist Fachanwalt für Medizinrecht, Innovation, Digitale und KI-Medizin, Speaker, Autor und Visionär. Seine Botschaft lautet: Ärztinnen und Ärzte müssen keine Angst vor KI haben, die rechtlichen Rahmenbedingungen sind im Medizinprodukterecht bereits angelegt. Anstatt sich zu viele Sorgen um etwaige Haftungsfragen zu machen, sollten sie sich lieber mit dem Nutzen von KI und der dadurch eingeleiteten Transformation des Gesundheitswesens beschäftigen.

KI ist in aller Munde, und damit einher gehen viele Fragen in Bezug auf rechtliche Regelungen und die Sorge, dass fehlende rechtliche Regelungen für einen so sensiblen Bereich wie das Gesundheitswesen zu einem gefährlichen Wildwuchs der KI führen könnten. Wie sehen Sie das?

Sebastian Vorberg: Ich würde hier mit einem anderen Ansatz anfangen und erst einmal fragen, was wir denn überhaupt geregelt haben wollen. In Deutschland hat man in Bezug auf das Gesundheitswesen viele Ängste, die aber unbegründet sind. Es ist meiner Meinung nach wichtig, die Welt der Möglichkeiten zu sehen, die KI bietet. Natürlich muss man sich auch mit den Risiken befassen, aber welche sind das? Wenn eine Ärztin oder ein Arzt anfängt, KI zu verwenden, muss er oder sie diese Risiken selbst einschätzen können. In der Regel ist das ja auch möglich. Immerhin ist er oder sie medizinisch geschult und kann entscheiden, ob die KI etwa mit einer Diagnose richtig liegt oder nicht. Problematisch wird es, wenn man sich nur noch auf die KI verlässt.

Aber welche Regulation gibt es denn, die für KI greift?

Sebastian Vorberg: Wenn es darum geht, eine Legitimation für KI herzustellen, greift das Medizinprodukterecht (MDR). Für mich ist darin alles ausreichend über die Zweckbestimmung geregelt. Hat zum Beispiel eine Pharmafirma den Wunsch, ein KI-Produkt als Medizinprodukt anerkennen zu lassen, muss das Produkt geprüft werden und eine Zweckbestimmung und die entsprechende Beschreibung aufweisen. Wurde es als Medizinprodukt zertifiziert, kann sich das medizinische Fachpersonal auf diese Zertifizierung auch verlassen.

Wie sieht es denn aktuell aus? Gibt es generative KI-Produkte, die zertifiziert sind?

Sebastian Vorberg: Momentan haben wir keine, aber das wird sich ändern.

Warum herrscht so viel Unsicherheit in Bezug auf generative KI?

Sebastian Vorberg: Dabei handelt es sich um eine neue Entwicklung. Die Besonderheit ist, dass KI lernen kann und auf neuronalen Netzwerken basiert. Das ist uns suspekt, weil wir nicht mehr nachvollziehen können, wie die Technik auf ihre Lösungen kommt. Das ist aber keine Zauberei. Ein Sprachmodell rechnet die Wahrscheinlichkeit aus, mit der ein Wort nach dem anderen kommt.

Wie will man das regulieren? Was sagen Sie zu Ärztinnen und Ärzten, die Sorge haben, in die Haftung oder Pflicht genommen zu werden?

Sebastian Vorberg: Mit der Legitimation hat die Ärztin oder der Arzt eigentlich gar nichts zu tun, denn entweder ist ein Produkt legitimiert, dann kann man sich darauf verlassen und für die Haftung sind die Hersteller verantwortlich.

Da aber generative KI noch nicht zertifiziert ist, müssen Nutzende die Ergebnisse überprüfen, richtig?

Sebastian Vorberg: Ja, eine generative KI kann gut als Input genutzt werden. Man kann auch weitere Diagnostik darauf stützen, allerdings dürfen Ärztinnen und Ärzte die Vorschläge von ChatGPT nicht blind übernehmen. Aber sie können ja auch nicht blind übernehmen, was die Patientin oder der Patient sagt. Man kann nicht einmal blind übernehmen, was im Buch steht. Auch hier müssen Ärztinnen und Ärzte prüfen, ob das der neueste Wissensstand ist. Eine KI-Unterstützung kann also ein ganz hervorragendes Tool sein – und viele Medizinerinnen und Mediziner nutzen diese Tools ja schon, z.B. in der Radiologie. Die Technologie macht Vorschläge und hilft, Dinge sichtbar zu machen, die man zuvor nicht sehen konnte.

Ist denkbar, dass es irgendwann sogar eine Pflicht geben wird, KI zu nutzen?

Sebastian Vorberg: Absolut! KI ist wie eine neue medizinische Methode, und wenn man als Ärztin oder Arzt seinen Job ernst nimmt, muss man sich damit auseinandersetzen und wird zu dem Schluss kommen: Man kann es nutzen – man muss es nur richtig nutzen.

Sie sagten eben, es gibt Regelungen in Bezug auf KI. Das Problem ist ja auch, dass die Technik der Gesetzgebung immer einen Schritt voraus ist. Es wird ja sicher ein fortlaufender Prozess sein, aufkommende Lücken, die durch neue Technologien entstehen, auch in Bezug auf die rechtlichen Aspekte hin zu schließen.

Sebastian Vorberg: Aus meiner Sicht gibt es keine rechtlichen Lücken, und sämtliche KI, die noch kommt, ist mit heutigem Stand abschließend geregelt. Wir haben eine Rahmengebung, die sagt, wann ein Produkt ein Medizinprodukt ist. Das bedeutet, es muss entschieden werden, in welche Risikoklasse das Produkt eingeteilt wird. Man muss eine Zweckbestimmung aufsetzen, und dann braucht es ein Risikomanagement und ein Qualitätsmanagement.

Wie könnte das alles konkret für eine generative KI aussehen?

Sebastian Vorberg: Man müsste für die KI schauen, ob das Produkt Risiken hat, beispielsweise, wie hoch das Risiko ist, dass die KI eine falsche Antwort gibt. Wenn das so ist, muss man prüfen, ob man das in den Griff bekommt. Ist das nicht möglich, wird das Produkt nicht zugelassen. Dazu braucht man keine neue Regulation. Man sollte das Ganze vielmehr pragmatisch angehen und sich fragen: Was ist eigentlich das Problem? Wir haben doch auch schon Apps, die Medizinprodukte sind und genauso zertifiziert werden. Es spielt keine Rolle, ob hinter einem Produkt ein KI-Algorithmus steckt oder nicht. Das ist für die Regulation ziemlich egal. Wichtig ist, die Ergebnisse der KI, intensiv zu prüfen. Wenn sie dazulernt, muss vielleicht nach zwei Jahren wieder überprüft werden, ob die Ergebnisse noch richtig sind und sich die KI nicht in eine Richtung entwickelt, wie nicht gewünscht ist. Das wird am Anfang wahrscheinlich sehr engmaschig notwendig sein. Und wenn wir irgendwann an dem Punkt sind, dass die Antworten viel besser sind als die von Ärztinnen und Ärzten, gibt es für mich keinen Grund mehr, die KI nicht als Medizinprodukt zuzulassen.

Auf EU-Ebene wird an dem EU-AI Act gearbeitet. Können Sie dazu etwas sagen? Wird er auch für den medizinischen KI-Einsatz in Deutschland relevant sein?

Sebastian Vorberg: Im Grunde hat er kaum Einfluss auf die Entwicklung von KI in der Medizin, weil der AI-Act für jede Art von KI gelten soll, insbesondere auch für bisher unregulierte KI. In Europa aber haben wir für den Bereich der Medizin mit der MDR schon eine Regulation, die sogar stärker ist, als das, was im EU-AI Act zu erwarten ist.

Wenn man auf die USA schaut, scheint man dort weniger Bedenken wegen KI und ihrem Einsatz auch in der Medizin zu haben. Was denken Sie, warum das in Deutschland anders ist?

Sebastian Vorberg: Ehrlich gesagt, befürchte ich, dass KI in Deutschland gnadenlos untergeht. Derzeit ist die Basis perfekt, um KI einfach und sinnvoll zu integrieren. Dazu müssen wir ein paar Regeln neu aufstellen, aber im Grunde ist das alles nicht schwer. Was dann aber hierzulande immer passiert, ist das Herbeireden von Gespenstern. Da werden Horrorszenarien ausgemalt, und jeder kleine Schaden, der auf der Welt irgendwie durch KI entsteht, wird dargestellt, als wäre es das größte Problem, ohne den überwiegenden Nutzen zu sehen. Dann verweist man auf den Datenschutz und Projekte, die vielleicht gut angefangen haben, verlaufen im Sande. Bei dieser Dynamik spielt auch die öffentliche Berichterstattung eine unrühmliche Rolle. In Deutschland macht man lange Sachen erstmal möglichst schwierig, bevor man sie etabliert, weil man sonst keine Legitimation erreicht. Das hat zur Folge, dass wir viel zu spät von guten Entwicklungen profitieren.

Nehmen wir einmal an, dieses Mal läuft es anders. Wie wird KI das Gesundheitswesen Ihrer Meinung nach verändern?

Sebastian Vorberg: Ich glaube, dass künftig die KI nicht bei der Ärztin oder dem Arzt ansetzt, sondern bei der Patientin oder dem Patienten. Irgendwann sind wir nämlich soweit, dass KI rechtlich legitimiert ist und sogar die Qualität einer Ärztin oder eines Arztes übersteigt. Das bezieht sich nicht auf Operationen oder körperliche Untersuchungen, sondern auf das Weltwissen der Medizin, vereint mit den Informationen der Patientinnen und Patienten. Daraus ergibt sich eine Schnittmenge von Informationen, mit deren Hilfe so präzise Diagnostik, Therapievorschläge und Therapieüberwachung machbar ist, dass keine Ärztin und kein Arzt mehr mithalten kann.

Das würde heißen, wir ersetzen die Ärztin und den Arzt auf eine gewisse Weise.

Sebastian Vorberg: Richtig, früher waren sie Gatekeeper für die genannten Informationen, in Zukunft werden das Plattformen sein, so wie Google heute der Gatekeeper für interessante Fragen ist, oder Amazon für unterschiedliche Consumer-Produkte oder Spotify für Musik. Es wird eine KI-gesteuerte Patientenunterstützung geben, die klar an den Patientinnen und Patienten angesiedelt ist. Das bedeutet auch, dass Patientinnen und Patienten erst einmal einen Online-Test machen oder online psychotherapeutische Maßnahmen ausschöpfen, bevor sie als letzten Schritt in eine Praxis gehen. Ich glaube, in Zukunft wird sich 80 Prozent der Gesundheitsversorgung außerhalb der Praxis abspielen – und das ist doch eine Verbesserung angesichts des Ärztemangels! Ich nenne das „hybride Medizin“. Diese hybride Medizin wird durch KI möglich.
 

Das könnte Sie auch interessieren: