KI & Recht kompakt [1. Aufl.] 9783662616994, 9783662617007

Table of contents :
Front Matter ....Pages I-XIX
Technische Grundlagen (Florian Hoppe)....Pages 1-28
Künstliche Intelligenz im Zivilrecht (Matthias Hartmann)....Pages 29-116
Haftung am Beispiel automatisierter Fahrzeuge (Lennart S. Lutz)....Pages 117-142
Künstliche Intelligenz im Immaterialgüterrecht (Matthias Hartmann, Claudia Ohst)....Pages 143-164
Datenschutz (Bernhard Kloos, Johanna Schmidt-Bens)....Pages 165-207
Datenschutz in öffentlichen KI-Forschungsprojekten (Beatrix Weber)....Pages 209-237
Künstliche Intelligenz im Arbeitsrecht (Jörg Hennig, Anika Nadler)....Pages 239-256
Künstliche Intelligenz und das Strafrecht (Christian Haagen, Anna Lohmann)....Pages 257-306

Citation preview

IT kompakt

Matthias Hartmann  Hrsg.

KI & Recht kompakt

IT kompakt

Die Bücher der Reihe „IT kompakt“ zu wichtigen Konzepten und Technologien der IT: • ermöglichen einen raschen Einstieg, • bieten einen fundierten Überblick, • eignen sich für Selbststudium und Lehre, • sind praxisorientiert, aktuell und immer ihren Preis wert. Weitere Bände in der Reihe: http://www.springer.com/series/8297

Matthias Hartmann Hrsg.

KI & Recht kompakt

Hrsg. Matthias Hartmann HK2 Rechtsanwälte Berlin, Deutschland

ISSN 2195-3651     ISSN 2195-366X  (electronic) IT kompakt ISBN 978-3-662-61699-4    ISBN 978-3-662-61700-7  (eBook) https://doi.org/10.1007/978-3-662-61700-7 Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http:// dnb.d-nb.de abrufbar. Springer Vieweg © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-­ Verlag GmbH, DE, ein Teil von Springer Nature 2020 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Ver­ viel­fältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von allgemein beschreibenden Bezeichnungen, Marken, Un­ ternehmensnamen etc. in diesem Werk bedeutet nicht, dass diese frei durch jedermann benutzt werden dürfen. Die Berechtigung zur Benutzung unterliegt, auch ohne gesonderten Hinweis hierzu, den Regeln des Markenrechts. Die Rechte des jeweiligen Zeicheninhabers sind zu beachten. Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informationen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag, noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Insti­ tutionsadressen neutral. Planung: Martin Börger Springer Vieweg ist ein Imprint der eingetragenen Gesellschaft Springer-Verlag GmbH, DE und ist ein Teil von Springer Nature. Die Anschrift der Gesellschaft ist: Heidelberger Platz 3, 14197 Berlin, Germany

Vorwort

Unter „Künstlicher Intelligenz“ werden neue Technologien und Algorithmen verstanden, die die menschliche Art nach Prinzipien der Vernunft zu reagieren, zu handeln oder Probleme zu lösen, nachbilden. Je mehr dies gelingt, desto disruptiver werden die Auswirkungen sein. Künstliche Intelligenz konfrontiert die Menschen aber noch auf einer existenzielleren Ebene: KI macht dem Menschen streitig, worauf er seine Vorrangstellung gegenüber allen anderen Lebewesen stützt, nämlich seine „einmalige“ Verstandeskraft. Gelingt es Intelligenz zu algorithmisieren oder zumindest zu digitalisieren, dann lässt sich das Ergebnis optimieren und skalieren. Wenn es also intelligente Rechner gibt, gelten für diese viele der Einschränkungen menschlichen Verstandes nicht. Die intellektuelle Kapazität ist dann räumlich, zeitlich und inhaltlich beinahe unbegrenzt und beliebig übertragbar. Dann sind es nicht mehr Menschen, die die besten Entscheidungen treffen oder die erstaunlichsten Dinge kreieren. Sobald die KI sich schließlich selbst weiter entwickeln wird, sind die Ergebnisse mit den Begrenzungen menschlichen Verstandes im Sinne des Wortes unvorstellbar. Wenn es künstliche Intelligenz gibt, wird sie automatisch der menschlichen überlegen sein. Was an künstlicher Intelligenz möglich ist, hängt zunächst davon ab, wie Intelligenz definiert wird. Der Begriff KI stammt ab von dem Versuch, durch Informatik kognitive Fähigkeiten des Menschen bei der Verarbeitung von Informationen zur Bewäl­ tigung von Aufgaben nachzubilden. Es ging also zunächst um das Simulieren „menschlich intelligenter Leistungen“ durch

V

VI

Vorwort

I­nformationstechnologie (sogenannte schwache KI). Eine ex­ treme Ausprägung dieses Ansatzes findet sich heute im Human Brain Project der EU, also in dem Versuch, das Gehirn des Menschen technisch nachzubilden. Unter „starker KI“ werden dagegen Maschinen verstanden, die selbst „denken“. Die Schaffung einer „starken“ KI ist nach aktuellem Stand noch weit entfernt, wenn überhaupt möglich. Allerdings sind „Intelligenz“ und „Denken“ bei Menschen auch noch weitgehend unerforscht, sodass die Diskussion über die Möglichkeit einer „starken KI“ müßig bis sinnlos erscheint. Vermutlich wird die Debatte hinfällig, sobald sie von einer KI geführt wird und die Menschen ihr nicht mehr folgen können. Die Entwicklung von KI geschieht seit den frühen 50er-Jahren in Phasen großer Erwartungen und tiefer Enttäuschungen. Letztere werden KI-Winter genannt und seit einigen Jahren ist nun schon wieder Frühling. Die einen sehen den nächsten Winter kommen, die anderen eine Epoche der KI anbrechen. Menschliche Intelligenz hat jedenfalls viele Schwachstellen, vielleicht erweisen sich diese sogar als integrale Bestandteile. Niemand möchte aber eine KI bauen, die betrunken Auto fährt. Ein Hersteller machte sich wohl schadensersatzpflichtig und sogar strafbar, wenn er ein selbstfahrendes Auto in Verkehr brächte, das so viele tödliche Fehler macht wie menschliche Fahrer (siehe zur Haftung bei autonomen Fahrzeugen Dr. Lennart Lutz in Kap. 3 und zum Strafrecht und KI Christian Haagen/Anna Lohmann in Kap. 8). In der Praxis - für die dieses Buch gedacht ist - geht es bei der Verwendung von KI nicht um „denkende“ Roboter, sondern um den Einsatz intelligenter Werkzeuge zur Lösung spezifischer Aufgaben. Und hier ist KI seit Jahren sehr erfolgreich (siehe zu den technischen Grundlagen Dr. Florian Hoppe in Kap. 1). KI meint dann Technologien, die vermeintlich oder tatsächlich die Arbeitsweise von Nervensystemen aus der Natur nachbilden oder zumindest Grundprinzipien neuronaler Netze verwenden. Im Unterschied zum „klassischen“ Algorithmus werden beim Einsatz von KI nicht alle Kriterien zur Aufgabenlösung vorgegeben. Es gibt also weder einen festen „Entscheidungsbaum“ noch lassen sich alle zur Anwendung kommenden Entscheidungsbäume

Vorwort

VII

aus den Algorithmen allein generieren. Eine besondere Stärke von KI liegt darin, die Entscheidungskriterien und deren Relevanz für sehr komplexe Bewertungen selbst zu entwickeln. Hierzu werden geeignete KI Strukturen mit Input und Feedback zum Output trainiert. Diese Nachahmung von bestimmten Aspekten neuronaler Netze hat sich als sehr erfolgreich erwiesen zur Lösung bestimmter Aufgaben, wie etwa der Erkennung von Mustern oder Anomalien in großen Datenmengen oder wahrscheinlichkeitsbasierte Entscheidungen bei nicht eindeutigen Verarbeitungs-Objekten (bspw. Bild-, Zeichen-, Spracherkennung, Virenerkennung, Erkennung von Krankheitsbildern oder -daten, Betrugserkennung, Prognosen für Aktienkurse, Expertensysteme). Der Optimierung von Aufbau, Kombination und Voreinstellung von generativen Netzen hat sich die Disziplin des „Deep Learning“ verschrieben. Die Königsdisziplin sind KI, die unterschiedliche Aufgaben lösen können, die also für breitere Aufgabenbereiche oder ganz allgemein Sachverhalte lernen können. Inzwischen werden zur Bewältigung komplexer Aufgaben verschiedene Ansätze von KI kombiniert. „Autonomes Fahren“ wird nicht durch eine KI realisiert, sondern KI-Werkzeuge spielen auf unterschiedlichen Ebenen der Aufgabenerfüllung eine Rolle. Dies beginnt bei der Analyse der einzelnen Ergebnisse von Sensoren und anderen Datenquellen, geht über den Entwurf von Entscheidungsmöglichkeiten bis zur Bewertung des sich aus allen In­ formationen ergebenden Gesamtbildes unter Berücksichtigung „nicht-intelligenter“ Algorithmen. Mit zunehmender Komplexität von KI wird es schwieriger, einen konkreten Output einer KI (bspw. die Diagnose aufgrund eines Fotos eines Hautbildes) auf Elemente des Inputs oder die konkreten Einstellungen der KI zurückzuführen (Black-Box-Problem). Diese Eigenschaft vieler KI, den Grund der Entscheidung nicht mit anzugeben, führt zu vielen juristischen Fragestellungen. Ist eine KI mangelfrei, obwohl sie zu fehlerhaften Ergebnissen kommt (siehe dazu Kap. 2)? Ab welchem Grad der Zuverlässigkeit ist es erlaubt, ein autonomes Fahrzeug oder andere KI-­ Produkte in Verkehr zu bringen (siehe dazu Dr. Lennart Lutz in Kap.  3 und Christian Haagen/Anna Lohmann in Kap.  8)? Darf

VIII

Vorwort

eine KI Entscheidungen über die Belange von Menschen treffen, wenn die Gründe unbekannt bleiben (siehe zum Datenschutzrecht allgemein Bernhard Kloos/Dr. Johanna Schmidt-Bens Kap. 5 und bei Forschungsvorhaben Prof. Dr. Beatrix Weber Kap. 6)? Ist eine Beurteilung von Arbeitnehmern durch eine solche KI zulässig (siehe Jörg Hennig/Anika Nadler Kap. 7)? Eine Stärke von KI-Werkzeugen liegt in ihrer Skalierbarkeit bereits bei der Konstruktion oder dem Training im Bereich des Machine Learnings und einem späteren Einsatz. Beispielsweise können Übersetzungs-KI sich selbst anhand ihrer eigenen Rückübersetzung trainieren oder AlphaGo Zero lernt Go-­ Strategien ohne jeden externen Input allein durch das regelkonforme Spielen gegen sich selbst. Wenn eine App anhand von Bildern mehr Hautkrebs erkennt als Dermatologen, könnten schon heute zahllose Menschenleben gerettet werden, wenn die erste Stufe der Vorsorge die Benutzung einer App wäre und nicht der aufgeschobene Besuch beim Arzt, weil die beste App im Gegensatz zum besten Experten beliebig reproduzierbar ist. KI wird es zunehmend ermöglichen, mehr und bessere Produkte und Dienstleistungen mit geringerem Zeitaufwand als durch Menschen herzustellen. Dieser Prozess hat schon begonnen. Diktate werden automatisch geschrieben, Texte übersetzt, aus Sensordaten wird der Wartungsbedarf von Maschinen vorhergesehen, Datenströme werden auf Auffälligkeiten untersucht, Aktien von Computern gehandelt, Röntgenbilder analysiert, Kundenanfragen beantwortet, Logistik optimiert, Fahrzeuge von Computern gesteuert. Computer agieren daher schon längst im Geltungsbereich des Zivilrechts (siehe dazu Kap. 2). Ausreichend Bandbreite, leistungsfähige Endgeräte, Spracherkennung und sogar Übersetzung sind heute weltweit verfügbar und vernetzt. Die nächste große Hürde ist die sinngemäße Verarbeitung innerhalb eines kontextuellen Bezugsrahmens. Wenn dieses Problem gelöst ist, lassen sich Aufgaben an Computer in großem Umfange delegieren. Der Flaschenhals der Schnittstelle zwischen Mensch und Maschine wäre durch diese neue Fähigkeit der Maschinen beseitigt. Es wäre das Ende der heute vorherrschenden Plattformen, wenn eine KI den Bedarf des Nutzers „versteht“, denn der Nutzer möchte einen Wasserkocher kaufen und

Vorwort

IX

nicht eine Plattform durchsuchen und er möchte wissen, was „ein Algorithmus ist“ und nicht „Wikipedia lesen“. Es bedarf wenig Fantasie, um zu sehen, dass die Übernahme geistiger Aufgaben durch Computer zu ähnlichen Umbrüchen in der Arbeitswelt führen wird wie die Ersetzung menschlicher Arbeitskraft durch Maschinen während der Industriellen Revolution. Denjenigen, die dadurch ihre Arbeit verlieren werden, kommt die Wertschöpfung durch die Maschinen zunächst nicht zugute. Zurück an die Webstühle möchte aber auch niemand, daher sollte die Zeit, bis sich der Einsatz menschlicher Schaffenskraft bei der Wertschöpfung nicht mehr lohnt, genutzt werden (zu den aktuellen praktischen Auswirkungen im Arbeitsrecht siehe Jörg Hennig/ Anika Nadler Kap. 7). Grundstoff für alle KI-Anwendungen sind Daten. Hier hat die EU durch ihr strenges Datenschutzrecht hohe Hürden aufgebaut, sofern es um personenbezogene Daten geht (siehe dazu Bernhard Kloos/ Dr. Johanna Schmidt-Bens – Kap. 5). Auch die Forschung an KI steht dadurch vor Herausforderungen (siehe dazu Prof. Dr. Beatrix Weber – Kap. 6). Zwar lassen sich KI-Vorhaben auch im Kontext der DSGVO durchführen, aber die Grundsätze der KI-Entwicklung wiedersprechen nahezu allen Prinzipien des Datenschutzes: KI benötigt große Datenmengen, entscheidet nach unbekannten Kriterien und nur mit einer bestimmten Wahrscheinlichkeit „richtig“, die DSGVO fordert Datenminimierung, Transparenz, Richtigkeit der Verarbeitung und Rechenschaftspflicht. Die EU hat sich damit einen steinigen Weg geschaffen für das Rennen um KI. Es steht aber zu befürchten, dass der Gesetzgeber die Entwicklung und den Einsatz von KI noch weiter erschwert, wie die Debatte um die „Haftungslücke“ für Roboter und KI zeigt. Der Begriff impliziert einen Mangel an Haftung. Den gibt es nicht, sondern es gibt eine gesetzgeberische Entscheidung in unserer Rechtsordnung, dass grundsätzlich nur für Verschulden gehaftet wird. Was unter „Haftungslücke“ diskutiert wird, ist die Forderung nach einer verschuldensunabhängigen Haftung für Hersteller von KI – also eine Schlechterstellung, denn bei Verschulden wird ohnehin gehaftet (siehe Dr. Lennart Lutz in Kap.  3). Bestimmte KI Systeme werden allerdings nur mit einer bestimmten

X

Vorwort

Wahrscheinlichkeit „richtig“ entscheiden. Es ist komplexen trainierten neuronalen Netzen immanent, dass die „false positives“ oder „false negatives“ vielleicht nur gegen Null tendieren, aber nie Null sind. Es besteht damit also eine bestimmte Wahrscheinlichkeit für einen Fehler und die Auswirkungen sind vielleicht auch durch andere Maßnahmen nicht zu verhindern. In dieser systemimmanenten Fehlerhaftigkeit sehen manche die sogenannte „Haftungslücke“, weil für unvermeidbare Fehler eben nicht gehaftet wird. Bei näherer Betrachtung ist das Argument nicht überzeugend. Es handelt sich eben nicht um eine Lücke sondern um den Grundsatz, dass niemand haften soll, wenn er nichts für den Schaden kann. Außerdem ist die Rechtslage auch ausreichend zur Behandlung etwaiger Fälle, denn die Rechtsprechung wird bestimmen, welche Wahrscheinlichkeit für Fehler akzeptabel erscheint. Auch Herzschrittmacher haben eine bestimmte Ausfallwahrscheinlichkeit. Soll die Produktion mit Haftung sanktioniert werden, selbst wenn der Hersteller alles nach dem Stand der Technik unternommen hat? Sofern bestimmte Produkte mit einem rechtlich zugelassenen Risiko in den Verkehr gebracht werden, die eine besondere Gefahrneigung für Unbeteiligte mit sich bringen, kann eine Verallgemeinerung der Schadenskosten und gegebenenfalls eine Haftpflichtversicherung sinnvoll erscheinen, um die Abwicklung von Schadensfällen zu vereinfachen und das Insolvenzrisiko des Verpflichteten abzufangen. Denkbar wäre eine solche Haftpflicht für neuartige Produkte im öffentlichen Raum, also Drohnen, Lieferroboter, Serviceroboter etc. Das könnte die Akzeptanz in der Bevölkerung erhöhen. Der Grund sollte aber nicht sein, dass es sich um Roboter oder KI-gestützte Produkte handelt, denn dem wohnt keine besondere Gefährlichkeit inne. Bei KI kommt hinzu, dass sie nicht an einem Ort verkörpert sein muss, beliebig zusammenwirken oder vervielfältigt werden kann und skaliert. Es gibt also schon nicht notwendig eine KI-Entität als Haftungsansatz. KI ist eine Basistechnologie, die in viele Produkte einfließen wird, eine gesonderte Haftung dafür entbehrt einer tatsächlichen Rechtfertigung und wäre nur symbolisch begründbar.

Vorwort

XI

Missverständlich ist im Zusammenhang von KI auch der Begriff „Autonomie“. Niemand möchte eine KI entwickeln, die sich nicht an die mitgegebenen Regeln hält, also sich selbst die eigenen Gesetze gibt. Zugleich erscheint gerade diese Fähigkeit, sich nicht vernünftig zu verhalten oder die eigene Maxime über die geltenden Gesetze zu stellen als ein wichtiger Aspekt menschlicher Freiheit. Inzwischen wird gar ein allgemeines Recht auf Rechtsverstoß für erforderlich angesehen, um menschliche Freiheit im Zeitalter lückenloser Kontrolle zu bewahren. In der Tat sind die bestehenden Verbote nicht unter der Annahme geschaffen worden, dass wirklich jeder Verstoß sanktioniert wird. Man denke an Beleidigungen im Wirtshaus, Fußgängerampeln in der Nacht oder das Rücksichtnahmegebot der Straßenverkehrsordnung. Es ließen sich schon heute Ampeln so ausrüsten, dass eine Kamera bei Rot überquerende Fußgänger aufnimmt, diese mit Bilddatenbanken abgleicht, identifiziert und einen Bußgeldbescheid versendet. Allerdings scheint es für das Gemeinwesen sinnvoller, die Verbote zu überprüfen, als ihre Beachtung der autonomen Entscheidung des Einzelnen zu überlassen. „Autonome“ Entscheidungen stellen bei näherer Betrachtung meist Abwägungen auf Ebene übergeordneter Prinzipien dar und dies ist freiheitlichen Rechtssystemen bereits heute immanent. Auf die ersten autonomen KI werden wir dagegen noch sehr lange warten müssen. Schon in den 90er-Jahren wurde viel über die Automatisierung der Rechtsanwendung geforscht und debattiert. Einem menschlichen Richter wird das Streben nach „Gerechtigkeit“ zugestanden und die Kompetenz dies umzusetzen. Wissenschaftlich begründet ist das nicht und eine Überprüfung von Urteilen nach diesen Kriterien findet nur sehr eingeschränkt statt. Niemand stellt das Rechtsystem in Frage, wenn der Bundesgerichtshof eine jahrzehntealte Rechtsprechung aufgibt und einen Sachverhalt plötzlich ungleich zu vorher beurteilt (bspw. BGH Urt. v. 07.09.2017 – III ZR 71/17: zum immateriellen Schadensersatz bei hoheitlichen Eingriffen) oder wenn ein Amtsrichter eine besonders harte Strafe zur Abschreckung ausspricht, ohne eine entsprechende Wirkung nachweisen zu können. Würde dasselbe einer KI zugestanden? Es wird argumentiert, die KI habe kein Mitgefühl oder sei nicht in der Lage nach höherrangigen Prinzipien zu entscheiden. Beides

XII

Vorwort

erscheint derzeit noch ungeklärt. Aber der Mensch ist hinsichtlich seiner Entscheidungen noch mehr „Black Box“ als eine KI, weil niemand feststellen kann, was einen Richter tatsächlich zu seinem Urteil bewogen hat. Die KI dagegen könnte analysiert werden. Wir erwarten zwar, dass der Richter seine Strafen an Gesetz, Gerechtigkeit und Mitgefühl orientiere. Überprüft werden im Rechts­ zug aber nicht die inneren Gründe des Richters für seine Entscheidung, sondern allein der Urteilstext. Das Urteil mag im Rechtsweg durch eine neue Entscheidung ersetzt werden und der Text wird auf die Einhaltung der Regeln des Rechtssystems überprüft. Inwieweit das Urteil auf Vorurteilen, schlechter Laune oder Boshaftigkeit basiert, wird aber nicht überprüft, solange sich das Gericht an die bekannten Regeln zum Verfassen des Textes hält. Eine Richter-KI dagegen übersähe wohl keine Norm, kein Urteil und kein Argument der Anwälte. Sie ließe sich außerdem wissenschaftlich analysieren und auf unerwünschte Vorurteile testen. Von dort ist es nur ein kleiner Schritt zu der Frage nach dem Erfordernis der Schaffung einer digitalen Person. Ob es Sinn macht, einer KI Rechte zuzuerkennen, die eine Person genießt, (bspw. Recht auf körperliche Unversehrtheit, Eigentum, Willensfreiheit, Teilhabe am Rechtsverkehr) wird aktuell beim Urheberrecht diskutiert (siehe Matthias Hartmann/Dr. Claudia Ohst  – Kap. 4). Nach hiesigem Verständnis können nur Menschen Werke schaffen. Schon die Werke anderer Lebewesen sind nicht anerkannt. Bei Robotern damit anzufangen liegt fern. Unser gesamtes Rechtssystem ist auf Menschen ausgerichtet. Eine KI als beteiligte Person darin aufzunehmen wäre ein komplexes Unterfangen. Die Mechanismen, die dieses System aufrechterhalten, sind von Menschen für Menschen entwickelt. Vom Vertragsrecht über das Arbeitswesen, den Datenschutz, das Immaterialgüterrecht und die haftungs- oder strafrechtliche Verantwortlichkeit sind alle Regeln so sehr mit menschlichen Bedürfnissen, Fähigkeiten und Mängeln verwoben, dass es wohl nur eine KI schaffen könnte, das vernünftig aufzulösen. In den eben genannten Rechtsbereichen wirft der Einsatz von KI aber schon heute viele praktische Fragen auf. Deren Beantwortung ist dieses Buch gewidmet.

Vorwort

XIII

Den Autorinnen und Autoren des Buches danke ich für ihre schnelle Mitwirkung bei den sehr aktuellen Themen und für ihre Geduld. Ich freue mich sehr, so viele fundierte und gut lesbare Beiträge mit Bezug zur Praxis herausgeben zu dürfen. Bedanken möchte ich mich außerdem bei unseren wissenschaftlichen Mitarbeiterinnen, die dieses Buch möglich gemacht haben: Elisa Dittrich, Celine Zeck und vor allem Kerstin Zimmermann. Berlin, Deutschland

Matthias Hartmann

Inhaltsverzeichnis

1 Technische Grundlagen . . . . . . . . . . . . . . . . . . . . . . . . .   1 Florian Hoppe 1.1 Von der Mustererkennung zur „Autonomie“����������  1 1.1.1 Verarbeitung der Sensordaten ��������������������  2 1.1.2 Planung von Handlungen����������������������������  3 1.1.3 Ansteuerung der Aktoren����������������������������  4 1.1.4 Lernen ��������������������������������������������������������  5 1.1.5 Bestimmung von Zielen������������������������������  6 1.2 Technische Grundlagen������������������������������������������  6 1.2.1 Regelbasierte Systeme��������������������������������  7 1.2.2 Maschinelles Lernen (ML) ������������������������  9 1.2.3 Gemeinsamkeiten der maschinellen Lernverfahren���������������������������������������������� 18 1.3 Anwendungsbereiche der KI-Methoden ���������������� 22 1.3.1 KI für die Verarbeitung der Sensordaten������ 22 1.3.2 KI für die Planung von Handlungen ���������� 23 1.3.3 KI für die Ansteuerung der Aktoren����������� 25 1.4 Ausblick������������������������������������������������������������������ 25 Literatur���������������������������������������������������������������������������� 28 2 Künstliche Intelligenz im Zivilrecht. . . . . . . . . . . . . . .  29 Matthias Hartmann 2.1 Künstliche Intelligenz und Vertragsschluss������������ 29 2.1.1 Einsatz einer KI beim Abschluss von Verträgen ���������������������������������������������������� 29 2.1.2 Ausblick������������������������������������������������������ 47

XV

XVI

Inhaltsverzeichnis

2.2 Verträge zur Erstellung oder zum Einsatz von Künstlicher Intelligenz�������������������������������������������� 47 2.2.1 Einführung�������������������������������������������������� 47 2.2.2 Vertragstypologische Einordnung der Beauftragung von Software-Erstellung������ 48 2.2.3 Lizenzierung von KI oder deren Bestandteilen���������������������������������������������� 52 2.2.4 Bestimmungen zur Soll-Leistung �������������� 60 2.2.5 Regelungen zu den Trainingsdaten ������������ 71 2.2.6 Zugang zu Daten und Programmversionen, Regelungen zu Dokumentation, Darlegungs- und Beweismitteln, Exit-­Vereinbarung�������������� 80 2.3 KI und Haftung ������������������������������������������������������ 82 2.3.1 Einführung�������������������������������������������������� 82 2.3.2 Vertragliche Haftung���������������������������������� 85 2.3.3 Deliktische Haftung������������������������������������ 94 Literatur����������������������������������������������������������������������������113 3 Haftung am Beispiel automatisierter Fahrzeuge. . . . . 117 Lennart S. Lutz 3.1 Einleitung����������������������������������������������������������������117 3.2 Grundstrukturen der Straßenverkehrshaftung ��������119 3.3 Haftung des Halters������������������������������������������������120 3.4 Haftung des Fahrers������������������������������������������������121 3.4.1 Fahrerpflichten bei der Benutzung automatisierter Fahrzeuge��������������������������122 3.4.2 Wegfall des Fahrers als Haftungssubjekt: Auswirkungen auf das Haftungssystem ��������������������������������������������������������126 3.5 Haftung des Herstellers: Sicherheit neuer Technologien����������������������������������������������������������128 3.5.1 Staatliche Zulassung oder Genehmigung������129 3.5.2 Aktueller Stand von Wissenschaft und Technik��������������������������������������������������������132 3.5.3 Neueinführung innovativer Produkte: Sicherheitsmaßstab ������������������������������������134

Inhaltsverzeichnis

XVII

3.6 Automatisierte Fahrzeuge: Globale Auswirkungen im Haftungssystem und haftungsrechtliche Letztverantwortung������������������136 3.6.1 Haftungsquote zwischen Unfallbeteiligten: Betriebsgefahr����������������137 3.6.2 Haftungsverteilung zwischen Pflichtversicherung und Hersteller��������������138 3.7 Fazit: Brauchen wir neue Gesetze?������������������������139 Literatur����������������������������������������������������������������������������140 4 Künstliche Intelligenz im Immaterialgüterrecht. . . . . 143 Matthias Hartmann und Claudia Ohst 4.1 Welche Bestandteile einer KI kommen für den Rechtsschutz in Betracht? ��������������������������������������143 4.2 Urheberrecht ����������������������������������������������������������145 4.2.1 Schutz als Computerprogramm������������������147 4.2.2 Schutz als Datenbank oder Datenbankwerk ������������������������������������������150 4.2.3 Schutz der KI als Werk eigener Art������������153 4.2.4 Können KIs Urheber sein?��������������������������155 4.3 Patentrecht��������������������������������������������������������������160 4.4 Schutz als Geschäftsgeheimnis ������������������������������162 Literatur����������������������������������������������������������������������������163 5 Datenschutz. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165 Bernhard Kloos und Johanna Schmidt-­Bens 5.1 Einführung, Problematik, Grundsätze��������������������165 5.2 Rechtsgrundlagen für die Nutzung von personenbezogenen Daten für KI-­Training������������170 5.2.1 Definition personenbezogene Daten ����������171 5.2.2 Verbot mit Erlaubnisvorbehalt��������������������172 5.2.3 Datenminimierung, Anonymisierung und Pseudonymisierung������������������������������183 5.2.4 Zweckbindung, Zweckänderung����������������185 5.3 Automatisierte Einzelentscheidungen��������������������187 5.3.1 Grundsätzliches Verbot der automatisierten Entscheidung ��������������������187

XVIII

Inhaltsverzeichnis

5.3.2 Ausnahmen vom Verbot der automatisierten Entscheidung (Art. 22 Abs. 2 und 3 DSGVO)������������������189 5.3.3 Verarbeitung besonderer Kategorien von Daten/Kategoriedaten (Art. 22 Abs. 4 DSGVO)������������������������������������������192 5.4 Transparenz, Informationspflichten, Betroffenenrechte����������������������������������������������������193 5.5 Datensicherheit, technische und organisatorische Maßnahmen ��������������������������������195 5.5.1 Allgemeine Vorgaben zur Datensicherheit ������������������������������������������195 5.5.2 KI-spezifische Anforderungen an Datensicherheit, technische und organisatorische Maßnahmen ��������������������197 5.6 Datenschutz-Folgenabschätzung����������������������������202 5.6.1 Übersicht Risikoklassifizierung von Datenverarbeitungen ����������������������������������203 5.6.2 Durchführung der Datenschutz­­ Folgenabschätzung��������������������������������������204 Literatur����������������������������������������������������������������������������206 6 Datenschutz in öffentlichen KI-Forschungsprojekten. . . . 209 Beatrix Weber 6.1 Forschungsprojekte als rechtsfreier Raum?������������209 6.1.1 Rechtsrahmen Forschung����������������������������209 6.1.2 Gute wissenschaftliche Praxis��������������������212 6.1.3 Forschungsdatenmanagement ��������������������217 6.2 Herausforderungen beim Datenmanagement in Forschungsprojekten ����������������������������������������������219 6.2.1 Zugang zu Daten ����������������������������������������219 6.2.2 Kosten der Daten und Lizenzbedingungen ������������������������������������220 6.2.3 Rechte an Daten������������������������������������������223 6.2.4 Verwertung und Nachnutzbarkeit ��������������224 6.3 Datenschutz������������������������������������������������������������226 6.3.1 DSGVO, BDSG und Landesdatenschutzgesetze��������������������������226

Inhaltsverzeichnis

XIX

6.3.2 Verantwortlicher der Datenverarbeitung ������228 6.3.3 Datenschutzkonzeption ������������������������������229 6.3.4 Datenschutz-Folgenabschätzung����������������233 6.3.5 Implementierung und Prozessmodellierung ����������������������������������235 6.4 Zusammenfassung��������������������������������������������������236 Literatur����������������������������������������������������������������������������237 7 Künstliche Intelligenz im Arbeitsrecht. . . . . . . . . . . . . 239 Jörg Hennig und Anika Nadler 7.1 Einführung��������������������������������������������������������������239 7.2 Benachteiligung nach dem AGG����������������������������240 7.2.1 Benachteiligung durch KI am Beispiel des Bewerbungsverfahrens��������������������������240 7.2.2 Ausblick������������������������������������������������������244 7.3 Mitbestimmung nach dem BetrVG������������������������245 7.3.1 Auskunftsanspruch gemäß § 80 Abs. 2 BetrVG��������������������������������������������������������245 7.3.2 Mitbestimmung nach § 87 BetrVG������������249 Literatur����������������������������������������������������������������������������256 8 Künstliche Intelligenz und das Strafrecht . . . . . . . . . . 257 Christian Haagen und Anna Lohmann 8.1 Neue Herausforderungen für das Strafrecht?����������257 8.2 Strafrechtliche Verantwortung beim Einsatz Künstlicher Intelligenz��������������������������������������������258 8.2.1 Künstliche Intelligenz: Anwendungsfälle der Mustererkennung����������������������������������258 8.2.2 Problemfelder der strafrechtlichen Produkthaftung��������������������������������������������261 8.2.3 Der „Aschaffenburger Fall“������������������������294 8.2.4 Fragen der Zulassung am Beispiel von Fahrzeugen��������������������������������������������������302 8.3 Neue Regelungen für KI? ��������������������������������������303 Literatur����������������������������������������������������������������������������304

1

Technische Grundlagen Florian Hoppe

1.1

 on der Mustererkennung zur V „Autonomie“

Systeme der künstlichen Intelligenz lassen sich wie jedes technische System am besten anhand ihrer Einzelteile erklären. Die für diese Teile eingesetzten KI-Techniken lernt man umfassend kennen, wenn man die bereits existierenden Systeme mit dem größten Grad an Autonomie betrachtet. Aktuell sind das (kleine) elektromechanische Roboter oder Simulationen davon, die ganz überwiegend in den Fluren von Robotik-Lehrstühlen oder deren virtuellen Pendants autonom agieren. Diese Systeme haben grundsätzlich drei Komponenten gemein: Sensoren, Aktoren und eine oder mehrere Recheneinheiten, die auf Grundlage der Signale der Sensoren die Aktoren so ansteuert, dass das System autonomes Verhalten zeigt d.  h. eine Wechselwirkung zur (virtuellen) Welt entsteht. Der ganz entscheidende Teil der Software dieser Recheneinheiten verwendet F. Hoppe (*) Berlin, Deutschland E-Mail: [email protected] © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von Springer Nature 2020 M. Hartmann (Hrsg.), KI & Recht kompakt, IT kompakt, https://doi.org/10.1007/978-3-662-61700-7_1

1

2

F. Hoppe

Methoden der KI. Um diese zu verstehen, betrachtet man am besten die verschiedenen Aufgaben, die die Software eines autonomen Systems lösen muss.

1.1.1 Verarbeitung der Sensordaten In verschiedenen Verarbeitungsschritten werden die Sensordaten so gefiltert, dass die wahrgenommene Umwelt zunehmend abstrakter durch die Software abgebildet wird. Die kontinuierlich auslesbaren, analogen Sensoren werden in diskrete, digitale Daten überführt: so wird z. B. in einer Digitalkamera eine Lichtwelle eines eingeschränkten Bereiches des sichtbaren Wellenspektrums auf einem bestimmten Quadratmikrometer eines CCD-Chip danach bemessen, welche Stärke sie auf einer Skala von 0-255 in einem Zeitintervall von wenigen Hundertstelsekunden aufweist. Mit einer gängigen Kamera, die mit 30  Hz Bildfrequenz und 1600x1200 Pixeln Auflösung arbeitet, ergibt das pro Sekunde ca. 173 Millionen einzelne, voneinander unabhängige Messwerte. Zusammengenommen mit den Datenströmen aus Mikrofonen, Gyroskopen zur Lagebestimmung, GPS-, Druck- und Temperatursensoren müssen leicht hunderte von Millionen von Messwerten pro Sekunde so ausgewertet werden, dass das System „versteht“, in welcher Umgebung es sich befindet und wie es darauf reagieren soll. Die große technische Hürde besteht darin aber nicht so sehr in der Masse der Daten, sondern vielmehr in der großen Varianz wie sich die äußere Welt in den internen Messwerten abbildet. Beim Beispiel der Kamera bleibend kann man sich klarmachen, dass schon der Unterschied zwischen Mittagsoder Abendsonne das Abbild ein und desselben Gegenstandes so verändert, dass ein Algorithmus zur Objekterkennung unmöglich durch klassische Programmierlogik à la „wenn diese Region von Pixeln im Bild die und die Rot-Grün-Blau-Messwerte zeigen, sitzt eine Katze vor der Kamera“ zu realisieren ist. Die Aufgabe wird um ein ungemein Vielfaches schwieriger, wenn sich die beobachteten Gegenstände oder das System selbst bewegen, deren Abbilder also in verschiedenen Regionen des Bildes auftauchen, mehrere Gegenstände und Lichtquellen unter-

1  Technische Grundlagen

3

schiedlichste Schatten aufeinander werfen, sich die Formen ­ändern, z. B. ein Mund plötzlich ein Lächeln zeigt oder über Tage hinweg Barthaare um ihn herum wachsen. Ein autonomes System muss dennoch in der Lage sein, diese nicht im Vorhinein vorhersagbare Vielfalt der Welt, d. h. die Varianz der möglichen Messwerte auf kompakte Fakten der Art „Fußgänger in 5  m schräg links voraus“ oder „die Person Peter hat ‚Hallo‘ zu mir gesagt“ umzurechnen. Diese Transformation der Millionen von erfassten Messwerten in wenige (tausend) Einzelinformationen wird durch die Algorithmen der Sensorverarbeitung realisiert, die sich ganz wesentlich auf maschinelle Lernverfahren für die Erkennung von Mustern in den Daten stützen. Ohne so eine Filterung, ohne so eine Komprimierung der Messwerte könnte der nächste Verarbeitungsschritt der Planung von Handlungen nicht effizient realisiert werden.

1.1.2 Planung von Handlungen Ist die Umwelt in ihrem Ist-Zustand im Vergleich zu den ursprünglichen Messwerten in (relativ) einfachen Fakten beschrieben, muss ein autonomes System einen Plan entwickeln, was es selbst tun kann, um sich und die Umwelt in einen bestimmten Soll-Zustand zu überführen. Wenn z. B. ein (semi)autonom fahrendes Auto einen Parkplatz als Ziel und alle Hindernisse auf dem Weg dorthin erkannt hat, muss es eine Trajektorie planen, der entlang es sich selbst steuern muss. Dieser Plan muss nicht nur allerlei Randbedingungen (mind. Wohlsein aller Verkehrsteilnehmer und Einhaltung der Verkehrsordnung) erfüllen, sondern auch Veränderungen in der Welt antizipieren (was bewegt sich noch und könnte gefährlich oder gefährdet werden). Dabei lassen sich bestimmte Aspekte dieser Planung durch fixe Regeln (z.  B. „Höchstgeschwindigkeit 50 km“, „vor einem Spurwechsel ist der Blinker zu setzen“) abbilden. Anderes muss zwangsweise auf Grundlage von unscharfen Annahmen geplant werden (z.  B. „so wie sich der PKW direkt

4

F. Hoppe

voraus seit 10 Sekunden bewegt hat, wird er mit einer Wahrscheinlichkeit von 98 % seine Geschwindigkeit halten“, „der vor 3 Sekunden auf dem Gehweg detektierte Fußgänger, der nun von dem parkenden LKW verdeckt ist, wird mit einer Wahrscheinlichkeit von 20  % auf die Fahrbahn treten“). Die technischen Lösungsansätze für beide Aspekte weisen ihre jeweils eigenen Vorund Nachteile auf: fixe Regeln sind relativ leicht überprüfbar (sowohl bei der Entwicklung, als auch wenn sie angewendet werden), aber nicht alle Eventualitäten der Welt lassen sich im Vorhinein in strikten Regeln fassen. Regelsysteme, die auch unscharfe Annahmen zulassen, helfen zwar die Komplexität der Welt durch weniger Verhaltensregeln und damit einfacher abzubilden. Aber die Berechnungen der in den obigen Beispielen genannten Wahrscheinlichkeiten sind alles andere als trivial. Denn aus welcher Statistik, d. h. aus welchen Experimenten soll man ableiten können, dass der beschriebene Fußgänger mit der Wahrscheinlichkeit X % auf die Fahrbahn tritt?

1.1.3 Ansteuerung der Aktoren Mit der Erfassung der Umwelt und der Berechnung eines Planes, richtig zu agieren, sind die am meisten herausfordernden Aufgaben eines autonomen Systems erfüllt: die geplante Trajektorie kann durch klassische Verfahren in eine Reihe von Motorkommandos an die Aktoren des Systems umgesetzt werden, da die Zusammenhänge z.  B. zwischen „Gas geben“ und Beschleunigung anhand physikalischer Gesetze sehr gut formalisiert und damit programmierbar sind. KI-Methoden werden erst dann benötigt, wenn das System auf unvorhersehbare Schwierigkeiten reagieren muss: das kann z. B. eine ungesicherte Last sein, die eine Unwucht in die Bewegung des Systems einbringt, externe Schocks wie Stöße von anderen Akteuren oder internen Ausfällen wie ein sich plötzlich versteiftes Gelenk einer Extremität sein. Solche Abweichungen von der Norm können automatisch durch KI-Ansätze erkannt werden.

1  Technische Grundlagen

5

1.1.4 Lernen Die Fähigkeit zu lernen ist ohne Methoden der KI nicht realisierbar. Bei allen drei oben beschriebenen Aufgabenbereichen eines autonomen Systems kommen Techniken zum Einsatz, bei denen die Entwickler nicht im Vorhinein genau und explizit festlegen, wie das System in jeder Situation zu agieren hat. Stattdessen wird dem System zum einen das nötige Wissen implizit vermittelt, zum anderen werden dem System Strategien einprogrammiert, mit denen es ein konkretes Problem durch Ausprobieren lösen kann. Implizit wird Wissen durch Daten vermittelt: für die Sensorverarbeitung werden z. B. viele Bilder dem System mit der Information, was auf diesen zu sehen ist, vorgeführt. Daraus können KI-Methoden lernen, die schon einmal gezeigten Objekte auch in neuen Aufnahmen wiederzuerkennen. Hier werden Systeme unterschieden, die „nur“ während der Entwicklungszeit gelehrt werden (geschlossene KI) und solche die auch im Einsatz selbstständig weiter lernen (offene KI). Um selbstständig Neues zu lernen, braucht es notwendigerweise, aber meistens nicht vorhandenes Feedback, ob beispielsweise die Auswertung der Sensordaten korrekt erfolgt ist oder was stattdessen hätte erkannt werden sollen. Genauso eine Möglichkeit, dem System Feedback über seine Handlungen zu geben, ist dagegen ein fester Bestandteil bei der Implementierung von Lösungsstrategien. Ein Android, der selbstständig lernen soll, sich zu bewegen, wird u. a. die Abweichung seiner aktuellen von einer aufrechten Haltung und die Stärke von Erschütterungen als Feedback-Signal erhalten. Erst dadurch kann er lernen, welche Steuerbefehle an seine Beine zu einer instabilen Lage oder gefährliche Kollisionen mit seiner Umgebung führen und in Zukunft zu vermeiden sind. Zu beachten ist dabei, dass die Ziele („Aufrecht halten!“ und „Kein Unfall bauen!“) wiederum von den Entwicklern fest vorgegeben sind. Ein autonom fahrendes Taxi wird so programmiert, dass es einen Passagier sicher und gesetzeskonform von A nach B fährt, und sich nicht selbst überlegt, mal eben off-road zu fahren,

F. Hoppe

6

um eine neue Gegend oder fahrtechnische Herausforderung kennenzulernen.

1.1.5 Bestimmung von Zielen So ist – realiter: wäre – ein System erst dann vollständig autonom zu nennen, wenn es sich auch selbst Ziele setzen könnte, wenn es unabhängig von jeglicher (Nutzen-)Erwartung seitens der Entwickler in die Welt gesetzt würde, wenn es vollkommen frei agieren könnte. Die Spitze der Entwicklung wäre wohl erst dann erreicht, wenn ein System selbstständig erkennt, dass es mehr „erleben“ kann, wenn es regelmäßig seine Energiereserven auffüllt und Beschädigungen reparieren (lassen) kann, dass Selbstreproduktion eine gute Überlebensstrategie der eigenen Spezies ist, oder dass Interaktionen mit anderen Systemen (natürlich inkl. biologischen) hilfreich sein können. Erst ab diesem Niveau von Autonomie erscheint es sinnvoll, Konzepte wie Identität, Persönlichkeit, schöpferische Tätigkeit oder Entscheidungsfreiheit und damit Verantwortung auf KI-­ Systeme zu übertragen. Solche Systeme (Stichwort Starke KI)1 sind aktuell aber noch Science-Fiction und werden es wohl auf absehbare Zeit bleiben.

1.2

Technische Grundlagen

Im Folgenden werden die Techniken erläutert, die alle unter der Begrifflichkeit „Künstliche Intelligenz“ fallen und zur Lösung der oben dargestellten Aufgaben autonomer Systeme herangezogen werden. Dabei sollte man zwei Ansätze unterscheiden, die sich sowohl in ihrer Herangehensweise als auch ihren Einsatzmöglichkeiten stark unterscheiden, sich in einem autonomen System aber gut kombinieren lassen.

https://de.wikipedia.org/wiki/K%C3%BCnstliche_Intelligenz#Starke_und_ schwache_KI. Zugegriffen am 01.10.2019. 1 

1  Technische Grundlagen

7

1.2.1 Regelbasierte Systeme Der klassische – weil schon seit den 1950er-Jahren praktizierte – Ansatz für KI-Systeme ist es, die Welt und das zu lösende Pro­ blem durch Fakten und Regeln so weit zu formalisieren, dass ein Computer durch systematisches Anwenden der Regeln zu neuen Erkenntnissen kommt. Beispielsweise kann eine Gleichung wie (x + 1) ∗ 2 = y automatisch nach x aufgelöst werden, wenn man folgende Regeln definiert:

(1) a ∗ b = c → a =

c b

(2) a + b = c → a = c − b und einen Algorithmus programmiert, der so lange probiert, diese Regeln2 auf das Ausgangsfaktum (x + 1) ∗ 2 = y anzuwenden, bis die Form x = … erzeugt wurde. Alles, was dann rechts des Gleichheitszeichens steht, wird von dem Algorithmus dann als deduziertes Ergebnis ausgegeben. In dem obigen sehr einfachen Beispiel muss er dazu nur einmal die Regel (1) und dann Regel (2) anweny den, um zu dem richtigen Ergebnis x = − 1 zu kommen. Der2 selbe Algorithmus kann nun einfach dadurch erweitert werden, indem man ihm mehr solcher Regeln und Fakten präsentiert. Man kann z. B. Gesetze der Logik formalisieren etwa den „modus ponens“ mit der Regel:

( wenn A,dann B) und A → B

Zusammen mit den beiden Fakten „wenn es regnet, ist die Straße nass“ und „es regnet“ wird der Computer erfolgreich durch einfache Regelanwendung „die Straße ist nass“ deduzieren. Dadurch, dass der Algorithmus systematisch alle möglichen Anwendungen der Regeln auf die Fakten und die sich daraus ergebenen abgeleiteten Fakten ausprobiert, lässt sich beweisen, dass die eine oder ggf. mehrere Lösungen zu einem auch wirklich Dabei steht „→“ dafür, dass, wenn ein Faktum mit der linken Seite der Regeln übereinstimmt, es durch die rechte Seite ersetzt werden kann. 2 

8

F. Hoppe

l­ ösbaren Problem gefunden werden. Diese Beweisbarkeit und die Möglichkeit, jede einzelne Regelanwendung bis zur Lösung nachvollziehen zu können, macht diese Technik ideal für sicherheitskritische Anwendungen: so wie herkömmliche Software können auch diese KI-Systeme getestet und auf Programmierfehler hin geprüft und damit Haftungsfragen entschieden werden. Aus technischer Sicht krankt dieser Ansatz für KI aber daran, dass er in zweierlei Hinsicht nicht skaliert. Einerseits ist es bis heute nur in sehr spezifischen Problemdomänen gelungen, die nötigen Regeln und Fakten aufzustellen, um wirklich relevante Probleme zu lösen. Genauso wenig wie alle Implikationen des deutschen Steuerrechts von einzelnen Experten überblickt werden können, können Entwicklerteams ihre selbst geschriebenen Regeln ab einer gewissen Komplexität nachhaltig erweitern. Andererseits geraten auch Hochleistungsrechner recht schnell an ihre Leistungsgrenzen, mit der kombinatorischen Vielfalt umgehen zu können, die sich ergibt, wenn sie alle möglichen Regelanwendungen an die Fakten auswerten müssen. Beim Schachspielen konnte erst 1997 ein Computer den damals amtierenden Großmeister Kasparow schlagen, weil IBM erst dann den genügend starken Rechner Deep Blue3 gebaut hatte, der genügend schnell mit den 10 hoch 120 theoretisch möglichen Spielverläufe einer Schachpartie umgehen konnte. Obwohl die Rechenleistung einer einzelnen CPU seitdem um mehr als das 1000-fache angestiegen ist, gibt es immer noch keinen Computer, der mit dem klassischen Ansatz für KI das asiatische Spiel Go auf dem Niveau von Menschen spielen kann. Dessen ca. 10 hoch 170 theoretisch möglichen Spielverläufe4 konnten erst durch die ganz andere Heran­ gehensweise des maschinellen Lernens mit dem Programm AlphaGo5 beherrscht werden.

https://de.wikipedia.org/wiki/Deep_Blue. Zugegriffen am 01.10.2019. Das sind 100000000000000000000000000000000000000000000000000mal mehr Möglichkeiten als Schach. 5  https://de.wikipedia.org/wiki/AlphaGo. Zugegriffen am 01.10.2019. 3  4 

1  Technische Grundlagen

9

1.2.2 Maschinelles Lernen (ML) Anstatt die Lösung eines Problems als Abfolge von Regelanwendungen auf Fakten darzustellen, wird sie bei maschinellen Lernverfahren durch eine automatisch zu bestimmende mathematische Funktion f(X) = y repräsentiert. Die Funktion fθ soll dabei also die gegebenen Eingaben X für das KI-System in die dazu passende Ausgabe y umrechnen. Beispielsweise könnten so die Sensordaten für ein Lenksystem von X = −10° Abweichung von der Soll-Ausrichtung in die Ausgabe y = 5A an den relevanten Motor umgerechnet werden. Diese Funktion wird dabei nicht durch Entwickler in allen Details, sondern nur in ihrer Struktur definiert, d. h. sie hängt von den sog. Modell-Parametern θ ab. Der entscheidende Punkt ist, dass diese Parameter automatisch durch ein Computerprogramm ein sog. Lernalgorithmus auf verschiedene Arten und Weisen aber immer anhand von Daten bestimmt – wie man sagt „gelernt“ oder „trainiert“ – werden. Für das o.  g. Beispiel kann man sich für die Funktion f folgende Strukturformel überlegen:

fθ ( X ) = θ1 ∗ X + θ 2

Dabei umfasst θ die beiden Modell-Parameter θ1 und θ2, die anhand von Daten gelernt werden müssen. Wie diese nun durch einen Lernalgorithmus bestimmt werden können, hängt im Wesentlichen von dem Lernparadigma ab, unter dem man die Daten erhoben hat. Für die Praxis am relevantesten sind dabei das überwachte-, unüberwachte- und verstärkende Lernen sowie deren Mischformen.6

1.2.2.1  Überwachtes Lernen Das  – relativ  – am einfachsten handhabbare, am besten ver­ standene und deswegen auch am häufigsten eingesetzte Zum klassischen Kanon der Lernparadigmen gehört noch (Vorschlag: der evolutionäre Lernalgorithmus) evolutionäres Lernalgorithmen, die bisher aber keine weite Verbreitung gefunden haben. https://de.wikipedia.org/wiki/ Evolution%C3%A4rer_Algorithmus. Zugegriffen am 01.10.2019. 6 

10

F. Hoppe

­ ernparadigma ist das überwachte Lernen. Dabei setzt man vo­ L raus, dass es quasi den perfekten Lehrer für das KI-System gibt, der für jede Frage (d. h. für die Eingabe X) die richtige Antwort (d. h. die Soll-Ausgabe y) weiß. Vergleichbar wäre es mit einem Tennis-/Golf- oder Yogalehrer, der direkt neben dem Schüler steht und dessen Hand bei jedem einzelnen Schlag führt oder die Yoga-­Haltung auf den Millimeter genau anleitet. Für ein KI-System stellt sich das so dar, dass man n Datenbeispiele von Eingabe-­ Ausgabe-­Paaren {(X1…n, y1…n)} zum Lernen bereit hält. Für das Beispiel mit dem Lenksystem also könnte die sog. Trainingsmenge diese sein: {(−10°, 5A), (20°, −10A), (−5°, 2, 5A), (0°, 0 A)}. Solche Daten könnte man z. B. dadurch erhalten, dass man einen Menschen das Lenksystem unter realen Bedingungen bedienen lässt, und die Steuerwerte aufzeichnet, die er oder sie bei bestimmten Abweichungen vom Idealkurs in das System eingibt. Mit Blick auf die o. g. Strukturformel ist bei diesen Daten einfach ersichtlich, dass der Lernalgorithmus die Modell-Parameter θ1 und θ2 auf −2 bzw. 0 setzen sollte, um perfekt jede der gegebenen Eingaben in deren jeweilige Soll-Ausgabe umzurechnen. Diese Herleitung kann man automatisieren, indem man auf Algorithmen aus der Optimierungstheorie der Mathematik zurückgreift. Diese lösen die sich aus der Strukturformel und der Trainingsmenge ergebenen Gleichungssysteme nach θ auf. Damit ist die gesuchte Funktion f(X) vollständig definiert und im erfolgreichen Falle in der Lage, nun auch für ganz andere Eingabewerte als die Trainingsbeispiele korrekte Ausgabewerte zu produzieren (etwa fθ(−20°) = 10A). Man spricht dann davon, dass die so gelernte/trainierte Funktion über die Trainingsmenge generalisiert. Der besondere Charme an der gesamten Vorgehensweise ist, dass man – wie auch beim klassischen KI-Ansatz – mit ein und demselben Algorithmus ganz andere (Lern-)Probleme lösen kann: diesmal tauscht man nicht Regeln und Fakten aus, sondern Daten und die Strukturformeln der Funktion fθ(X). In der Realität sind solche Probleme natürlich schnell sehr viel komplexer als im obigen Beispiel:

1  Technische Grundlagen

11

• Die Trainingsdaten sind praktisch immer verrauscht (z.  B. {(−10°, 5, 1A), (20°, −9, 7A), …}): der Effekt ist, dass sich zu der Trainingsmenge nicht eindeutige Modell-Parameter bestimmen lassen, die für alle Beispiel-Eingaben die Soll-Ausgabe ganz genau reproduzieren. So muss man sich damit zufriedengeben, dass der Lernalgorithmus die Modell-Parameter so auswählt, dass nur für die Mehrzahl der Trainingsmenge näherungsweise die gewünschten Ausgaben erzielt werden können. Man findet also nur Modell-Parameter, für die ein Fehlermaß zwar minimal aber niemals gleich 0,00 ist. Erschwerend kommt hinzu, dass sehr schnell Millionen von Trainingsbeispielen nötig sind, um eine industrielle Anwendung zu realisieren. Bei solch großen Datenmengen werden auch mit dem besten QA-Prozess einige Ein-Ausgabe-Paare dabei sein, die fachlich widersprüchlich oder schlicht falsch sind. Diese werden zwangsläufig zu suboptimalen Modell-­Parametern führen. • Die Ein-Ausgaben-Paare und die Modell-Parameter sind von erheblich höherer Dimension: anstatt, dass X nur eine Zahl (wie oben −10°) ist, kann man auch die Helligkeitswerte jedes einzelnen Pixels eines Kamerabildes (wie in Abschn.  1.1.1) d. h. eine Reihe von 1600x1200=1.920.000 Zahlen als Eingabe vorsehen. Um mit solchen Eingaben umgehen zu können, nutzt man sehr viel komplexere Strukturformeln, die im Falle von sog. tiefen Neuronalen Netzen7 häufig Millionen von Modell-­Parametern besitzen. Eine Konsequenz daraus ist, dass der Lernalgorithmus die Modell-Parameter anhand von sehr viel komplexeren Gleichungen bestimmen muss, und dafür so

Auch wenn diese tiefe Neuronalen Netze aktuell große Aufmerksamkeit erhalten, da sie die neuesten Erfolge im Bereich der KI ausgelöst haben, werden sie hier nicht im Detail besprochen. Denn das hier zu erklärende methodische Vorgehen, diese für ein konkretes Problem zu benutzen, unterscheiden sich nicht zu anderen ML-Verfahren (u. a. lineare Regression, Support Vector Machines, Random Forest). Die Unterschiede liegen „nur“ in den genutzten Strukturformeln und dafür spezialisierten Lernalgorithmen.

7 

12

F. Hoppe

erheblicher Rechenaufwand nötig ist, dass man spezielle Hardware entwickelt hat, dies alles zu beschleunigen.8 • Beides zusammen – die unsauberen Daten und die komplexen Strukturmodelle – machen es nötig, dass man die Güte der bestimmten Modell-Parameter nicht mehr individuell, sondern nur noch statistisch auswerten kann. Es ist analytisch nicht möglich zu überprüfen, ob der Lernalgorithmus für jeden einzelnen der tendenziell Millionen von Modell-Parameter den „richtigen“ Wert bestimmt hat. Einerseits weil die Daten verrauscht sind, für alle Trainingsbeispiele die Abweichung zwischen Soll- und Ist-Ausgabe niemals gleich 0,00 ist, andererseits weil die Strukturformeln typischerweise viele, gleich gute Lösungen zulassen, da sich die Einflüsse einzelner Modell-­ Parameter auf das Endergebnis der Funktion fθ gegenseitig aufheben also beliebig gewählt werden können. Diesem Umstand begegnet man, indem man die bestimmten Modell-Parameter anhand von anderen Beispieldaten evaluiert. Wiederum braucht man dafür eine sog. Evaluations(daten)menge von Ein-Ausgabe-Paaren {(X1…n, y1…n)}. Für alle diese Eingabewerte Xi dieser Menge kann man sich die Abweichung der Ist-Ausgabe fθ(Xi) von der Soll-Ausgabe yi berechnen und so in der Gesamtheit ein Fehlermaß für die gelernte Funktion fθ(X) bestimmen. Da diese Evaluationsmengen aber sehr schnell zehn- bis hunderttausende Beispiele enthalten, kann kein Mensch alle Evaluationsdatenbeispiele einzeln begutachten. Stattdessen fällt man Aussagen der Art „der durchschnittliche Fehler zwischen Ist- und Soll-Ausgabe beträgt 0,2 A und hat eine Standardabweichung von 0,01 A“ oder „99,8 % aller Ist-Ausgaben entsprechen der Soll-Ausgabe“.

Mit den heutigen GPU und TPU kann man die Dauer, wie lange ein Lernalgorithmus für die industriellen Anwendungen rechnet, von mehreren Monaten auf wenige – aber immer noch – Tage reduzieren. 8 

1  Technische Grundlagen

13

1.2.2.2  Verstärkendes Lernen Ein theoretisch sehr mächtiges, aber im großen Stil sehr schwierig umzusetzendes Lernparadigma ist das verstärkende Lernen (Reinforcement Learning). Dabei gibt der Lehrer dem KI-System nicht mehr als eine Note (sog. Reward) dafür, wie es agiert hat. Der Abschlagversuch eines Golf-Schülers oder eine bestimmte Yoga-­Position würde also von einem Lehrer nur mit „6 von 10 Punkten“ kommentiert werden. Ohne jeden weiteren Hinweis  – kein „Den linken Fuß nicht sofort eindrehen!“ oder „Die Hüfte aber höher!“ – müsste der Schüler beim nächsten Abschlag oder der nächsten Position etwas an seiner Bewegung ändern, um dafür ein „10 von 10 Punkte“ zu bekommen. Für ein KI-System ist in so einem Lernszenario das fest vorgegebene Ziel, eine Handlungsstrategie (sog. action policy) zu lernen, die aus den gerade möglichen Handlungen immer genau die startet, für die es langfristig die besten Noten des Lehrers bekommt. Dem lernenden System werden drei Dinge „einprogrammiert“: 1. Damit ein KI-System überhaupt intelligente Handlungsmuster lernen kann, muss es über eine Komponente verfügen, die bestimmt, welche Aktionen im nächsten Zeitschritt möglich sind. Bei z. B. einem Knickarmroboter werden das Bewegungen mit sechs Freiheitsgraden sein, die die genaue 3D-Position und Winkelstellung des Arbeitskopfes definieren; beim Go-Spiel alle unbelegten und nicht vollständig von generischen Steinen umschlossenen Positionen auf dem Spielbrett. Diese Komponente wird auf klassische Art und Weise deterministisch programmiert und ist damit ebenso überprüfbar. Das ist gerade für Haftungsfragen entscheidend, denn ein KI-System wird sich immer nur „frei“ innerhalb der durch diese Komponente von den Entwicklern festgelegten Freiheitsgrade bewegen können. Ein Lernalgorithmus kann keinen nicht-regelkonformen Zug auf einem Brettspiel ziehen, ein mobiler Roboter wird eine virtuelle, nur per GPS-Positionen festgelegte Geofence nicht überschreiten. Jedenfalls nicht, wenn die beschriebene Komponente nachweislich fehlerfrei programmiert worden ist.

14

F. Hoppe

2. Das entscheidende Element eines Reinforcement-Lernsystem ist die Reward-Funktion, die kontextabhängig den Zustand des Systems benoten kann. Der Kontext hat auf die gegebenen Rewards einen entscheidenden Einfluss, da das KI-System natürlich möglichst gut auf die äußere, dynamische Situation reagieren soll: der perfekt ausgeführte Tennisschwung hilft nichts, wenn er zu spät kommt und ein und dieselbe Konfiguration der eigenen Schachfiguren kann mal Schachmatt für das KI-System und mal für den Gegner bedeuten. Typisch für so eine Reward-Funktion ist, dass sie eher selten Feedback an das lernende KI-System gibt. Häufig können oder wollen die Entwickler die gestellten Probleme im Vorhinein nicht so in Teilprobleme zergliedern, dass sie mittels der fix definierten Funktion schon für Teillösungen Rewards vergeben können. Es ist gerade der besondere Charme dieses Lernparadigmas, dass dem System nicht viel vorgegeben werden muss, es also ganz eigene Wege zur Lösung finden kann. Die Crux ist bloß, dass genau diese Offenheit gleichbedeutend mit langsamen Lernen ist und dafür immense Ressourcen verbraucht: wenn z.  B. ein Knickarmroboter mit seinen sechs Freiheitsgraden und einer (langsamen) Steuerfrequenz von einer Zehntelsekunde nur alle 30 Sekunden ein Reward-Signal bekommt, gibt es schon ca. 2, 8 ∗ 10233 mögliche Positionen, die von dem System ausprobiert d. h. angefahren werden müssten, um die Position für die beste Note zu finden. Deswegen ist es kein Zufall, dass verstärkendes Lernen ganz besonders in den Bereichen (große) Erfolge feiert, in denen man – wie bei Go oder generell Computerspielen – das Lernen nicht mit echter Hardware in der echten Welt, sondern in Simulationen stattfinden lassen kann. Es ist noch einmal hervorzuheben, dass die Entwickler durch die Programmierung der Reward-Funktion dem System zwar Ziele aber keine Lösungswege vorgeben. Im Vergleich zum klassischen Programmieren aber auch zum überwachten Lernen ist das eine sehr indirekte Art, ein System zu steuern oder besser gesagt zweckmäßiges, intelligentes Handeln zu evozieren. Diese Freiheit bei der Suche nach Lösungen kann sowohl positive als auch negative Überraschungen bei den

1  Technische Grundlagen

15

Systemdesignern hervorrufen: die KI-Systeme können neue Spielstrategien (er)finden (z.  B.  Spielzug 379 von AlphaGo) aber auch unerwünschtes Handeln hervorbringen, wenn die Reward-Funktion  – ähnlich wie manch ein Gesetz  – Lücken aufweist und die falschen Aktionen belohnt. Umso wichtiger, dass die dem System gegebenen Freiheitsgrade seiner potenziellen Kraft angemessen und fehlerfrei definiert sind. 3. Der letzte notwendige aber meist nicht problemspezifische Teil eines Reinforcement-Lernsystems ist ein Lernalgorithmus, dessen Ergebnis wie eingangs gesagt eine Handlungsstrategie ist, um während des Betriebs des Systems möglichst intelligente Aktionen auszuführen. Wie auch schon bei den klassischen KI-Verfahren oder dem überwachtem Lernen kommen hierbei Variationen von schon seit Jahrzehnten bekannten Algorithmen (meistens Q-Learning)10 zum Einsatz, die diesmal nicht mit den aufgabenspezifischen Regeln und Fakten oder Ein-Ausgabe-Beispielen sondern mit der Reward-Funktion und der Komponente zur Bestimmung der Handlungsmöglichkeiten arbeiten. Genau wie beim überwachten Lernen hat die gelernte Handlungsstrategie typischerweise eine mathematische Form (eine hochdimensionale Wahrscheinlichkeitsdichte über den Zustands- und Handlungsraum), die einer Introspektion, warum einzelne gelernte Parameter bestimmte Werte haben, nicht im Einzelnen sondern nur statistisch d. h. verallgemeinernd zugänglich ist. Dennoch sind die Algorithmen an sich deterministisch und auf Fehler überprüfbar. Unkontrollierbar kann das Lernergebnis nur dann werden, wenn das noch lernende System einer nicht 100 % kontrollierten Umgebung ausgesetzt ist. Insbesondere wenn ein KI-System in der realen und nicht nur simulierten Welt durch die Interaktion mit anderen Agenten etwas lernt, ist weder die Wiederholbarkeit noch die Erklärbarkeit des Lernergebnisses garantiert.

https://en.wikipedia.org/wiki/AlphaGo_versus_Lee_Sedol#Game_2. Zugegriffen am 01.10.2019. 10  https://en.wikipedia.org/wiki/Q-learning. Zugegriffen am 01.10.2019. 9 

16

F. Hoppe

1.2.2.3  Unüberwachtes Lernen Die freiste Art, etwas zu lernen, ist komplett ohne einen Lehrer auszukommen. Auf Maschinen übertragen heißt das, dass man einem Algorithmus eine Menge an Daten ohne jegliche Annotation, was ein einzelnes Datum im Kontext einer Aufgabe bedeutet, präsentiert. Beispielsweise kann man als Datenmenge ein Kundenverzeichnis, mit Informationen darüber, wer was gekauft hat, alle Wikipedia-Artikel oder auch eine Menge an Portraitfotos nehmen. Auch wenn die Ansätze der unüberwacht lernenden Algorithmen (u. a. Clustering,11 Autoencoder,12Generative Adversarial Networks13) sehr unterschiedlich sind, haben sie gemeinsam, dass sie ggf. vorhandene, aber unbekannte Muster in den Daten aufdecken können. So kann die Kundendatenbank automatisch in Segmente von Kunden mit unterschiedlichem Kaufverhalten aufgeteilt werden. Aus den Textdaten kann ein Algorithmus ableiten, dass die Worte „Mann“ und „Frau“ in einer ähnlichen Beziehung zueinander wie „König“ und „Königin“ stehen. Und aus den Portraitfotos kann der Computer lernen, Fotos von nicht existierenden Menschen zu generieren, die kaum jemand noch als unecht erkennen kann. Möglich werden diese sehr unterschiedlichen Anwendungen mit demselben Prinzip, dass man die gegebene Datenmenge  – mathematisch gesprochen – erst als Punkte in einem hochdimensionalen Vektorraum darstellt und dann auf eine Mannigfaltigkeit mit (wesentlich) weniger Dimensionen projiziert (s. Dimensions Reduktion).14 Die dabei genutzten Algorithmen fußen wiederum auf klar definierten, herleitbaren Erkenntnissen aus den Bereichen Statistik und der Optimierungs- und Signaltheorie, sind also an sich (d. h. unabhängig von Daten) auf Programmierfehler testbar. Wendet man diese Algorithmen auf konkrete Daten an, werden diese in eine abstraktere Darstellung überführt, in der die inhärenhttps://de.wikipedia.org/wiki/Clusteranalyse. Zugegriffen am 01.10.2019. https://en.wikipedia.org/wiki/Autoencoder. Zugegriffen am 01.10.2019. 13  https://en.wikipedia.org/wiki/Generative_adversarial_network. Zugegriffen am 01.10.2019. 14  https://en.wikipedia.org/wiki/Dimensionality_reduction. Zugegriffen am 01.10.2019. 11  12 

1  Technische Grundlagen

17

ten Muster klarer erkennbar sein sollten. Solche Algorithmen lösen im Prinzip das Problem, als wenn man nur durch Zuhören eines philharmonischen Konzertes die Partitur des Stückes aufschreiben soll. Wer das schafft, wird die unterschiedlichen Instrumente und Stimmlagen heraushören und deren Melodien in einem kompakten Notenbild sauber voneinander getrennt darstellen können. Wenn man nun aber zufällig nicht über eine hohe musikalische Ausbildung verfügt, wird die erzielte Niederschrift von Musikern nicht notwendigerweise interpretiert werde können, da man sich ein ganz eigenes Notationssystem überlegt haben kann. Genau dieses Problem tritt auch häufig bei unüberwacht lernenden Systemen auf: die Algorithmen bilden die in den Daten erkannten Muster auf eine Art und Weise dar, die die Entwickler selbst nicht verstehen. Denn ein einzelnes Datum wird schlussendlich nicht mehr als eine Reihe von Zahlen mit bekannter Bedeutung, sondern durch eine ganz andere Zahlenreihe mit (noch) unbekannter Bedeutung dargestellt. Aus alledem ergibt sich, dass das Ergebnis der Anwendung eines solchen Algorithmus auf konkrete Daten nicht einfach zu bewerten ist: da man sich auf die Suche nach unbekannten Mustern gemacht hat, kann man nicht überprüfen oder gar beweisen, dass die Richtigen gefunden wurden. Und da die neue, abstraktere Darstellung der Daten häufig so andersartig ist, kann man nicht sagen, ob diese genial oder nur nonsense ist. Eine Bewertung findet deswegen praktisch nur mittels der nachgelagerten Benutzung der Ergebnisse statt: wenn man auf Grund der neuen, vollautomatischen Kundensegmentierung Marketingmaßnahmen oder Preise anders steuert und man damit mehr Gewinn erzielt, hat der Algorithmus wohl ein wertvolles Muster15 in den Daten gefunden.

Die Gefahr dabei ist, dass das System Kundengruppen unzulässig und ungewollt diskriminiert. Dies kann man durch klassisch programmierte Komponenten im System verhindern, die z. B. die vom KI-System vorgeschlagenen Preise mit einem zulässigen Wert überschreiben. 15 

18

F. Hoppe

1.2.3 G  emeinsamkeiten der maschinellen Lernverfahren Auch wenn – wie oben dargelegt – die Ansätze der maschinellen Lernverfahren sehr unterschiedlich sind, haben sie doch Gemeinsamkeiten.

1.2.3.1  Entwicklungsprozess eines KI-Systems Folgende Schritte sind immer nötig, bevor ein KI-System eingesetzt werden kann: 1. Datenakquise: notwendigerweise müssen Daten quasi als Treibstoff über ein zu lösendes Problem vorliegen, bevor ein Lernalgorithmus überhaupt gestartet werden kann. Typischerweise werden für ein ernst zu nehmendes Problem auch nicht zehn-zwanzig, sondern sehr schnell auch mal hunderttausende oder gar Millionen von Datensätzen benötigt. Letzteres gilt ganz besonders für das überwachte Lernen im Bereich der Bild- und Sprachverarbeitung mit den tiefen Neuronalen Netzen, die die großen Erfolge der KI-Systeme seit ca. 2012 hervorgebracht haben. Bei solchen großen Datenmengen kann man sich leicht vorstellen, dass immense Anstrengungen unternommen werden müssen, diese Daten aufzunehmen, zu kuratieren und ty­ pischerweise auch zu annotieren. Beispielsweise umfasst ein veröffentlichter Datensatz (Mozilla)16 zum Training von Spracherkennungssoftware Tonaufnahmen von zusammen genommen über 100 Tagen Länge, bei denen man nicht nur genau weiß, was in einer von 29 Sprachen gesagt worden ist, sondern auch welches Alter, Geschlecht und ggf. welchen Akzent der Sprecher hatte. Bei den Aufnahmen hat man auch darauf geachtet, dass ein möglichst umfassendes Vokabular und auch Spektrum von Nebengeräuschen (im geschlossenen Raum, auf der Straße, etc.) abgedeckt wurde.

https://voice.mozilla.org/de/datasets. Zugegriffen am 01.10.2019.

16 

1  Technische Grundlagen

19

Denn für den Erfolg der Entwicklung eines KI-Systems ist es von herausragender Bedeutung, dass die Datenmenge das zu lösende Lernproblem repräsentativ und in all seinen Varianzen widergibt. Wenn die Sprachaufnahmen keine Beispiele enthalten, wie ein Schwabe oder Sachse Deutsch spricht, wird das KI-System diese genauso wenig verstehen, wie ein sehr sesshafter Norddeutscher. Ebenso werden sich bei einer vollautomatischen Kreditvergabe die Vorurteile gegenüber Minderheiten wiederholen, wenn Daten zum Training des KI-­ Systems genutzt werden, bei denen schon Menschen mit Vorurteilen ihre Entscheidungen gefällt haben. Um genau solch einen Bias in den Daten auszuschließen, kommt der Kuratierung der Daten eine besonders wichtige Rolle zu. Man muss nicht nur die Qualität für große Datenmenge hochhalten, sondern muss sich auch genau überlegen, welche Teile der Datensätze verwendet werden: so kann die scheinbar ganz sachliche Information, wo jemand wohnt, automatisch einen Malus für einen Kreditantrag bedeuten, einfach weil in der Vergangenheit menschliche Sachbearbeiter häufig seine Nachbarschaft (identifiziert über die Postleitzahl) aus subjektiven Gründen als „schlecht“ erachtet haben. 2. Anwendung eines Lernalgorithmus: gegeben die Trainingsmenge wird einer der oben skizierten Lernverfahren, d. h. eine klassisch programmierte Software gestartet, die als Ergebnis Werte für die freien Modell-Parameter bestimmt (vgl. Überwachtes Lernen). Klassisch programmiert bedeutet hier abermals, dass der Lernalgorithmus hinsichtlich Programmier­ fehler überprüfbar und sein Ergebnis deterministisch17 ist. Zusammen mit der Strukturformel ergeben die so fixierten Modell-Parameter ein Software-Artefakt, dass wiederum beweisbar für genau dieselbe Eingabe immer genau dieselbe Ausgabe produziert. 3 . Evaluation: Wie oben dargelegt, ist es nicht notwendigerweise so, dass die Entwickler erklären können, warum so ein Dies gilt auch, obwohl gewisse Teile der meisten Lernalgorithmen die Erzeugung von Zufallszahlen benötigen, da diese 100  % wiederholbar, sog. pseudo-zufällig erzeugt werden. 17 

20

F. Hoppe

Software-Artefakt sinnvolle Antworten gibt. Dies kann typischerweise nur durch intensive Tests unter normierten Bedingungen belegt werden. Wie oben dargestellt, werden die KI-Systeme in eine Art Probebetrieb genommen und dabei beobachtet, wie gut ihre Antworten sind. Deren Funktionstüchtigkeit kann genauso abgenommen werden, wie z.  B. bei Materialprüfungen gemessene Abweichungen von gewissen Normen statistisch bewertet werden. Anstatt dass man wiederholt einen bekannten Druck auf das zu testende Material ausübt und dabei dessen Verformung misst, werden dem KI-­ System eine Menge an wohl definierten Daten als Eingabe gegeben, seine Ausgaben mit den Zielvorgaben verglichen und darüber eine Statistik geführt. Es besteht dabei also kein prinzipieller Unterschied in der Methodik, sondern häufig „nur“ ein Unterschied in der Komplexität der Evaluation: wie schon für das Training des KI-Systems werden abermals sehr viele Daten benötigt, um es in möglichst vielen Anwendungsszenarien zu testen. Hat man über den Verlauf der Entwicklungszeit diese drei Schritte absolviert, hat man drei entscheidende Dinge fixiert: die Trainingsdaten, den Lernalgorithmus und die Evaluationsdaten. Damit hat man zum Zeitpunkt der Inbetriebnahme ein in sich stabiles und damit überprüfbares System erzeugt. Für einen sicheren Betrieb des Systems müssen zusätzlich noch Vorkehrungen getroffen werden, dass das System nur in Situationen eingesetzt wird, die durch die Evaluationsdaten abgedeckt sind. Wenn z. B. ein autonom fahrendes Auto nur anhand von Daten aufgezeichnet auf Autobahnen überprüft und abgenommen worden ist, muss es rechtzeitig die Steuerung an einen Menschen übergeben, wenn es eine Autobahnabfahrt erreicht hat.

1.2.3.2  Lernen im laufenden Betrieb Ein immer noch eher seltener Sonderfall des im letzten Abschnitt beschriebenen Entwicklungsverfahrens stellen sog. offene KI-Systeme dar, die nach dem Zeitpunkt ihrer Inbetriebnahme (scheinbar) selbstständig neue Dinge lernen und somit neue Verhaltensweisen an den Tag legen können (oder gar sollen). Dazu werden

1  Technische Grundlagen

21

die Systeme so programmiert, dass während ihrer Nutzung die Trainingsdaten erweitert werden und der gewählte Lernalgorithmus wiederholt angewendet wird. Die Idee ist also einfach die, dass das Mehr an Daten eine verbesserte Funktionstüchtigkeit des Systems nach sich ziehen soll. In der Praxis sind dem aber häufig schnell enge Grenzen gesetzt. Hat man ein überwacht lernendes System gebaut, muss man zu neuen Eingabedaten zwingend die Sollausgabe kennen. Denke man z. B. an die Funktion eines Autoassistenzsystems, das automatisch Verkehrszeichen erkennt, ist es nicht trivial, wie man vom Fahrer valides Feedback darüber erhalten kann, an welche Verkehrszeichen das Auto gerade vorbeigefahren ist, welche Zeichen also wirklich durch das System erkannt hätten werden sollen. In solchen Fällen ist es naheliegender und zielführender, zwar während des Betriebs neue Daten – meistens nur Eingabedaten – aufzuzeichnen und diese dann qualitätskontrolliert im ersten Schritt des normalen Entwicklungsprozesses für eine neue Version des Systems zu verwenden. Beim Reinforcement-Lernen wiederum ist die Notwendigkeit, sehr viele Daten aufzeichnen zu müssen, hinderlich, auch während des Betriebes wesentlich Neues zu lernen. Einzig allein beim unüberwachten Lernen ist es recht nahliegend, neue Daten in ein kontinuierlich lernendes System einfließen zu lassen. Zum Beispiel, ergibt eine automatische (Neu-) Segmentierung von Kunden sehr viel Sinn, wenn auf Grund der Umstellung des Produktportfolios oder neuen Marketingmaßnahmen die Kunden beginnen, anders einzukaufen. Um sicher zu stellen, dass das KI-System mit diesen internen Veränderungen weiterhin korrekt funktioniert, muss es äquivalent zu einem Auto, das alle zwei Jahre zum TÜV muss, zyklisch dem dritten Schritt des Entwicklungsprozesses der Evaluation unterzogen werden. Aus diesen Erklärungen ergibt sich auch, dass ein selbstlernendes KI-System keine grundsätzlich anderen Dinge lernen kann. Neulernen bringt im besten Fall eine inkrementelle Verbesserung des bestehenden Systems hervor. Ein Schachprogramm wird nicht plötzlich Mühle spielen können. Die Software eines Roboter-­ Taxis wird nicht einfach in einen selbstfahrenden Zug eingesetzt werden können. Selbst das Austauschen einer Kamera, die nur mit einer anderen Auflösung oder einem anderen Farbspektrum

22

F. Hoppe

a­ rbeitet, zieht meistens einen alle drei Schritte umfassenden Neuentwicklungsprozess nach sich.

1.3

Anwendungsbereiche der KI-Methoden

Nachdem im letzten Kapitel die verschiedenen Ansätze der KI-Techniken umrissen wurden, können ihre Einsatzmöglichkeiten anhand des im Abschn. 1.1 beschriebenen Grundgerüsts eines autonomen Systems exemplarisch erklärt werden.

1.3.1 KI für die Verarbeitung der Sensordaten Ganz entscheidend wird bei der Auswertung von Kamera-, Mi­ krofon-, Lidar oder Radardaten auf überwacht lernende Komponenten gesetzt. Bestes Beispiel sind dafür die aktuell immensen Investitionen der Automotive-Welt, um autonom fahrende Autos für den Massenmarkt tauglich zu machen. Dazu sind schon jetzt Millionen an Kilometern in Testautos mit dem Ziel gefahren worden, praktisch alle möglichen Verkehrs-, Wetter-, Geografiesituationen mit den Sensoren aufzunehmen, über die die zu verkaufenden Autos verfügen werden. Insbesondere die Videoaufnahmen werden dann in einem zweiten Schritt sehr akribisch (vgl. Financial Times)18 von Menschen annotiert, wo im Bild andere Verkehrsteilnehmer, die Straße an sich oder Verkehrszeichen zu sehen sind. Diese Daten werden in immens großen Trainingsmengen als Eingabe-Ausgabe-Paare den Algorithmen des überwachten Lernens zugeführt, so dass man die großen Datenströme der Sensoren auf relativ wenige Fakten umrechnen, z.  B. alle anderen Verkehrsteilnehmer vereinfacht gesagt mit ihrer genauen Lageposition auf einer virtuellen Straßenkarte verorten kann. Diese zum Fahren absolut nötige Fähigkeit des Sehens kann man nach aktuellem Stand der Technik nur mit unüberwacht lernenden Systemen realisieren. Mit klassisch programmierten Ansätzen der https://www.ft.com/content/56dde36c-aa40-11e9-984c-fac8325aaa04. Zugegriffen am 01.10.2019. 18 

1  Technische Grundlagen

23

Computer Vision aber auch anderen KI-Methoden ist man jahrzehntelang daran gescheitert, die Vielfalt von visuellen Signalen in der realen Welt im Computer zu modellieren. Gleiches gilt für akustische Signale: Spracherkennung, um als Mensch auf natürliche Weise mit einem autonomen System interagieren zu können, gelingt erst zufriedenstellend gut, seitdem man dafür konsequent auf überwacht lernende Systeme setzt. Dabei übernimmt die so trainierte KI-Komponente typischerweise „nur“ die Funktion eines Stenografen, die akustische Aufzeichnungen in geschriebene Sprache zu überführen. Das, was Linguisten mit Semantik und Pragmatik bezeichnen, d.  h. die Zuordnung, welche Wörter im Kontext der Äußerung was in der Welt bedeuten und wie darauf zu reagieren ist, wird dagegen häufig mit klassischen Programmier- oder KI-Methoden realisiert. Zum Beispiel, werden in einem Satz Subjekt, Verb und Objekt mit regelbasierten KI-Systemen erkannt. Bei dieser Aufgabe gewinnen erst seit wenigen Jahren aber stark zunehmend sowohl überwacht als auch unüberwacht-lernende Techniken an Bedeutung. Letztere werden dabei typischerweise auf großen Textkorpora trainiert (vgl. Abschn. 1.2.2.3), um die zu verarbeitenden Sätze in eine numerische Repräsentation zu bringen, die für die weitere Verarbeitung Vorteile bietet (s. Word Embeddings).19 U. a. kann man unüberwacht lernen, welche Wörter synonym zueinander gebraucht werden, und damit automatisch Mehrdeutigkeiten auflösen: man muss z. B. nicht extra programmieren, dass die Sätze „Das Auto ist rot.“ und „Der PKW ist rot.“ dasselbe bedeuten.

1.3.2 KI für die Planung von Handlungen Nachdem ganz überwiegend überwacht trainierte Komponenten Fakten über die Situation, in der sich ein autonomes System befindet, errechnet haben, können andere KI-Methoden genutzt werden, dazu passende Aktionen zu planen. Zum Beispiel, gibt es

https://en.wikipedia.org/wiki/Word_embedding. Zugegriffen am 01.10.2019.

19 

24

F. Hoppe

Ansätze,20 in denen Verkehrsregeln wie in Abschn.  1.1.2. beschrieben so formalisiert werden, dass autonom fahrende Autos ihre Handlungen danach ausrichten. Solche expliziten Regeln (z. B. „WENN Fahrt auf einer Straße, DANN rechte Spur benutzen.“) haben den Vorteil, dass man die Entscheidungen des Systems sehr viel einfacher nachvollziehen und auf Fehler hin überprüfen kann, als wenn das gewünschte Verhalten implizit durch Daten vorgegeben werden muss. Gleichzeitig gibt es auch Verfahren,21 die durch Verhaltensverstärkung lernen, einen Spurwechsel oder Überholmanöver durchzuführen. Welche Ansätze sich für welche Teilprobleme des autonomen Fahrens durchsetzen werden, ist aber noch eine Frage der Forschung. Ebenso wenig gibt es noch keinen Königsweg, wie man ein System dazu in die Lage versetzt, dass es einen sich für Menschen natürlich anfühlenden Dialog führen kann. Seit den 1960er-Jahre werden dafür regelbasierte KI-Systeme benutzt (z. B. ELIZA),22 die auch immer noch dieses Feld der Chat Bots dominieren. Die Vorteile dafür liegen wiederum darin, dass die Entwickler durch die expliziten Regeln die innere Logik gerade von thematisch eingeschränkten Dialogen recht einfach modellieren können. Zunehmend fließen aber auch Methoden des maschinellen Lernens in die Entwicklungen ein: es gibt  – wenn auch noch nicht marktreif – dennoch beeindruckende, überwacht lernende Systeme, die allein aus Beispieldaten von Bildern und Fragen lernen, die richtige Antwort zu geben (Visual Question Answering23 oder Demonstrator24). Ebenso versucht man das Problem mit verstärkendem Lernen zu lösen (zielorientierte Chatbots).25 Vgl. Prakken, On the problem of making autonomous vehicles conform to traffic law, Artificial Intelligence and Law 2017, S. 341–363. 21  Vgl. Shalev-Shwartz/Shammah/Shashua, Safe, Multi-Agent, Reinforcement Learning for Autonomous Driving, arXiv 2016, abs/1610.03295. 22  https://de.wikipedia.org/wiki/ELIZA. Zugegriffen am 01.10.2019. 23  https://visualqa.org/. Zugegriffen am 01.10.2019. 24  http://vqa.cloudcv.org/. Zugegriffen am 01.10.2019. 25  https://towardsdatascience.com/training-a-goal-oriented-chatbot-with-deep-reinforcement-learning-part-i-introduction-and-dce3af21d383. Zugegriffen am 01.10.2019. 20 

1  Technische Grundlagen

25

1.3.3 KI für die Ansteuerung der Aktoren Wie in Abschn. 1.1.3 angesprochen sollte ein autonomes System in der Lage sein, mitzubekommen, wenn etwas  – vielleicht auf Grund von Defekten – nicht mehr so läuft, wie geplant. Für diesen Fachbereich der sog. Anomaliedetektion werden sehr häufig Algorithmen des unüberwachten Lernens genutzt. Dabei werden Sensordaten (z. B. von Gyroskopen, von Beschleunigungssensoren oder über den Stromverbrauch) während des Betriebes des Systems aufgenommen, um Abweichungen zum Normalzustand zu detektieren. Unüberwacht lernende Ansätze sind dafür besonders charmant, da sich Entwickler nicht im Vorhinein festlegen müssen, wie „normale“ und wie „unnormale“ Daten auszusehen haben. Die Systeme lernen die inhärenten Muster über die Zeit des Regelbetriebs zu erkennen und können so auf Abweichungen aufmerksam machen. Da auch Lautsprecher zu den Aktoren eines autonomen Systems gehören können, ist festzuhalten, dass die von einer Chat-Bot-Komponente errechneten Ausgabesätze nicht mehr roboterartig, sondern in Qualität und Modulation annähernd menschlich ausgesprochen werden können. Hinter den großen Qualitätssprüngen der letzten Jahre stecken ganz überwiegend tiefe neuronale Netze (Wavenet),26 also überwachte Lernsysteme, die aus unzähligen Stunden Tonaufnahmen von menschlichen Sprechern lernen, aus beliebigen Texten gesprochene Sprache zu generieren.

1.4

Ausblick

Aus der nun schon über 70-jährigen Geschichte der KI hat man gelernt, dass Vorhersagen über die nächsten Entwicklungsschritte sehr spekulativ und mit viel Vorsicht zu genießen sind. Zu häufig schon scheinen Dinge einfach und bald gelöst (z. B. Schach spielen), zu häufig war man (positiv) überrascht, dass man sie doch in https://en.wikipedia.org/wiki/WaveNet. Zugegriffen am 01.10.2019.

26 

26

F. Hoppe

den Griff bekommen hat (z. B. Go). Dennoch möchten wir ein paar Prognosen wagen: Es wäre überraschend, wenn sich über die bekannten und hier dargestellten Lernparadigmen hinaus noch ganz neue Lernarten etablieren könnten. Denn diese Paradigmen sind seit Jahrzehnten bekannt und auch die neusten Durchbrüche der KI-Systeme basieren auf immer denselben Prinzipien des Zusammenspiels von Trainingsdatenmengen und Lernalgorithmen. Echte Neuerungen und Leistungssteigerungen sind viel mehr nur dadurch zu erwarten, dass man diese bekannten Lernansätze auf neue Art und Weise miteinander kombiniert. Zum Beispiel, das Spiel Go wurde unerwarteterweise dadurch gelöst, dass man geschickt überwachtes mit verstärkendem Lernen verbunden hat. Generative Adversarial Networks), über die erstmalig 2016 publiziert wurde, die aber schon jetzt erkennbar ein großes Forschungsgebiet aufgestoßen haben, sind eine neue Art Algorithmen des überwachten Lernens zur Lösung eines unüberwachten Lernproblems zu nutzen. Da die genutzten Prinzipien also alt bekannt sein sollten, wird man wohl auch die KI-Systeme der Zukunft auf die im Abschn. 1.2.3.1 beschriebene Art entwickeln und vor allem evaluieren. Dabei ist absehbar, dass die zunehmende Kombination von KI-Komponenten und die wachsenden Datenmengen die Komplexität des Entwicklungsprozesses und der Gesamtsysteme steigern wird. Aber wie auch bei der sehr komplexen Entwicklung eines Atomkraftwerkes oder einer Raumstation ist es nicht ersichtlich, warum man mit dem klassischen Ingenieursansatz des „Teile und Herrsche!“ die kommenden KI-Systeme nicht kontrollieren können sollte. • Qualitativ neue Höchstleistungen wird man in relativ naher Zukunft schon dadurch erzielen, dass man den Status Quo iterativ verbessert: mehr Daten, mehr Rechenpower, mehr Forscher und Entwickler  – zusammengefasst das Mehr an ­monetären Investments in KI-Systeme27 wird weitere Durchbrüche hervorbringen. Insbesondere im Bereich des Natural Language Processing (NLP) werden wohl die nächsten Wow-Momente bei den Nutzern der Systeme entstehen. Dabei geht es um Anwendungen Vgl. https://www.nytimes.com/2017/07/20/business/china-artificial-intelligence.html. Zugegriffen am 01.10.2019.

27 

1  Technische Grundlagen

27

u. a. in den Bereichen des maschinellen Übersetzens und der automatischen Zusammenfassung oder der Bewertung von Texten, so wie es aktuell Analysten tun. Die nahenden Erfolge sind relativ gut absehbar, da aktuell in der NLP-Forschung Erkenntnisse gewonnen werden, die sehr vergleichbar mit denen im Bereich der Bildverarbeitung von 2012/2013 sind, die erst ab 2015/2016 ihre breitere Wirkung bewiesen hat.28 In beiden Fällen wurden Methoden entwickelt, wie man sehr große, unspezifische Datenmengen dafür nutzen kann, eine KI-­Lösung zu realisieren, die mit relativ wenig anwendungsspezifischen Daten trainiert wurde. Diese Technik des sog. Transfer-­ Learning ermöglich es also die sehr häufig prohibitiv teure Datenakquise zu umschiffen. • Verstärkendes Lernen wird die entscheidende Komponente für ein wie in Abschn.  1.1 dargestelltes autonomes System sein. Nur durch die Programmierung von Reward-Funktionen, nicht durch das Sammeln von noch mehr Daten für einen überwachten Lernalgorithmus oder das ungezielte Lernen von unüberwachten Lernverfahren, werden KI-Systeme selbstständig neuartige Lösungen finden können. Das größte Problem auf dem Weg zu solchen KI-Systemen ist, dass man noch nicht weiß, wie man das in millionenfachen Simulationen gelernte Wissen eines Systems auf die physische Welt überträgt. Ohne diesen Baustein werden wohl auch die nächsten KI-Systemen Menschen zwar in noch komplexeren Spielen als Go schlagen können (vgl. AlphaGo für Starcraft),29 sie werden aber ­weiterhin nur in solchen virtuellen Welten „eingesperrt“ agieren. Sollte dieser Wissenstransfer aus Simulationen hinein in die echte Welt gelingen, käme das einer Disruption von ganz erheblichem Ausmaß gleich.

Vgl. http://ruder.io/nlp-imagenet/. Zugegriffen am 01.10.2019. Vgl. https://deepmind.com/blog/article/alphastar-mastering-real-time-strategy-game-starcraft-ii, Zugegriffen am 01.10.2019. 28  29 

28

F. Hoppe

Literatur [1] Prakken, Henry, On the problem of making autonomous vehicles conform to traffic law, Aufsatz: Artificial Intelligence and Law 2017, Band 25, 3. Ausgabe, S. 341–363 [2] Shalev-Shwartz, Shai/Shammah, Shaked/Shashua, Amnon, Safe, Multi-­ Agent, Reinforcement Learning for Autonomous Driving, arXiv 2016, abs/1610.03295 Dr. Florian Hoppe  ist unabhängiger Berater und IT-Projektleiter zum Thema KI und Datenanalyse, wohnhaft in Berlin und tätig in der DACH-Region Seit seiner Promotion vor 15 Jahren im Bereich KI und Robotik war er als Entwickler, Manager und Firmenmitgründer immer wieder daran beteiligt, innovativste Software bei Startups, KMUs und Konzernen in Produktion zu bringen. Diese Bandbreite an Erfahrungen helfen ihm, seinen Kunden in der stark Hype-getriebenen IT-Welt den Überblick zu vermitteln, um pragmatisch passgenaue Lösungen zu finden.

2

Künstliche Intelligenz im Zivilrecht Matthias Hartmann

2.1

 ünstliche Intelligenz und K Vertragsschluss

2.1.1 E  insatz einer KI beim Abschluss von Verträgen 2.1.1.1  Willenserklärungen mittels KI Alltäglich werden digitale Hilfsmittel eingesetzt, um am Rechtsleben teilzunehmen. Per E-Mail oder Mausklick abgeschlossene Verträge bereiten dem Rechtssystem keine Schwierigkeiten. Im BGB ist eine Standardform für die Abgabe von Erklärungen geregelt, die digitale Textformate einschließt (Textform, § 126b BGB). Inzwischen wurde durch die eIDAS-Verordnung ein einheitlicher rechtlicher Rahmen für die Identifikation und für Transaktionen in

M. Hartmann (*) HK2 Rechtsanwälte, Berlin, Deutschland E-Mail: [email protected] © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von Springer Nature 2020 M. Hartmann (Hrsg.), KI & Recht kompakt, IT kompakt, https://doi.org/10.1007/978-3-662-61700-7_2

29

M. Hartmann

30

Europa geschaffen.1 Damit steht rechtlich alles bereit für die Digitalisierung des EU Binnenmarkts, der Verwaltung und der Justiz. Auch automatisierte Erklärungen sind nichts Außergewöhnliches mehr. Auf Börsenplattformen zur Signalgebung und automa­ tisierten Auftragsausführung (Signal Following/Social Trading) kann automatisch allen Trades eines Musterdepots gefolgt werden.2 Online-Werbeplätze werden weltweit fast in Echtzeit „versteigert“ und die Schaltungen sogleich ausgeliefert. Dem liegen Verträge zugrunde, die digital und automatisiert geschlossen werden, ohne dass noch eine menschliche Interaktion für die konkrete Transaktion erforderlich wäre. Bei Benutzung elektronischer Kommunikationsmittel zur Abgabe und zum Empfang von Willenserklärungen gelten die allgemeinen Auslegungsregeln.3 Was aber gilt, wenn eine KI eine rechtlich relevante Erklärung abgibt und ist die Erklärung wirksam, wenn der Inhaber der KI diese gar nicht abgeben wollte? Das soll an folgendem, in den Medien kolportierten Beispiel dargestellt werden: Beispiel

Ein Nachrichtensprecher berichtet von Fällen, in denen der Bestellassistent ALEXA die Äußerung eines Kindes im Haushalt als Bestellung eines Puppenhauses gedeutet und umgesetzt habe. Durch das Verlesen der Meldung im Rundfunk fühlt sich ALEXA wieder angesprochen und beginnt erneut Puppenhäuser für die ALEXA-Inhaber zu bestellen.4 ◄ Ist hier ein wirksamer Kaufvertrag über das Puppenhaus zustande gekommen? Dies beurteilt sich nach dem Recht der WillensVerordnung (EU) Nr. 910/2014 des Europäischen Parlaments und des Rates vom 23. Juli 2014 über elektronische Identifizierung und Vertrauensdienste für elektronische Transaktionen im Binnenmarkt und zur Aufhebung der Richtlinie 1999/93/EG. 2  https://www.bafin.de/DE/Aufsicht/FinTech/Signalgebung/signalgebung_ node.html. Zugegriffen am 17.10.2019. 3  BGH, Urt. v. 15.02.2017, VIII ZR 59/16, Rn. 23. 4  https://www.theguardian.com/technology/shortcuts/2017/jan/09/alexa-amazon-echo-goes-rogue-accidental-shopping-dolls-house. Zugegriffen am 18.09.2019. 1 

2  Künstliche Intelligenz im Zivilrecht

31

erklärungen. Verträge kommen nach deutschem Verständnis zustande, wenn zwei übereinstimmende Willenserklärungen über den Inhalt vorliegen, nämlich ein Angebot und dessen Annahme. Dabei geht das im vorletzten Jahrhundert konzipierte BGB selbstverständlich davon aus, dass nur Menschen zu solchen Willenserklärungen in der Lage sind. Grundpfeiler des Vertragsrechts ist die Privatautonomie, also die Freiheit des Menschen, sich durch Erklärungen zu binden mit dem Ziel der Selbstbestimmung des Einzelnen im Rechtsleben.5 Freie Willensbildung und Selbstbestimmung werden aber nur Rechtssubjekten zugestanden. Auch die im BGB etablierten Mechanismen der Absicherung dieser Privatautonomie durch Sanktionen, persönliche Haftung, Verantwortung und Selbstbindung erscheinen sinnlos bei Anwendung auf eine KI. Als Mechanismus zur Befolgung von Regeln liegt es in Bezug auf KI näher, diese gleich in der KI zu implementieren und nicht über Sanktionen bei Nichteinhaltung zu steuern. Die Rückführung von Verträgen auf menschliche Erklärungen erweist sich daher als ein Axiom des Rechtssystems. Weder eine KI noch ein Bestellassistent können daher nach aktuellem Recht eigene Willenserklärungen abgeben. Im Beispielsfall hat nicht nur die KI agiert, sondern es haben verschiedene Personen gehandelt, diesen könnte die Erklärung des Bestellassistenten zuzurechnen sein: Der Nachrichtensprecher hat den News-Text willentlich geäußert, den ALEXA als Bestellwunsch interpretiert hat. Der Inhaber von ALEXA wollte zwar kein Puppenhaus bestellen und hat in Bezug auf den konkreten Bestellvorgang auch nicht gehandelt. Er hat aber ALEXA eingerichtet. Ein objektiver Beobachter des gesamten Vorgangs wüsste, dass hier niemand ein Puppenhaus kaufen wollte. Aus Sicht des Verkäufers dagegen lag der Anschein einer ordnungsgemäßen Bestellung eines Puppenhauses durch den Inhaber von ALEXA als Accountinhaber vor, denn der Bestellung selbst war nichts Außergewöhnliches zu entnehmen. Wenn der Verkäufer das Puppenhaus nun liefert, muss das Rechtssystem entscheiden, ob die Lieferung rückabgewickelt wer­ den muss (ein Widerrufsrecht des Käufers sei außer Acht gelas-

BVerfG, Beschl. v. 19.10.1993, 1 BvR 567/89; NJW 1994, 36, 38; Hartmann [16], S. 59. 5 

M. Hartmann

32

sen). Dabei ist zu berücksichtigen, dass Kosten für Hin- und Hersendung anfallen, die von einer Partei getragen werden müssen, auch bei Rückabwicklung verbleibt also ein Schaden. Die herrschende Lehre unterscheidet zwischen äußerem und innerem Tatbestand einer Willenserklärung.6 Der äußere Tatbestand besteht aus dem Erklärten und seiner Bedeutung, der innere Tatbestand aus subjektiven Elementen, also dem Willen und den Motiven. Welche Elemente den Tatbestand der Willenserklärung genau ausmachen und welche konstitutiv, also begründend für die Annahme einer Willenserklärung sind, ist noch nicht geklärt, weil es bislang nur sehr wenige Entscheidungen hierzu gibt. Das Beispiel mit dem Bestellassistenten macht aber klar, dass eine KI auch ohne eigenen Willen den äußeren Tatbestand einer Willenserklärung erzeugen kann. Was die notwendigen Elemente einer Willenserklärung sind, ist umstritten. Die Problematik verdeutlicht folgendes Beispiel: Beispiel

Frau X bereitet eine Bestellung bei Amazon vor, sie zögert aber noch. Da fällt sie in Ohnmacht und drückt versehentlich den „Jetzt-kaufen-Button“. ◄ Objektiv liegt eine ordnungsgemäße Bestellung vor, dennoch besteht Einigkeit, dass Frau X nicht an die Erklärung gebunden sein soll. Nach einer Ansicht fehlt der Handlungswille, weil die „Erklärende kein bewusstes, willkürliches, „finales“ menschliches Verhalten setzt, sondern ein unbewusstes, unwillkürliches, reflexhaftes, das aber doch dem äußeren Bild einer rechtsgeschäftlichen Willenserklärung“ entspricht.7 Nach anderer Ansicht scheitert die Wirksamkeit an der Zurechenbarkeit der Erklärung. Beiden Auffassungen liegt zugrunde, dass das Subjekt nur durch eine bewusste Äußerung des eigenen Willens gebunden wird, also einen Aspekt des inneren Tatbestands der Willenserklärung. Neuner, JuS, 2007, 881. MüKo BGB/Armbrüster, [39], §  116, Rn.  1–30; HK-BGB/Heinrich, Dörner, § 116, Rn. 1–4. 6  7 

2  Künstliche Intelligenz im Zivilrecht

33

Fälle, bei denen es gänzlich an einer von einem menschlichen Willen getragenen Handlung fehlt, werden gleich entschieden. Springt in obigem Beispiel die Katze auf die Tastatur und löst so die Bestellung aus, soll auch dadurch keine wirksame Willenserklärung abgegeben werden. Allerdings ist für den Empfänger der Bestellung in diesen Fällen nicht erkennbar, dass der Bestellung keine menschliche Handlung zugrunde lag, er wird also zunächst von einem wirksamen Vertrag ausgehen. Daher erscheint es fraglich, jemanden, der eine KI bewusst im Rechtsleben einsetzt, dem Katzenbesitzer gleichzustellen und die Kosten bei dem Verkäufer zu belassen. Wie wirkt sich dies bei dem Fall mit dem Bestellassistenten aus: Zunächst wäre der Handlungswille zu prüfen. Unproblematisch kann dieser beim Nachrichtensprecher angenommen werden. Der Inhaber von ALEXA dagegen hat bezüglich der konkreten Bestellung nicht gehandelt. Ihm könnte aber der Hand­lungswille des Nachrichtensprechers zuzurechnen sein. Dies liegt fern, weil der Inhaber von ALEXA nichts unternommen hat, was eine solche Zurechnung rechtfertigen könnte: Er dürfte nichts von der Meldung gewusst haben und konnte diese weder vorhersehen noch verhindern. Denkbar wäre es weiter, ALEXA’s Handlungswillen zuzurechnen, aber wie oben ausgeführt, haben Maschinen nach dem BGB keinen Willen im Rechtsverkehr. Schließlich könnte der Handlungswille „vorverlagert“ sein, nämlich auf den Zeitpunkt, in dem der Inhaber von ALEXA gehandelt hat. Dies nimmt die Rechtsprechung bei „Computererklärungen“ an, oder wie es das OLG Frankfurt ausdrückt: „Da aber der Rechner nur Befehle ausführt, die zuvor mittels Programmierung von Menschenhand festgelegt worden sind, hat jede automatisch erstellte Computererklärung ihren Ursprung in einer menschlichen Handlung, die von dem Erklärenden veranlasst wurde und die auf seinen Willen zurückgeht. Auch Computererklärungen sind deshalb als Willenserklärungen dem jeweiligen Betreiber zuzurechnen.“8

OLG Frankfurt/Main, MMR 2003, 405, 406.

8 

34

M. Hartmann

Der Handlungswille, eine KI zu verwenden, wird also auf die späteren Erklärungen der KI erstreckt. Auf diese Weise führt die Rechtsprechung digitale Bestellungen oder automatisierte Erklärungen, die für den Fall des Eintritts einer konkret vorbestimmten Bedingung eingerichtet werden (beispielsweise eine Stop-Loss-­ Order im Depot oder Realtime Bidding auf Werbeplätze s. o.), auf einen menschlichen Handlungswillen zurück. Solche Erklärungen werden also dem Handlungswillen desjenigen zugeordnet, der sich dieser digitalen Hilfen bedient.9 Für die Annahme des Handlungswillens reicht es aus, dass der Verwender der KI willentlich den Vorgang in Gang gesetzt hat, der zur Abgabe der Erklärung geführt hat. Nach der Rechtsprechung wäre für diese Prüfung wohl auf den Empfängerhorizont abzustellen. Dies soll dem Schutz eines flüssigen Geschäftsverkehrs dienen, indem sich der Empfänger auf Erklärungen verlassen können soll, soweit er keine Möglichkeit hat, etwaige Mängel des Handlungswillens zu erkennen. Allerdings scheint eine KI nicht darauf reduzierbar, nur Befehle auszuführen, „die zuvor mittels Programmierung von Menschenhand festgelegt worden sind“, wie das OLG Frankfurt formuliert. Zwar programmiert sich auch eine KI bislang nicht selbst. Die konkrete Entscheidung einer KI mag determiniert sein, vorhersehbar ist sie damit aber nicht. Insofern erscheint es fraglich, ob es angemessen ist, die für den Verwender gerade nicht vorhersehbare Entscheidung der KI auf den Willen des Menschen bei Programmierung oder der Installation zurückzuführen. Dem Handlungswillen des Verwenders einer KI werden aber wohl alle Erklärungen der KI zugerechnet, sofern sich diese im Rahmen dessen bewegen, was der Verwender bewusst in Gang gesetzt hat und was objektiv erwartbar war. Danach läge im Beispielsfall des Bestellassistenten der äußere Tatbestand einer Willenserklärung vor, nämlich eine beim Verkäufer eingegangene Bestellung, die als Folge der willentlichen Handlung des Inhabers bei der Einrichtung von ALEXA erscheint.

Specht/Herold, MMR 2018, 44.

9 

2  Künstliche Intelligenz im Zivilrecht

35

Das Ergebnis scheint aber den besonderen Umständen des Falles nicht gerecht zu werden. Denn dem Inhaber von ALEXA war kaum bewusst, was geschehen würde. Es gibt vergleichbare Lehrfälle, in denen der Tatbestand einer Willenserklärung fraglich erscheint. Das Schulbeispiel ist die „Trierer Weinversteigerung“. Ein Ortsfremder kommt zu einer Weinversteigerung, winkt dem dort auf ihn wartenden Bekannten zu, ohne zu wissen, dass er damit das Höchstgebot in der laufenden Versteigerung abgibt. Auch hier liegt von außen betrachtet eine Willenserklärung vor, denn der objektive Beobachter kennt die Regeln der Versteigerung. Auch fehlt es nicht am Handlungswillen, denn der Besucher möchte winken, also das objektiv als Erklärung auszulegende Handzeichen abgeben. Der Besucher irrt allein über die Bedeutung seiner Handlung. Ihm fehlt das Bewusstsein, dass sein Winken als rechtlich relevante Erklärung verstanden werden wird (fehlendes Erklärungs­ bewusstsein). Die Lösung solcher Fälle ist umstritten. In der Literatur wird argumentiert, eine verbindliche Äußerung läge nicht vor, weil der Besucher keine rechtlich relevante Handlung vornehmen wollte. Der Bundesgerichtshof dagegen nimmt den Besucher in die Verantwortung für die Erklärung, weil „er bei Anwendung der nötigen Aufmerksamkeit hätte erkennen können, wie der Verkehr sein Verhalten (…) verstehen wird“.10 Gegen vielfache Kritik hält die Rechtsprechung an dieser Ansicht bis heute fest und hat lediglich die Formel etwas modifiziert: „Trotz fehlenden Erklärungsbewusstseins (Rechtsbindungswillens, Geschäftswillens) liegt eine Willenserklärung vor, wenn der Erklärende bei Anwendung der im Verkehr erforderlichen Sorgfalt hätte erkennen und vermeiden können, dass seine Äußerung nach Treu und Glauben und der Verkehrssitte als Willenserklärung aufgefasst werden durfte.“11

BGH, Urt. v. 11.07.1968, II ZR 157/65; NJW 1968, 2102, 2103. BGH, Urt. v. 07.11.2001, VIII ZR 13/01, S. 10.

10  11 

36

M. Hartmann

Die Rechtsprechung prüft also das Vorliegen einer Willenserklärung anhand der Verantwortlichkeit („Sorgfalt“). Das ist weder überzeugend noch stimmig. Der Grund „zum eigenen Wort zu stehen“ oder jemanden „beim Wort“ zu nehmen, ist die Selbstbindung an die eigene privatautonome Entscheidung. Die Beachtung der Sorgfalt dagegen ist eine Rücksichtnahmepflicht gegenüber Anderen aus dem Haftungsrecht. Ob eine Person an eine Äußerung gebunden ist, sollte daher von ihrem Willen und nicht ihrer Sorgfalt abhängen. Angemessen gelöst werden die Fälle dann über die Haftung für eigenes Verhalten (Sorgfaltspflichtverstoß). Die herrschende Meinung aber sieht das anders. Der BGH tendiert dazu, die Fälle nach Sorgfaltsverstoß und Interessenabwägung zu entscheiden.12 In unserem Beispiel der ALEXA Bestellung durch den Nachrichtensprecher war sich der Verwender von ALEXA nicht bewusst, dass durch seine Handlung (Einrichtung von ALEXA) eine Bestellung eines Puppenhauses aufgrund einer Äußerung eines Nachrichtensprechers abgegeben werden wird. Auch der Nachrichtensprecher hat nicht bewusst eine Bestellung für die jeweiligen Verwender von ALEXA abgegeben. Es fehlte also insoweit am Rechtsbindungs- oder Geschäftswillen. Von der herrschenden Meinung in der Rechtsprechung wird eine Erklärung aber auch ohne Erklärungsbewusstsein zugerechnet, wenn der Erklärende bei Anwendung der im Verkehr erforderlichen Sorgfalt hätte erkennen und vermeiden können, dass seine Äußerung nach Treu und Glauben und der Verkehrssitte als Willenserklärung aufgefasst werden durfte. Streng genommen liegt in unserem Beispiel zwar keine Äußerung des Inhabers von ALEXA vor. Es ist aber anzunehmen, dass die Rechtsprechung die Zurechnung von Erklärungen nach dem Sorgfaltsprinzip mit dem vorverlagerten Handlungswillen einer Computererklärung kombinieren wird. Nähme man also einen Sorgfaltsverstoß durch das unkontrollierte Laufenlassen des bewusst in Gang gesetzten Bestellassistenten an, werden dessen Erklärungen dem Inhaber zuzurechnen sein. In diese Richtung

BGH, Urt. v. 11.03.2009, I ZR 114/06, S. 10 – Halzband.

12 

2  Künstliche Intelligenz im Zivilrecht

37

geht auch die bereits zitierte Halzband-Entscheidung des BGH.  Danach soll der Inhaber eines Online-Accounts sich zurechnen lassen müssen, wenn er nicht verhindert, dass ein Dritter heimlich seine Accountdaten zur Kenntnis nehmen kann und dann über den Account Bestellungen vornimmt, solange die Empfänger der Erklärungen dies nicht erkennen können oder müssen.13 Auch in diesem Falle hatte der Inhaber des Accounts keine Ahnung, dass und welche Erklärungen eine dazwischentretende Person heimlich in seinem Namen abgeben würde. Allerdings hat der BGH diese Entscheidung später ausdrücklich auf die deliktische Zurechnung beschränkt. Handele ein Dritter unter einem fremden Account, so seien die Erklärungen ausschließlich nach den Regeln der Stellvertretung zuzurechnen.14 Beim Einsatz einer KI handelt allerdings kein Dritter im Rechtssinne (s.  o.) und auch eine analoge Anwendung des Stellvertreterrechts macht wenig Sinn, weil dessen Korrektiv die Haftung des Stellvertreters ist, und eine KI nicht haften kann. Daher dürfte es bei der Zurechnung der KI-­Erklärung nach den Regeln der „Computererklärungen“ bleiben und die erforderliche Eingrenzung der Zurechnung über die Vorhersehbarkeit erfolgen. Es kann daher argumentiert werden, der ALEXA Sachverhalt sei zu fernliegend und daher nicht mehr von dem in den Bestellassistenten vorverlagerten Willen des Inhabers umfasst, sodass die Bestellung nicht mehr zuzurechnen sei. Dann blieben dem Verkäufer bei Lieferung der Puppe nur Schadensersatzansprüche oder Ansprüche aus Bereicherungsrecht. Schadensersatzansprüche bestünden, wenn man das unkontrollierte Laufenlassen eines Bestellroboters als schuldhafte Pflichtverletzung ansähe. Dies erscheint vertretbar. Der in Anspruch genommene Inhaber von ALEXA wiederum könnte Regress beim Hersteller des Bestellroboters nehmen (siehe zu den Einzelheiten Abschn. 2.3.2). Auf diese Weise erscheint das Risiko richtig verteilt und wird zu ent-

BGH, Urt. v. 11.03.2009, I ZR 114/06, S. 10 – Halzband, Rn. 16. BGH, Urt. 11.05.2011, VIII ZR 289/09 – Gastronomieeinrichtung; BGH, Urt. v. 06.04.2017, III ZR 368/16. 13  14 

38

M. Hartmann

sprechender Qualität oder Sicherheitsmechanismen der Bestellroboter führen. Vertretbar erscheint aber auch anzunehmen, der Nachrichtensprecher, der durchaus von der Gefahr einer Fehlbestellung durch ALEXA wusste, hätte erkennen müssen, dass sein Text weitere Bestellvorgänge auslösen kann. Dennoch käme dadurch kein Vertrag mit ihm zustande, da die Erklärung objektiv für den Inhaber von ALEXA abgegeben wurde und der Sprecher für diesen keine Erklärung abgegeben wollte. Eine deliktische Haftung des Nachrichtensprechers bleibt denkbar, dürfte aber an der fehlenden Rechtsgutsverletzung scheitern, weil hier lediglich ein Vermögensschaden verursacht wurde und kein betriebsbezogener Eingriff vorlag (siehe dazu Abschn. 2.3.3.1).15 Wie oben beschrieben, dürfte jedoch nach der herrschenden Meinung und der des BGH dem Inhaber die Erklärung ALEXA’s zugerechnet werden. Damit kommt in unserem Beispiel spätestens mit der Annahme der Bestellung durch den Verkäufer zunächst ein wirksamer Vertrag über das Puppenhaus zustande. Für den Einsatz von KI bei der Abgabe von Erklärungen ergibt sich daraus, dass zunächst der Verwender das Risiko tragen dürfte, wenn die KI etwas Anderes äußert, als sich der Verwender vorgestellt hat.

2.1.1.2  Anfechtung von Willenserklärungen einer KI Fallen beim Einsatz eines technischen Hilfsmittels Wunsch und tatsächliche Erklärung auseinander, kommt eine Anfechtung der Erklärung in Betracht. Die Anfechtung beseitigt die Willenserklärung, und ein durch diese zustande gekommener Vertrag ist nicht mehr wirksam. Der Erklärende darf sich aus Gründen des Schutzes der Erklärungsempfänger und eines schnellen Rechtsverkehrs allerdings nur unter engen Voraussetzungen wieder von seiner Erklärung lösen. Die Anwendung der bestehenden Anfechtungsregelungen auf Sachverhalte, bei denen der Einsatz von Informationstechnologie zum Auseinanderfallen des Willens des Erklärenden und der nach objektiven Maßstäben zu beurteilenden tatsächlichen Erklärung Zur „Betriebsbezogenheit“ siehe BeckOK BGB/Förster, § 823 Rn. 177 ff.

15 

2  Künstliche Intelligenz im Zivilrecht

39

führt, wird seit längerem diskutiert.16 Der Einsatz von KI wird solche Fälle vermehrt hervorrufen. Anfechtung einer Willenserklärung (Tab. 2.1) Übermittlungsfehler Wird die Erklärung vom Erklärenden zutreffend abgegeben, kommt aber falsch an, weil ein Bote oder eine technische Einrichtung einen abweichenden Erklärungsinhalt übermittelt, ist die Anfechtung nach § 120 BGB zulässig. Ein solcher Fall wäre denkbar, wenn der Nutzer „20 Packungen“ bestellen möchte, seine Spracherkennungs-KI jedoch „30“ versteht.17 Tab. 2.1  Übersicht zur Anfechtung einer Willenserklärung Übermittlungsfehler Inhaltsirrtum § 119 Abs. 1, 1. Alt § 120 BGB Richtige Erklärung kommt BGB Der Erklärende irrt falsch an Bote oder technische über die objektive Einrichtung gibt eine Bedeutung der andere als die abgegebenen ursprüngliche Erklärung ab Erklärung Motivirrtum § 119 Abs. 2 BGB Irrtum über wesentliche Eigenschaft einer Person oder Sache Fehlendes Erklärungsbewusstsein § 119 Abs. 1 analog BGB Anfechtung wegen Täuschung oder Drohung § 123 Abs. 1 BGB Erklärungsirrtum § 119 Abs. 1, 2. Alt BGB Der Erklärende äußert objektiv etwas Anderes, als er eigentlich will (Beispiele: Versprechen, Vertippen)

Siehe eingehend zur Anfechtung: Grapentin [14] 106 ff. Dies gilt allerdings nicht mehr, wenn der Assistent die Erklärung nur für den Verwender vorbereitet und nicht unmittelbar versendet. Versendet der Mensch die vorbereitete Erklärung ungelesen mit der falschen Menge, so liegt der Fehler in der Erklärung, nicht der Übermittlung. 16  17 

40

M. Hartmann

Erklärungsirrtum Eine Erklärung ist anfechtbar, wenn der Erklärende sich versehentlich anders äußert als er möchte, bspw., weil er sich verspricht, vertippt oder ein Gerät fehlbedient, § 119 Abs. 1 Alt. 2 BGB.18 Eine Anfechtung wäre also zulässig, wenn sich der Verwender eines Sprachassistenten verspräche und der Assistent diese – versehentliche – Erklärung weiterleitet. Charakteristisch am Vertippen ist, dass der Erklärende „A“ meint, aber versehentlich „B“ äußert. Selbst wenn ein Roboter entwickelt werden würde, der sich vertippen könnte, läge der ­Fehler nicht schon in der Äußerung des Willens des Erklärenden, sondern bei der weiteren Verarbeitung. Anders liegt der Fall, wenn der Verwender einer KI zwar „A“ sagt, die KI aber „B“ versteht, denn dabei irrt nicht der Erklärende, sondern der Fehler tritt erst bei der Verarbeitung oder Übermittlung der Erklärung auf (s. o. Übermittlungsfehler). Der BGH hat einen Fall entschieden, bei dem der richtig in eine Datenbank eingetragene Preis einer Ware durch einen nicht aufgeklärten Softwarefehler falsch gegenüber dem Kunden mitgeteilt und auf dieser Basis der Vertrag seitens des Verkäufers automatisiert geschlossen wurde. Der BGH sieht den Kaufvertrag zunächst als wirksam geschlossen an, lässt aber die Anfechtung wegen Erklärungsirrtums zu, § 119 Abs. 1, 2. Alt. BGB.19 Begründet wird dies mit der Analogie zum Boten, der eine Erklärung unrichtig übermittelt (s. o. Übermittlungsfehler § 120 BGB). Dies sei zumindest dann auch auf einen Softwarefehler anzuwenden, wenn sich dieser in einem Übermittlungsfehler bei einem Transfer der Daten von einem System oder Speicher auf ein anderes auswirke. Anders soll es zu beurteilen sein, wenn ein Softwarefehler zu einer falschen Berechnung eines Preises führt, der Fehler also bereits die Bildung des Preises, nicht erst dessen Übermittlung betrifft. Allerdings hatte in diesem Fall ein Mensch das falsche Kal-

MüKo BGB/Armbrüster, [39], § 119, Rn. 46; Jauernig BGB/Mansel, § 119, Rn. 6. 19  BGH, Urt. v. 26.01.2005, VIII ZR 79/04, S. 6. 18 

2  Künstliche Intelligenz im Zivilrecht

41

kulationsergebnis in ein Angebot übernommen und an den Empfänger übermittelt. Der Irrtum betraf daher nach Ansicht des BGH nicht die Erklärung oder deren Inhalt (der Erklärende wollte den genannten Preis anbieten, weil er dachte, er sei korrekt berechnet worden), sondern das korrekte Zustandekommen des Preises (Motivirrtum). Ein solcher Motivirrtum betrifft die Phase der Willensbildung und nicht die der Willenserklärung. Hier soll eine Loslösung von der Erklärung nicht zulässig sein, weil die Motive für eine Willensbildung allein der Risikosphäre des Erklärenden zuzuweisen seien. Korrigiert wird dieses Ergebnis von der herrschenden Meinung nur dann, wenn der Erklärungsempfänger den „Irrtum“ des Erklärenden kannte oder kennen musste. In solchen Konstellationen kann eine vorvertragliche Pflichtverletzung darin zu sehen sein, dass nicht auf den Irrtum aufmerksam ­gemacht wird oder das Ausnutzen der erkannt irrtümlichen Erklärung kann rechtsmissbräuchlich sein.20 Die Unterscheidung zwischen unbeachtlichen Programmfehlern bei der Berechnung und beachtlichen Übermittlungsfehlern durch das Programm scheint auf technischer Ebene allerdings willkürlich. Bekanntlich funktioniert Software auf Maschinenebene durch Übermittlungsprozesse innerhalb der CPU oder beim Speichern. Ob in einem Speicher im System das „richtige“ oder ein anderes Zwischenergebnis vorlag, scheint als entscheidender Punkt für die Anfechtbarkeit eines Vertrags beliebig. Insbesondere ist dies weder für den Verwender der KI noch den Erklärungsempfänger ohne nähere Analyse des Fehlers ersichtlich. Sehr fraglich erscheint auch, ob eine nicht nachvollziehbare Entscheidung einer KI als fehlerhafte Übermittlung angesehen werden könnte, um die Auswirkungen der vorverlegten Willenserklärung (Abschn. 2.1.1.1) abzufangen. Inhaltsirrtum Angefochten werden darf eine Erklärung auch bei einem Irrtum über den Inhalt der Erklärung, §  119 Abs.  1,  1. Alternative BGB. Die Abgrenzung zum unbeachtlichen Irrtum über die Mo-

BGH, Urt. v. 07.07.1998, X ZR 17/97; NJW, 1998, 3192, 3194.

20 

42

M. Hartmann

tive zur Abgabe einer Erklärung ist schwierig. Ein Inhaltsirrtum wurde bspw. bei einem Internetkäufer angenommen, der bei Bestätigung eines Jetzt-Kaufen-Buttons mit der Bepreisung 100 EUR nicht erkannt hatte, dass das Angebot tatsächlich sehr viel höher lag. Der Verkäufer hatte nämlich ausdrücklich darauf hingewiesen, dass nicht der „Angebotspreis“ gelte sondern mit dem Bestätigen des Buttons erklärt werde, einen deutlich höheren „tatsächlichen“ Preis zahlen zu wollen.21 Objektiv lag also ein höheres Gebot vor, der Erklärende wollte dieses Gebot auch abgegeben, dachte aber der Inhalt wäre das niedrigere Gebot. Motivirrtum Ein Unterfall des Inhaltsirrtums ist der rechtlich regelmäßig unbeachtliche Motivirrtum. Irrt der Erklärende hinsichtlich seiner eigenen Beweggründe zur Abgabe der Erklärung, also insbesondere bezüglich seiner Erwartungen, Vorüberlegungen, Vorstellungen oder Hoffnungen, die er mit der Erklärung verbunden hat, soll das unbeachtlich sein.22 Dies gilt erst dann nicht mehr, wenn der Erklärungsempfänger diesen Irrtum erzeugt oder pflichtwidrig aufrechterhalten hat. Ausnahmsweise gestattet das Gesetz auch die Anfechtung, wenn sich der Motivirrtum auf eine wesentliche Eigenschaft einer Person oder Sache bezieht, § 119 Abs. 2 BGB. Hintergrund der Beschränkung der Anfechtung auf bestimmte Motivirrtümer ist, dass die Motive einer Person kaum in justiziabler Weise festgestellt werden können. Die Motive einer KI ließen sich allerdings meist analysieren. Motivirrtümer entstehen aber nicht in einer KI, weil das Motiv bei der Willensbildung eine Rolle gespielt haben muss und KI aktuell keinen eigenen Willen im Rechtssinne bilden können (s. o. Abschn. 2.1.1.1). Die Fehlinterpretation durch eine KI, im obigen Beispiel eines Bestellassistenten, stellt keinen beachtlichen Motivirrtum da, weil sich der Irrtum auch weder auf die Kaufsache noch den Verkäufer bezieht. Dass ALEXA irrtümlich einen Bestellwunsch des Verwenders angenommen hat, wäre als Motiv unbeachtlich. BGH, Urt. v. 15.02.2017, VIII ZR 59/16, Rn. 23. BeckOK BGB/Wendtland, § 119, Rn. 37–38; Jauernig BGB/Mansel, § 119, Rn. 17. 21  22 

2  Künstliche Intelligenz im Zivilrecht

43

Fehlendes Erklärungsbewusstsein Hoch umstritten ist die Einordnung eines fehlenden Erklärungsbewusstseins und dies ist für KI-Erklärungen außerordentlich relevant. Im Beispielsfall des Bestellassistenten wird nach herrschender Meinung dessen Erklärung dem Inhaber der KI bei entsprechender Veranlassung zugerechnet wodurch ein wirksamer Vertrag zustande kommt. Nachdem es nun unbillig erscheint, jemandem einen Vertrag zuzurechnen, dessen Abschluss ihm gar nicht bewusst war und den dieser auch nicht abschließen wollte, soll dieses Problem auf der Ebene der Anfechtbarkeit gelöst werden. Die Einzelheiten und die Einordnung unter die gesetzlich bestimmten Irrtümer sind streitig.23 Die wohl herrschende Meinung lässt die Anfechtung solcher, trotz fehlenden Erklärungsbewusstseins zugerechneter Erklärungen als Unterfall des Erklärungs- oder Inhaltsirrtums zu. Rechnet man also dem Inhaber von ALEXA die Bestellung der Puppenhäuser im oben genannten Fall zu, soll der Vertrag nach § 119 Abs. 1 BGB anfechtbar sein. Die Anfechtbarkeit hängt allerdings davon ab, wie viel Willensbildung beim Erklärenden vorverlagert ist. Erklärungen, die bewusst mit unbekanntem Inhalt abgegeben werden, sollen ­nämlich nicht anfechtbar sein.24 Wer also einen Vertrag vor Unterzeichnung nicht vollständig liest, kann seine Erklärung nicht anfechten, weil er den Inhalt nicht kannte. Der Unterzeichner irrt nicht, weil er gar keine von der objektiven Erklärung abweichende Vorstellung entwickelt hatte. Anfechtbar dagegen soll der nicht gelesene Vertrag dann sein, wenn sich der Erklärende eine andere Vorstellung vom Inhalt gemacht hatte.25 Auf die KI übertragen bedeutet das, es käme darauf an, ob der Verwender eine KI ohne genaue Vorstellung der konkreten Rechtsgeschäfte im geschäftlichen Verkehr einsetzt (keine Anfechtung), oder ob er konkrete Rechtsgeschäfte im Auge hatte, von denen die KI abgewichen ist (Anfechtung). Wer eine KI dagegen einsetzt, ohne das BewusstSiehe nur MüKoBGB/Armbrüster, § 116, Rn. 27 und § 119, Rn. 96 ff.; Palandt/Ellenberger, § 116, Rn. 17. 24  Blanketterklärung: Grapentin [14] S. 112. 25  MüKo BGB/Armbrüster, §  119 Rn.  51  ff.; so ähnlich auch der Fall von BGH Urt. v. 15.02.2017, VIII ZR 59/16. 23 

M. Hartmann

44

sein, dass diese überhaupt Erklärungen für ihn abgeben könnte, wäre auch zur Anfechtung berechtigt. Arglistige Täuschung und Drohung Es dürfte noch weit in der Zukunft liegen, dass sich die Rechtsprechung mit der Frage beschäftigen muss, ob ein Grund zur Anfechtung vorliegt, weil die KI durch Drohung zu einer Erklärung bestimmt wurde. Durchaus relevant ist aber die Täuschung von KI vor Abgabe einer Erklärung. Beispielsweise erschiene es denkbar, dass ein Kunde bei Beantragung eines Kredits in Kenntnis der Algorithmen einer Scoring-KI Angaben verschleiert oder vortäuscht, um eine Zusage zu erhalten. Die wohl herrschende Meinung lässt eine Anfechtung des Betreibers der getäuschten KI zu, wenn bei korrekten Angaben die Erklärung nicht abgegeben worden wäre.26 Der BGH hatte zu entscheiden,27 ob ein Fluggast die Restriktionen der späteren Umbenennung eines Passagiers durch die Fluggesellschaft dadurch aushebeln kann, dass er im voll automatisierten Buchungssystem des Anbieters als 2. Fluggast „noch unbekannt“ einträgt. Das System hatte die Buchung für „noch unbekannt“ akzeptiert und bestätigt. Die Vorinstanz hatte einen wirksamen Vertrag angenommen. Der BGH dagegen meint, das Angebot des Fluggastes sei durch die Buchungsbestätigung für den „noch unbekannten“ Passagier nicht angenommen worden: Nicht das Computersystem, sondern die Person (oder das Unternehmen), die es als Kommunikationsmittel nutzt, gibt die Erklärung ab oder ist Empfänger der abgegebenen Erklärung. Der Inhalt der Erklärung ist mithin nicht danach zu bestimmen, wie sie das automatisierte System voraussichtlich deuten und verarbeiten wird, sondern danach, wie sie der menschliche Adressat nach Treu und Glauben und der Verkehrssitte verstehen darf.28

Grapentin [14], S. 113 m.w.N in Fußnote 413. BGH, Urt. v. 16.10.2012, X ZR 37/12. 28  BGH, Urt. v. 16.10.2012, X ZR 37/12, Rn. 17. 26  27 

2  Künstliche Intelligenz im Zivilrecht

45

Der Buchende habe keinen Anlass, die Buchungsbestätigung nicht als automatisierte Reaktion des Systems, sondern als Akzeptieren einer Abweichung von den mitgeteilten Regeln des Anbieters zu verstehen.29 Die Erklärung des getäuschten Rechners wird also in das Gegenteil ihrer objektiven Aussage „ausgelegt“, weil dies dem mutmaßlichen Willen des Betreibers des Buchungssystems entspreche. Hier geht also der Wille des Betreibers der von ihm selbst eingesetzten Computertechnik vor, obwohl der BGH erkennt, dass der Betreiber mit solchen Eingaben rechnen musste und auf entsprechende mögliche Filterungen aus Kostengründen verzichtet hatte.30 Die Entscheidung überzeugt nicht.31 Wenn dem Anbieter tatsächlich der Name des Passagiers wichtig gewesen wäre, hätte er wohl eine Prüfung veranlasst. Obwohl er mit abweichenden Bestellungen rechnen musste, setzte er ein automatisiertes System ein, das auch solche Bestellungen „akzeptiert“. Programmiert war also die Abgabe der Buchungsbestätigung unabhängig von Änderungswünschen des Vertragspartners. Näher hätte es daher gelegen, den Fall über eine Anfechtung zu lösen, wenn die vom Computer abgegebene Erklärung nicht dem Willen des Anbieters entsprach.32 Sollte der Anbieter klargestellt haben, dass er nur die Eintragung einer bestimmten Person vorgesehen hat, käme eine Anfechtung wegen arglistiger Täuschung in Betracht, sollte der Anbieter hingegen ohne konkrete Vorstellung ein Bestellsystem mit freien Eintragungsfeldern zulassen und nimmt die darüber eingehenden Angebote ohne Prüfung pauschal an, läge wohl eine Blanketterklärung vor (s. o. Fehlendes Erklärungsbewusstsein). Kritik Trotz jahrzehntelanger Diskussion sind grundsätzliche Fragen wie die konstitutiven Bestandteile einer Willenserklärung, die ­Anfechtbarkeit zugerechneter Erklärungen und die Behandlung

BGH, Urt. v. 16.10.2012, X ZR 37/12, Rn. 20. BGH, Urt. v. 16.10.2012, X ZR 37/12, Rn. 20. 31  Siehe eingehend Sutschet, NJW 2014, 1041, 1045 f. 32  So auch Sutschet, NJW 2014, 1041, 1046. 29  30 

46

M. Hartmann

der Irrtümer ungelöst. Ein Grund für die unterschiedliche Behandlung der Fälle und die daraus resultierende verwirrende Rechtslage ist schwer greifbar. Die verlässliche Gültigkeit von Verträgen wurde als ein wesentlicher Pfeiler des Handels angesehen. Zugunsten der Verbraucher ist der Gesetzgeber hiervon selbst abgerückt und lässt dort den grundlosen Widerruf von Fernabsatzverträgen zu, ohne dass dies den Onlinehandel wesentlich beeinträchtigt hätte. Beim Einsatz von KI werden die Unklarheiten der Rechtslage noch deutlicher. Ein unerwünschtes Ergebnis der KI kann auf einem Programmierfehler der Basissoftware beruhen, auf falschen Daten für das Training, auf fehlerhaften Einstellungen des Systems beim Training oder schließlich auf einer fehlerhaften Implementierung des trainierten Systems oder fehlerhaften Sicherungsmitteln im Echteinsatz. All diese Fehlermöglichkeiten über die Konstrukte des vorverlagerten Handlungswillens oder über die unterschiedlich anerkannten Irrtümer abzuwickeln, erscheint nicht sachgerecht. Die unterschiedliche Behandlung der Irrtümer bei Abgabe einer Erklärung erscheint auch nicht geboten, denn der Erklärungsempfänger erhält bei einer Anfechtung Schadensersatz, erleidet also keine Vermögenseinbuße durch das Vertrauen auf die Wirksamkeit der Erklärung. Sachgerecht wäre es also, die Anfechtung von Erklärungen zuzulassen, die auf einem Fehler der KI bei der Entscheidungsfindung beruhen und daher nicht dem wirklichen Willen des Verwenders der KI entsprechen, § 119 Abs. 1 BGB analog, und Erklärungen einer KI bei zunehmender „Autonomie“ dem Inhaber gar nicht mehr zuzurechnen. Nicht vergessen werden sollte, dass bei den genannten Fallgruppen Schadenersatzansprüche bestehen können, wenn der Verwender die im Verkehr erforderliche Sorgfalt nicht angewandt hat und dadurch einem Verhandlungspartner Schäden entstanden sind (vorvertragliche Pflichtverletzung §§ 311 Abs. 2 und 3 i.V.m. 280 Abs. 1 und 241 Abs. 2 BGB, siehe dazu auch Abschn. 2.3.2). Schützen kann sich der Verwender einer KI vor Erklärungen durch eine vertraglich mit dem Erklärungsempfänger vereinbarte Korrekturmöglichkeit. Möglich sind auch Ansprüche auf Regress

2  Künstliche Intelligenz im Zivilrecht

47

gegen den Hersteller der KI oder einen am Training beteiligten Dritten (siehe Abschn. 2.3).

2.1.2 Ausblick Sollte eine KI eines fernen Tages einen „eigenen Willen“ entwickeln, so könnten Erklärungen dieser KI nicht mehr zugleich Willenserklärungen des Verwenders der KI sein. Es fehlte in diesen Fällen am unmittelbaren Handlungswillen des Verwenders bezüglich der konkreten Erklärung. Eine KI mit eigenem Willen sollte dann nicht anders als die auf die Tastatur springende Katze zu beurteilen sein oder bei eigener Rechtspersönlichkeit als Stellvertreter. Es wird auch gefordert, dass sich KI bei der Teilnahme am Rechtsverkehr immer als solche zu erkennen zu geben haben. Sinnvoller erscheint es, diese Fälle nicht im Recht der Willenserklärung und Anfechtung zu lösen, sondern im Haftungsrecht.

2.2

 erträge zur Erstellung oder zum Einsatz V von Künstlicher Intelligenz

2.2.1 Einführung KI-Systeme bestehen aus Software, Hardware und werden oft mit Daten trainiert (Kap. 1). Alle diese Bestandteile können von Dritten beschafft werden, oder die Benutzung einer gelernten oder ungelernten KI wird vereinbart. Bei der Erstellung und dem Einsatz von KI kommen daher alle modernen IT-Vertragstypen zum Einsatz: Bei der Entwicklung von KI werden Komponenten hinzu lizenziert, individuelle Entwicklungen beauftragt oder Subunternehmer eingeschaltet. Es gibt ungelernte, vorgelernte oder ausgelernte Standard-KI, die als Software as a Service (SaaS) oder Plattform as a Service (PaaS) zur Nutzung bereitgestellt oder zur Nutzung dem Kunden überlassen werden. Zudem gibt es vollständig individuelle Ansätze oder Kooperationen. Aus den nahezu ­unendlichen Fragen, die bei der Vertragserstellung über den Ein-

48

M. Hartmann

satz oder die Entwicklung von KI relevant werden können, weisen vier Themenkomplexe spezifische Besonderheiten bei KI auf: • Vertragstypologische Einordnung der Beauftragung von Software-­Erstellung • Lizenzierung von KI oder deren Bestandteilen • Bestimmungen zur Soll-Beschaffenheit • Regelungen zu Trainingsdaten

2.2.2 V  ertragstypologische Einordnung der Beauftragung von Software-Erstellung Noch immer ist die vertragstypologische Einordnung vieler IT-Leistungen nicht vollständig geklärt. Den aktuellen Stand gibt die folgende Tabelle (Tab.  2.2) wieder, die die wichtigsten Vertragsgegenstände, die bei der Implementierung von KI in einem Unternehmen oder beim Anbieten von KI als Leistung eine Rolle spielen können, den möglichen Vertragstypen aus dem BGB zuordnet:33 Von der vertragstypologischen Einordnung hängen relevante juristische Folgen ab.34 So werden etwaige Lücken im Vertrag auch anhand der typischen Rechte und Pflichten des jeweiligen Vertragstyps gefüllt. Beispielsweise hat der BGH für die werkvertragliche Erstellung von Software einen Anspruch auf Überlassung des Sourcecodes auch ohne ausdrückliche Vereinbarung anerkannt, wenn der Besteller zur Wartung und Fortentwicklung des Programms des Zugriffs auf den Quellcode bedarf.35 Von der Einordnung hängt auch ab, ob für Mängel gehaftet wird. Der Vertragstyp einer Vereinbarung ist aber vor allem bei der Klauselkontrolle von Allgemeinen Geschäftsbedingungen maßgebend. Dies hat weitreichende Konsequenzen. So darf eine auf ihre Wirksam-

Siehe insbesondere BGH, Urt. v. 04.03.2010, III ZR 79/09, Rn. 18 ff. Fuchs/Meierhöfer/Morsbach/Pahlow, MMR 2012, 427, 428. 35  BGH, Urt. v. 16.12.2003, X ZR 129/01. 33  34 

2  Künstliche Intelligenz im Zivilrecht

49

Tab. 2.2  Vertragstypologische Einordnung bei Softwareleistungen Gegenstand Accessproviding Application Service Providing (ASP) Software-Erstellung gemäß Pflichtenheft/Vorgabe Software Erstellung nach agiler Methode Überlassung von Software auf eine bestimmte Dauer Bereitstellung von Programmen zur Nutzung über Netze Überlassung von Standardsoftware ohne zeitliche Begrenzung Gestattung der Benutzung von Softwarefunktionalitäten über Fernkommunikationsmittel (SaaS, PaaS) Cloud-Dienste und Webhosting Wartung und Pflege

Vertragstypen (BGB) Dienstvertraga Mietvertragb Werk- oder Werkliefervertragc Dienst- oder Werkvertragd Mietvertrag Mietvertrage Kaufvertrag Dienst- oder Mietvertrag Dienst-, Miet-, Werkvertragf Dienst- oder Werkvertragg

BGH, Urt. v. 23.03.2005, III ZR 338/04, S. 4. BGH, Urt. v. 15.11.2006, XII ZR 120/04. c BGH, Urt. v. 04.03.2010, III ZR 79/09, Rn. 21. d Wicker, MMR 2012, 783, 784. e BGH, Urt. v. 15.11.2006, XII ZR 120/04, S. 4. f Siehe eingehend: Wicker, MMR 2012, 784; allerdings scheint die Ablehnung des Dienstvertrags zu pauschal, der BGH hatte in der Entscheidung Access-­ Providing (BGH, Urt. v. 23.03.2005, III ZR 338/04) gerade durch die „Verobjektivierung“ der Kundenerwartung auf das abgestellt, wofür der Anbieter die Leistungsgewähr übernehmen möchte. Auch wenn diese Argumentation ein wenig überzeugender Zirkelschluss ist, stünde eine entsprechende Einordnung von Cloudverträgen als Dienstverträge mit der Entscheidung im Einklang. g BGH, Urt. v. 04.03.2010, III ZR 79/09, Rn. 23. a

b

keit zu prüfende Klausel nicht herangezogen werden, um den Vertragstyp zu bestimmen, weil sonst die auf ihre Wirksamkeit gerade zu prüfende Klausel bereits bei der Bestimmung des eigenen Prüfungsmaßstabs wirksam würde. Eine von einem Anbieter verwendete Klausel zur Einschränkung der Mangelhaftung könnte

50

M. Hartmann

daher bei einer dienstvertraglichen Einordnung Bestand haben (gesetzlich ist keine Mangelhaftung beim Dienstvertrag vorgesehen, es wird also kein gesetzlicher Anspruch eingeschränkt), wird bei werkvertraglicher Einordnung dagegen wohl meist unwirksam sein. Vorgenommen wird die vertragstypologische Einordnung anhand des Vertragszwecks, der sich wiederum aus der Leistungsbeschreibung bestimmt, dem aus dem Vertragszweck zu bestimmenden Parteiwillen, wobei dieser anhand einer verobjektivierten Kundenerwartung korrigiert wird, und einem Vergleich mit ähnlichen Verträgen.36 Es kommt also auch hier darauf an, was die Parteien konkret vereinbart haben und welcher Vertragszweck sich daraus ableiten lässt. Die Problematik der vertragstypologischen Einordnung tritt bei KI-Projekten häufig auf, weil diese aufgrund der hohen Dynamik des Marktes meist nach agiler Methode durchgeführt werden sollen.37 Gerade die jederzeitige Möglichkeit die Projektziele und auch bestehende Umsetzungen zu hinterfragen und anzupassen stellt einen großen Vorteil agilen Vorgehens dar, in einer sich sehr schnell ändernden technischen Umgebung. KI Projekten ist typisch, dass sich während Durchführung neue Ansätze und Verbesserungsmöglichkeiten zeigen. Die Einordnung solcher Verträge ist umstritten.38 Infrage kommt vor allem eine Behandlung als Dienst- oder Werkvertrag (bzw. Werkliefervertrag). Beim Dienstvertrag haftet der Anbieter nicht für unverschuldete Mängel, weswegen der Einordnung erhebliche Bedeutung zukommt. Aus Kundensicht scheint daher ein Werkvertrag vorteilhaft zu sein. Zu prüfen ist die Einordnung anhand der konkreten Vereinbarungen. Ergibt sich daraus, dass die vereinbarte Leistung in der Herbeiführung eines bei Vertragsschluss zumindest bestimmbaren Erfolgs liegt, wird wohl anhand der verobjektivierten Kundenerwartung eine werk-

BGH, Urt. v. 04.03.2010, III ZR 79/09, Rn. 16. https://de.wikipedia.org/wiki/Agile_Softwareentwicklung#Geschichtliche_Entwicklung. Zugegriffen am 18.10.2019. 38  Eingehend: Fuchs/Meierhöfer/Morsbach/Pahlow, MMR 2012, 427. 36 

37 

2  Künstliche Intelligenz im Zivilrecht

51

vertragliche Einordnung naheliegen. Ist ein solcher Leistungserfolg zum Zeitpunkt des Vertragsschlusses dagegen nicht bestimmbar, kommt nur ein Dienstvertrag in Betracht. Ansonsten wird es auf die Verteilung und Definition der Rollen und die konkrete Methode ankommen. Deshalb erscheinen pauschale Aussagen hinsichtlich der vertragstypologischen Einordnung wenig sinnvoll. Wird also lediglich das Projektziel bestimmt (beispielsweise Entwicklung einer Machine-Learning-Software und Implementierung eines bestimmten Algorithmus) und erhält der ­Auftraggeber durch die Zuweisung entsprechender Rollen weitgehende Befugnisse bezüglich der Bestimmung des vertragsgemäßen Leistungsergebnisses (beispielsweise die Rolle des Product Owner bei Scrum), so kann der Auftraggeber nach objektiven Maßstäben nicht erwarten, dass der Auftragnehmer für die Herbeiführung dieses vom Auftraggeber jederzeit änderbaren Leistungsergebnisses einstehen möchte und damit scheiterte eine Einordnung als Dienstvertrag. Dann bleibt nur die Möglichkeit, den einzelnen Sprint als kleinen Werkvertrag anzusehen. Die Befürworter der werkvertraglichen Einordnung agiler Projekte übersehen aber, dass ein Hauptprinzip der agilen Methode in der jederzeitigen freien Veränderbarkeit der Anforderungen durch den Kunden besteht.39 Diese Anpassungen, über klassische Change Management Verfahren in agile Projekte einzuführen, mit den erforderlichen Abstimmungen über die sich aus einem Change Request ergebenden Anpassungen hinsichtlich Fertigstellungsfristen, Vergütung und der Prüfung der Auswirkungen auf andere Bestandteile nimmt dem Projekt die Agilität. Werkverträge sind nicht agil. In der Praxis werden über agile Projekte dennoch häufig Werkverträge geschlossen. Meist wird der Kunde gar nicht in der Lage sein, einen geeigneten Product Owner zu stellen. Wird also die agile Methode letztlich nur vom Anbieter intern eingesetzt, um ein vordefiniertes Projekt unter regelmäßiger Einbeziehung von Kunden-Feedback am Ende eines Sprints zu verwirklichen, so dürfte eine werkvertragliche Einordnung naheliegen. In diesen Fällen ist aber fraghttps://en.wikipedia.org/wiki/Scrum_(software_development)#Key_ideas. Zugegriffen am 18.10.2019. 39 

52

M. Hartmann

lich, weshalb die eingesetzte Methode überhaupt im Vertrag geregelt werden sollte. Dem werkvertraglichen Anbieter steht nämlich frei, auf welche Weise er das vom Kunden gewünschte Werk herstellt. Die Diskussion um die Einordnung agiler Projekte zeigt aber, dass sich das Rechtssystem nach wie vor schwer damit tut, auf Änderungen der IT-Paradigmen angemessen zu reagieren. Für die Beauftragung von Softwareerstellungsleistungen zur Herstellung einer KI ergibt sich daraus eine erhebliche Rechtsunsicherheit bei der Vertragsgestaltung. Zu empfehlen sind daher ausdrückliche Regelungen zu allen relevanten Themen. Zur Umsetzung kann auf die einschlägigen Mustersammlungen verwiesen werden. Dies nützt allerdings wenig, wenn es um den Einsatz von Allgemeinen Geschäftsbedingungen geht, denn – wie oben dargelegt – helfen hier ausführliche Regelungen nicht unbedingt weiter, wenn der bei der Formulierung vorgesehene Vertragstyp bei gerichtlicher Prüfung nicht zur Anwendung kommt. Bei der Vertragsgestaltung zur Beschaffung von Softwarekomponenten für die Erstellung einer KI wird besonderes Augenmerk auf die eingeräumten Rechte zur Nutzung (siehe sogleich Abschn. 2.2.3) und die Bestimmung der Sollbeschaffenheit (siehe dazu Abschn. 2.2.4) zu legen sein.

2.2.3 L  izenzierung von KI oder deren Bestandteilen 2.2.3.1 Lizenzierung bei der Erstellung von KI Zunächst soll der Frage nachgegangen werden, welche Besonderheiten bei der Vertragsgestaltung bezüglich der Lizenzierung und bei der Beschaffung von Komponenten, die für die Erstellung einer eigenen KI benötigt werden, zu berücksichtigen sind. Hier gibt es also einen Besteller, einen Anbieter und gegebenenfalls den Kunden des Bestellers. Die vollständige neue Programmierung von Software dürfte inzwischen wohl die Ausnahme sein. Meist wird bei der Entwicklung von Software auf vorhandene Module gesetzt oder auf Bestandteile eines Frameworks zugegriffen. Die objektorientierte Softwareentwicklung und komponentenbasierte Entwicklungsan-

2  Künstliche Intelligenz im Zivilrecht

53

sätze fördern diesen Trend. Für zahllose Aufgaben existieren Standardlösungen oder zumindest Toolkits und Bibliotheken. Softwareentwicklung besteht daher häufig vor allem aus der Auswahl des richtigen Frameworks, der Zusammenstellung vorbestehender Module und der Anpassung und Optimierung für die konkrete Aufgabe. Auch wenn im Bereich der KI noch relativ viel „echte“ Programmierarbeit geleistet wird, nimmt auch hier das Angebot standardisierter Komponenten oder gar ganzer Frameworks stetig zu.40 Neben kommerziellen Anbietern finden sich auch umfassende Open Source Angebote.41 Bei der Lizenzierung von Software für ein KI-Angebot des Bestellers ergeben sich hinsichtlich der einzuholenden Nutzungsrechte einige Besonderheiten. Als erstes ist der Lizenzgegenstand zu klären. Dieser sollte möglichst genau beschrieben sein. Dies betrifft die Form, den Stand und auch den Weg, auf dem die Software überlassen wird. Zu denken ist daran, gegebenenfalls auch Toolkits, Bibliotheken, Werkzeuge, Daten oder Dokumentationen als Lizenzgegenstand aufzunehmen, wenn diese absehbar benötigt werden. Bei Software sollte immer festgelegt sein, ob diese auch oder nur im Sourcecode bereitzustellen ist. Ist dazu nichts vereinbart, wird durch Auslegung ermittelt, ob der Besteller nach dem Vertragszweck den Sourcecode benötigt. Das Ergebnis kann überraschen, weshalb eine solch fundamentale Frage mit Implikationen für den Geheimnisschutz und die Bindung des Bestellers an den Anbieter für Pflege und Wartung besser eindeutig geregelt sein sollte. Häufig werden Lizenzgegenstände dem Besteller über Ressourcen im Internet bereitgestellt.42 Hier ist aus Bestellersicht darauf zu achten, ob ein dauerhafter Zugriff auf die Ressourcen, insbesondere im Falle einer Streitigkeit mit dem Anbieter, gehttps://en.wikipedia.org/wiki/Comparison_of_deep-learning_software. Zugegriffen am 18.10.2019. 41  Bspw. https://en.wikipedia.org/wiki/List_of_artificial_intelligence_projects#Multipurpose_projects; https://hackernoon.com/10-top-open-source-ai-technologies-for-startups-7c5f10b82fb1. Zugegriffen am 18.10.2019. 42  Bspw. über GitHub, https://de.wikipedia.org/wiki/GitHub. Zugegriffen am 18.10.2019. 40 

54

M. Hartmann

währleistet ist und ob für jeden späteren Zeitpunkt der Zugriff auf und die Dokumentation aller relevanten Versionen sichergestellt ist. Für den Besteller kann es beispielsweise hinsichtlich etwaiger Regressansprüche streitentscheidend sein, auch in früheren, nicht mehr aktuellen Versionen, einen Fehler nachweisen zu können. Dies wird nicht gelingen, wenn der Anbieter alle Zugriffe des Bestellers sperren kann. Ein Mittelweg kann die Hinterlegung von Software und Softwareständen bei einem Dritten sein (Software Escrow). Welche Nutzungsrechte der Kunde an einem Bestandteil seiner KI benötigt, hängt vom beabsichtigten Einsatz ab. Im Zweifel erhält der Kunde nur die Rechte, die zur Erreichung des Vertragszwecks erforderlich sind, § 31 Abs. 5 UrhG, sog. Zweckübertragungslehre.43 Pauschale Rechtseinräumungen laufen Gefahr, im Rahmen der Vertragsauslegung oder der AGB-rechtlichen Klauselkontrolle ebenso auf die erforderlichen Rechte reduziert zu werden.44 Daher ist dem Besteller zu empfehlen, möglichst umfassend und konkret alle bezweckten Nutzungen zu beschreiben und dabei auch zukünftige Entwicklungen einzubeziehen.45 Der Kunde benötigt jedenfalls das Recht, die Software zu vervielfältigen, wobei klargestellt werden sollte, dass dies auch Sicherungszwecke und das Ablaufenlassen der Software umfasst. Für die Weitergabe von Software an Kunden des Bestellers ist das Recht zur Verbreitung erforderlich. Digitale Verwertungen sollten besonders sorgfältig beschrieben werden. Möchte das Unternehmen die Software Kunden überlassen, bereitstellen oder nur die Benutzung von Funktionalitäten ermöglichen? Dem liegen jeweils unterschiedliche Nutzungsrechte zugrunde, weshalb aufgrund der oben genannten Zweckübertragungslehre eine spezifische Benennung wichtig ist.

Dreier/Schulze/Schulze, UrhG, § 31, Rn. 110. Eingehend: Dreier/Schulze/Schulze, UrhG, § 31, Rn. 106, 114 ff.; Wandtke/ Bullinger/Grunert, § 31, Rn. 41; Vgl. KG, GRUR-RR 2012, 362. 45  Dreier/Schulze/Schulze, UrhG, § 31, Rn. 105. 43  44 

2  Künstliche Intelligenz im Zivilrecht

55

Bei den Online- oder Cloud-Nutzungen findet sich ein unterschiedlicher Sprachgebrauch, der nicht mit den urheberrechtlichen Nutzungsrechten korrelieren muss. Rechtlich zu unterscheiden ist insbesondere danach, ob der Endbenutzer ein Recht an der Software selbst erhalten soll (beispielsweise Application Service Providing), oder nur ein „Recht“ Funktionalitäten der Software für seine Zwecke zu benutzen (SaaS, PaaS). Letzteres ist beispielsweise dann der Fall, wenn nicht ein Kunde „die KI-­ Software“ nutzt, sondern eine Software für zahlreiche Kunden über eine Cloud Plattform KI-Funktionalitäten bereitstellt. Bei einem E-Mail-Provider kann der Kunde zwar seine E-Mails mit der Software administrieren, es läuft aber gerade nicht für jedes E-Mail-Postfach ein eigenes Programm. Entsprechend werden dem Kunden auch allenfalls Rechte zur Benutzung der Funktionalitäten eingeräumt, die ihm über seine Oberfläche zugänglich gemacht werden und keine Nutzungsrechte an der Software selbst. Weiter ist bei KI Angeboten zu unterscheiden, ob eine gelernte oder ungelernte KI als Software dem Kunden bereitgestellt wird, oder ob der Kunde KI Funktionalitäten auf seine Daten anwenden oder sonst „mitbenutzen“ kann. Dies sind lizenzrechtlich unterschiedliche Dinge. Eine weitere wichtige Frage ist die Einräumung von Bearbeitungsrechten. Während im allgemeinen Urheberrecht die Bearbeitung eines fremden Werks als solche keiner Zustimmung des Urhebers bedarf, § 23 UrhG (wohl aber deren Veröffentlichung oder Verwertung), ist eine Bearbeitung von Computerprogrammen ohne Zustimmung des Rechteinhabers unzulässig, §  69c Nr.  3 UrhG.  Während diese Besonderheit früher eine geringere Rolle spielte, weil der Kunde meist gar keinen Zugang zum Sourcecode hatte und damit technisch gar nicht in der Lage war, überlassene Programme selbst zu bearbeiten, ist es dem Besteller heute bei Skriptsprachen oder aufgrund des Erfordernisses der Kooperation bei der Integration von Computerprogrammen sowie der Nutzung gemeinsamer Frameworks häufiger tatsächlich möglich, Programme zu bearbeiten. Ohne eine entsprechende Berechtigung darf der Kunde jedoch keine Bearbeitung – auch nicht für interne Zwecke – vornehmen. Eine Anpassung der KI-Software ist dem Kunden dann also nicht erlaubt, wenn er kein Bearbeitungsrecht

56

M. Hartmann

eingeräumt erhalten hat. Der Kunde sollte also nicht nur das Bearbeitungsrecht explizit aufnehmen, sondern auch ausdrücklich regeln, wie mit den Ergebnissen einer solchen Bearbeitung umgegangen werden darf, also insbesondere welche Nutzungsrechte an den Ergebnissen bestehen. Damit ungelöst ist allerdings die Frage, ob das Trainieren einer KI zu einer Bearbeitung oder Umarbeitung der Software führt. Streng urheberrechtlich werden die Programmbestandteile der Software durch das Trainieren nicht verändert, sondern nur Daten geändert (zur Unterscheidung zwischen Software und Programmen siehe Kap. 4). Nach unzutreffender Ansicht des OLG Hamburg soll es aber bereits eine der Zustimmung des Rechteinhabers bedürfende Umarbeitung im Sinne von § 69c Nr. 2 UrhG darstellen, wenn durch die Änderung der Daten auf den Programmablauf eingewirkt wird.46 Anzuraten ist dem Kunden daher, vertraglich zu regeln, wenn er beabsichtigt die KI zu trainieren. Wie bereits erwähnt, sind viele freie oder Open Source Komponenten für KI verfügbar. Auf die Risiken beim Einsatz von Open Source Komponenten kann hier nicht näher eingegangen werden.47 Vor dem Einsatz sind auf jeden Fall die Lizenzbedingungen dieser Komponenten zu prüfen. Die Einhaltung der Regelungen ist meist als echte Bedingung im Rechtssinne ausgestaltet, das bedeutet, das Recht zur Nutzung entsteht nicht oder erlischt, wenn die Lizenzbedingungen nicht eingehalten werden. Bei beabsichtigten kommerziellen oder proprietären Nutzungen ist ­insbesondere sicherzustellen, dass die für eine solche Nutzung vorgesehenen Bestandteile nicht von einem etwaigen Copyleft-Effekt betroffen sind. Viele Open Source Lizenzen enthalten nämlich die Bedingung, alle Bearbeitungen der Open Source Komponente oder gar alle damit erstellten Ergebnisse wiederum der Open Source Lizenz unterstellen zu müssen. Damit soll das durch die weitere Arbeit an oder mit den Komponenten entsteOLG Hamburg, Urt. v.  13.0 4.2012, 5 U 11/11; GRUR-RR 2013, 13, 15; siehe Dreier/Schulze/Dreier, UrhG, § 69c, Rn. 15 m.w.N. 47  Siehe zur Thematik eingehend: vgl. Czychowski, GRUR-RR 2018, 1–5.; Wuermeling/Deike CR 2003, 87–91; Kilian/Heussen/Mantz, K.  32.6, Auer-Reinsdorff/Conrad/Auer-Reinsdorff/Kast, § 9. 46 

2  Künstliche Intelligenz im Zivilrecht

57

hende Urheberrecht (vereinfacht Copyright) ins Gegenteil verkehrt werden (Copyleft).48 Jeder Einsatz von Open Source Komponenten erfordert daher eine eingehende Lizenzprüfung, wenn eine kommerzielle Nutzung angestrebt wird. Bei der Erstellung von KI ist ein ähnlicher Effekt zu beobachten, nämlich das Vereinbaren von Rücklizenzen oder Rechten an „abgeleiteten Werken“ (Derivative Works) bei der Nutzung von KI durch Kunden oder bei Verträgen zur Bereitstellung von Daten zum Trainieren von KI. Dies soll im Zusammenhang mit den Datenverträgen behandelt werden (Abschn. 2.2.5). Bei der Beauftragung von Erstellungsleistungen für KI wird meist eine Abrechnung auf Festpreis oder Time & Material vereinbart sein. Hier ergeben sich keine Besonderheiten gegenüber Verträgen über einen anderen Gegenstand als KI. Bei der Lizenzierung von Komponenten finden sich aber auch an die jeweiligen Nutzungsrechte gekoppelte skalierende Vergütungsmodelle. Hierzu wird auf den nachfolgenden Abschnitt verwiesen (Abschn. 2.2.3.2). Bei vergütungsfreier Überlassung von Software oder auch Daten – beispielsweise bei Open Source – ist zu berücksichtigen, dass dies mit erheblichen Haftungseinschränkungen verbunden sein kann.

2.2.3.2  L  izenzierung von KI für den Einsatz im Unternehmen Die meisten Unternehmen werden KI nicht selbst entwickeln oder als Individualsoftware erstellen lassen (hier gelten dann die Ausführungen des vorangegangenen Abschnitts entsprechend; Abschn.  2.2.3.1). Vielmehr wird auf das Angebot eines Dritten über individuelle, individualisierte oder Standard-Lösungen zurückgegriffen. Selbst der Einsatz mächtiger KI-Systeme ohne eigene Programmierkenntnisse oder komplexe Implementierungen ist inzwischen möglich.49

Vgl. Heinzke/Burke, CCZ 2017, 57 f. Siehe bspw. https://infofeld.de/machine-learning-no_coding. Zugegriffen am 18.10.2019. 48  49 

58

M. Hartmann

Das Trainieren oder Lernen von KI sowie das Anwenden auf Echtdaten ist ein rechenintensiver Prozess. Daher verwundert es nicht, dass KI-Systeme vor allem in der Cloud angeboten werden. Die für das Trainieren beim Machine Learning erforderlichen Daten können – sofern sie nicht im Unternehmen selbst zur Verfügung stehen – hinzugekauft oder für eine begrenzte Nutzungszeit von Dritten bezogen werden (siehe hierzu Abschn. 2.2.5). Die im Markt angebotenen Lizenzmodelle für die Nutzung individueller oder standardisierter KI-Systeme sind mannigfaltig, unterscheiden sich aber nicht spezifisch von den üblichen Modellen der IT-Branche.50 Aufgrund einer Besonderheit von KI können sich allerdings unerwartete wirtschaftliche Auswirkungen ergeben: Vor allem das Training von KI aber auch der Einsatz auf Echtdaten können einen erheblichen Bedarf an Ressourcen auslösen. Daher sind Lizenz- oder Service-Vergütungen, die an Rechenoperationen, Ressourcenverbrauch oder anderen skalierenden Kennzahlen ansetzen, vertraglich bzw. technisch zu begrenzen oder zumindest vor oder während der Nutzung auf Wirtschaftlichkeit konkret zu prüfen und zu überwachen. Wird eine Cloud-KI für die Zwecke des Unternehmens lizenziert, liegt ein Schwerpunkt der Vertragsgestaltung auf der Bestimmung von Service Leveln mit geeigneten Sanktionsmechanismen bei deren Verletzung. Auch hier bestehen jedoch keine Besonderheiten gegenüber anderen Cloud Leistungen, weshalb auf die einschlägige Literatur verwiesen wird.51 Eine zu berücksichtigende Besonderheit bei Cloud-­Angeboten, insbesondere mittels SaaS oder PaaS, besteht darin, dass typischerweise nur die aktuelle KI Gegenstand der Lizenz ist und sich der Anbieter eine laufende Aktualisierung vorbehält. Dabei ist der Begriff „Aktualisierung“ ein Euphemismus, denn letztlich handelt es sich um einen einseitigen Leistungsvorbehalt des Anbieters, der selbst darüber bestimmen möchte (i) welche Funktionalitäten (ii) über welche Schnittstelle (iii) durch welche Programme Siehe eingehend Schneider, C, Rn. 165 und 212 ff.; Marly, Softwarerecht, Rn. 1181 ff. 51  Koreng/Lachenmann/Koglin, G.VI.  Rn.  1–12; Auer-Reinsdorff/Conrad/Conrad/Strittmatter, IT- und Datenschutzrecht, C., § 22, Rn. 21 ff. 50 

2  Künstliche Intelligenz im Zivilrecht

59

realisiert werden. Die einseitige Änderung der Leistung ist vertragsrechtlich allerdings unzulässig, entsprechende Vorbehalte sind in AGB unwirksam.52 Möglich wäre die Einrichtung eines Change Management Ver­fahrens.53 Im Übrigen wird auf die Ausführungen zur Bestimmung der Sollbeschaffenheit verwiesen (Abschn. 2.2.4). Ein weiterer Punkt bei jeder Lizenzierung von KI ohne Zugriff auf den Quellcode, die Daten, unbegrenzte Nutzungsrechte sowie die erforderlichen internen Ressourcen ist der Lock-in-Effekt  – also eine faktische Bindungswirkung an den Anbieter.54 Vor einem Wechsel zu einem anderen Anbieter müssen tatsächliche und rechtliche Barrieren überwunden werden. Bei KI besteht dieser Effekt in besonders starkem Maße, weil beispielsweise das, was die trainierte KI von der untrainierten unterscheidet und werthaltiger macht, nicht zu einem anderen Anbieter mit anderer Software mitgenommen werden kann. Lässt sich also das Unternehmen auf ein proprietäres KI-System des Anbieters ein, dann sind bei einem Wechsel auch sämtliche Verbesserungen des Systems beim Einsatz für das Unternehmen verloren. Regelmäßig lassen sich nämlich aus trainierten KI keine Strategien oder Handlungsmuster ableiten, die auf eine andere Implementierung einer KI übertragen werden können. Auch das spezifische Know-how bei der Anpassung der KI für die konkrete Aufgabe beim Unternehmen steht ohne ausdrückliche Regelung zum Know-how Transfer oder eine entsprechende Kombination weder dem Kunden noch dem neuen Anbieter zur Verfügung. Es bleibt also nur das erneute Trainieren. Hierfür benötigt das Unternehmen aber zumindest die Daten. Diese werden aber oft schon aufgrund der datenschutzrechtlichen Löschpflicht nicht mehr zur Verfügung stehen. Aus diesem Lock-in-Effekt gibt es keinen Königsweg. Ein Unternehmen sollte bereits bei Lizenzierung einer KI für seine Zwecke projektieren, wie ein

Vgl. BGH, Urt. v. 15.11.2007, III ZR 247/06. Intveen/Hilber/Rabus, Vertragsgestaltung, in Marc Hilber (Hrsg.), Handbuch Cloud Computing, 2, Rn. 284. 54  Auer-Reinsdorff/Conrad/Conrad, G, § 39, Rn. 444. 52  53 

60

M. Hartmann

Wechsel später erfolgen könnte, um daraus konkrete Mitwirkungspflichten, Herausgabeansprüche und Nutzungsrechte bei der Lizenzierung in den Vertrag einbringen zu können.

2.2.4 Bestimmungen zur Soll-Leistung 2.2.4.1 Einführung Häufig werden zur Veranschaulichung der Grenzen der KI-­ Technik Anekdoten kolportiert, die inzwischen unter dem ­Stichwort „Kluger Hans Strategie“ behandelt werden.55 Ein Beispiel aus den 90er-Jahren geht so: Eine KI sei anhand von Bildern mit und ohne Panzer auf das Erkennen dieser Kriegsmaschinen im Gelände trainiert worden. Nach überraschend schnellen und hohen Erkennungsraten, sei das System dann in der Wirklichkeit getestet worden und habe völlig versagt. Bei der Ursachenforschung habe man schließlich erkannt, dass alle Bilder mit Panzer an einem sonnigen Tag und die Bilder ohne Panzer bei bedecktem Himmel angefertigt worden seien. Die KI habe also nur gutes von schlechtem Wetter unterscheiden gelernt. Der Name „Kluger Hans Strategie“ leitet sich vom gleichnamigen Pferd ab, welches Anfang des letzten Jahrhunderts das Ergebnis einfacher Additionen mit seinen Hufen klopfen konnte, vermutlich aber lediglich anhand sublimer Zeichen seines Trainers gelernt hatte, wann es genug ist mit dem Scharren. Tatsächlich verbirgt sich hinter „Kluger Hans Strategien“ von KI ein grundsätzliches Problem, welches die Vertragsgestaltung vor Herausforderungen stellt. Zumindest beim Machine Learning und dem Einsatz neuronaler Netze ist es enorm aufwändig, nachzuvollziehen, ob und welcher Input zu einem bestimmten Output geführt hat. Zwar sind auch diese Maschinen determiniert. Das bedeutet aber nicht, dass der Weg von der Eingabe zur Ausgabe verstanden werden kann oder gar „Sinn“ ergibt. Lapuschkin/Wäldchen/Binder/Montavon/Samek/Müller, Nature Communications, S.  1096, https://doi.org/10.1038/s41467-019-08987-4. Zugegriffen am 18.10.2019 55 

2  Künstliche Intelligenz im Zivilrecht

61

Die „Kluger-Hans-Anekdoten“ machen das Auseinanderfallen von Sinn und Aufgabe deutlich. Der „kluge Hans“ und die KI haben die tatsächlich gestellte Aufgabe gelöst: Das Pferd hat gelernt, zum richtigen Zeitpunkt aufzuhören, mit den Hufen zu klopfen. Die KI hat gelernt zwei Sets von Bilddaten zu unterscheiden. Es ist sogar gut möglich, dass die KI mit dem Merkmal Wetter die effizienteste und sicherste Unterscheidung der Daten identifiziert hat. Das Merkmal „versteckter Panzer“ war vermutlich nicht so ausgeprägt. Den Sinn der Aufgabe berücksichtigen allerdings weder Pferd noch KI. Ein anderes Beispiel, bei dem die Auswirkung auf die Vertragsgestaltung deutlich wird, ist eine von Amazon zurückgezogene KI zur Bewerberauswahl. Die KI hatte Bewerberinnen benachteiligt. Ursache dafür war nach Presseberichten eine entsprechende Verzerrung in den Lerndaten.56 Ohne Frage verstößt die Diskriminierung von Bewerberinnen gegen § 7 AGG, da hier ein Rechtfertigungsgrund nicht ersichtlich ist (siehe dazu Kap. 7). Eine KI zur Auswahl von Bewerbern, die gesetzlich unzulässige Ergebnisse produziert, eignet sich nicht für die gewöhnliche Verwendung und ist daher mangelhaft im Rechtssinne, sofern die Vertragsparteien keine davon abweichende Beschaffenheit vereinbart haben (siehe hierzu Abschn.  2.3.2). Haben die Parteien aber als vertragliche Beschaffenheit der KI vereinbart, Bewerberdaten nach den Kriterien der Lerndaten zu gewichten, so erscheint die KI fehlerfrei. Den Kluger Hans-Fällen ist nämlich gemeinsam, dass die KI zutreffend ein Muster erkannt hat, wenn auch nicht das gewünschte. Nachdem KI wohl noch immer sehr weit davon entfernt sind, den Sinn einer Aufgabe zu verstehen, wird es die Aufgabe der Vertragsparteien sein, sicherzustellen, die Sollbeschaffenheit so zu bestimmen, dass der Anbieter diese gewährleisten und der Kunde die KI für seine Zwecke einsetzen kann. Bei den Kluger Jeffrey Dastin, Amazon scraps secret AI recruiting tool that showed bias against women, https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-biasagainst-women-idUSKCN1MK08G. Zugegriffen am 18.10.2019; James Vincent, Amazon reportedly scraps internal AI recruiting tool that was biased 56 

62

M. Hartmann

Hans-Fällen liegt der Fehler bereits im mangelnden Verständnis der gestellten Aufgabe durch den Menschen. Das Erkennen falscher Muster ist ein Standardproblem bei der Bestimmung geeigneter Daten für das Trainieren, insbesondere wenn diese Artefakte enthalten (siehe dazu Abschn. 2.2.5.1). Die Bestimmung der Soll-Leistung dient in Verträgen über KI einerseits der Konkretisierung der Hauptleistung (Leistungsbestimmung) und andererseits der Weichenstellung für die Mangelhaftung – also für die Beurteilung, ob eine Leistung des Vertragspartners mangelfrei ist (Sollbeschaffenheit). Die Abgrenzung zwischen sogenannter Nichtleistung, nicht vertragsgemäß erbrachter und mangelhafter Leistung ist zuweilen schwierig.57 Anhand der Leistungsbestimmung soll geprüft werden, ob überhaupt alle Bestandteile der versprochenen Leistung erbracht wurden. Die Sollbeschaffenheit betrifft die Frage, ob eine erbrachte Leistung vertragsgemäß ist. Vor allem die teilweise Nichtleistung ist von der nicht vertragsgemäßen Leistung schwer abzugrenzen, etwa bei einem fehlenden Modul einer Software. Relevant wird die Unterscheidung vor allem bei den Vertragstypen, die keine Mangelhaftung vorsehen,58 also insbesondere dem Dienstvertrag. Hat der Anbieter beispielsweise bei einem Projekt nach agiler Methode dienstvertraglich versprochen, ein bestimmtes Kontingent von Arbeitsstunden pro Monat auf das Projekt zu verwenden, so läge Nichterfüllung vor, wenn die Zeiten nicht erbracht wurden. Wurden hingegen die Arbeitsstunden erbracht, führten jedoch zu einem unbrauchbaren Ergebnis, so kann ein Fall nicht vertragsgemäß erbrachter Leistung vorliegen.59 Auch dienstvertragliche Leistungen sind „lege artis“, also nach den jeweils anerkannten Regeln und Standards für die geschuldete Tätigkeit, zu against women, https://www.theverge.com/2018/10/10/17958784/ai-recruiting-tool-bias-amazon-report. Zugegriffen am 18.10.2019. 57  HK-BGB/Schulze, § 281, Rn. 5 ff.; Palandt/Grüneberg, § 281, Rn. 7 ff. 58  Die Schwierigkeiten bei der Abgrenzung im Kaufrecht hat der Gesetzgeber undogmatisch zu lösen versucht: MüKo BGB/Westermann, §  434, Rn.  43; Jauernig BGB/Berger, § 434, Rn. 24. 59  MüKo BGB/Ernst, [39], § 323, Rn. 238; eingehend und lehrreich: Alexander, JA 2015, 321.

2  Künstliche Intelligenz im Zivilrecht

63

erbringen.60 Die Besonderheiten bei der Bestimmung der Soll-Leistung im Rahmen der Beschaffung von Trainingsdaten werden gesondert behandelt (Abschn. 2.2.5.1). 2.2.4.1.1  Leistungsbestimmung Die möglichst konkrete Bestimmung der Leistung ist bei IT-­ Projekten ein Kernpunkt des Vertrags. Die Problematik der vertragstypologischen Einordnung von Projekten nach agiler Methode hat hier ihren Ursprung (Abschn. 2.2.2). Unter die Leistungsbestimmung fallen etwa Auflistungen der zu überlassenden Software oder einzelner Module, bereitzustellende Hardware etc. Ist beispielsweise die Lizenzierung der KI-Software eines bestimmten Herstellers konkret als zu erbringende Leistung bestimmt, liegt (Teil-)Nichterfüllung vor, wenn der Anbieter die KI eines anderen Herstellers liefert. Äußerst riskant ist es, die vertragliche Leistung nicht genau zu bestimmen. Zur Softwareerstellung hat der BGH entschieden: „Haben die Vertragsparteien nicht im Einzelnen vereinbart, was das zu erstellende Programm zu leisten hat, schuldet der Unternehmer ein Datenverarbeitungsprogramm, das unter Berücksichtigung des vertraglichen Zwecks des Programms dem Stand der Technik bei einem mittleren Ausführungsstandard entspricht. Welche Anforderungen sich hieraus im Einzelnen ergeben, hat der Tatrichter gegebenenfalls mit sachverständiger Hilfe festzustellen“.61

Lücken im Vertrag hinsichtlich der Leistungsbestimmung werden also von einem Dritten anhand wenig bestimmbarer Kriterien ausgefüllt. So erscheint es sehr schwierig, einen „Stand der ­Technik“ bei KI zu bestimmen oder auch nur einen geeigneten Sachverständigen zu finden. Bei IT-Leistungen ist der Raum zur Bestimmung möglicher Anforderungen schon im Allgemeinen gewaltig. In Bezug auf KI dürfte nahezu unvorhersehbar sein, was

Alexander, JA 2015, 321, 323 m.w.N. BGH, Urt. v. 16.12.2003, X ZR 129/01 (2. LS); der BGH hat auch klargestellt, dass sich die Gerichte bei er Bestimmung regelmäßig sachverständiger Hilfe bedienen müssen: BGH, Beschl. v. 06.03.2019, VII ZR 303/16. 60  61 

64

M. Hartmann

ein Sachverständiger als erforderliche Leistung bestimmt. Der Leistungsbestimmung ist daher große Aufmerksamkeit bei KI-Verträgen zu widmen. 2.2.4.1.2  Beschaffenheit der Leistung Die Bestimmung der Beschaffenheit der Leistung dient der Überprüfung einer erbrachten Leistung auf ihre Vertragsgemäßheit. Bei den Vertragstypen mit Mangelhaftung hängt hiervon ab, ob beispielsweise Ansprüche auf kostenfreie Nacherfüllung, Minderung oder auch Schadensersatz bestehen. Bei Verträgen ohne Mangelhaftung ist die vertragliche Vereinbarung einer Sollbeschaffenheit der beste Ansatz, um Ansprüche bei Fehlern geltend zu machen.62 Dabei ist zu beachten, dass die Parteien eines Vertrages abweichend vom gesetzlichen Fehlerbegriff beispielsweise im Rahmen der Produkt- oder Produzentenhaftung (siehe Abschn.  2.3.3.1) vereinbaren können, was als Mangel anzusehen ist. Beim Einsatz von KI kann unterschieden werden, ob die KI als solche technisch einwandfrei funktioniert, ob sie hinsichtlich Verfügbarkeit und Verarbeitungsgeschwindigkeit den Anforderungen entspricht und ob die Ergebnisse „richtig“ sind. Bei der Beurteilung der Ergebnisse kann wiederum auf die zutreffende Erfüllung der Aufgabe oder die Eignung für den Aufgabenzweck abgestellt werden. Wie oben gezeigt (siehe Kap. 1) werden KI aktuell vor allem zur Mustererkennung eingesetzt. Sie dienen der Erkennung und Bewertung der Inhalte von Kundendaten (bspw. Erkennung der Laufzeit oder bestimmter Klauseln in gescannten Mietverträgen, Fraud Detection, Erkennung von Schadsoftware). KI werden dabei gerade dann eingesetzt, wenn die Kriterien zur Erkennung nicht in Algorithmen aus bedingten Anweisungen und Verzweigungen vorgegeben werden können. Die KI lernt also während des Trainings mit welchen internen Gewichtungen sie mit größter Wahrscheinlichkeit das gewünschte Ergebnis erzielt. Da die dabei gewonnenen internen Einstellungen der KI meist nicht in einen

Zur Schlechterfüllung beim Dienstvertrag siehe Abschn. 2.3.2.

62 

2  Künstliche Intelligenz im Zivilrecht

65

herkömmlichen Algorithmus zur Steuerung des Umgangs mit sämtlichen möglichen Inputdaten „übersetzt“ werden können, bleibt unklar, ob die KI in Zukunft auf alle Echtdaten mit dem korrekten Output reagieren wird. Zur Verdeutlichung folgender Musterfall: Beispiel

Eine Krankenkasse möchte die erheblichen Kosten der Behandlung von Hautkrebs bei verspäteter Erkennung angehen. Sie beauftragt einen Anbieter mit der Erstellung einer App, die mittels KI auf Fotos von Smartphones Krebs erkennen soll. Die Krankenkasse möchte, dass für das Trainieren eine Bilddatenbank eines bestimmten Drittanbieters (Datenlieferant) verwendet wird. Anschließend stellt die Krankenkasse diese App ihren Kunden kostenfrei zur Verfügung.63 ◄ Offenbar bestehen die Fehler-Möglichkeiten Krebs nicht zu erkennen (false negative) oder falsch anzunehmen (false positive). Erheblich sind die Risiken einer Haftung gegenüber den Nutzern (siehe zur zivilrechtlichen Haftung Abschn.  2.3 und zur strafrechtlichen Verantwortung Kap. 8). Die Krankenkasse wird daher ein Interesse an einem Regressanspruch gegen den Anbieter beim Auftreten von Fehlern haben, der Anbieter wiederum wird gerade diese Haftung vermeiden wollen. Läuft die App dagegen lediglich nicht störungsfrei ab, löst dies zwar Mangelansprüche aus, stellt aber wohl das geringere Risiko dar. Ist nun aber die App nicht vertragsgemäß, weil sie falsche Zuweisungen vornimmt? Zur Vereinfachung soll die Frage nach Kaufrecht beurteilt werden: Haben die Vertragspartner keine Beschaffenheit vertraglich bestimmt, so ist die App frei von Sachmängeln, wenn sie sich für die gewöhnliche Verwendung eignet und eine Beschaffenheit aufweist, die bei Sachen der gleichen Art üblich ist und die der Käufer nach der Art der Sache erwarten

Die damit verbundenen datenschutzrechtlichen Schwierigkeiten werden in Kap. 5 behandelt. 63 

66

M. Hartmann

kann, § 434 Abs. 1 Nr. 2 BGB. Die Mangelhaftigkeit wird also anhand von drei Kriterien geprüft, nämlich der Eignung für die gewöhnliche Verwendung, der Üblichkeit und der Kundenerwartung. Bei der Eignung für die gewöhnliche Verwendung wird eine Rolle spielen, welchen Einsatzzweck die Vertragspartner für die App vorgesehen hatten. Zum gegenwärtigen Zeitpunkt liegt es fern, eine solche App als Alternative zum Hautarzt einzusetzen.64 Der gewöhnliche Einsatzzweck dürfte also als Hilfsmittel sein, um zwischen den empfohlenen Hautarztterminen Hautveränderungen zu prüfen. Dies erscheint keine absolute Fehlerfreiheit zu erfordern. In die gleiche Richtung wird man auch bei den Kriterien der Üblichkeit und der Kundenerwartung argumentieren können. Somit ließe sich gut vertreten, dass die App selbst dann mangelfrei wäre, wenn sie fehlerhafte Entscheidungen trifft, solange sie dabei etwa im gleichen Verhältnis falsch liegt, wie dies bei anderen Herstellern der Fall ist. Sollten die Vertragspartner dagegen eine von der gewöhnlichen abweichende Verwendung als „echte Alternative“ zum Hautarzt vereinbart haben, so dürfte eine mindestens gleich gute Erkennung wie beim Arzt und allen Mitbewerbern für eine mangelfreie Leistung erforderlich sein, § 434 Abs. 1 Nr. 1 BGB.65 Das Beispiel zeigt, dass aus einer falschen Entscheidung einer KI nicht auf eine fehlerhafte KI im vertragsrechtlichen Sinne geschlossen werden kann. Außerdem sollte deutlich geworden sein, dass die vertragliche Vereinbarung einer konkreten Beschaffenheit für die Leistungen des Anbieters aus Sicht beider Vertragspartner geboten erscheint.

64  https://www.cochrane.org/de/CD013192/wie-genau-sind-smartphone-anwendungen-apps-zur-erkennung-von-melanomen-bei-erwachsenen. Zugegriffen am 18.10.2019. 65  Nach BGH, Urt. v. 20.03.2019, VIII ZR 213/18, Rn. 26 kommt § 434 Abs. 1 Satz 2 Nr. 1 BGB in der Regel nur dann eine eigenständige Bedeutung gegenüber derjenigen nach § 434 Abs. 1 Satz 2 Nr. 2 BGB zu, wenn die Parteien nach dem Vertrag eine andere als die gewöhnliche Verwendung vorausgesetzt haben.

2  Künstliche Intelligenz im Zivilrecht

67

2.2.4.2  M  ethoden zur Bestimmung der Sollbeschaffenheit Aus Sicht des Kunden reicht es oft aus, den vorgesehenen Einsatzzweck zur Bestimmung der Sollbeschaffenheit zu beschreiben, möglichst ergänzt um qualitative oder quantitative Eigenschaften. Im Beispiel unserer Krankenkasse (siehe oben Abschn. 2.2.4.1) ergeben sich schon aus dem Einsatzzweck hohe Anforderungen an die Beschaffenheit. Aus Sicht des Anbieters sind Vereinbarungen der Beschaffenheit zu bevorzugen, die vor Übergabe oder Ablieferung des Leistungsergebnisses an den Kunden abschließend getestet werden können. Wie auch bei komplexen IT-Projekten üblich, können hierzu schon im Vertrag abschließend die Verfahren und Testfälle bestimmt werden, anhand derer die Vertragsgemäßheit der Leistung festgestellt werden soll. Die Testfälle können dabei entweder vor oder nach dem Training aus den Trainingsdaten gesampled werden oder  – für den Anbieter schwer zu gewährleisten  – aus späteren Echtdaten, künstlichen Testdaten oder Drittdaten gewonnen werden. Eine Klausel dazu könnte lauten: CC Die Vertragspartner vereinbaren abschließend zur Feststellung der Vertragsgemäßheit der Leistungen des Anbieters die in der Anlage beschriebenen Tests. Sofern der Anbieter nachweist, dass die KI die in der Anlage aufgeführten Testfälle mit den dort bestimmten Fehlertoleranzen verarbeitet, ist die Leistung des Anbieters vertragsgemäß. Eine darüber hinausgehende Be­ schaffenheit insbesondere hinsichtlich anderer Testfälle oder eine Zusage der Einhaltung der Fehlertoleranzen bei Anwendung auf andere Fälle wird ausdrücklich nicht vereinbart.

Solche prozeduralen Bestimmungen der Beschaffenheit sind für den Kunden sehr nachteilig und dürften in allgemeinen Geschäftsbedingungen des Anbieters wohl unwirksam sein. Insbesondere ist dadurch das Risiko von Artefakten oder unerwünscht erkannten Mustern in den Trainingsdaten auf den Kunden abgewälzt. Angemessen erscheint dies aber dann, wenn diese Daten vom Kunden stammen.

68

M. Hartmann

Für die Bestimmung von Fehlerquoten sind die geeigneten mathematischen Methoden auszuwählen. Eine Beschaffenheitsvereinbarung für eine Simulations-KI zur Vorhersage bestimmter Ereignisse für die Indikatoren bekannt sind, könnte lauten: CC Die Parteien erwarten, dass die Simulation durch die KI einen MAPE (Mean Absolute Percentage Error) für die wöchentliche Vorhersage aller Indikatoren von unter 15  % aufweist. Über­ steigt der MAPE diesen Wert in drei aufeinander folgenden Kalenderwochen für jeweils mindestens einen Indikator, so ist der Kunde berechtigt, diesen Vertrag mit sofortiger Wirkung zu kündigen. Weitere Ansprüche des Kunden bleiben unberührt.

In unserem Beispielsfall der Krebserkennungs-App könnte auch erwogen werden, die Sollbeschaffenheit der KI über Fehlertoleranzen im Echtbetrieb zu vereinbaren. Dabei wäre jedoch zu berücksichtigen, dass im Echtbetrieb der App der Nutzer dazwischentritt. Die Erkennungsquote wird maßgeblich von der Qualität der mit dem Smartphone aufgenommenen Fotos abhängen (Lichtverhältnisse, Entfernung, Winkel, Kameraqualität, Einstellungen bei Aufnahme). Eine Erkennungsquote wird der Anbieter daher nur zusagen, wenn die Störungen aus der Nutzersphäre ausgeschlossen werden können. Dies könnte durch eine entsprechende Bereinigung der Daten realisiert werden, auch hier sind aber die datenschutzrechtlichen Hürden zu überwinden. Der Beispielsfall macht außerdem deutlich, dass eine rein quantitative Beschreibung des Fehlers nicht ausreichend sein kann. Nimmt die App fälschlicherweise an, ein Bild zeige Hautkrebs, (false positive) sind die Folgen eher hinzunehmen, als bei einer falschen Entwarnung (false negative). In diesem Fall ist es sogar wahrscheinlich, dass eine Kalibrierung der KI zur Verbesserung der Rate der false negatives automatisch zu einer Verschlechterung der false positives führt. Aufgrund der gravierenderen Auswirkungen der false negatives wäre eine solche Verschiebung aber wohl geboten und nach dem Stand der Technik sogar zu erwarten. Vor der Vereinbarung der Beschaffenheit einer KI sind also unbedingt die zu erwartenden Fehler zu bewerten.

2  Künstliche Intelligenz im Zivilrecht

69

Bei einer Vereinbarung der Sollbeschaffenheit anhand der Ergebnisse insbesondere mit Echtdaten sind also zu ­berücksichtigen: • • • • •

Auswahl geeigneter Indikatoren Bestimmung der Erhebung dieser Indikatoren Bewertung des Verhältnisses der Indikatoren zueinander Auswahl einer geeigneten Methode zur Bewertung Beschreibung der Methode, sofern es sich nicht um einen Standard handelt, der referenziert werden kann • Verfahren zur Bereinigung/Korrektur der Echtdaten Nachdem die Analyse der gelieferten KI auf „Korrektheit“ ihrer internen Einstellungen nicht möglich ist, bleibt dem Kunden auch ohne konkrete Vereinbarung eines Testverfahrens nur das Testen oder der Echteinsatz zur Beurteilung der Vertragsgemäßheit der KI. Die Komplexität der Aufgabe, die den Einsatz einer KI gerade attraktiv erscheinen lässt, führt auf der anderen Seite zu entsprechenden Schwierigkeiten gerade diese Komplexität beim Testen abzubilden. Dem versuchen ausgefallene Methoden beizukommen, wie beispielsweise das automatisierte Testen,66 Testen durch KI oder das Fuzzy Testing. Denkbar ist auch das vergleichende Testen gegen einen Mitbewerber.

2.2.4.3  Rechtsfolgenregelung Sofern Vertragstypen mit Mangelhaftung zur Anwendung kommen (insbesondere Kauf-, Miet-, Werkvertrag), bestehen für den Kunden ausreichende Ansprüche, wenn die vertragliche Beschaffenheit nicht vom Anbieter geleistet wird. In der Praxis wird hier der Anbieter versuchen, von der gesetzlichen Regelung abweichende Vereinbarungen zu treffen. Gerade bei IT-Verträgen, deren vertragstypologische Einordnung noch vielfach ungeklärt ist (siehe oben Abschn. 2.2.2) und bei Vertragstypen ohne Mangelhaftung (insbesondere Dienstver-

Angi Jones, TEST AUTOMATION FOR MACHINE LEARNING: ANEXPERIENCE REPORT, https://angiejones.tech/wp-content/uploads/2017/04/ Test-Automation-For-Machine-Learning.pdf. Zugegriffen am 18.10.2019. 66 

70

M. Hartmann

trag), sind Regelungen der Rechtsfolgen der nicht vertragsgemäßen Leistung empfehlenswert. Die Einbeziehung solcher Regelungen durch vorformulierte Klauseln zum mehrfachen Einsatz (AGB) ist allerdings hoch problematisch. Bei der Rechtsfolgenregelung kann man sich an den gesetzlichen Bestimmungen zur Mangelhaftung orientieren, also insbesondere die Beseitigung des Beschaffenheitsfehlers durch Nacherfüllung, die Herabsetzung der vereinbarten Vergütung, ein Recht zum Rücktritt vom Vertrag und gegebenenfalls Schadensersatz vereinbaren. Beim Dienstvertrag kann der Kunde eine der Mangelhaftung ähnliche Position dadurch erreichen, dass er sich vom Anbieter die vertragliche Beschaffenheit garantieren lässt: CC Der Anbieter steht dafür ein und garantiert, dass die von ihm nach diesem Vertrag bereitzustellende KI die in dieser Ziffer zuvor bestimmten Beschaffenheiten während der gesamten Vertragslaufzeit aufweisen wird.

2.2.4.4  Änderungsregelungen KI werden laufend weiterentwickelt – sowohl softwareseitig als auch durch weiteres Training. Sofern die KI als geschlossenes System (siehe oben Abschn.  1.1.4) zur Nutzung zur Verfügung gestellt wird, ist für den Kunden ein Anspruch auf Zugang zu Aktualisierungen wichtig. Die rechtlichen Problemstellungen dabei entsprechen denen bei der Softwarepflege, weshalb hier auf die einschlägige Literatur verwiesen werden kann.67 Wird die KI als offenes System für einen Kunden betrieben, so können sich daraus Auswirkungen auf die vereinbarte oder vorausgesetzte Beschaffenheit ergeben, also auf die Frage, ob Änderungen zu einer vertragswidrigen Leistung führen. Als Sollbeschaffenheit die „KI in ihrem jeweils aktuellen Stand“ zu definieren, dürfte in AGB unzulässig sein. Das gilt auch für einseitige Leistungsvorbehalte in Dauerschuldverhältnissen, etwa

Westphalen/Thüsing/Hoeren, Kapitel IT-Verträge, IX.; Hartmann/Thier, CR 1998, 581. 67 

2  Künstliche Intelligenz im Zivilrecht

71

wenn der Anbieter einer KI sich jederzeitige „angemessene Änderungen“ oder „Verbesserungen“ vorbehält. Ob eine Änderung angemessen ist oder eine Verbesserung darstellt, kann nämlich aus Sicht des Kunden ganz anders zu beurteilen sein. Eine Regelung, die dem Kunden keine Mitsprache lässt und auf dessen Interessen keine Rücksicht nimmt, ist in AGB daher unzulässig.68 Bei individuell ausgehandelten Verträgen wird meist ein Änderungsverfahren vereinbart werden, welches die beiderseitigen Interessen berücksichtigt.69 Kennen sich beide Vertragspartner technisch sehr gut aus, kann die Bestimmung der Leistungen durch eine exakte Spezifizierung der einzusetzenden KI oder der Funktionalitäten erfolgen, abgesichert gegebenenfalls über Service Level. Eine Lösung kann auch darin bestehen, dem Kunden die Beendigung des Vertrags bei Änderungen, denen er nicht zustimmt, anzubieten oder gleich nur kurze Laufzeiten/Kündigungsfristen vorzusehen. Bei einer langen, festen Vertragslaufzeit für den Kunden kann ein Änderungsrecht durch ein solches Sonderkündigungsrecht des Kunden nicht „gerettet“ werden, denn letztlich ist dies nichts anderes, als eine einseitige Bindung des Kunden an die feste Laufzeit, während sich der Anbieter das Herabsetzen seiner Leistung während der Laufzeit vorbehält. Solche asymmetrischen Bindungsfristen sind in AGB aber wohl unwirksam.70

2.2.5 Regelungen zu den Trainingsdaten Der Bedarf bei der KI-Entwicklung nach Daten für das Training hat einen eigenen Markt hervorgebracht. Es gibt Anbieter von Daten für bestimmte Trainingssituationen oder gar Standarddaten

Vgl. BGH, Urt. v. 15.11.2007, III ZR 247/06. Siehe hierzu Redeker, IT-Recht, Teil B, Rn. 423 f. 70  Auer-Reinsdorff/Conrad/Pohle, Teil E, § 31, Rn. 182; OLG Koblenz, Urt. v. 30.10.2003, 2 U 504/03. 68  69 

72

M. Hartmann

zum Benchmarken.71 Insbesondere die Entwickler von Deep Lear­ ning KI und universeller neuronaler Netze sind auf Trainingsdaten angewiesen, ohne, dass diese Unternehmen eine besondere Spezialisierung oder Eignung für das Generieren entsprechender Daten hätten. Aber auch dann, wenn ein Unternehmen seine Daten einem KI-Anbieter bereitstellen möchte, um die KI damit für die eigenen Zwecke trainieren zu lassen, sind geeignete Regelungen erforderlich. Sofern es sich bei den Daten um Informationen handelt, die einer natürlichen Person zugeordnet werden können, sollte möglichst frühzeitig eine datenschutzrechtliche Prüfung erfolgen. Gegebenenfalls ist ohnehin eine Datenschutzfolgenabschätzung vor Beginn der Verarbeitung durchzuführen. Aus der datenschutzrechtlichen Einordnung des Sachverhalts ergeben sich Anforderungen für die Vertragsgestaltung, beispielsweise, wenn Auftragsverarbeitung oder gemeinsame Verantwortung vorliegen. Zu den Einzelheiten wird auf Kap. 5 verwiesen. Die Nutzung von Daten zum Training einer KI wirft komplexe juristische Fragen auf.72 Schon bei der vertragstyplogischen Einordnung der Datenüberlassung ergeben sich Schwierigkeiten bei der Einordnung (siehe dazu Abschn. 2.2.2). Werden Daten gegen Vergütung auf unbegrenzte Zeit überlassen, wird wohl ein Kaufvertrag vorliegen. Ist die Gestattung der Nutzung von Daten gegen Vergütung begrenzt, beispielsweise auf die Vertragslaufzeit, kommt Mietrecht in Betracht. Sollen konkrete Daten dagegen vom Anbieter erst erstellt werden, dürfte ein Werk- oder Werkliefervertrag vorliegen.73 Auch ist die Nutzung von Daten urheberrechtlich abzuklären, wenn die Datensätze Inhalte aufweisen, die dem Urheberrecht unterliegen können, insbesondere also Bilder, Texte, wissenschaftliche oder technische Darstellungen etc. Das Trainieren eine KI mit solchen Daten wird regelmäßig eine Nutzung der in Bsp. Übersetzungen: http://www.lrec-conf.org/proceedings/lrec2010/ pdf/504_Paper.pdf. Zugegriffen am 18.10.2019. 72  Zu Fragen der Haftung und entsprechenden Klauseln Conrad/Grützmacher/Hartmann, [16], § 56. 73  Vergleiche zur vertragslogischen Einordnung auch Conrad/Grützmacher/Feldmann/Höppner, [21], § 48 Rn. 4 ff. 71 

2  Künstliche Intelligenz im Zivilrecht

73

den Daten enthaltenen Werke darstellen, schon weil diese Datensätze in den Arbeitsspeicher geladen und damit vervielfältigt werden. Über solche Nutzungen darf grundsätzlich der Inhaber des Urheberrechts entscheiden. Das Nutzen für das KI Training könnte sogar eine neue, eigene Nutzungsart für bestimmte Werke darstellen. Anders als in den USA, wo das Training von KI als „fair use“ gestattet sein könnte,74 gibt es im europäischen Urheberrecht keine entsprechende Schranke der Rechte des Urhebers. Rechtssicherheit hat nur, wer vom Urheber etwaiger in den Datensätzen enthaltener Werke eine ausdrückliche Gestattung für die Nutzung des Trainings von KI hat. In Vereinbarungen über die Überlassung von Daten für Zwecke des Trainings einer KI weisen vor allem die Regelungen zur Qualität und zur Nutzung der Daten Besonderheiten auf.

2.2.5.1  Qualität von Daten vereinbaren Die Quantität der zu überlassenden Daten lässt sich einfach und klar bestimmen. Auch die Bestimmung der Datenfelder der einzelnen Datensätze, möglichst mit der Angabe, ob es sich um Pflichtfelder handelt und welche Inhalte/Formate zugelassen sind, entspricht den herkömmlichen Herausforderungen. Schwieriger wird es sein, Artefakte oder nicht gewünschte Muster in Daten auszuschließen. Es besteht die Gefahr, dass diese als Kriterien für die Entscheidungen der KI gelernt werden. Solche Verfälschungen aus Datenmengen herauszuhalten ist nicht so einfach (siehe Abschn. 2.2.4.1 und Kap. 1). Ein Beispiel für die Schwierigkeiten bei der Datengewinnung ist die Beschaffung von Videodaten zum Training einer Gesten­ steuerung. Werden die Gesten im „Labor“ aufgenommen, kann es leicht zu Verfälschungen durch die Ausführenden aufgrund der seltsamen Situation kommen. Auch stellt das immer gleiche Labor ein Muster dar. Insbesondere kann das auch für die abgebildeten Personen gelten. Es ist also fraglich, ob die Labor-Videos die „richtigen“ Kriterien beibringen, oder ob die KI nachher an Echt-

Vgl. The Authors Guild Inc., et al. v. Google, Inc.; October 16, 2015 (2d Circuit); November 14, 2013 (SDNY).

74 

74

M. Hartmann

daten scheitert, weil die im Labor gegebenen Kriterien in der Realität nicht mehr so ausgeprägt sind. Soll dagegen für das Training auf Echtdaten zurückgegriffen werden, wird schon fraglich sein, ob das Zuordnen von Labeln einheitlich und korrekt erfolgt ist. Video-Echtdaten weisen auch je nach Erhebungsmethode zahllose Muster oder echte Fehler auf. Schon die verschiedenen Formate und Aufnahmequalitäten machen eine Verwendung schwierig. Klauseln zur Datenüberlassung für KI-Training sollten aus Sicht des Datennutzers daher die Eignung der Daten für dessen Zweck, die Repräsentativität und die Freiheit von künstlichen Einflüssen regeln: CC Der Anbieter steht dafür ein, dass die Daten als Trainingsdaten für das Machine Learning eingesetzt werden können. Der Anbieter sichert daher zu, dass die bereitzustellenden Daten keine unerwünschten oder künstlichen Muster und nur durch die definierten Datenobjekte selbst begründete gleiche Merkmale oder sonstige Eigentümlichkeiten aufweisen. Dies gilt insbesondere auch für Störeinflüsse bei der Erhebung oder Verarbeitung der zu überlassenden Daten. Der Anbieter prüft die Eignung der zu überlassenden Daten für die Zwecke des Kunden vor der Überlassung nach dem neuesten Stand von Wissenschaft und Technik. Für die Zuordnung der Label in den jeweiligen Datensets wird eine Fehlerquote von unter 0,1  % zugesichert.

Für den Anbieter ist das allerdings nur für Daten zu gewährleisten, die in statistischen Reinräumen entstehen. Bei komplexeren Echtdaten wird dies schwierig sicherzustellen sein. Der Datenlieferant wird daher eher die Entstehung der Daten beschreiben, eine konkrete Mindestanzahl von Datensätzen und -feldern vereinbaren sowie nicht abschließend mögliche Störfaktoren nennen. Zu unserem Beispielsfall der App zu Krebserkennung könnte von einem dritten Datenanbieter folgendes geregelt werden: CC Zu überlassen sind 1000 Datensätze, bestehend aus Bildern von Hautanomalien zu denen weitere Informationen gemäß den in

2  Künstliche Intelligenz im Zivilrecht

75

der Anlage beschriebenen Datenfeldern zugeordnet sein können. Die zu überlassenden Daten wurden aus unter­ schiedlichen vorbestehenden Datenbanken gewonnen, deren Methodik nicht bekannt ist. Die Qualität der Bilder und weitere Eigenschaften der Bilder wurden nicht überprüft. Auch die in den Datensätzen den Bildern zugewiesenen Eigenschaften konnten nicht verifiziert werden. Die Daten können daher Artefakte, Muster oder andere, nicht identifizierte Kriterien enthalten und sind vor ihrer Verwendung zum Trainieren einer KI auf die Eignung vom Kunden zu prüfen. Insbesondere hat der Kunde durch geeignete Stichproben die Zuordnung von Informationen zu den Bildern in den Datensätzen darauf zu prüfen, ob die Fehlerquote für den Einsatzzweck tolerabel ist.

Wie in der vorstehenden Klausel bereits vorausgesetzt, besteht die höhere Kompetenz zur Beurteilung der Eignung der Daten oft bei dem Unternehmen, welches die KI damit trainieren möchte. Verbreitet ist es daher, Datensample vor dem Vertragsschluss bereitzustellen, die auf Eignung geprüft werden können. Für den Datennutzer ist es dann wichtig, sich vertraglich zusagen zu lassen, dass das Datensample tatsächlich repräsentativ für die Restdaten ist. Entsprechend müssen die Datenbestände im Zugriff des Datennutzers bleiben, zumindest bis die Vertragsgemäßheit der Restdaten festgestellt worden ist. Für den Datennutzer hat dieses Vorgehen allerdings den juristischen Nachteil, dass das Sample als Beschaffenheit bezüglich der zu überlassenden Daten ­vereinbart sein könnte und keine Ansprüche bezüglich solcher Mängel bestehen, die in dem Sample bereits vorhanden waren, §§ 442 und 536b BGB. Standardisierte oder verifizierte Daten stehen nur in wenigen Bereichen zur Verfügung. Diese eignen sich besonders für das Testen oder die vergleichende Analyse von KI.75 Wird zur Qualitätsbestimmung auf Verfahren nach dem Stand der Technik oder gar dem neuesten Stand von Wissenschaft und Technik verwiesen, sind damit erhebliche Risiken oder Unklarheiten verbunden. Für Übersetzungsdaten siehe http://www.lrec-conf.org/proceedings/lrec2010/ pdf/504_Paper.pdf. Zugegriffen am 18.10.2019. 75 

76

M. Hartmann

Für den Anbieter wird es schwer sein, in diesem sich rasant ändernden Markt, den Stand der Technik oder gar der Wissenschaft vollständig zu beobachten.76

2.2.5.2  Nutzung der Daten Die Qualifizierung von Daten als rechtliches Schutzgut ist umstritten.77 Anerkannt ist jedenfalls, dass Daten ein handelbares Wirtschaftsgut sind und wohl auch durch das Deliktsrecht geschützt werden.78 Auch klar ist, dass die Information als solche, die in Daten enthalten ist, nicht von einem etwaigen Eigentum oder einer ähnlichen Rechtsposition an den Daten erfasst wäre. Sofern die Überlassung von Daten jedoch vertraglich vereinbart wird, werden diese rechtsdogmatischen Fragen selten relevant, da die Parteien jedenfalls untereinander Regeln für die Nutzung der zu überlassenden Daten vereinbaren können. An der Pflicht zur Beachtung etwaiger datenschutzrechtlicher Vorgaben können die Vertragspartner allerdings nichts ändern. Vor allem das Verbot der Zweckänderung, die Erfüllung von Hinweispflichten und die Einhaltung der Löschpflicht werden bei der Überlassung von personenbezogenen Daten für die Zwecke des Trainings einer KI eines Dritten Herausforderungen darstellen. Vereinbarungen über die Nutzung von personenbezogenen Daten, die datenschutzrechtlich unzulässig sind, dürften nichtig sein.79 Das bedeutet, es kann dann auch keine Vergütung für die Überlassung eingeklagt werden. Die Überlassung von größeren Datenmengen zur Nutzung erfolgt meist über das Bereitstellen einer Downloadmöglichkeit.

Zum Stand der Technik siehe Bartels/Backer, DuD 2018, 214–219; zur Erforderlichkeit sachverständiger Hilfe bei der Beurteilung: BGH, Beschl. v. 06.03.2019, VII ZR 303/16. 77  OLG Brandenburg, Urt. v.  06.11.2019, 4 U 123/19; siehe dazu Conrad/ Grützmacher/Lehmann, [28], § 11. 78  MüKo BGB/Wagner, [38], §  823, Rn.  294; HK-BGB/Staudinger, §  823, Rn. 12. 79  OLG Frankfurt a. M., Urt. v. 24.01.2018, 13 U 165/16. 76 

2  Künstliche Intelligenz im Zivilrecht

77

Damit verbunden sind Darlegungs- und Beweisschwierigkeiten für beide Seiten, da keine unveränderbare Manifestation auf einem dauerhaft bereitstehenden Datenträger erfolgt. In Datenüberlassungsverträgen für das KI-Training wird oft eine zeitliche Begrenzung der Nutzung vereinbart. Dies führt regelmäßig zur mietrechtlichen Einordnung des Vertrags. Statt der Rückgabe der Daten wird die Verpflichtung zur Löschung vereinbart. Der Sicherstellung dieser Löschung dienen dann Verpflichtungen der Geschäftsführung die Durchführung der Löschung zu versichern oder Rechte zur Überprüfung. Beides ist wenig hilfreich. Für den Datenlieferanten erscheint es vorteilhafter eine möglichst abschreckende Vertragsstrafe zu vereinbaren. Soll dies durch Allgemeine Geschäftsbedingungen geschehen, ist auf die Angemessenheit der Höhe für jeden typischen Verletzungsfall zu achten.80 Für den Datennutzer sind zeitliche Begrenzungen des Zugangs zu den Daten oder Löschpflichten ungünstig. Stehen die Daten später nicht mehr zur Verfügung, • kann die Analyse von Fehlern der KI stark eingeschränkt sein, • können Mängel der Daten nicht mehr dargelegt werden und • die Daten stehen nicht mehr zum Vergleich zur Verfügung, insbesondere nachdem die KI verändert oder optimiert wurde. Der Datennutzer wird daher ein Interesse daran haben, zumindest eine Möglichkeit des Zugriffs auf die Daten auch nach Vertragsende abzusichern (siehe dazu Abschn. 2.2.6). Bei personenbezogenen Daten wird dies aber regelmäßig an den Löschpflichten scheitern. Sowohl beim Training für den Besteller als auch in Verträgen über Datenlieferungen finden sich Klauseln zu abgeleiteten Werken (Derivative Works): CC Reservation of Rights  Except for the license granted here­ under, Data Provider retains all right, title and interest in and to

BGH, Urt. v. 20.01.2016, VIII ZR 26/15.

80 

78

M. Hartmann

the Licensed Materials. Title and the intellectual property rights to Data User’s derivative works will remain with Data User but such rights will not include any rights or license with respect to the underlying Licensed Material. Neither this Agreement nor receipt of Confidential Information hereunder will limit either party’s independent development and marketing of products or services involving technology or ideas similar to those disclosed

Der Term „Derivative Work“ wurde auch von der wichtigen Open Source Lizenz für Bibliotheken, GNU Lesser General Pu­ blic License 2.1, verwendet.81 Inzwischen verwenden die GNU Lizenzen den Term „based on“. Entsprechende Regelungen finden sich auch in freien Datensammlungen. Wird nun eine Klausel vereinbart, die dem Datenlieferanten Rechte an allen „abgeleiteten Werken“ oder den „bei Vertragsdurchführung entstandenen Informationen oder Ergebnissen“ zuspricht oder die Nutzung dieser Ergebnisse von der Einhaltung bestimmter Bedingungen abhängig macht, wie dies bei Open Source Lizenzen mit Copyleft-Effect der Fall ist, ist dies für KI-Entwickler toxisch. Es lässt sich durchaus vertreten, eine mit bestimmten Daten trainierte KI als aus diesen Daten abgeleitetes oder als auf diesen Daten basierendes Werk anzusehen. Die trainierte KI unterliegt dann den Regelungen des Datenlieferanten für die abgeleiteten Werke, also beispielsweise einer Veröffentlichungspflicht, einer Rücklizenz oder dem Verbot kommerzieller Nutzungen. Der Datennutzer wird vielmehr darauf bestehen, dass der Datenlieferant klarstellt, keinerlei Rechte oder Ansprüche auf die mit seinen Daten trainierte KI zu erheben bzw. auf deren Geltendmachung zu verzichten. Beim Standardmodell des Machine Learnings oder neuronalen Netzen steht fest, dass die KI während des Trainings durch die Trainingsdaten verursachte Speicherungen in den eigenen Einstellungen oder Gewichtungen vornimmt. Damit

http://www.gnu.org/licenses/old-licenses/lgpl-2.1. Zugegriffen am 18.10.2019.

81 

2  Künstliche Intelligenz im Zivilrecht

79

erscheint es theoretisch auch möglich, dass einzelne Trainingsdaten oder Datensätze aus der KI wieder reproduziert werden könnten. Insoweit enthielte die KI dann eine Vervielfältigung von Daten. Klauseln mit Rechten an abgeleiteten Werken oder aus der Nutzung der Daten gewonnenen Informationen finden sich oft auch in Verträgen von KI-Nutzern, die ihre Daten einem KI-­ Anbieter zur Verfügung stellen, damit der Anbieter seine KI ­gerade für den Kunden trainieren kann, um sie diesem dann zu überlassen. Der Datenlieferant möchte verhindern, dass die aus dem Training anhand seiner Daten abgeleiteten Informationen oder Verbesserungen insbesondere Mitbewerbern zur Verfügung stehen. Außerdem möchte der Kunde oder der Datenlieferant von allem profitieren, was aus den eigenen Daten erzeugt wird. Eine anhand der Daten vortrainierte KI kann dann aber nicht mehr ohne Zustimmung für Dritte genutzt werden, selbst die Verbesserung der KI anhand der Erkenntnisse aus dem Training, könnte nach solchen Klauseln untersagt sein. Sofern der KI-­ Entwickler also Daten von Vertragspartnern nutzen möchte, um zugleich seine KI zu trainieren, zu verbessern oder weiterzuentwickeln, sollte er auf eine entsprechende Einräumung der Rechte nicht nur bezüglich des Prozesses, sondern auch der Ergebnisse bestehen: CC Der Datenlieferant stimmt zu, dass ausschließlich der Daten­ empfänger an der KI berechtigt ist, auch soweit diese mit den Daten des Datenlieferanten trainiert worden ist. Der Datenlieferant überträgt dem Datenempfänger hiermit alle hierfür erforderlichen Rechte an den Daten unwiderruflich, zeitlich, territorial und auch sonst unbeschränkt. Der Datenlieferant stellt klar, dass er keinerlei Rechte oder Ansprüche in Bezug auf die KI und deren Ergebnisse gegen den Datenempfänger oder Dritte, die diese nutzen, erhebt oder geltend macht. Auf die Ausübung aller entsprechenden Rechte verzichtet der Datenlieferant. Die Parteien sind sich einig, dass ausschließlich der Datenempfänger berechtigt sein soll, die KI wirtschaftlich nach freiem Ermessen weltweit zu verwerten.

80

M. Hartmann

Möchte ein Kunde einem KI Anbieter seine eigenen Daten zum Training anbieten, aber sicherstellen, dass diese Daten Mitbewerbern anschließend nicht zugutekommen, können auch entsprechende Exklusivitätsvereinbarungen gegebenenfalls mit einer angemessenen zeitlichen Befristung und Vertragsstrafen vereinbart werden. Eine Alternative besteht darin, dass der KI Anbieter die Daten gar nicht erhält, sondern die KI beim Kunden trainiert wird oder bei einem Dritten, der sicherstellt, dass die Daten selbst nicht an den KI Anbieter gelangen können. Dies kann auch eine Lösung zur Erfüllung datenschutzrechtlicher Anforderungen sein.

2.2.6 Z  ugang zu Daten und Programmversionen, Regelungen zu Dokumentation, Darlegungs- und Beweismitteln, Exit-­ Vereinbarung Zum Aufbau eines KI-Systems werden Software, Hardware und Daten benötigt. Oftmals fallen die Inhaber oder Berechtigten an diesen Bestandteilen auseinander. Schließlich setzt ein Unternehmen die KI gegenüber Kunden ein. Offenkundig führt diese Situation zu Schwierigkeiten beim Nachweis der Ursache oder der Verantwortung für einen Fehler. Aber auch die Analyse oder Optimierung einer KI kann vom Zugriff auf die verwendete Software-­ Version im Quelltext oder den Trainingsdaten abhängen. Das Unternehmen, welches die KI eines Drittanbieters gegenüber seinen Kunden einsetzt kann Auskunfts- oder Rechtfertigungspflichten bezüglich der Verarbeitungsprozesse unterliegen. So unterliegt die Verarbeitung personenbezogener Daten beispielsweise den Grundsätzen von Transparenz und Richtigkeit, Art. 1 Abs. 1 a) und d) DSGVO. Der Verantwortliche muss die Einhaltung dieser Grundsätze nachweisen können, Art. 1 Abs. 2 DSGVO. Hierfür benötigt das Unternehmen also entweder den Zugang zu den erforderlichen Informationen oder zumindest die Mitwirkung des Anbieters der KI, um seinen rechtlichen Verpflichtungen nachkommen zu können (siehe dazu Kap. 5).

2  Künstliche Intelligenz im Zivilrecht

81

Es gibt also eine Reihe von Situationen, in denen der Verwender einer KI ein berechtigtes Interesse daran hat, auch zum späteren Zeitpunkt die Erstellung der KI anhand der verwendeten Software und Daten nachvollziehen zu können oder die Mitwirkung eines Beteiligten bei der Erstellung der KI benötigt, um seinen eigenen Auskunfts- oder Darlegungspflichten über die Ursachen einer Entscheidung einer KI nachkommen zu können. Insbesondere Unternehmen, die eine Blackbox-KI einsetzen, ist zu empfehlen, sich Zugangs- oder Mitwirkungsrechte zu sichern. Eine datenschutzrechtliche Mitwirkungspflicht könnte lauten: CC Der Anbieter verpflichtet sich, jederzeit auf Anfrage des Auftraggebers die für eine konkrete Entscheidung der KI maßgeblichen Kriterien zu analysieren und in verständlicher Form darzulegen, sofern der Auftraggeber ein berechtigtes Interesse an dieser Anfrage darlegt. Ein berechtigtes Interesse des Auftraggebers besteht insbesondere immer dann, wenn der Auftraggeber von Dritten aufgefordert wird, eine durch den Einsatz der KI gewonnene Entscheidung transparent zu machen oder die Entscheidungsgründe darzulegen, insbe­ sondere aus einem datenschutzrechtlichen Anspruch. Es obliegt dem Auftraggeber, dem Anbieter die für die Ent­ scheidung verwendeten Echtdaten bereitzustellen. Der Anbieter ist verpflichtet, die für die Erfüllung dieser Regelung erforderlichen Ressourcen (insbesondere das konkret beim Auftraggeber eingesetzte KI-System) bei sich bereitzuhalten. Der Anbieter ist nicht berechtigt, eine gesonderte Vergütung oder Kostenerstattung für die nach dieser Ziffer zu erfüllenden Pflichten vom Auftraggeber zu verlangen.

Sofern es um den Zugriff auf Source Code oder Trainingsdaten geht, kann den damit verbundenen Geheimhaltungs- und Datenschutz Anforderungen entweder über eine gemeinsame Verschlüsselung der Dateien oder Treuhandmodelle begegnet werden. Insbesondere die Quellcodehinterlegung (Software Escrow) ist eine seit Jahrzehnten etablierte Lösung zur Vermittlung zwischen den Interessen des Softwareherstellers an der Geheimhaltung seiner

M. Hartmann

82

Source Codes und den Interessen des Kunden am Zugang zu den Quellprogrammen beispielsweise beim Einstellen der Fehlerbeseitigung oder Pflege der Software durch den Hersteller. Daher liegt es nahe, solche Treuhand-Modelle auch einzusetzen, um beispielsweise den Zugriff auf Trainingsdaten wirksam auf Fälle zu beschränken, in denen das berechtigte Interesse des Verwenders einer KI dies erfordert. Durch den Treuhänder wäre zugleich das berechtigte Interesse der Betroffenen daran sichergestellt, dass die Daten nicht rechtswidrig für andere Zwecke verwendet werden können. Eine Treuhand-Lösung kann im Übrigen auch den Zugang zu benötigten Komponenten für den Fall des Anbieterwechsels absichern. Jedenfalls dann, wenn der Verwender einer KI dem Anbieter Echt-Daten laufend bereitstellt, also insbesondere bei während des Einsatzes weiter lernenden, also offenen KI-Systemen, wird sich der Verwender zur Verhinderung des Lock-in-Effects (siehe dazu oben Abschn.  2.2.3.2) ausreichende Mitwirkungspflichten des Anbieters für den Fall des Wechsels vertraglich ausbedingen. Dies können entweder fest vereinbarte Leistungen sein oder zumindest die Pflicht zur Bereitstellung bestimmter Komponenten und Personenkontingente.82

2.3

KI und Haftung

2.3.1 Einführung Zur Darstellung der Haftung für KI sei auf das bereits verwendete Beispiel einer App zur Hautkrebserkennung verwiesen. Beispiel

Eine Krankenkasse hat durch ein Unternehmen eine App entwickeln lassen, die mittels KI erkennen soll, ob ein Patient an Hautkrebs erkrankt ist (s.  o. Abschn.  2.2.4.1). Die Krankenkasse stellt diese App ihren Mitgliedern ohne Vergütung zur Siehe weiterführend zu Cloud Exit-Klauseln: Duisberg, [12], § 41, Rn. 11 ff.

82 

2  Künstliche Intelligenz im Zivilrecht

83

Verfügung. Ein Patient setzt die App auf Anraten der Krankenkasse ein. Die App zeigt dem Patienten jedoch aufgrund eines Fehlers an, er sei gesund, obwohl er tatsächlich an Hautkrebs erkrankt ist. Die zu spät erkannte Erkrankung hat zur Folge, dass der Krebs inzwischen in einem so weit fortgeschrittenen Stadium ist, dass eine Heilung nicht bzw. nur wenig erfolgsversprechend ist. ◄ Das Haftungsrecht unterscheidet zwischen vertraglichen und deliktischen Ansprüchen. Vertragliche Ansprüche bestehen nur im Zusammenhang mit einem Vertragsverhältnis, deliktische dagegen unabhängig davon. Im Beispiel der Hautkrebs-App können also vertragliche Ansprüche des Patienten gegenüber der Krankenkasse aus dem Vertragsverhältnis (über die Leistungen der Krankenkasse oder über die Bereitstellung und Nutzung der App) bestehen. Deliktische Ansprüche können dagegen sowohl gegen die Krankenkasse vorliegen als auch gegen das Unternehmen, welches die App entwickelt hat, obwohl es kein Vertragspartner des Patienten ist. Deliktische Ansprüche können außerdem gegen die jeweils in den Unternehmen handelnden Personen oder weitere an der App-Entwicklung beteiligte Parteien gegeben sein. Nachdem deliktische Ansprüche außerhalb eines Vertragsverhältnisses bestehen können, sind sie insoweit auch nicht vertraglich einzuschränken oder auszuschließen. Der App-Entwickler kann sich also von Ansprüchen des Patienten nicht diesem gegenüber befreien, wenn er mit dem Patienten keinen unmittelbaren Vertrag hat. Der App-Entwickler könnte allerdings – im Rahmen des AGB-rechtlich zulässigen  – versuchen sich einen vertraglichen Rückgriffsanspruch gegen die Krankenkasse zu schaffen für den Fall der Inanspruchnahme durch den Patienten oder eine Nutzungsbedingung der App vorzuschalten, die die Haftung beschränken soll. Das wäre dann eine vertragliche Beziehung zum Patienten und könnte eine vertragliche Haftung erst begründen. Dieses einfache Beispiel zeigt bereits, dass vertragliche und deliktische Haftung gedanklich streng zu trennen sind, auch wenn manche Voraussetzungen der Haftung in beiden Anspruchsgruppen gleich sind.

84

M. Hartmann

Grundsätzlich haftet der Schuldner nach dem Bürgerlichen Gesetzbuch (BGB) für Vorsatz und Fahrlässigkeit (§ 276 BGB). Vorsätzlich handelt, wer die Verwirklichung des Tatbestands durch sein Handeln erkennt und diese will; fahrlässig handelt, wer die „im Verkehr erforderliche Sorgfalt“ außer Acht lässt (§  276 Abs. 2 BGB). Im Zivilrecht gelten dabei objektive Kriterien, die Sorgfalt wird also nach dem bestimmt, was von einer Person in der konkreten Situation zu erwarten ist und nicht nach den ­subjektiven Fähigkeiten oder Einsichten des Handelnden, wie dies im Strafrecht der Fall wäre (siehe Kap. 8). Bislang setzt Verschulden dabei beherrschbares menschliches Verhalten voraus.83 So handelt ein Fahrer nicht schuldhaft, der in Folge eines Herzinfarktes auf die Gegenfahrbahn gerät, weil ihm kein der Bewusstseinskontrolle und Willenslenkung unterliegendes, beherrschbares Verhalten zur Last liege.84 Bewusstseinskon­ trolle und Willenslenkung sind technisch noch nicht realisiert und dies wird auf absehbare Zeit so bleiben (siehe oben Kap. 1). Dabei sollte nicht vergessen werden, dass auch menschliche Willensfreiheit bisher nicht nachgewiesen ist. Es spricht auch wenig dafür anzunehmen, dass sich menschlicher Wille außerhalb naturwissenschaftlicher Kausalität bildet, also insofern frei gefasst werden könnte. Dennoch fußen das Strafrechtswesen und erhebliche Teile des Haftungsrechts auf diesem Postulat. Eine KI selbst kann also nach aktueller Tatsachen- und Rechtslage nicht schuldhaft handeln. Das schließt aber nicht aus, dass für eine KI gehaftet werden kann. Zum einen gibt es Haftungstatbestände, die kein Verschulden voraussetzen. Im vertraglichen Bereich sind dies beispielsweise manche Ansprüche bei der Haftung für Mängel bei den Vertragstypen, die dies vorsehen. Außerhalb von Vertragsverhältnissen ist hier die Gefährdungshaftung zu nennen (beispielsweise die Haftung des Fahrzeughalters nach § 7 Abs. 1 StVG (siehe Kap. 3). Es Mit weiteren Nachweisen: MüKo BGB/Wagner, [38], §  823, Rn.  63; HK-BGB/Staudinger, § 823, Rn. 46. 84  BGH, Urt. v. 12.02.1963, VI ZR 70/62, NJW 1963, 953. 83 

2  Künstliche Intelligenz im Zivilrecht

85

wird erwogen, eine solche verschuldensunabhängige Haftung für den Einsatz von KI vorzuschreiben.85 Zum anderen knüpft die Haftung für KI an das menschliche Verhalten an, das zur Verwirklichung des Tatbestandes geführt hat. So kann sich schadenersatzpflichtig machen, wer gegen Sorgfaltspflichten verstößt bei der Erstellung einer KI, bei der Auswahl von Trainingsdaten, bei der Programmierung der KI oder deren Implementierung oder wer eine KI in den Verkehr bringt oder verwendet ohne die erforderlichen Sicherheitsmaßnahmen ergriffen zu haben. Die Situation ist also ähnlich wie bei der strafrechtlichen Verantwortung für KI (siehe Kap. 8). Solange also die KI nicht „autonom“ entscheidet und solange Menschen die KI erstellen oder zumindest über den Einsatz einer KI entscheiden, gibt es keine „Haftungslücke“, denn jeder Schaden an dem eine KI beteiligt war, ist dann (auch) auf menschliches Mitwirken zurückzuführen.86 Das bedeutet nicht, dass die Geltendmachung von Ansprüchen einfach oder ohne Tücken wäre.

2.3.2 Vertragliche Haftung In einem Vertragsverhältnis wird für dafür gehaftet, die Leistungs- und Nebenpflichten zu erfüllen. Dabei ist die erwartbare Sorgfalt einzuhalten. Nebenpflichten Zu den Nebenpflichten zählen die Aufklärungs-, Beratungs- und Schutzpflichten, sofern diese nicht ohnehin als Haupt- oder Nebenleistung vereinbart sind. In unserem Beispielsfall der Hautkrebs-­App ist es eine Nebenpflicht der Krankenkasse, ihre Kunden darauf hinzuweisen, dass die App den empfohlenen Turnus-­Besuch beim Arzt nicht ersetzt oder aufschiebt, solange eine solche App noch nicht in der Lage ist, zuverlässig falsche Negativeinschätzungen auszuschließen. Es darf also erwartet werden, dass der Nutzer in angemessener Form instruiert wird, Keßler, MMR 2017, 589, 590. Lohmann, ZRP 2017, 168, 169.

85  86 

86

M. Hartmann

für welche Zwecke die App eingesetzt werden kann und dass sichergestellt wird, dass der Nutzer diese Hinweise zur Kenntnis nimmt. Beim Einsatz von KI sind solche Nebenpflichten auch deshalb relevant, weil sie sich aus einem Wissens- oder Beherrschungsgefälle zwischen den Vertragspartnern ergeben können. So soll überlegenes technologische Wissen eine Aufklärungspflicht begründen können.87 Gerade bei Innovationen, die im Bereich KI häufig sein werden, dürfen bei der Abwägung aber nicht die berechtigten Eigeninteressen des Herstellers, etwa zur Geheimhaltung, vernachlässigt werden.88 Leistungspflichten Unterschieden werden Haupt- und Nebenleistungspflichten eines Vertrags. Den Leistungspflichten ist gemeinsam, dass sie gerichtlich durchgesetzt werden können, wenn sie nicht erbracht ­werden – neben etwaigen Schadensersatzansprüchen.89 Die Verletzung von bloßen Nebenpflichten hingegen führt nur zu Schadensersatzansprüchen. Dabei ist die Abgrenzung von Nebenleistungs- und Nebenpflichten (s. o.) zuweilen schwierig. So schuldet der Verkäufer einer zu montierenden Sache eine geeignete Anleitung, deren Mangelhaftigkeit einen Sachmangel darstellen soll, § 434 Abs. 2 Satz 2 BGB. Es handelt sich also um eine leistungsbezogene Pflicht, denn die Montageanleitung kann eingeklagt werden. Ein Montagehinweis zur Abwehr von Gefahren bei falschem Aufbau stellt dagegen wohl eher eine Nebenpflicht dar, es besteht also kein Anspruch darauf, einen solchen Hinweis noch zu erhalten, wenn er nicht geliefert wurde, sondern es bestehen Ansprüche auf Schadensersatz, wenn der sorgfaltspflichtgemäße Hinweis einen Schaden verhindert hätte. Wird bei der Erfüllung der Leistungspflichten die gebotene Sorgfalt nicht eingehalten oder die Leistung nicht so wie vereinGrundlegend: Breidenbach [7]; MüKo BGB/Bachmann, §  241, Rn.  138 m.w.N.; Zur Aufklärungspflicht bei Mängeln: BGH, Urt. v. 14.06.2019, V ZR 73/18; OLG Braunschweig, Urt. v. 01.11.2018, 9 U 51/17. 88  MüKo BGB/Bachmann, § 241, Rn. 152 ff. 89  Zu möglichen Unterlassungsansprüchen gegen KI Entscheidungen: Kähler NJW 2020, 113. 87 

2  Künstliche Intelligenz im Zivilrecht

87

bart durchgeführt, verletzt dies den Vertrag. Die konkreten Rechte des Leistungsempfängers und die Anforderungen an ihre Geltendmachung hängen vom jeweiligen Vertragstyp und etwaigen Vereinbarungen der Parteien ab. Die Rechte reichen aber im Allgemeinen vom weiter bestehenden Anspruch auf vertragsgemäße Leistung über Schadensersatz und Minderung bis hin zur Rückabwicklung des Vertragsverhältnisses. Auf die Notwendigkeit der Bestimmung der Leistungspflichten bei vertraglichen Abreden zum Einsatz von KI ist bereits eingegangen worden (s.  o. Abschn. 2.2.4.1). Mangelhafte Leistung Mangelhafte Leistung oder mangelhafte Nacherfüllung stellen bei den Vertragstypen mit Gewährleistung eine Verletzung der Hauptleistungspflicht dar.90 Die sogenannte Mängelhaftung umfasst neben Ansprüchen auf Aufwendungs- oder Schadensersatz auch die früher als Gewährleistungsansprüche bekannten Rechte auf Nacherfüllung, Minderung und Rücktritt vom Vertrag. Aus der Fülle der damit verbundenen Rechtsfragen sollen nachfolgend KI-typische Besonderheiten anhand von Schadensersatzansprüchen aufgrund mangelhafter Leistung im Kaufrecht dargestellt werden. Als Mangel gilt jede nicht unerhebliche Abweichung der Istvon der Soll-Beschaffenheit. Ohne eine vertragliche Beschaffenheitsvereinbarung ist für die Mangelhaftigkeit zunächst maßgeblich, ob sich die Leistung für die nach dem Vertrag vorausgesetzte Verwendung eignet und – wenn auch keine solche von der üblichen Verwendung abweichende Vereinbarung getroffen wurde –, ob sich die Leistung für die gewöhnliche Verwendung eignet und eine Beschaffenheit aufweist, die bei Sachen der gleichen Art üblich ist und die der Käufer nach der Art der Sache erwarten kann, § 434 Abs. 1 Nr. 1 und 2 BGB. Bei KI wird sich eine „übliche“ Beschaffenheit oder eine gefestigte Kundenerwartung noch nicht herausgebildet haben, sodass hier spezifische Rechtsunsicherheiten drohen, wenn keine ausdrückliche Festlegung erfolgt. Bei Ver-

BeckOK BGB/Faust, § 437, Rn. 120 f.

90 

88

M. Hartmann

trägen über KI ist daher zu empfehlen, die Soll-Beschaffenheit vertraglich zu bestimmen (s. o. Abschn. 2.2.4.1). Erwarten darf der Käufer einer Sache auch, dass sie die Eigenschaften aufweist, die vom Hersteller oder Verkäufer beworben werden, § 434 Abs. 1 Satz 3 BGB. Insbesondere bei der Bewerbung von Produkten mit KI gegenüber dem Endkunden ist daher Zurückhaltung geboten. Es lässt sich vertreten, dass bereits der Begriff „Künstliche Intelligenz“ Eigenschaften erwarten lässt, die heute technisch noch gar nicht realisiert werden können (siehe oben Kap. 1). Ist die Montage einer Kaufsache vereinbart, aber unsachgemäß durchgeführt worden oder die Anleitung zur Montage mangelhaft, so liegt nach gesetzlicher Definition ebenfalls ein Sachmangel vor, § 434 Abs. 2 BGB. Hieran ist bei KI zu denken, weil die herrschende Meinung auf die Überlassung von Software oder Daten, die nicht nur auf eine bestimmte Dauer erfolgt, Kaufrecht anwendet. Unter „Montage“ sind alle Handlungen zu verstehen, die dazu dienen, „die Kaufsache in den für die vereinbarte Verwendung geeigneten und erforderlichen Zustand zu versetzen, sie also aus Einzelteilen zusammenzusetzen, sie an einer bestimmten Stelle beim Käufer fest anzubringen, sie einzubauen oder (bei Software) einzulesen“.91 Ist also beispielsweise zusammen mit dem Erwerb auch die Installation von Software oder das Aufspielen von Daten vereinbart, kann ein Montagemangel vorliegen. Inwieweit sich die unsachgemäße Konfiguration oder Einrichtung einer gekauften KI als Montagemangel wird geltend machen lassen können, ist allerdings unklar. Die gesetzliche Regelung zu den Montagefehlern beruht auf dem Verbraucherschutz („IKEA-­ Klausel“), die Anwendung auf den unternehmerischen Kontext bei IT Produkten führt daher zu Auslegungsschwierigkeiten. Die weiteren Möglichkeiten zur mangelhaften Leistung lassen sich hier nicht abschließend behandeln. Im Beispielsfall (siehe oben Abschn. 2.2.4.1) der fehlerhaften Entwarnung durch eine Hautkrebs-­App wird zu prüfen sein, ob der Fehler auf den Beson-

BeckOK BGB/Faust, §  434, Rn.  92; MüKo BGB/Westermann, §  434, Rn. 37 m.w.N; Jauernig BGB/Berger, § 434, Rn. 18. 91 

2  Künstliche Intelligenz im Zivilrecht

89

derheiten des Falles beruhte (bspw. unauffälliger Tumor) oder einer schlechten Erkennung der App. Sollte die App eine krebsartige Veränderung trotz Vorliegens der typischen Kriterien nicht erkannt haben, weist sie die übliche Beschaffenheit nicht auf und erfüllt die berechtigte Kundenerwartung nicht – ganz gleich, ob die App programmiertechnisch einwandfrei erstellt und mit korrekten und ausreichend Daten trainiert wurde. Eine Krankheitserkennungs-­ App, die die Symptome nicht sicher erkennt, eignet sich nicht zur gewöhnlichen Verwendung eines Diagnosegeräts. Dann käme es darauf an, ob die Krankenkasse im Verhältnis zum Patienten eine abweichende Beschaffenheit oder durch Hinweis- und Instruktionspflichten eine abweichende Verwendung vereinbart hat. So könnte die App nicht zur Diagnose, sondern lediglich als unzuverlässige ergänzende Informationsmöglichkeit empfohlen worden sein, also ungeeignet, um eine ärztliche Begutachtung aufzuschieben oder zu ersetzen. Sollte die App dagegen vom Hersteller beworben worden sein, mit Anpreisungen wie „so sicher wie beim Hautarzt“,92 läge wiederum ein Sachmangel vor, es sei denn die Krankenkasse kannte die Äußerung nicht und musste sie auch nicht kennen oder sie weist nach, dass der Nutzer durch diese Werbung nicht bei der Entscheidung zur Installation der App beeinflusst worden war, § 434 Abs. 1 Satz 3 BGB. Denkbar wäre aber auch, dass die App den Krebs nicht erkennen konnte, weil der Nutzer ungeeignetes Bildmaterial erstellt hat (unscharf, zu wenig Kontrast, verschiedene Objekte im Fokus, verschmutzte Linse). Dies schließt einen Mangel jedoch nicht aus. Zunächst wäre zu prüfen, ob die Eignung für den Zweck erfordert, dass vorhersehbare Bedienungsfehler durch die App selbst abgefangen werden. Außerdem könnte ein Mangel v­ orliegen, wenn das Produkt zur gewöhnlichen Verwendung einer Bedienungsanleitung bedarf, diese aber nicht vorhanden oder ungeeignet ist.93 Wird die App als mangelhafte Leistung bewertet, so stehen dem Nutzer die Mangelrechte nach § 437 BGB zu. Im WesentliEine solche Werbung wäre allerdings ohnehin unzulässig. Hier ist lediglich streitig, ob ein solcher Fall unter die „IKEA-Klausel“ fällt oder als unmittelbarer Sachmangel eingeordnet werden kann, siehe BeckOK BGB/Faust, §  434, Rn.  96; MüKo BGB/Westermann, [39], §  434, Rn.  41; Palandt/Weidenkaff, § 434, Rn. 48. 92  93 

90

M. Hartmann

chen sind dies Nacherfüllung, Minderung, Rücktritt vom Vertrag und Ersatz von Schäden und Aufwendungen. Diese Ansprüche der Mängelhaftung haben jeweils unterschiedliche weitere Vo­ raussetzungen, die hier nicht dargestellt werden können. Im Bereich des Einsatzes von KI dürften Besonderheiten vor allem im Bereich der Schadensersatzansprüche bestehen. In unserem Beispielsfall zeigt sich die Problematik. Dem Nutzer ist weder durch die Nachlieferung einer Version der App gedient, die seinen Hautkrebs jetzt erkennen würde, noch hilft ihm eine Minderung oder eine Rückabwicklung des App-Nutzungsvertrags. Typisch für den Einsatz von KI ist es, dass Fehlentscheidungen der KI Nachteile herbeiführen, die sich nicht in einer verminderten oder dem vollständigen Ausschluss der Gebrauchstauglichkeit der KI erschöpfen. Falsche Entscheidungen der KI werden häufig viel mehr zu Schäden an anderen Rechtsgütern führen. Im Beispielsfall handelt es sich bei dem eingetretenen Gesundheitsschaden nicht um eine Beeinträchtigung der Leistung selbst (der App) sondern eines anderen Rechtsguts des Nutzers, diese Beeinträchtigung wird auch nicht mehr durch die Nachlieferung einer mangelfreien App beseitigt. Solche Schäden, die an anderen Rechtsgütern durch einen Mangel verursacht werden (Mangelfolgeschaden) sind vom Verkäufer ebenfalls zu ersetzen, §§ 437 Nr. 3 i.V.m. 280 Abs. 1 BGB.94 Durch die Lieferung einer mangelhaften App verletzt der Verkäufer also seine Leistungspflicht aus dem Kaufvertrag. Aus dieser Pflichtverletzung können die oben genannten Ansprüche der Mängelhaftung begründet sein. Eine Besonderheit beim Schadensersatz besteht darin, dass der Anspruch Verschulden voraussetzt. Der Verkäufer haftet nicht, wenn er darlegt und beweist, dass ihn kein Verschulden an der mangelhaften Leistung trifft, § 280 Abs. 1 Satz 2 BGB. Es kommt also darauf an, ob er bei Lieferung vorsätzlich oder fahrlässig gehandelt hat. Vorsätzliches Handeln ist in der Praxis

Die dogmatische Einordnung ist allerdings hoch umstritten, siehe BeckOK BGB/Faust, § 437, Rn. 76. 94 

2  Künstliche Intelligenz im Zivilrecht

91

wenig relevant. Fahrlässig handelt, wer die im Verkehr erforderliche Sorgfalt außer Acht lässt (siehe oben Abschn. 2.3.1). Stellt der Verkäufer das Produkt selbst her, dürfte ein Mangel, der zu erheblichen Folgeschäden beim Nutzer führen kann, meist durch Anwendung der erforderlichen Sorgfalt vermeidbar gewesen sein, denn das Maß der Sorgfalt wird gerade auch unter Berücksichtigung der Schadenseignung, Vorhersehbarkeit und Beherrschbarkeit zu bestimmen sein (siehe zur vergleichbaren Frage bei der Produkthaftung (Abschn. 2.3.3.2). Oft wird der Verkäufer aber – wie auch in unserem Beispielsfall – von Dritten gelieferte Komponenten oder Produkte verwenden. Dann kommt es darauf an, ob sich der Verkäufer ein Verschulden seines Vorlieferanten zurechnen lassen muss. Dies ist umstritten, wird aber von der wohl herrschenden Meinung abgelehnt, soweit der Verkäufer keinen Einblick in die Herstellungsprozesse hat und diese nicht kontrolliert.95 Doch auch hier kommt es auf den Einzelfall an. Beruht die mangelhafte Leistung einer KI beispielsweise auf zuvor nicht erkannten Artefakten in den Trainingsdaten und hatte der Verkäufer der KI die Daten nicht selbst gewonnen und vom Datenlieferanten auch kein Zugriffsrecht auf die Daten erhalten, erscheint die Zurechnung eines etwaigen Verschuldens des Datenlieferanten auf den Verkäufer unbillig. Hat der Verkäufer Fehler bei der Erstellung der KI nicht zu vertreten, insbesondere weil er sich ein Verschulden eines Vorlieferanten nicht zurechnen lassen muss, kommt dennoch eine Haftung für eigenes Verschulden in Betracht, denn die erforderliche Sorgfalt kann auch die Untersuchung der Produkte vor ihrem Verkauf verlangen.96 Zwar wird eine allgemeine Untersuchungspflicht des Wiederverkäufers abgelehnt. Es ist jedoch für den konkreten Einzelfall zu ermitteln, ob und welche Untersuchungen bei dem spezifischen Produkt vom Verkehr redlicherweise vor dem Verkauf erwartet werden können.97 So wird sich der Verkäufer wohl regelmäßig nicht damit entlasten können, er habe die grund-

BGH, NJW 2009, 2676, 2676; BGH, NJW 2008, 2837, 2840; MüKo BGB/Westermann, § 437 Rn. 29 m.w.N. 96  BGH, NJW 1968, 2238, 2239; MüKo BGB/Westermann, § 437 Rn. 29. 97  Jauernig BGB/Berger, § 437, Rn. 22. 95 

92

M. Hartmann

sätzliche Eignung eines Produkts für den vertraglichen Zweck gar nicht geprüft. in unserem Beispielsfall wird der Nutzer von einer Krankenkasse aufgrund der überlegenen Sachkunde und der In­ anspruchnahme besonderen Vertrauens in Fragen der Gesundheitsvorsorge erwarten dürfen, dass eine App zur Erkennung ­gesundheitlicher Risiken von der Krankenkasse vor ihrer Verbreitung auf ihre Tauglichkeit untersucht worden ist. Eine Entlastung der Krankenkasse wird also bezüglich solcher Mängel nicht erfolgreich sein, die bei der sorgfaltsgemäßen Untersuchung der App erkannt worden wären. Eine andere Frage ist es, ob die Krankenkasse im genannten Fall Regress beim Hersteller der App nehmen kann.98 Die Verletzung von Rechtsgütern des Letztverbrauchers führt zu einem Mangelfolgeschaden auch im Verhältnis zwischen Lieferant und Verkäufer, weil letzterer durch den Mangel einem entsprechenden Ersatzanspruch ausgesetzt ist. Dabei handelt es sich zwar nur um eine Vermögenseinbuße und keine unmittelbare Beschädigung eines Rechtsguts des Vertragspartners. Grund der Haftung ist aber die Verletzung einer vertraglichen Pflicht zur mangelfreien Leistung und nicht die Verletzung eines Rechtsguts. Die objektive Minderung des Vermögens des Verkäufers durch die Pflichtverletzung, wenn er gegenüber seinen Kunden für einen Schaden einzustehen hat, ist auch durch die Pflichtverletzung verursacht worden.99 Grundsätzlich ist also ein Rückgriff denkbar. Zu beachten ist aber, dass das Vorliegen eines Mangels im Verhältnis zwischen Verkäufer und Lieferant eigenständig zu prüfen ist. Insbesondere kann die Soll-Beschaffenheit oder auch die übliche Beschaffenheit abweichend zu bestimmen sein. Denkbar ist, dass der Lieferant lediglich eine KI für einen bestimmten Algorithmus zu liefern hat, der Verwender aber gegenüber seinem Kunden für die Eignung in einem bestimmten Kontext einzustehen hat. Bei Handelskauf ist außerdem die sehr kurze Rügefrist aus § 377 HGB zu

Vgl. von Bodungen/Hoffmann, NZV 2016, 503, 508; zur Abdingbarkeit in AGB: Mediger, NJW 2018, 577. 99  Siehe Höpker, [20], S. 125. 98 

2  Künstliche Intelligenz im Zivilrecht

93

beachten, die nicht gegenüber dem Letztverbraucher gilt und so zu einem Auseinanderfallen der Ansprüche führen kann. Für den wichtigen Fall der Aufwendungen für das Entfernen einer mangelhaften und den Einbau oder das Anbringen einer mangelfreien Leistung im Rahmen der Nacherfüllung hat der Gesetzgeber inzwischen einen verschuldensunabhängigen Erstattungsanspruch gesetzlich geregelt, § 439 Abs. 3 BGB, für den bei neu hergestellten Sachen ein Rückgriff auch in der Lieferkette besteht, §  445a BGB.  Wendet man diese Vorschrift auch auf den Kauf von Software oder Daten an, können sich daraus erheb­ liche Erstattungsansprüche bei mangelhafter Leistung ergeben. ­„Entfernen“ und „Einbau“ beim Austausch mangelhafter Software oder Daten kann umfangreiche Zeitaufwände erfordern. Es ließe sich sogar argumentieren, dass für den Zweck des KI-Trainings gekaufte Daten in die KI Software „eingebaut“ werden. Dann wären die Aufwände für ein erneutes Trainieren mit mangelfreien Daten Aufwände, die unabhängig von einem etwaigen Verschulden des Datenlieferanten zu erstatten wären. cc

Bei der Prüfung einer vertraglichen Pflichtverletzung sollte bei KI an folgende Punkte gedacht werden: • Beratung des Anbieters aufgrund überlegener Sachkunde über Einsatzmöglichkeiten und Ein­ schränkungen der konkreten KI • Aufklärung über Einschränkungen der Eignung des zugrunde liegenden Algorithmus • Anleitungen oder Bedienhinweise zur Einrichtung und Verwendung • Dokumentation der Abhängigkeiten und Voraus­ setzungen des Einsatzes einer Komponente • Auswahl der geeigneten KI/Algorithmus • Fehlende oder fehlerhafte Einschränkung des Spielraums der KI (s. o. Kap. 1, Abschn. 1.2.2.2) • Programmiertechnische Standards • Mangelnde Vorkehrungen für vorhersehbare Fehl­ entscheidungen (s. o. Kap.1, Abschn. 1.2.3.1) • Prüfpflichten bei Datenlieferungen • Prüfpflichten vor dem Einsatz einer KI

94

M. Hartmann

Zuletzt ist zu prüfen, ob der Haftungsmaßstab dadurch beeinflusst wird, dass die App umsonst angeboten wird. Es wird vertreten, dass ohne Vereinbarung einer Vergütung eine Softwareüberlassung auf Dauer als Schenkung und auf eine begrenzte Zeit als Leihe einzuordnen sein. Schenker und Verleiher haften nur für Vorsatz, grobe Fahrlässigkeit und arglistiges Verschweigen von Mängeln, §§ 521, 523 Abs. 1, 524 Abs. 1, 599 und 600 BGB. Bei unmittelbarer oder analoger Anwendung des Rechts für Schenkung oder Leihe ist die Haftung also ganz erheblich eingeschränkt. Für vergütungsfrei verbreitete Open Source Software geht die wohl herrschende Meinung von Schenkungsrecht aus.100 Wird die Überlassung der App an Verpflichtungen des Nutzers geknüpft, deren Erfüllung ein wirtschaftlicher Wert zuzumessen ist (bspw. Übermittlung von Daten, Abschluss eines anderen Vertrages als Bedingung), sollte Schenkungsrecht allerdings ausscheiden. Eine Zweckschenkung dagegen läge vor, wenn die Krankenkasse mit der Überlassung lediglich die Kundengewinnung fördern möchte, also den Abschluss eines separaten entgeltlichen Vertrags. Wird um freiwillige Übermittlung der Daten zur Verbesserung der App gebeten, lässt sich ebenfalls eine Zweckschenkung vertreten, die zur Haftungseinschränkung führt. Entscheidend soll sein, ob eine Gegenleistung erwartet oder lediglich erhofft wird.101 Der Einsatz von Modulen, die vergütungsfrei angeboten werden (Bspw. freie Open Source Komponenten) sind also für den Verwender bei Einsatz in kommerziellen Angeboten mit dem Risiko verbunden, selbst gegenüber den Kunden streng zu haften, beim Regress aber aufgrund des verminderten Haftungsmaßstabs bei Schenkung oder Leihe erfolglos zu bleiben.

2.3.3 Deliktische Haftung Deliktische Haftung besteht unabhängig von einer vertraglichen Beziehung zwischen Geschädigtem und Schädiger. Vertragliche

Siehe Kilian/Heussen/Mantz, [25], Kap.  32.6., Rn.  45; Auer-Reinsdorff/ Conrad/Kast, IT-R-HdB, § 12, Rn. 141 ff. m.w.N. 101  Die Einzelheiten sind streitig: MüKo BGB/Koch, § 516, Rn. 29. 100 

2  Künstliche Intelligenz im Zivilrecht

95

und deliktische Haftungsansprüche können daher nebeneinander bestehen nach ihren jeweiligen Anspruchsvoraussetzungen. Die deliktische Haftung entsteht durch die Verletzung von Rechtsgütern, absoluten Rechten oder von Schutzgesetzten. Grund der Haftung ist eine unerlaubte Handlung durch den Schädiger oder die Zurechnung der Gefahren, die mit einer Sache verbunden sind (Gefährdungshaftung). Bei der Rechtsfigur der unerlaubten Handlung kommt es auf ein Verschulden des Schädigers an. Bei der Gefährdungshaftung dagegen, knüpft die Haftung an die Beziehung zu einer Sache an, bspw. bei der Produkthaftung an die Herstellung oder Verbreitung des Produkts oder bei der Halterhaftung beim Kraftfahrzeug an die Verfügungsgewalt und das wirtschaftliche Betreiben des Fahrzeugs. Durch die Gefährdungshaftung wird das Risiko von als besonders gefahrgeneigt angesehenen Gefahrenquellen zugerechnet. Bei der Produkthaftung trägt damit derjenige auch das Risiko, der die wirtschaftlichen Vorteile aus dem Produktvertrieb ziehen und die Produkte auf Fehler kontrollieren kann. Die Haftung des Fahrzeughalters führt mit der über das Fahrzeugkennzeichen dokumentierten Versicherungsund Zulassungspflicht dazu, dass bei Unfällen von Kraftfahrzeugen immer ein versicherter Haftungsgegner in Anspruch genommen werden kann. Durch die Versicherungspflicht wird das Risiko der Zahlungsunfähigkeit und -unwirksamkeit des Haftenden gemindert. Durch KI gesteuerte Roboter werden offenbar als eine vergleichbare Gefahrenquelle wahrgenommen, weshalb in der EU über eine Kennzeichnungspflicht „fortschrittlicher“ Roboter und eine entsprechende Gefährdungshaftung nachgedacht wird.102 Eine Haftungslücke besteht allerdings nach aktueller Rechtslage nicht.103 Es darf auch bezweifelt werden, dass in der Zukunft Roboter mit einem Schädigungspotenzial in die Umwelt entlassen werden, Zivilrechtliche Regelungen im Bereich Robotik, Entschließung des Europäischen Parlaments vom 16.02.2017 (2018/C 252/25) unter Z ff., https://eurlex.europa.eu/legal-content/DE/TXT/PDF/?uri=CELEX:52017IP0051&from=IT. Zugegriffen am 24.10.2019. 103  So auch Denga, CR 2019, 69; a. A. Borges, NJW 2018, 977, 982. 102 

96

M. Hartmann

das dem von Fahrzeugen bei der Einführung der Halterhaftung im Jahr 1909 entspricht. Damals gab es bei einem Bestand von 41.727 motorisierten Fahrzeugen 6.063 polizeilich erfasste Unfälle – davon 2.736 mit Personenschaden.104 Rechnerisch waren also 6,6 Prozent der motorisierten Fahrzeugen in Unfälle mit Verletzen involviert. Bei vergleichbarer Gefährlichkeit dürfte heute aufgrund der straf- und zivilrechtlichen Verantwortung wohl niemand erwägen, ein solches Produkt auf den Markt zu bringen. Neben der Verletzung konkreter Rechtsgüter wird auch für die Schäden aus der Verletzung von Schutzgesetzten gehaftet, § 823 Abs.  2 BGB.  Schutzgesetze sind Normen, die zumindest auch (neben dem Schutz von Interessen der Allgemeinheit) dazu dienen, den Einzelnen oder einzelne Personenkreise gegen die Verletzung eines bestimmten Rechtsguts zu schützen. Beispiele sind die Gesetze zur Produktsicherheit, den Medizinprodukten oder auch die Straßenverkehrs-Zulassungs-Ordnung.105 Nach Deliktsrecht können auch verschiedene Personen für denselben Schaden haften. Sie sind dann Gesamtschuldner, §§  830,  840 BGB.  Jeder, der eine unerlaubte Handlung begeht oder daran mitwirkt haftet für den verursachten Schaden. Eine Auswahl des Schädigers, nach der erheblichsten Ursache (causa proxima), wie sie das anglo-amerikanische Recht kennt,106 hat nur Eingang ins Schifffahrtsrecht gefunden.107 Nach Deliktsrecht können also insbesondere alle an der Erstellung, Konfiguration, dem Trainieren, der Integration und Anwendung einer KI Beteiligten auch nebeneinander haften.

Verkehrsunfälle Zeitreihen, Statistisches Bundesamt, 2019, S. 16; https:// www.destatis.de/DE/Themen/Gesellschaft-Umwelt/Verkehrsunfaelle/Publikationen/Downloads-Verkehrsunfaelle/verkehrsunfaelle-zeitreihen-pdf-5462403.pdf?__blob=publicationFile. Zugegriffen am 24.10.2019. 105  Jauernig BGB/Teichmann, § 823, Rn. 40–46, 125. 106  Denga, CR 2018, 69, 72. 107  BGH, Urt. v. 27.05.2015, IV ZR 292/13. 104 

2  Künstliche Intelligenz im Zivilrecht

97

2.3.3.1  H  aftung für unerlaubte Handlungen nach § 823 Abs. 1 BGB Die zentrale Vorschrift der deliktsrechtlichen Haftung für unerlaubte Handlungen, §  823 Abs.  1 BGB, setzt voraus, dass der Schädiger durch eine kausale Verletzungshandlung ein geschütztes Rechtsgut schuldhaft (d. h. vorsätzlich oder fahrlässig) widerrechtlich verletzt, wodurch dem Geschädigten ein kausaler Schaden entstanden ist. Beim Einsatz von KI sind Fälle zu erwarten, bei denen viele der ungeklärten dogmatischen Fragen der deliktischen Haftung zum Tragen kommen werden. Im oben genannten Beispiel der App zum Erkennen von Hautkrebs könnte die fehlerhafte Nichterkennung eines Tumors eine einzelne, nicht erklärbare und nicht vorhergesehene Ausnahme sein. Während die Rechtsgutsverletzung in Form der Beeinträchtigung der Gesundheit des Nutzers vorliegt, kann über die Pflichtwidrigkeit des Handelns, die objektive Zurechnung und das Verschulden also gestritten werden. Rechtsgutsverletzung Als verletztes Rechtsgut kommen etwa in Betracht: Leben, Körper und Gesundheit eines Menschen. Eine Körperverletzung liegt bei einem Eingriff in die körperliche Integrität vor, eine Gesundheitsverletzung bei Störung von Körperfunktionen. Auch die körperliche Fortbewegungsfreiheit ist als Rechtsgut von § 823 Abs. 1 BGB umfasst. § 823 Abs. 1 BGB schützt ferner das Eigentum. Das wird nach §  903 BGB als umfassendes Herrschaftsrecht über eine Sache verstanden. Es kann verletzt sein, wenn es entzogen wird, durch Vorenthaltung des Besitzes oder Substanzverletzungen.108 Weiter nennt § 823 Abs. 1 BGB auch das sog. „sonstige Recht“, das als Rechtsgut verletzt werden kann. Hierunter zählen absolute Rechte, z. B. eigentumsähnliche Rechte, insbesondere Immaterialgüterrechte, d. h. Patent-, Urheber- und Markenrechte und bestimmte Persönlichkeitsrechte.

Siehe eingehend: Lorenz, JuS 2019, 852, 853.

108 

98

M. Hartmann

Als sonstiges Recht kommen weiter auch Rahmenrechte in Betracht, zu denen etwa das Recht am eingerichteten und ausgeübten Gewerbebetrieb zählt, das jede berufliche Tätigkeit vor unmittelbaren betriebsbezogenen Eingriffen schützt sowie das allgemeine Persönlichkeitsrecht, inklusive des Schutzes der persönlichen Ehre. Das Vermögen als solches ist hingegen kein nach § 823 Abs. 1 BGB geschütztes Rechtsgut. Wer also auf eine fahrlässig falsche Börsenprognose eines Dritten vertraut, kann – ohne Hinzutreten weiterer Umstände und außerhalb einer Vertragsbeziehung – eine dadurch verursachte Vermögensminderung nicht nach Deliktsrecht geltend machen. Auch wer einen wichtigen Auftrag verliert, weil er in einem durch einen schuldhaften Verkehrsunfall herbeigeführten Stau aufgehalten wird, erhält diese Vermögensminderung nicht vom Schädiger ausgeglichen. Beschädigt ein Baggerführer fahrlässig ein Stromkabel, so soll er nicht für den Betriebsstillstand auf einem benachbarten Grundstück haften, weil er nicht in das Eigentum des betroffenen Unternehmens eingegriffen hat. Vermögensschäden zählen dagegen zum ersatzpflichtigen Scha­ den, sofern ein anderes Rechtsgut verletzt und dadurch ein wirtschaftlicher Schaden verursacht wurde. So ist der entgangene Gewinn aus dem verlorenen Auftrag einer durch den Unfall unmittelbar geschädigten Person ein zu erstattender Schaden. Diese Differenzierung wird gerade deswegen vorgenommen, um den Kreis der Berechtigten und den Umfang der Schäden bei unerlaubten Handlungen einzugrenzen, führt aber zu einer unübersichtlichen und schwer verständlichen Kasuistik.109 Der Vermögensschaden ist auch zu ersetzen bei einem sogenannten „Eingriff in den eingerichteten und ausgeübten Gewerbebetrieb“. Dabei handelt es sich um eine von der Rechtsprechung entwickelte Privilegierung von Unternehmen, deren Vermögensschäden eben doch ersetzt werden, weil das Unternehmen als solches ein von

Siehe mit weiteren Nachweisen: HK-BGB/Staudinger, §  823, Rn.  24; BeckOK BGB/Förster, § 823, Rn. 3. 109 

2  Künstliche Intelligenz im Zivilrecht

99

§ 823 Abs. 1 BGB erfasstes Schutzgut darstellen soll, dessen Verletzung schadensersatzpflichtig macht.110 Es ist offenkundig, dass KI an der Verletzung all dieser Rechtsgüter ihren Anteil haben kann. Unerlaubte Handlung/Verkehrspflichten Eine Handlung, die zu einer Rechtsgutsverletzung führt, löst nur dann die Haftung aus, wenn sie pflichtwidrig war. Im Straßenverkehr etwa sind die einschlägigen Vorschriften zu beachten. Wer als Fahrzeugführer in einen Unfall verwickelt ist, hat zwar kausal zu einer Rechtsgutsverletzung beigetragen, haftet aber nur, wenn er gegen eine Rechtspflicht verstoßen hat. Diese deliktischen Sorgfaltspflichten werden „Verkehrspflichten“ genannt. Die Rechts­ gutsverletzung muss auf ein positives Tun, d.  h. eine Handlung oder ein pflichtwidriges Unterlassen zurückzuführen sein. Ein Unterlassen ist dann pflichtwidrig, wenn sich aus Gesetz111 oder besonderer Verantwortung eine Pflicht für den Geschädigten zum Handeln ergibt (sogenannte „Garantenstellung“). Eine solche Garantenstellung besteht bei Verkehrssicherungspflichten. Danach muss derjenige, der durch Übernahme einer Aufgabe oder durch vorangegangenes Tun eine Gefahrenquelle geschaffen hat oder andauern lässt, alle zumutbaren Maßnahmen ergreifen, um andere vor der Verletzung ihrer Rechtsgüter zu bewahren. Durch die Annahme solcher Verkehrspflichten wird also eine der Gefährdungshaftung angenäherte Situation geschaffen. Konkretisiert werden die Verkehrspflichten anhand des Grades der Gefährdung, der Art und Schwere des möglichen Verletzungserfolgs sowie der gegenüber der Gefährlichkeit bestehenden positiven Bedeutung der Handlung für den Akteur.112 Bei der retrospektiven Beurteilung durch ein Gericht wird aus dem Eintreten eines ­vermeidbaren erheblichen Schadens der Schluss auf die Verletzung einer Ver-

Siehe umfassend: MüKo BGB/Wagner, § 823, Rn. 316 ff.; Jauernig/Teichmann, BGB, § 823, Rn. 95a ff.; BeckOK BGB/Förster, § 823, Rn. 177 ff. 111  Zum Verhältnis der Garantenpflichten aus Gesetz zu den allgemeinen Sorgfaltspflichten: BGH, Urt. v. 27.02.2020 -VII ZR 151/18 Rn 50. 112  Spickhoff, JuS 2016, 865, 870. 110 

100

M. Hartmann

kehrssicherungspflicht naheliegen. Die Rechtsprechung hat Typen von Verkehrspflichten herausgearbeitet. Für den Bereich der KI sind vor allem die Verkehrspflichten beim Inverkehrbringen von Gegenständen, die unter den Begriffen Produzenten- und Produkthaftung behandelt werden, relevant. Es sollte aber erkennbar sein, dass dieses Konzept der Verkehrspflichten es der Rechtsprechung ermöglicht, jederzeit den Ersatz von Schäden zuzusprechen, indem einem Produkt eine besondere Gefährlichkeit zugemessen wird. Schon aus diesem Grund ist die Annahme von Haftungslücken dogmatisch wenig überzeugend. Erweist sich ein auf KI beruhendes Angebot (bspw. ein Haushaltsroboter) als in irgendeiner Weise gefahrgeneigt für die geschützten Rechtsgüter, so dürfte die Rechtsprechung mit der Annahme entsprechender Verkehrspflichten zur Eingrenzung dieses Risikos reagieren. Haftungsbegründende Kausalität Gehaftet wird nur, wenn die Handlung für die Rechtsgutsverletzung kausal geworden ist (sogenannte haftungsbegründende Kausalität). Nach der Äquivalenztheorie ist jede Handlung kausal für eine Rechtsgutsverletzung, die nicht hinweggedacht werden kann, ohne dass letztere entfiele („conditio sine qua non“). Für das Unterlassen ist die umgekehrte Äquivalenztheorie heranzuziehen, nach der eine unterlassene Handlung kausal ist, wenn die Rechtsgutsverletzung bei Vornahme der Handlung ausgeblieben wäre. Für die Annahme der Kausalität in diesem Sinne ist ein Grad von Gewissheit ausreichend, der Zweifeln eines besonnenen, gewissenhaften und lebenserfahrenen Beurteilers Schweigen gebietet.113 Die Äquivalenztheorie führt zu sehr langen Ursachenketten und ist daher nach ganz herrschender Meinung weiter einzugrenzen. Über die hierzu anzuwendenden dogmatischen Mittel herrscht indes schon jahrzehntelanger Streit.114

BGH, NJW 2008, 2846, 2848; MüKo BGB/Wagner, [38], § 823, Rn. 67. MüKo BGB/Wagner, [38], §  823, Rn.  67  ff.; Jauernig BGB/Teichmann, § 823, Rn. 21 ff. 113  114 

2  Künstliche Intelligenz im Zivilrecht

101

Die Verletzung eines Interesses soll nur dann die Haftung begründen, wenn es in den sachlichen Schutzbereich der einschlägigen deliktischen Sorgfaltspflicht fällt und der Träger dieses Inte­ resses zu dem Personenkreis zählt, zu dessen Schutz die verletzte Sorgfaltspflicht besteht (sog. „Schutzzweckzusammenhang“).115 Liegt die Rechtsgutsverletzung völlig außerhalb der zu erwartenden Lebenswahrscheinlichkeit, ist sie objektiv nicht zurechenbar, da sich das gesetzte (rechtlich missbilligte) Risiko nicht im Verletzungserfolg widerspiegelt (sog. „Inadäquanz“). In unserem oben genannten Beispiel einer App zur Erkennung von Hautkrebs, die eine falsche Entwarnung gibt, kann beispielsweise nach der Äquivalenztheorie wohl Kausalität zwischen Entwarnung und Gesundheitsschaden eines unbehandelten Krebses angenommen werden. Sofern die App gar nicht für den Einsatz beim Endnutzer programmiert worden wäre, könnte die Haftung am Schutzzweck scheitern. Es könnte fraglich sein, ob die Kausalität von Handlungsabläufen durch zukünftig „autonom“ dazwischentretende KI unterbrochen wird. Angenommen X lässt neben einer Straße einen Luftballon fliegen. Ein „autonomes“ Fahrzeug bremst in Verkennung der Ungefährlichkeit stark und verletzt dadurch eine Person. Nach der Äquivalenztheorie läge haftungsbegründende Kausalität für die Körperverletzung durch X vor. Der „autonome“ Eingriff in den Kausalverlauf durch die KI könnte auf der Ebene der haftungsbegründenden Kausalität durch eine über die Äquivalenztheorie hinausgehende Eingrenzung der zurechenbaren Verursachung Rechnung getragen werden, wenn das „autonome“ Verhalten nicht mehr adäquat erschiene. Derzeit scheint es aber eher wahrscheinlich, etwaige Korrekturen bei den Verkehrspflichten oder dem Verschulden vorzunehmen. Rechtswidrigkeit Grundsätzlich ist die Schädigung anderer durch unerlaubte Handlungen rechtswidrig. Zu prüfen sind aber Rechtfertigungsgründe wie z. B. die Einwilligung (insbesondere bei medizinischen Ein-

MüKo BGB/Wagner, [38], § 823, Rn. 71; Palandt/Sprau, § 823, Rn. 59.

115 

102

M. Hartmann

griffen, § 630 d), Notwehr (§ 227), Notstand (§ 228), Selbsthilfe (§ 229) oder auch strafrechtliche Rechtfertigungsgründe. Willigt ein Patient wirksam ein, von einer KI operiert zu werden, kann er sich nicht auf deliktische Ansprüche berufen, soweit die Einwilligung gereicht hat. Die juristische Schwierigkeit liegt hier also in der Aufklärung und der Formulierung geeigneter ­Einwilligungen. Verschulden Bei Rechtsgutsverletzungen, die im Zustand der Bewusstlosigkeit oder in einem dauerhaften Zustand krankhafter Geistesstörung, der die freie Willensbestimmung ausschließt, verursacht oder von nicht deliktsfähigen Minderjährigen begangen wurden, fehlt es am Verschulden. Die Deliktsfähigkeit fehlt derzeit nach herrschender Meinung auch Robotern oder einer KI.116 Die Diskussion über eine für die KI zu schaffende Rechtsperson, um sie unmittelbar deliktisch haftbar zu machen,117 übersieht, dass die KI auch in Zukunft ein determiniertes System bleibt (s. o. Kap. 1). „Schuld“ kann die KI nicht auf sich laden, weil sie keine Handlungsalternative hat. Es macht also wenig Sinn, dieses Konzept auf KI zu übertragen. Eher ist zu erwarten, dass mit den unendlichen Möglichkeiten einer KI die menschliche Autonomie als Illusion entlarvt werden wird. Wie bei der vertraglichen Haftung liegt schuldhaftes Verhalten im Deliktsrecht regelmäßig vor, wenn dem Schädiger entweder Vorsatz oder Fahrlässigkeit zur Last zu legen ist.118 Auch im Deliktsrecht ist für die Bestimmung der erforderlichen Sorgfalt bei der Prüfung der Fahrlässigkeit ein objektiver Maßstab anzulegen. Nun werden die am Einsatz von KI beteiligten Personen oftmals keine Kenntnis der Entscheidungswege der KI und damit auch kein Bewusstsein über die zur Rechtsgutsverletzung führenden Abläufe haben.119 Auch die technische Beherrschbarkeit kann

Müller-Hengstenberg/Kirn, CR 2018, 682, 685. Siehe Keßler, MMR 2017, 589, 593. 118  BeckOK BGB/Förster, § 823, Rn. 38. 119  Müller-Hengstenberg/Kirn, CR 2018, 682, 689. 116  117 

2  Künstliche Intelligenz im Zivilrecht

103

fraglich sein, weil ein konkreter Eingriff in die Entscheidungsparameter bei gelernten Systemen oft nicht aussichtsreich erscheint: Könnten die Parameter bestimmt werden, bedürfte es keiner KI. Es kann also am Verschulden des Handelnden beim Einsatz von KI fehlen, weil die Entscheidung der KI nicht menschlich vorhersehbar war. Dies könnte angenommen werden bei der automatisierten Erstellung oder Verbreitung von Content durch ein KI im Internet, der absolute Rechte Dritter (bspw. Urheber-, Persönlichkeits- oder Kennzeichenrechte) verletzt. Die Entwickler, Hoster oder auch Betreiber der KI hätten zwar kausal zur Rechtsverletzung beigetragen, sofern die konkrete Rechtsverletzung jedoch nicht vorhersehbar war und es auch nicht im Rahmen von Verkehrssicherungspflichten geboten erschien, diese konkrete Rechtsverletzung zu verhindern, könnte eine Haftung entweder mangels objektiver Zurechnung oder auf der Ebene des Verschuldens ausscheiden.120 Beim Aschaffenburger Spurassistentenfall (siehe Kap. 8) hatte der Hersteller den Unfall als ein mögliches Risiko des Spurassistenten offenbar nicht vorhergesehen. Trotz Rechtsgutsverletzung, Handlung und Kausalität könnte daher eine Haftung für Handlungsunrecht aus dem Einbau des Spurhalteautomatismus abzulehnen sein, weil niemand schuldhaft gehandelt hat. Bei näherer Betrachtung zeigt der Fall aber, dass die Frage der Haftung hier eher bei der Feststellung der Verkehrspflichten entschieden wird. Entscheidend ist nämlich, welches Verhalten als fahrlässig anzusehen ist, ob und welche Sorgfaltspflicht verletzt worden sein könnte. Käme man zu dem Ergebnis, dass es fahrlässig ist, einen Spurhalteassistenten einzubauen ohne zugleich die Steuerungsfähigkeit des Fahrers sicherzustellen, so besteht das Verschulden gerade in dem Außerachtlassen der gebotenen Sorgfalt. Die Fahrlässigkeit fließt bei näherer Betrachtung also in die Bestimmung der Verkehrspflichten bereits ein.121 Daher werden die typischen

Vgl. Schaub, InTeR 2019, 2. Zur dogmatischen Einordnung: MüKo BGB/Wagner, §  823, Rn.  31; Palandt/Sprau, § 823, Rn. 45. 120  121 

104

M. Hartmann

Fragen der deliktischen Haftung für KI im Zusammenhang mit der Produzentenhaftung behandelt (s. u. Abschn. 2.3.3.2). Schaden und haftungsausfüllende Kausalität Inhalt und Umfang des Schadensersatzes sind in den §§ 249 ff. BGB geregelt. Der Geschädigte ist so zu stellen, wie er stünde, wenn das Schadensereignis hinweggedacht wird. Auch immaterielle Schäden können im Rahmen von § 249 Abs. 1 BGB bzw. § 253 BGB ersetzt werden. Auf dieser Ebene ist schließlich ein etwaiges Mitverschulden des Geschädigten zu berücksichtigen, § 254 BGB.

2.3.3.2  Produzenten- und Produkthaftung Die deliktische Haftung beim Inverkehrbringen von Produkten aller Art ist geprägt durch die Institute der Produzenten- und der Produkthaftung. Beide Rechtsinstitute wurden über lange Zeit parallel entwickelt. Die Produzentenhaftung ist die sich aus den allgemeinen Verkehrspflichten ableitende Haftung für unerlaubte Handlungen. Die Produkthaftung ist eine besondere Form der Gefährdungshaftung und als solche gesetzlich geregelt. Beide ­Haftungssysteme haben sich inzwischen so weit angenähert, dass nur noch wenige Unterschiede bei den Haftungsvoraussetzungen und den Rechtsfolgen der Haftung bestehen. 2.3.3.2.1  Produzentenhaftung Unter Produzentenhaftung versteht man die Haftung für die besonderen Verkehrspflichten bei der Herstellung und dem Vertrieb von Produkten als Unterfall der unerlaubten Handlung, §  823 BGB. Die Produzentenhaftung erfordert also alle Voraussetzungen der Haftung für eine unerlaubte Handlung (s. o. Abschn. 2.3.3.1).122 Die Besonderheit der Produzentenhaftung besteht in der Bestimmung dieser Verkehrspflichten anhand des Produktabsatzes. Wie oben gezeigt führen Verkehrspflichten dazu, dass ihre Nichtbeachtung die Annahme der fahrlässigen Verursachung der dadurch entstandenen Schäden rechtfertigt.

BeckOK BGB/Förster, § 823, Rn. 292, 673, 675, 683.

122 

2  Künstliche Intelligenz im Zivilrecht

105

Nachdem die Verkehrspflichten nach objektivem Maßstab bestimmt werden, ist die Produzentenhaftung einer Gefährdungshaftung sehr weit angenähert. Zwar kann sich ein Produzent immer entlasten, indem er die Einhaltung aller Verkehrssicherungspflichten darlegt. Nachdem deren Bedeutung aber in der Vermeidung von Rechtsgutsverletzungen liegt, deutet der Eintritt eines Schadens darauf hin, dass der Verkehr vor dem Eintritt dieses Schadens nicht ausreichend gesichert worden ist. cc

Die herstellerspezifischen Verkehrspflichten werden traditionell eingeteilt in Pflichten bei der • Konstruktion/Entwicklung, • Fabrikation • Instruktion (Gebrauchsanweisungen und Warnungen für die Produkte) • Produkt- und Markbeobachtung

Ein Sonderfall sind ungefährliche, aber wirkungslose Produkte. Hier soll gehaftet werden, wenn der Benutzer von der Verwendung eines anderen, wirksamen Produktes im Vertrauen auf die Wirksamkeit des Produktes absieht.123 Ein Beispiel wäre eine wirkungslose KI-Firewall. Erwartbare Sicherheit Grundfrage ist damit immer das Außerachtlassen der erforderlichen Sorgfalt. Ein allgemeiner Sorgfaltsmaßstab existiert nicht. Die Rechtsprechung behilft sich mit Allgemeinplätzen. So prüft der BGH die Sorgfaltspflichten anhand folgender Kriterien: „Eine Pflicht zur Abwehr aller denkbaren Gefahren gibt es indes nicht. Ein allgemeines Verbot, andere nicht zu gefährden, wäre utopisch. Eine Verkehrssicherung, die jede Schädigung ausschließt, ist im praktischen Leben nicht erreichbar. Haftungsbegründend wird eine Gefahr erst dann, wenn sich für ein sachkundiges Urteil die BGH, Urt. v.  17.03.1981, VI ZR 191/79, Rn.  11; bestätigt durch BGH, Beschl. v. 02.07.2019, VI ZR 42/18, Rn. 13. 123 

106

M. Hartmann

nahe liegende Möglichkeit ergibt, dass Rechtsgüter anderer verletzt werden. Deshalb muss nicht für alle denkbaren Möglichkeiten eines Schadenseintritts Vorsorge getroffen werden. Es sind vielmehr nur die Vorkehrungen zu treffen, die geeignet sind, die Schädigung anderer tunlichst abzuwenden. Der im Verkehr erforderlichen Sorgfalt ist genügt, wenn im Ergebnis derjenige Sicher­heitsgrad erreicht ist, den die in dem entsprechenden Bereich herrschende Verkehrsauffassung für erforderlich hält. Daher reicht es anerkanntermaßen aus, diejenigen Sicherheitsvorkehrungen zu treffen, die ein verständiger, umsichtiger, vorsichtiger und gewissenhafter Angehöriger der betroffenen Verkehrskreise für ausreichend halten darf, um andere Personen vor Schäden zu bewahren und die den Umständen nach zuzumuten sind.“124

Es werden also subjektive („Verkehrsauffassung“), objektive („sachkundiges Urteil“) und normative („halten darf“) Elemente vermengt. Mit einem solchen Maßstab lässt sich eine hohe Varianz von Entscheidungen begründen. Zwar darf auf Entwicklungsrisiken, die zum Zeitpunkt der Verkehrsöffnung unvorhersehbar waren, nicht abgestellt werden, denn niemand kann für noch unbekannte Sicherungsmöglichkeiten haftbar gemacht werden.125 Die Rechtsprechung betrachtet Schadensfälle aber immer ex post. Im Rückblick erscheinen Fehler leicht vermeidbar. Die unvorhergesehenen Schadensfälle werden mit ihrem Eintritt vorhersehbar. Verkürzt ausgedrückt, trifft den Hersteller eines Produktes also die Verkehrspflicht, die verobjektivierten Sicherheitserwartungen für das konkrete Produkt zu erfüllen. Dieser Maßstab gilt letztlich sowohl, für Produzenten- wie für Produkthaftung (siehe unten Abschn. 2.3.3.2.2).126 Die Bestimmung des Sorgfaltsmaßstabs entscheidet darüber, ob ein KI-Produkt mit einem vertretbaren Haftungsrisiko auf den Markt gebracht werden kann. Für ein Unternehmen, das vor der Entscheidung über den Einsatz von KI steht, ist die Bestimmung

BGH, Urt. v.  25.02.2014, VI ZR 299/13, Rn.  9; BeckOK BGB/Förster, § 823, Rn. 293. 125  Denga, CR 2018, 69,73. 126  BGH, Urt. v.  16.06.2009, VI ZR 107/08, Rn.  12; MüKo BGB/Wagner, ProdHaftG, § 3, Rn. 3; Grützmacher, CR 2016, 695, 696. 124 

2  Künstliche Intelligenz im Zivilrecht

107

des Spielraums zwischen erlaubtem und verbotenem Risiko entscheidend. Wie oben gezeigt, lässt sich die Entscheidung einer KI nur auf Wahrscheinlichkeiten begrenzen (s. o. Kap. 1). Damit ist auch die Wahrscheinlichkeit einer falschen Entscheidung „eingebaut“. Für den Hersteller stellt sich nun die Frage, ob das sich aus der Wahrscheinlichkeit ergebende Risiko einer falschen Entscheidung noch erlaubt ist oder nicht und dann zu der der Höhe nach unbegrenzten Haftung aus Deliktsrecht führen kann. Zwar besteht diese Problematik auch bei der Produktion sonstiger Güter – etwa in Form der Toleranzen – doch für eine KI ist ihr statistisch ermittelbarer Fehlerwert typisch. Ausgangspunkt einer Risikobewertung werden die Sicherheitsstandards der konkreten Branche sein. Die Verletzung normierter Standards wird regelmäßig eine Haftung begründen. Soweit keine Standards bestehen, ist der Stand der Wissenschaft und Technik zu berücksichtigen. Dieser ist nicht mit Branchenüblichkeit gleichzusetzen; die in der jeweiligen Branche tatsächlich praktizierten Sicherheitsvorkehrungen können durchaus hinter der technischen Entwicklung und damit hinter den rechtlich gebotenen Maßnahmen zurückbleiben.127 Es dürfte schwerfallen, für KI einen Stand der Wissenschaft und Technik zu ermitteln, da der Markt und die Technik sich rasant entwickeln. Vor Gericht wird mit der Klärung dieser Frage ein Sachverständiger zu beauftragen sein, denn das Gericht selbst wird nicht in der Lage und damit auch nicht befugt sein, dies selbst beurteilen zu können.128 Die Sicherheit vergleichbarer Produkte ist ein weiterer Aspekt bei der Risikoabwägung. Insbesondere Vorkehrungen anderer Hersteller zur Vermeidung von Risiken werden regelmäßig nicht ohne Grund unterbleiben können. Zwar reicht die Branchenüblichkeit nicht aus, um ein unsicheres Produkt vertreiben zu dürfen, die branchenübliche Sicherheit muss aber mindestens eingehalten sein. So ist in der Rechtsprechung etabliert, dass bei Medizinprodukten eine um den Faktor 20 geringere Sicherheit (Ausfallrate/Bruchrate) jedenfalls nicht die berechtigte Sicher-

BGH, Urt. v. 16.06.2009, VI ZR 107/08, Rn 16. BGH, Beschl. v. 06.03.2019, VII ZR 303/16.

127  128 

108

M. Hartmann

heitserwartung bietet.129 Die Branchenüblichkeit stellt also einen Level dar, der nicht unterschritten werden darf, ist aber nicht der Maßstab dafür, ob dieser Level ausreicht. Sind mit der Produktnutzung einhergehende Risiken nicht zu vermeiden, sind diese mit dem Nutzen des Produkts abzuwägen. Ein gefahrträchtiges Produkt ohne überwiegenden Nutzen darf nicht in den Verkehr gebracht werden.130 Dies ergibt sich außerdem auch aus der möglichen Fahrlässigkeitsstrafbarkeit (siehe dazu Kap. 8). Eine allgemeine Aussage welcher Nutzen es rechtfertigt, welches Risiko mit welcher Eintrittswahrscheinlichkeit einzugehen, lässt sich nicht treffen. Das ist eine außerordentlich missliche Situation für die Entwicklung innovativer Produkte unter Einsatz von KI. Statt über nicht bestehende Haftungslücken zu forschen, wäre es deutlich hilfreicher, die Grenzen zivil- und strafrechtlicher Haftung vorhersagbarer zu gestalten. Das allgemeine Lebensrisiko abzufedern kann zur Aufgabe des Staates erkoren, sollte aber nicht den Unternehmen aufgebürdet werden. Einen Ausweg aus dem Haftungsrisiko bieten die Instruktionen. So beruht das Inverkehrbringen (teil)autonomer Fahrzeuge maßgeblich auf der Möglichkeit, den Fahrer zu instruieren, dass er allein verantwortlich bleibt für das Führen des Fahrzeugs (siehe dazu Kap. 3). Sonst wäre das Risiko dieser Produkte derzeit zu hoch. Ein Schwerpunkt bei der Produktentwicklung mit KI wird entsprechend auf dem Abfangen zu erwartender Fehlentscheidungen der KI bei der Konstruktion des Produkts und bei entsprechenden Instruktionen liegen. Außerdem sind der Markt und das Produkt im Einsatz zu beobachten. Das kann zusammenwirken, etwa in Änderungen der Konstruktion und verbesserten Instruktionspflichten nach einem Unfall im Produkteinsatz.131 BGH, Urt. v.  09.06.2015, VI ZR 284/12  – Boston Scientific; KG, Urt. v. 27.08.2015, 20 U 43/12. 130  BGH, Urt. v. 16.06.2009, VI ZR 107/08, Rn 17. 131  Siehe etwa den Bericht und die Empfehlungen der NTSB zum tödlichen Unfall eines Tesla Model S 70D am 07.05.2016 im Autopilot-Mode https:// www.ntsb.gov/investigations/AccidentReports/Reports/HAR1702.pdf, Zugegriffen am 16.01.2020. 129 

2  Künstliche Intelligenz im Zivilrecht

109

2.3.3.2.2  Die Produkthaftung In Deutschland wurde die Produkthaftung als verschuldensunabhängige Gefährdungshaftung 1989  in Umsetzung der europäischen Richtlinie RL 85/374/EWG gesetzlich geregelt. Es besteht seither ein einheitlicher europäischer Rahmen für die Haftung für Schäden aus fehlerhaften Produkten. Die Haftung nach dem Produkthaftungsgesetz (ProdHaftG) steht neben anderen Ansprüchen des Geschädigten, denn die Produkthaftung lässt andere Haftungsansprüche ausdrücklich unberührt, §  15 Abs.  2 ProdHaftG. Dies führte in der Vergangenheit dazu, dass die Produzentenhaftung von der Rechtsprechung neben der Produkthaftung angewandt und weiterentwickelt wurde. Anspruchsvoraussetzungen, ersatzfähige Schäden und Verjährung waren unterschiedlich geregelt, sodass die Produzentenhaftung meist die „bessere“ Anspruchsgrundlage für die Geschädigten war. Inzwischen sind beide Haftungssysteme jedoch weitgehend angeglichen. Die Produzentenhaftung wurde durch weitgehende Verkehrspflichten und Beweislastregeln faktisch zur Gefährdungshaftung. Das Produkthaftungsgesetz wurde bezüglich der ersatzfähigen Schäden erweitert (Ersatz immaterieller Schäden, § 7 Abs. 3 und § 8 Abs. 2 ProdHaftG). Der durch ein fehlerhaftes Produkt Geschädigte kann heute seine Schäden meist aus beiden Haftungssystemen ersetzt bekommen. Identisch sind die Anspruchsgrundlagen und Rechtsfolgen aber nicht. Deshalb wird in der Praxis meist sowohl aus Produzenten- als auch aus Produkthaftung vorgegangen. Auch bei der Produkthaftung beginnt die Prüfung bei einer Rechtsgutsverletzung, § 1 Abs. 1 ProdHaftG, weiterhin muss ein Produkt nach § 2 ProdHaftG gegeben sein, welches einen Fehler, § 3 ProdHaftG, aufweist. Zudem ist haftungsbegründende Kausalität bezüglich der Rechtsgutsverletzung des Geschädigten und des Produktfehlers erforderlich. Anspruchsgegner ist der Produkthersteller nach § 4 ProdHaftG bzw. der Quasi-Hersteller, der Importeur oder Lieferant.132

Einen guten Überblick vermittelt: MüKo BGB/Wagner/Einleit., ProdHaftG, § 4, Rn. 16. 132 

110

M. Hartmann

Die zentrale Haftungsnorm im Produkthaftungsgesetz ist § 1 Abs. 1 Satz 1 ProdHaftG: Wird durch den Fehler eines Produkts jemand getötet, sein Körper oder seine Gesundheit verletzt oder eine Sache ­beschädigt, so ist der Hersteller des Produkts verpflichtet, dem Geschädigten den daraus entstehenden Schaden zu ersetzen. „Produkte“ im Sinne des Gesetzes sind bewegliche Sachen und Elektrizität, § 2 ProdHaftG. Nach herrschender Meinung fällt auch Software unter diesen Produktbegriff, soweit sie auf einem Datenträger vertrieben wird.133 Für elektronische Informationen oder Software die ohne Überlassung einer körperlichen Festlegung genutzt werden können, also insbesondere für Software per Download oder Cloud-Nutzungen, ist umstritten, ob das Produkthaftungsgesetz Anwendung findet.134 Das Produkthaftungsgesetz gilt auch nicht für bloße Services, beispielsweise Auskünfte oder andere Dienstleistungen, die in der Aufbereitung oder Mitteilung von Informationen bestehen.135 Erst wenn diese als verkörperte Informationen verbreitet werden, kommt Produkthaftung in Betracht. Der Produkthaftung auch nicht ohne weiteres zugänglich sind verteilte Systeme aus Software, Hardware und Daten, die vernetzt zusammenwirken, um einen Service für den Kunden zu erbringen. „Dienste“ fallen gerade nicht unter die Produkthaftung, daher ist fraglich, wie digitale Angebote einzuordnen sind.136 Hingegen dürfte ein Produkt vorliegen, wenn dem Kunden ein Gerät überlassen wird, welches bestimmungsgemäß durch eine vernetzte KI gesteuert wird. Für den Bereich der KI sind die Unterschiede zwischen Produzentenhaftung und Produkthaftung also durchaus bedeutsam, soBeckOK BGB/Förster, ProdHaftG, § 2, Rn. 22; MüKo BGB/Wagner, ProdHaftG, § 2, Rn. 12 und 17; Marly, [30] Teil 7, II, 1863. 134  Siehe bereits Spindler, MMR 1998, 119; BeckOK BGB/Förster, ProdHaftG, § 2, Rn. 23; MüKoBGB/Wagner, ProdHaftG, § 2, Rn. 17 ff. m.w.N. 135  BeckOK BGB/Förster, ProdHaftG, § 2, Rn. 3; MüKo BGB/Wagner, ProdHaftG, § 2, Rn. 12. 136  Siehe hierzu die Mitteilung der Europäischen Kommission „Aufbau einer europäischen Datenwirtschaft“ vom 10.01.2017 COM (2017) 9  final 133 

2  Künstliche Intelligenz im Zivilrecht

111

fern eine KI nicht als Produkt überlassen wird, sondern mittels KI Services erbracht werden oder die KI selbst nur als Service bereitgestellt wird, denn dann scheidet ein Vorgehen nach Produkthaftung aus. Ersatzpflichtig nach Produkthaftungsgesetz ist jeder Hersteller eines Teilproduktes, eines Grundstoffes oder des Endproduktes, jeder, der sich durch Anbringung seiner Kennzeichen auf dem Produkt als Hersteller ausgibt, der Importeur eines Produktes in die EU oder der Lieferant, wenn ein Hersteller nicht festgestellt werden kann, § 4 ProdHaftG. Produkte mit KI-Bezug werden regelmäßig arbeitsteilig hergestellt. Es kann dann mehrere Ersatzpflichtige geben, die als Gesamtschuldner haften und untereinander Ausgleich nach §  5 ­ProdHaftG verlangen können. Der Hersteller eines Teilproduktes haftet allerdings nach herrschender Meinung nur, sofern dieses selbst fehlerhaft war. Der Lieferant eines fehlerfreien Teils haftet also nicht für ein fehlerhaftes Endprodukt.137 §  1 Abs.  3 ProdHaftG schließt außerdem die Haftung des Herstellers eines Teilprodukts aus, wenn der Fehler durch die Konstruktion des Produkts, in welches das Teilprodukt eingearbeitet wurde, oder durch die Anleitungen des Herstellers des Produkts verursacht worden ist. Danach haftet der Hersteller einer KI-Software nicht, wenn der Hersteller des Endproduktes die KI auswählt und der darin implementierte Algorithmus für das Endprodukt ungeeignet oder wenn der Fehler durch Daten mit unerwünschten Mustern ver­ ursacht wurde, mit denen der Hersteller des Endprodukts die KI-Software trainiert hat. Zentrales Tatbestandsmerkmal der Produkthaftung ist der Fehler. Hierzu bestimmt § 3 Abs. 1 ProdHaftG: Ein Produkt hat einen Fehler, wenn es nicht die Sicherheit bietet, die unter Berücksichtigung aller Umstände, insbesondere seiner Darbietung, des Gebrauchs, mit dem billigerweise https://eur-lex.europa.eu/legal-content/DE/TXT/HTML/?uri=CELEX:52017 DC0009&from=DE, Ziffer 4. Zugegriffen am 16.01.2020. 137  BeckOK BGB/Förster, ProdHaftG, §  1, Rn.  63; MüKo BGB/Wagner, ProdHaftG, § 1, Rn. 60.

112

M. Hartmann

gerechnet werden kann, des Zeitpunkts, in dem es in den Verkehr gebracht wurde, berechtigterweise erwartet werden kann. Auch die Produkthaftung hängt also davon ab, ob das Produkt die erwartbare Sicherheit bietet. Hierzu wird auf die Ausführungen zur Produzentenhaftung verwiesen, nachdem die Rechtsprechung den gleichen Maßstab anwendet. Es gibt allerdings spezifische wichtige Einschränkungen der Haftung des Herstellers in §  1 Abs.  2 und  3 ProdHaftG.  Für KI-Produkte relevant sind vor allem die folgenden Ausnahmen: § 1 Abs. 2 Nr. 5 ProdHaftG bestimmt, dass der Hersteller nicht für Fehler haften soll, die nach dem Stand der Wissenschaft und Technik im Zeitpunkt des Inverkehrbringens nicht erkannt werden konnten. Das ergibt sich zwar bereits daraus, dass unerkennbare Fehler zu verhindern nicht zur erwartbaren Sicherheit zählen. Die Vorschrift bestimmt aber eine Obergrenze der erwartbaren Sicherheit und begrenzt die Gefährdungshaftung der Produkthaftung. Der Gesetzgeber könnte sich auch dafür entscheiden, das Inverkehrbringen von Produkten mit einer abstrakten Gefährdungshaftung zu belegen und auf diese Weise den Hersteller oder Vertreiber eines Produkts auch für unvorhersehbare, seiner Kontrolle nicht unterliegende oder nur mit unzumutbarem Aufwand verhinderbare Schäden in Anspruch zu nehmen. Eine solche abstrakte Risikozuweisung, wie sie etwa bei der Halterhaftung besteht, lässt sich jedoch nicht im herkömmlichen Deliktsrecht begründen, welches noch immer eine unerlaubte Handlung oder eine Verletzung einer Pflicht voraussetzt. Der Produktvertrieb als solches wird nicht dadurch unerlaubt oder pflichtverletzend, dass erst später Risiken erkannt oder verhinderbar werden. Das ist aber keine Schutzlücke, sondern Folge des allgemeinen Lebensrisikos bei unvermeidbaren Schadensfällen. § 1 Abs. 2 Nr. 2 ProdHaftG schließt die Haftung für Fehler aus, die ein Produkt noch nicht bei Inverkehrbringen hatte. Bei offenen KI-Systemen, also solchen, die noch während des Einsatzes weiter lernen (siehe dazu oben Kap.  1), liegt es nahe anzunehmen,

2  Künstliche Intelligenz im Zivilrecht

113

dass erst beim Kunden durch weiteres Lernen geänderte Parameter nicht dem Hersteller zuzurechnen sind. Dies wird aber vom Einzelfall abhängen. Ein Produkt, das beispielsweise die Änderung der Parameter nicht angemessen eingegrenzt, oder die gelernten Parameter nicht überprüft hat und keine angemessenen Sicherheitsvorkehrungen gegen erwartbare Fehlentscheidungen trifft, wird die erwartbare Sicherheit nicht aufweisen. Ein Unterschied zur Produzentenhaftung wird noch bei den Fabrikationsfehlern gesehen, also bei Ausreißern in der Fabrikation, die die für die Produktserien definierten Sicherheitsanforderungen nicht erfüllen. Hier soll auch ohne Vorhersehbarkeit des konkreten Ausreißers nach Produkthaftung Ersatzpflicht bestehen, bei Produzentenhaftung dagegen nicht.138 Die Einzelheiten dazu sind streitig, dies könnte aber KI-Relevanz haben, wenn beispielsweise die besonderen Fähigkeiten der KI bei der Mustererkennung dazu verwendet werden, die Endkontrolle von Produkten auf Fehler durchzuführen. Je nach Konzeption ist dann mit Ausreißern (false negative) zu rechnen. Die Beurteilung wird auch vom konkreten Einzelfall und der Frage abhängen, wie viel Risiko bei welchem Schaden angemessen sein kann (s.  o. Abschn. 2.3.3.2).

Literatur [1] Alexander, Christian, Leistungsstörungen im Dienstvertrag, JA 2015, 321–328. [2] Auer-Reinsdorff, Astrid/Conrad, Isabell, Überblick über wesentliche Regelungen des deutschen Kartellrechts, in Auer-Reinsdorff, Astrid/Conrad, Isabell (Hrsg.), Handbuch IT- und Datenschutzrecht, 2. Aufl., München 2016, S. 1985. [3] Bamberger/Roth/Hau/Poseck, Beck´scher Online Kommentar zum Bürgerlichen Gesetzbuch, 51. Edition, München 2019. [4] Bartels, Karsten U./Backer, Merlin, Die Berücksichtigung des Stands der Technik in der DSGVO, DuD 2018, 214–219.

BeckOK BGB/Förster, ProdHaftG, § 3 Rn. 33; MüKo BGB/Wagner, ProdHaftG, § 3 Rn. 37. 138 

114

M. Hartmann

[5] Von Bodungen, Benjamin/Hoffmann, Martin, Autonomes Fahren  – Haftungsverschiebung entlang der Supply Chain? NZV 2016, 449 und 503. [6] Borges, Georg, Rechtliche Rahmenbedingungen für autonome Systeme, NJW 2018, 977. [7] Breidenbach, Stephan, Die Voraussetzungen von Informationspflichten beim Vertragsschluss, München 1989. [8] Conrad, Isabel, Inseln der Vernunft, Liber Amircorum für Jochen Schneider, Köln 2008. [9] Conrad, Isabell/Grützmacher, Malte, Recht der Daten und Datenbanken im Unternehmen, Köln 2014. [10] Czychowski, Christian, Der „Urheberrechts-Troll“ – Wichtige Rechtsfragen von Open Source-Lizenzen?, GRUR-RR 2018, 1–5. [11] Dreier/Schulze, Urheberrechtsgesetz Kommentar, 6. Aufl., München 2018. [12] Duisberg, Alexander, Standardbedingungen von Cloud-Anbietern, insbesondere Daten und Exit-Klauseln, [9], S. 633–646. [13] Fuchs, Anke/Meierhöfer, Christine/Morsbach, Jochen/Pahlow, Louis, Agile Programmierung  – Neue Herausforderungen für das Softwarevertragsrecht? – Unterschiede zu den „klassischen“ Softwareentwicklungsprojekten, MMR 2012, 427–433. [14] Grapentin, Justin, Vertragsschluss und vertragliches Verschulden beim Einsatz Künstlicher Intelligenz und Softwareagenten, Hamburg 2018. [15] Hartmann, Matthias/Thier, Andreas: Typologie der Softwarepflegeverträge, CR 1998, 581, S. 21. [16] Hartmann, Matthias, Gute allgemeine Geschäftsbedingungen für die Informationstechnologie in [8], S. 57. [17]  Hartmann, Matthias, Datenverlust und Haftungsklauseln, in [9], S. 927–938. [18] Heinzke, Philippe/Burke, Jens, Open-Source-Compliance, CCZ 2017, 56–62. [19] Hoeren, Thomas/Graf von Westphalen, Friedrich/Thüsing, Gregor, Kapitel IT-Verträge, in: Friedrich Westphalen/Gregor Thüsing (Hrsg.), Vertragsrecht und AGB-Klauselwerke, München 2015, S. 65. [20] Höpker, Tilo M., Verkäuferregress (§§  478, 479 BGB) Dissertation, Hamburg 2003, https://d-nb.info/969370245/34 [21] Höppner, Julian/Feldmann, Thorsten, Verträge zum Datenhandel, [9], S. 786–803. [22] Intveen, Carsten/Hilber, Marc/Rabus, Johannes, Vertragsgestaltung, in: Marc Hilber (Hrsg.), Handbuch Cloud Computing, Köln 2014, S. 220. [23] Jauernig, Bürgerliches Gesetzbuch, Kommentar, 17. Aufl., München 2018. [24] Kähler, Lorenz, Unterlassungsansprüche gegen algorithmische Fehlentscheidungen, NJW 2020, 113.

2  Künstliche Intelligenz im Zivilrecht

115

[25] Keßler, Oliver: Intelligente Roboter – neue Technologien im Einsatz, MMR 2017, 589. [26] Kilian/Heussen, Computerrechts-Handbuch, München 2018. [27] Koglin, Olaf, Einsatz von Cloud Computing im Unternehmen, in: Koreng, Ansgar/Lachenmann, Matthias (Hrsg.), Formularhandbuch Datenschutzrecht, 2. Aufl., München 2018, S. 754. [28] Lapuschkin, Sebastian/Wäldchen, Stephan/Binder, Alexander/Montavon, Grégoire/Samek, Wojciech/Müller, Klaus-Robert, Unmasking Clever Hans predictors and assessing what machines really learn, Nature Communications 2019, Volume 10, 1096. [29] Lehmann, Michael, Abgrenzung der Schutzgüter im Zusammenhang mit Daten, [9], S. 133–142. [30] Lohmann, Melinda, Ein europäisches Roboterrecht  – überfällig oder überflüssig?, ZRP 2017, 168. [31]  Marly, Jochen, Praxishandbuch Softwarerecht, 7. Aufl., München 2018, S. 497. [32] Mediger, Kai, Die Abdingbarkeit der Mängelhaftung beim Rückgriff des Verkäufers in AGB, NJW 2018, 577. [33] Müller-Hengstenberg, Claus D./Kirn, Stefan, Kausalität und Verantwortung für Schäden, die durch autonome smarte Systeme verursacht werden, Eine Untersuchung der deliktischen Haftung für den Einsatz autonomer Softwareagenten, CR 2018, 682. [34] Neuner, Jörg, Was ist eine Willenserklärung?, JuS 2007, 881–888. [35] Nomos, Handkommentar zum Bürgerlichen Gesetzbuch, 10. Aufl., Baden-Baden 2019. [36] Palandt (Begr.), Bürgerliches Gesetzbuch mit Nebengesetzen, 78. Aufl., München 2019. [37] Redeker, Helmut, IT-Recht, NJW Praxis, Bd.  55, 6. Aufl., Sinzheim 2017. [38] Schaub, Renate, Verantwortlichkeit für Algorithmen im Internet, InTeR 2019. [39] Säcker/Rixecker/Oetker/Limperg, Münchener Kommentar zum Bürgerlichen Gesetzbuch, 7. Aufl., München 2017. [40] Säcker/Rixecker/Oetker/Limperg, Münchener Kommentar zum Bürgerlichen Gesetzbuch, 8. Aufl., München 2019. [41]  Schneider, Jochen, Datenschutz Grundlagen, in: Schneider, Jochen (Hrsg.), Handbuch EDV-Recht, 5. Aufl., Köln 2017, S. 12. [42] Schulze u. a., Bürgerliches Gesetzbuch, Handkommentar, 10. Aufl., Baden-Baden 2019. [43] Specht, Luisa/Herold Sophie, Roboter als Vertragspartner? Gedanken zu Vertragsabschlüssen unter Einbeziehung automatisiert und autonom agierender Systeme, MMR 2018, 40–44. [44] Spickhoff, Andreas, Die Grundstruktur der deliktischen Verschuldenshaftung, JuS 2016, 86.

116

M. Hartmann

[45] Spindler, Gerald, Verschuldensunabhängige Produkthaftung im Internet, MMR 1998, 11. [46] Sutschet, Holger, Anforderungen an die Rechtsgeschäftslehre im Internet, Bid Shielding, Shill Bidding und Mr. Noch Unbekannt, NJW 2014, 1041. [47] Wandtke/Bullinger, Praxiskommentar Urheberrecht, 5. Aufl., München 2019. [48] Wicker, Magda, Vertragstypologische Einordnung von Cloud Computing-Verträgen  – Rechtliche Lösungen bei auftretenden Mängeln, MMR 2012, 783–788. [49] Wuermeling, Ulrich/Deike, Thies, Open Source Software – Eine juristische Risikoanalyse, CR 2003, 87–91. Matthias Hartmann  ist Rechtsanwalt und Fachanwalt für IT-­Recht. Er beschäftigt sich seit über 20 Jahren mit Rechtsfragen der Künstlichen Intelligenz und berät Hersteller und Nutzer von KI-Systemen als Gründungspartner der auf IT-Recht spezialisierten Kanzlei HK2 Rechtsanwälte.

3

Haftung am Beispiel automatisierter Fahrzeuge Lennart S. Lutz

3.1

Einleitung

Durch die exponentiellen Fortschritte im Bereich der künstlichen Intelligenz ist die Einführung automatisierter Fahrzeuge in greifbare Nähe gerückt. Exemplarisch für die möglicherweise große Vielzahl von zukünftig im Alltag auftauchenden und mit künstlicher Intelligenz ausgestatteten Maschinen soll der vorliegende Beitrag einen Überblick über die Haftung für selbstfahrende Pkw geben. Nach einer Einführung in die Grundstrukturen der Straßenverkehrshaftung sind die anschließenden Abschnitte der Einstandspflicht von Halter, Fahrer und Hersteller gewidmet, die regelmäßig die Hauptadressaten der Haftung im Straßenverkehr sind. Abschließend wird erörtert, welche Auswirkungen die Der Beitrag gibt ausschließlich die persönliche Meinung des Autors wieder und reflektiert nicht notwendigerweise die Ansichten seines Arbeitgebers.

L. S. Lutz (*) München, Deutschland E-Mail: [email protected] © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von Springer Nature 2020 M. Hartmann (Hrsg.), KI & Recht kompakt, IT kompakt, https://doi.org/10.1007/978-3-662-61700-7_3

117

118

L. S. Lutz

­ inführung automatisierter Fahrzeuge auf die haftungsrechtliche E Letztverantwortung hervorruft und die Notwendigkeit neuer Gesetze untersucht. Dreierlei sei vorausgeschickt: Da es in den letzten Jahren zu einer nahezu babylonischen Sprachverwirrung bei der ­Bezeichnung der Fahrzeugautomatisierungsstufen gekommen ist, soll hier nur zwischen konventionellen, automatisierten und autonomen Fahrzeugen unterschieden werden. Automatisierte Fahrzeuge können dabei die Steuerung zwar temporär selbsttätig ausführen, es muss jedoch weiterhin ein Fahrer anwesend sein – beispielsweise um die Fahraufgabe nach einer entsprechenden Aufforderung durch das Fahrzeug wieder zu übernehmen. Autonome Fahrzeuge benötigen in ihrem jeweiligen Einsatzgebiet hingegen keinen klassischen Fahrer mehr und könnten prinzipiell auch Leerfahrten durchführen. Anders als verbreitet angenommen,1 werden automatisierte und autonome Fahrzeuge nach Inverkehrgabe zudem ihre Funktionalität  bis auf Weiteres nicht durch sog. Selbstlernen verändern. Maschinelle Lernmethoden kommen selbstverständlich bei der Entwicklung zum Einsatz, zu einem bestimmten Zeitpunkt wird der Softwarestand jedoch „eingefroren“ und die Fahrzeugserie erst nach umfangreichen Tests auf den Markt gebracht. Gegenüber den so bereits im Rahmen der Entwicklung „erlernten“ bzw. einprogrammierten Fähigkeiten wären durch die vergleichsweise sehr geringe Menge an Erkenntnissen aus dem laufenden Fahrbetrieb eines einzelnen Pkw kaum Verbesserungen zu erwarten. Umgekehrt würde ein sich im Feld selbsttätig veränderndes Fahrzeug erhebliche zusätzliche Herausforderungen im Bereich Absicherung und Zulassung erzeugen. Schließlich steht das geltende Zulassungsrecht, welches die technischen Vorgaben für die Bauart eines Fahrzeugs enthält, der Einführung automatisierter und autonomer Fahrzeuge bislang noch entgegen- Änderungsvorschläge werden jedoch bereits in den zuständigen Arbeitsgruppen erstellt.2 Im Zuge der StVG-­ Beispielsweise Hey, Die außervertragliche Haftung des Herstellers autonomer Fahrzeuge, S. 21, 63. 2  Relevant ist insofern insbesondere UNECE-Regelung 79, die bislang dem Einsatz automatisierter und autonomer Lenkanlagen entgegensteht. Änderungen werden auf UNECE-Ebene i.R.d. Arbeitsgruppe GRVA der WP.29 vorbereitet. 1 

3  Haftung am Beispiel automatisierter Fahrzeuge

119

Novelle 2017 hat der deutsche Gesetzgeber das innerstaatliche Verkehrsverhaltensrecht, das die Benutzung durch den Fahrer adressiert, hingegen bereits in Einklang mit bestimmten Ausprägungen des automatisierten Fahrens gebracht. Zwar blieb die Systematik der haftungsrechtlichen Anspruchsgrundlagen (weitestgehend)3 unverändert, erhebliche Auswirkungen ergeben sich teilweise jedoch hinsichtlich der formalen und faktischen Pflichtenstellung der einzelnen Akteure.

3.2

Grundstrukturen der Straßenverkehrshaftung

Für Unfälle im Straßenverkehr ist es charakteristisch, dass Schadensverursacher und Geschädigter sich vor einem Schadensereignis in aller Regel unbekannt waren und daher auch keine besondere Rechtsbeziehung zwischen ihnen besteht. In derartigen Konstellationen sieht das deutsche Recht einen Schadensausgleich nach § 823 BGB als Grundregel lediglich dann vor, wenn der Verursacher vorsätzlich oder fahrlässig gehandelt hat (sog. verschuldensabhängige Haftung). Ergänzende Regelungen für eine verschuldensunabhängige Haftung des Betreibers wurden lediglich für ausgewählte Sektoren geschaffen, beispielsweise für den Betrieb bestimmter (großtechnischer) Anlagen im HPflG, für die Nutzung von Kernenergie und damit zusammenhängenden Tätigkeiten im AtomG, für den Luftverkehr im LuftVG und insbesondere auch für den Straßenverkehr im StVG (sog. Gefährdungshaftung). Während der Einsatz von Robotern in sonstigen Lebensbereichen primär nach § 823 BGB zu beurteilen ist,4 besteht im Straßenverkehr aufgrund dieser Spezialregeln bereits heute ein fein ausdifferenziertes Haftungssystem, das zum Schutz des Unfallopfers vor der mangelnden Solvenz des Schädigers zudem von einem Pflichtversicherungssystem nach dem PflVG flankiert wird.

Näheres zur Erhöhung der Haftungssummen gem. § 12 StVG in Abschn. 3.4.2. Vgl. dazu Kap. 2, Abschn. 2.3.2.

3  4 

L. S. Lutz

120

3.3

Haftung des Halters

Zentralgestalt des straßenverkehrsrechtlichen Haftungssystems ist der Fahrzeughalter, also derjenige, der das Kfz für eigene Rechnung in Gebrauch hat und die Verfügungsgewalt darüber ausübt.5 Er haftet gem. § 7 Abs. 1 StVG verschuldensunabhängig für sämtliche bei Betrieb6 des Fahrzeugs verursachte Schäden, die nicht auf höherer Gewalt i. S. d § 7 Abs. 2 StVG beruhen. Seine Einstandspflicht ist mithin gerade nicht davon abhängig, ob er einen bestimmten Schaden hätte verhindern oder auch nur voraussehen können. Insbesondere führt das Versagen technischer Einrichtungen des Fahrzeugs nicht zu einer Enthaftung des Halters.7 Die Haftung des Halters ist dem Grunde nach daher völlig unabhängig davon, ob das Fahrzeug von einem Menschen oder einem Automaten gesteuert wird.8 Innere Rechtfertigung für die sehr weitgehende Einstandspflicht ist die Tatsache, dass der Halter durch die Verwendung des Kraftfahrzeugs eine Gefahrenquelle eröffnet und die damit verbundenen Vorteile genießt.9 Als „Ausgleich“10 für diese breite Einstandspflicht ist die Halterhaftung allerdings gem. § 12 StVG der Höhe nach grundsätzlich auf fünf Millionen Euro für Personen- und eine Million für Sachschäden begrenzt, bei Verursa-

BGH, Urt. v. 03.12.1991, VI ZR 378/90; NJW 1992, 900, 902; BHHJJ, § 7 StVG, Rn. 5. 6  Zum weit ausgelegten Merkmal „Betrieb“ ausführlich etwa Hentschel/König/Dauer/König, StVG, § 7, Rn. 4 ff. 7  Dies ergibt sich im Umkehrschluss aus § 17 Abs. 3 S. 1 StVG; s. insoweit Hentschel/König/Dauer/König, StVG, §  17, Rn.  30; Garbe//Hagedorn, JuS 2014, 287, 292. 8  Explizit bereits Lutz/Tang/Lienkamp, NZV 2013, 57, 60; ebenso Freise, VersR 2019, 66, 68; Greger, NZV 2018, 1; Jänich/Schrader/Reck, NZV 2015, 313, 315. 9  BGH, Urt. v. 19.04.1988, VI ZR 96/87; NJW 1988, 2802; Hentschel/König/ Dauer/König, StVG, § 7, Rn. 14; BeckOGK/Walter, StVG, § 7, Rn. 3. 10  Vgl. BeckOGK/Walter, StVG, § 12, Rn. 2; Hentschel/König/Dauer/König, StVG, § 12, Rn. 1b; gleichzeitig soll so auch die vollständige Versicherbarkeit ermöglicht werden: RGZ 147, 353, 355 f. 5 

3  Haftung am Beispiel automatisierter Fahrzeuge

121

chung durch automatisierte Fahrzeuge greifen doppelt so hohe Maximalwerte.11 Es ließe sich vermuten, dass daneben zumindest eine untergeordnete wirtschaftliche Einstandspflicht des Fahrers und des Eigentümers besteht. Häufig bleibt insofern allerdings unerwähnt, dass der Halter gem. § 1 PflVG zusätzlich verpflichtet ist, für sich, den Eigentümer und den Fahrer eine Haftpflichtversicherung zur Deckung der bei Dritten entstehenden Schäden abzuschließen: Die vom Halter abgeschlossene Versicherung muss für alle bei Dritten entstehenden Schäden aufkommen, unabhängig davon, ob eine Haftung des Halters, Fahrers oder Eigentümers ursächlich ist. Der Regress gegen eine der mitversicherten Personen (Halter, Fahrer, Eigentümer) ist ihr gem. §  116 Abs.  1 S.  1 VVG  verwehrt.12 Für Schäden, die Dritten im Straßenverkehr entstehen, kommt im Verhältnis Halter, Fahrer und Eigentümer wirtschaftlich bislang folglich alleine der Halter über die von ihm geleisteten Versicherungsbeiträge auf.

3.4

Haftung des Fahrers

Gem. § 18 Abs. 1 S. 1 StVG ist auch der Fahrer zum Schadensersatz verpflichtet, er kann sich gem. § 18 Abs. 1 S. 2 StVG allerdings exkulpieren, wenn der Schaden nicht durch sein Verschulden verursacht wurde (Haftung für vermutetes Verschulden). Nach der Generalklausel des § 823 Abs. 1 BGB muss der Fahrer zudem für von ihm verschuldete Fahrfehler einstehen. Die Haftungshöchstgrenzen sind identisch wie bei der Halterhaftung. Klassischerweise wendet sich das Verkehrsverhaltensrecht, insbesondere die StVO, nahezu ausschließlich an den Fahrzeugführer, sodass es grundsätzlich diesem obliegt, durch Befolgen der Verkehrsregeln Schäden zu vermeiden. Für nahezu alle bei Betrieb eines Kfz verursachten Unfälle ist im konventionellen Zur Erforderlichkeit dieser im Zuge der StVG-Novelle eingefügten, Erhöhung noch näher in Abschn. 3.4.2. 12  Ausführlich MüKo StVR/Halbach, VVG, §  116, Rn.  1–2; BHHJJ/Heß, StVG, § 18, Rn. 14. 11 

122

L. S. Lutz

Verkehr ein Verschulden des Fahrers ursächlich und eine Fahrerhaftung gem. § 18 Abs. 1 S. 1 StVG gegeben. Technische Defekte und Wartungsmängel waren 2018 dagegen lediglich für 0,9 % aller Verkehrsunfälle ursächlich.13

3.4.1 F  ahrerpflichten bei der Benutzung automatisierter Fahrzeuge Die Einführung echter automatisierter und autonomer Fahrzeuge setzt zweierlei voraus: Zunächst müssen die technischen Bauvorschriften eine Automatisierung des Fahrvorgangs ermöglichen. Gleichzeitig muss es dem Fahrer auch verhaltensrechtlich gestattet sein, die dauerhafte Überwachung des Systems einzustellen. Schließlich wäre es denkbar, dass ein Pkw so konstruiert (und genehmigt) ist, dass er den Fahrvorgang zwar komplett eigenständig ausführt, der Fahrer aber verhaltensrechtlich gleichwohl zur ständigen Überwachung verpflichtet bleibt.14 Es handelt sich dann allerdings gerade nicht um automatisiertes Fahren im Wortsinn. Vor allem aber würde eine derartige Normierung nicht nur alle von der Automatisierung erwarteten Vorteile konterkarieren, sondern vom Fahrer auch nahezu Unmögliches verlangen: In der Psychologie ist nämlich seit der Mitte des letzten Jahrhunderts bekannt, dass der Mensch rein überwachende Aufgaben, insbesondere im Zusammenhang mit automatisierten Systemen, über längere Zeiträume nur außerordentlich schlecht bewältigen kann.15 Richtigerweise hat sich der deutsche Gesetzgeber daher im Zuge der StVG-Novelle 2017 entschieden, den Fahrer eines automatisierten Fahrzeugs gem. § 1b Abs. 1 HS. 1 StVG zu autorisieren, sich in gewissem Umfang vom Verkehrsgeschehen und der Statistisches Bundesamt, Fachserie 8, Reihe 7, Verkehrsunfälle 2018, S. 49. Ein derartiger Regelungsansatz scheint in England erwogen zu werden: Hansard, Volume 791, 5 Juni 2018, Abs. 1249; ausführlich dazu Schubert, RAW 2019, 18, 21 f. 15  Grundlegend bereits Mackworth, The Quarterly Journal of Experimental Psychology, 1948, 6–21; ausführlich und m. w. N. Warm et al., Human Factors 2008, 433–441. 13  14 

3  Haftung am Beispiel automatisierter Fahrzeuge

123

Fahrzeugsteuerung abzuwenden. Da durch die Novelle die Systematik der haftungsrechtlichen Anspruchsgrundlagen einschließlich der Haftung des Fahrers für vermutetes Verschulden unverändert blieb, führt diese Reduzierung der Fahrerpflichten zu einem Entfallen der Fahrerhaftung in gleichem Umfang.16 Dennoch stellt § 1a Abs. 4 StVG klar, dass auch der Verwender der automatisierten Fahrfunktion Fahrzeugführer bleibt, sodass er weiterhin für vermutetes Verschulden gem. § 18 Abs. 1 S. 1 StVG einstehen muss. Zudem wird der Grundsatz der Abwendungsbefugnis von verschiedenen Spezialanforderungen durchbrochen, die auch dem Fahrer eines automatisierten Fahrzeugs gewisse Residualpflichten auferlegen und nachfolgend näher betrachtet werden sollen.17

3.4.1.1  Bestimmungsgemäße Verwendung Gem. § 1a Abs. 1 StVG darf der Fahrer das Fahrzeug nur dann mittels automatisierter Fahrfunktion betreiben, wenn die Funktion bestimmungsgemäß verwendet wird. Welche Verwendung bestimmungsgemäß ist, wird vom Hersteller innerhalb der durch das Zulassungsrecht18 abgesteckten Grenzen in der Systembeschreibung19 im Sinne des § 1a Abs. 2 S. 2 StVG verbindlich festgelegt. 3.4.1.2  Rückübernahme nach Übernahmeaufforderung Der Fahrer ist weiterhin gem. § 1b Abs. 2 Nr. 1 StVG verpflichtet, die Fahrzeugsteuerung unverzüglich wieder zu übernehmen, wenn das hoch- oder voll automatisierte System ihn dazu auffordert. Gem. § 1b Abs. 1 HS. 2 StVG wird seine Abwendungsbefugnis entsprechend begrenzt, auch während der automatisierten Grundlegend bereits Lutz, NJW 2015, 119, 120; ähnlich Freise, VersR 2019, 65, 74. 17  Mit einer ähnlichen Darstellung und ausführlich Greger, NZV 2018, 1, 2 f. 18  Von besonderer Bedeutung ist hier das europäische Typgenehmigungsverfahren nach der RL 2007/46/EG, zukünftig VO 2018/858, die durch die EGFGV in nationales Recht umgesetzt wird. 19  Wolfers, RAW 2017, 1, 4. 16 

124

L. S. Lutz

Fahrt muss der Fahrer also in gewissem Umfang wahrnehmungsbereit bleiben. Näherer Untersuchung bedarf die Frage, wann eine Rückübernahme unverzüglich ist. Ein Abstellen auf die Legaldefinition von „unverzüglich“ in §  121 Abs.  1 BGB (Vornahme „ohne schuldhaftes Zögern“) bringt hier alleine keinen Erkenntnisgewinn,20 da die vom Fahrer leistbare Reaktionszeit m ­ aßgeblich davon abhängt, wie ablenkend die ihm vor der Übernahmeaufforderung gestatteten Nebentätigkeiten sind.21 Die vom Fahrer ­geforderte Reaktionszeit ist also im Spannungsfeld von Abwendungsbefugnis und Pflicht zur Aufrechterhaltung der Wahrneh­ mungsbereitschaft gem. § 1b Abs. 1 StVG zu bestimmen, wobei regelmäßig verschiedene Faktoren relevant sind: Die äußerste Grenze der dem Fahrer zur Verfügung stehenden Übernahmezeit wird regelmäßig die „ausreichende Zeitreserve“ gem. § 1a Abs. 2 S. 1 StVG sein, mit der das System dem Fahrer die Erforderlichkeit der eigenhändigen Fahrzeugsteuerung signalisieren muss. Es ist davon auszugehen, dass die technischen Zulassungsregeln die Länge dieser „ausreichende Zeitreserve“ und die Ausgestaltung des Übernahmevorgangs zukünftig näher spezifizieren werden.22 Möglicherweise könnte der Fahrer jedoch verpflichtet sein, schon vor dem vollständigen Ausschöpfen der maximal zur Verfügung stehenden Zeit zu reagieren. Zu berücksichtigen sind insofern die Angaben in der Systembeschreibung nach §  1a Abs.  2 S.  2 StVG hinsichtlich der Leistungsgrenzen und Nutzung des Systems sowie zum Umfang möglicher Nebentätigkeiten. Zwar wird der Fahrer seine Abwendung regelmäßig so ausgestalten dürfen, dass er erst mit Ablauf der Zeitreserve zur Übernahme in der Lage ist; ist ihm eine Übernahme im konkreten Einzelfall aber dennoch früher möglich, muss er die Fahrzeugsteuerung wohl Mit einer starken Betonung des Merkmals jedoch BeckOK StVR/Will, § 1b, Rn. 20. 21  Weitgehend unberücksichtigt bleibt dieser Aspekt allerdings bei Greger, NZV 2018, 1, 2 f. 22  So sieht beispielsweise der finale Entwurf GRVA-06-02-Rev.4 der zuständigen UNECE Arbeitsgruppe zahlreiche Anforderungen an die Ausgestaltung des Übernahmevorgangs („Transition Demand“) vor. 20 

3  Haftung am Beispiel automatisierter Fahrzeuge

125

schon vor dem Fristende übernehmen, da die Rückübernahme andernfalls grundlos und damit entgegen §  1b Abs.  2 Nr.  1 StVG aufgrund von schuldhaftem Zögern unterbliebe.23

3.4.1.3  Übernahme aufgrund „offensichtlicher Umstände“ Schließlich muss der Fahrer die Fahrzeugsteuerung gem. §  1b Abs. 2 Nr. 1 StVG auch dann übernehmen, wenn er erkennt oder aufgrund offensichtlicher Umstände erkennen musste, dass die Voraussetzungen für eine bestimmungsgemäße Verwendung der hoch- oder voll automatisierten Fahrfunktionen nicht mehr vorliegen. Ausweislich der Gesetzesbegründung24 handelt es sich um Konstellationen, die „… auch beim Abwenden von der Fahrzeugsteuerung und dem Verkehrsgeschehen erkennbar sind.“ Dafür spricht auch die Verknüpfung mit der bestimmungsgemäßen Verwendung und damit der Systembeschreibung nach §  1a Abs.  2 S. 2 StVG. Die Gesetzesbegründung nennt als konkrete Beispiele das Hupen anderer Fahrzeuge oder die Durchführung einer Vollbremsung ohne äußeren Anlass. 3.4.1.4  Zwischenfazit Im Ergebnis kann der Fahrer die Verschuldensvermutung des § 18 Abs. 1 S. 2 StVG nur entkräften und seine Enthaftung erreichen, wenn er nachweist, dass er den Unfall – z. B. wegen eines nicht erkenn- und beherrschbaren technischen Fehlers25 – nicht vertreten muss, oder dass der automatisierte Fahrmodus aktiviert war und sämtliche oben aufgeführte Spezialpflichten von ihm gewahrt wurden.26

Nicht überzeugend daher Hentschel/König/Dauer/König, StVG, § 1b, Rn. 7, der dem Fahrer sogar generell ein Ausschöpfen der Zeitreserve zubilligen will. 24  BT-Drs. 18/11776, S. 10. 25  BHHJJ/Heß, StVG, § 18, Rn. 8. 26  Greger, NZV 2018, 1, 2. 23 

126

L. S. Lutz

3.4.2 W  egfall des Fahrers als Haftungssubjekt: Auswirkungen auf das Haftungssystem Wie dargestellt entfällt der Fahrer schon bei der Nutzung eines automatisierten Fahrmodus, entsprechend seiner reduzierten Pflichtenstellung, zumindest in gewissem Umfang als Haftungssubjekt. Sofern die dafür erforderlichen Änderungen in ­Zulassungs- und Verhaltensrecht vorgenommen und gänzlich autonome Fahrzeuge ermöglicht werden, steht künftig sogar überhaupt kein Fahrer mehr als Haftungsadressat zur Verfügung. Gleichwohl führt dies nicht zu strukturellen Verwerfungen im System der deutschen Straßenverkehrshaftung: Der Fahrzeughalter muss auch weiterhin verschuldensunabhängig für sämtliche bei Betrieb des Fahrzeugs hervorgerufene Schäden einstehen, ohne dass es auf den Automatisierungsgrad ankäme.27 Auch für den automatisierten Verkehr gewährleistet das bestehende deutsche Haftungssystem daher dem Grunde nach einen angemessenen Schutz des Verkehrsopfers. Anders als die der Höhe nach unbeschränkter Einstandspflicht des Fahrers gem. 823 Abs. 1 BGB ist die Haftung des Halters allerdings auf die Höchstbeträge in § 12 StVG begrenzt. Oberhalb dieser Grenze würde ein Schadensausgleich daher nur erfolgen, wenn der Geschädigte  zusätzliche Ansprüche, z.  B. aus §  823 Abs. 1 BGB gegen Halter, Hersteller oder Betreiber, geltend machen könnte. Da solche Ansprüche von zusätzlichen Voraussetzungen abhängen, wäre eine vollständige Kompensation des Unfallopfers nicht zwingend in allen Fällen gewährleistet. Der deutsche Gesetzgeber hat deshalb folgerichtig im Zuge der StVG-Novelle eine Verdoppelung der Haftungshöchstbeträge in § 12 Abs. 1 StVG für solche Schäden vorgesehen, die „auf Grund der Verwendung einer hoch- oder vollautomatisierten Fahrfunktion“ entstehen. Entgegen der teilweise geäußerten Kritik28 ist dem nachdrücklich zuzustimmen: Im konventionellen Verkehr muss der Halter S. bereits oben 4.2. Z.  B. Greger: „schwer verständliche, systemwidrige Erhöhung“, NZV 2018, 1, 2. 27  28 

3  Haftung am Beispiel automatisierter Fahrzeuge

127

wirtschaftlich (über die von ihm geleisteten Versicherungsbeiträge)29 für nahezu sämtliche Fremdschäden einstehen, die durch sein Fahrzeug erzeugt werden, insbesondere auch für die vom Fahrer verursachten Fahrfehler. Eine Erhöhung der Haftungsgrenzen in §  12 StVG führt daher, anders als teilweise behauptet,30 nicht zu einer wirtschaftlichen Schlechterstellung des Halters automatisierter Fahrzeuge – sondern vielmehr zu einer Aufrechterhaltung des Status quo. Schließlich macht es für den Halter wirtschaftlich keinen Unterschied, ob die von ihm unterhaltene Versicherung aufgrund seiner originären Halterhaftung oder einer Einstandspflicht des Fahrers leisten muss. Auch bei der Verwendung eines automatisierten oder autonomen Fahrzeugs ist es zudem der Halter, der die unmittelbare Gefahrenquelle eröffnet und die damit verbundenen Vorteile genießt, und nicht zuletzt gewährleistet das Prinzip der Halterhaftung einen effizienten Schutz des Verkehrsopfers.31 Über die bereits erfolgte Anhebung hinaus sollte allerdings eine Erhöhung der Haftungsgrenzen in § 12 StVG auf die heute in Deutschland in der Kfz-Versicherung üblichen Deckungssummen von 50 oder 100 Millionen Euro erfolgen.32 Für Geschädigten und Halter würde die Situation damit weiter an die vor Einführung automatisierter Fahrzeuge bestehende Rechtslage angeglichen. Daneben hat der Gesetzgeber bislang die gem. § 4 Abs. 2 i. V. m. Anlage Nr. 1a, b PflVG vorgeschriebenen Mindestversicherungssummen in der Kfz-Haftpflichtversicherung nicht an die in § 12 StVG festgelegten neuen Höchstbeträge angepasst; dieses Versäumnis sollte behoben33 und bei etwaigen zukünftigen Anpassungen des § 12 StVG streng auf einen Gleichlauf von Haftungshöchstgrenzen und Mindestversicherungssummen geachtet werden. S. bereits oben 4.2. Stellungnahme des Bundesrats, BT-Drs. 18/11534, S. 5. 31  Darauf abstellend auch die Gesetzesbegründung, BT-Drs. 18/11300, S. 15. 32  Huber, NZV 2017, 545, 547, zu den Deckungssummen unter Verweis auf eine Mitteilung des GDV. in Fn. 8. 33  Sehr nachdrücklich Huber, NZV 2017, 545 ff. 29  30 

128

3.5

L. S. Lutz

 aftung des Herstellers: Sicherheit neuer H Technologien

Im Zuge der StVG-Novelle 2017 blieb auch die haftungsrechtliche Stellung des Herstellers, entgegen vereinzelter Stimmen34 in der Literatur, formal gänzlich unverändert. Seine Einstandspflicht kann sich daher einerseits aus der Generalklausel des § 823 Abs. 1 BGB ergeben, die die Rechtsprechung durch Schaffung spezieller Grundsätze im Wege richterlicher Rechtsfortbildung zur sog. deliktischen Produzentenhaftung ausgestaltet hat. Daneben kommt eine Produkthaftung des Herstellers nach den Maßgaben des ProdHaftG in Betracht. Beide Anspruchsgrundlagen weisen über weite Teile erhebliche Ähnlichkeiten auf,35 die vorliegende Analyse soll sich auf die hier entscheidende Gemeinsamkeit beschränken: Wesentliche Voraussetzung einer Einstandspflicht sowohl nach der Produkt- als auch nach der Produzentenhaftung ist das Vorliegen eines Produktfehlers, wobei für beide Anspruchsgrundlagen von einem identischen36 Fehlerbegriff auszugehen ist. Bislang kommt der Haftung des Herstellers quantitativ allenfalls eine untergeordnete Bedeutung zu: Nahezu sämtliche Schadensereignisse werden vom Fahrer oder anderen menschlichen Verkehrsverteilnehmern verursacht, wie bereits erwähnt waren technische Mängel und Wartungsmängel 2018 dagegen lediglich für 0,9  % aller Verkehrsunfälle ursächlich.37 Wird das Fahrverhalten jedoch von einer durch den Hersteller programmierten Logik bestimmt, stellt sich bei jedem Unfall zumindest theoretisch die Frage, ob dieser durch einen Produktfehler verursacht wur-

Etwa Borges, CR 2016, 272, 276 ff. Siehe die Darstellung Kap. 2, Abschn. 2.3.3; im hier betrachteten Kontext ausführlich etwa Hey, Die außervertragliche Haftung des Herstellers autonomer Fahrzeuge, 4. Kapitel; allgemein z.  B.  BeckOK BGB/Fuchs, §  823, Rn. 681 ff.; Fuchs/Baumgärtner, JuS 2011, 1057–1063. 36  Allgemeine Meinung: BGH, Urt. v. 16.06.2009, VI ZR 107/08; NJW 2009, 2952, 2953, Rn. 12; MüKo BGB/Wagner, § 3, Rn. 3; m. w. N. BeckOGK/Goehl, StVG, § 3, Rn. 3. 37  Statistisches Bundesamt, Fachserie 8 Reihe 7, Verkehrsunfälle 2018, S. 49. 34  35 

3  Haftung am Beispiel automatisierter Fahrzeuge

129

de.38 Die Frage, wann ein vom Hersteller zu verantwortender Produktfehler vorliegt, wird somit künftig noch größere Bedeutung gewinnen. Wie in §  3 Abs.  1 ProdHaftG ausdrücklich normiert, ist ein Produktfehler anzunehmen, wenn ein Produkt nicht die Sicherheit bietet, die unter Berücksichtigung aller Umstände, insbesondere seiner Darbietung, des Gebrauchs sowie des Zeitpunkts, in dem es in den Verkehr gebracht wurde, berechtigterweise erwartet werden kann. Dabei ist nicht auf die subjektiven Vorstellungen einzelner Angehöriger der relevanten Verkehrskreise abzustellen, sondern ein objektiver Maßstab anzulegen.39 Typischerweise wird i.R.d. Produkt- bzw. Produzentenhaftung grob zwischen Entwicklungs-, Produktions- und Instruktionsfehlern unterschieden. Die deliktische Produzentenhaftung nach § 823 Abs. 1 BGB legt dem Hersteller zusätzlich eine Produktbeobachtungspflicht nach Inverkehrgabe auf, er muss insoweit aktiv neue Erkenntnisse auswerten und ggf. vor neu erkannten Gefahren warnen oder sein Produkt gar zurückrufen.40 Von besonderer Relevanz für den Hersteller automatisierter Systeme ist insbesondere die Vermeidung von Konstruktionsfehlern, die vorliegen, wenn das Produkt schon seiner Konzeption nach unter dem gebotenen Sicherheitsstandard bleibt.41

3.5.1 Staatliche Zulassung oder Genehmigung Eine nähere Konturierung könnten insofern möglicherweise staatliche Genehmigungen oder Zulassungen und die in deren Rahmen geprüften technischen Anforderungen bieten. Allerdings exis­ tieren für Softwareprodukte oder gar für KI derzeit keine Lutz, NJW 2015, 119, 120; ebenso Gomille, JZ 2016, 76, 81. BGH, Urt. v. 16.06.2009, VI ZR 107/08; NJW 2009, 2952, 2953, Rn. 12; BeckOGK/Goehl, StVG, § 3, Rn. 14. 40  Etwa BeckOGK/Spindler, BGB, §  823, Rn.  658  ff.; BeckOGK/Spindler, BGB, § 823, Rn. 635. 41  BGH, Urt. v. 16.06.2009, VI ZR 107/08; NJW 2009, 2952, 2953, Rn. 15; BeckOGK/Spindler, BGB, § 823, Rn. 634. 38  39 

130

L. S. Lutz

­ ulassungsvorschriften.42 Kraftfahrzeuge jedoch dürfen gem. § 1 Z Abs. 1 StVG auf öffentlichen Straßen nur in Betrieb genommen werden, wenn sie zugelassen sind und ihre Bauart genehmigt ist – letzteres setzt die Erfüllung detaillierter technischer Anforderungen43 voraus. Nach der herrschenden Auffassung in Recht­ sprechung und Schrifttum konkretisieren öffentlich-rechtliche Vorschriften zwar die im Rahmen der Produkt- bzw. Produzentenhaftung zu beachtenden Pflichten, geben im Allgemeinen aber keinen abschließenden Maßstab vor, sodass weder eine behördliche Zulassung noch eine TÜV-Prüfung zu einer automatischen Entlastung des Herstellers führt.44 Dies ist prinzipiell zutreffend, gilt – wie § 1 Abs. 2 Nr. 4 ProdHaftG zeigt – aber jedenfalls nicht für Fehler, die darauf beruhen, dass das Produkt zwingenden Rechtsvorschriften entspricht. Zwingenden Charakter hat eine Rechtsvorschrift allerdings nur, wenn für den Hersteller keine Möglichkeit der Abweichung nach unten oder oben besteht.45 Da das Zulassungsrecht regelmäßig lediglich Mindestanforderungen festschreibt, wird ein in diesem Sinne zwingender Charakter oft zu verneinen sein. Je detaillierter künftige technische Anforderungen an automatisierte bzw. autonome Fahrzeuge normiert sind und je weniger Gestaltungsspielraum dem Hersteller insofern verbleibt, desto unwahrscheinlicher erscheint umgekehrt die Entstehung eines Produktfehlers in einem dem Hersteller zur Ausgestaltung überlassenen Bereich. Näherer Untersuchung bedarf in diesem Zusammenhang die Bedeutung des im Zuge der StVG-Novelle 2017 eingefügten § 1a Abs. 2 S. 1 Nr. 2 StVG, nach dem automatisierte Fahrzeuge in der Lage sein müssen, „während der hoch- oder vollautomatisierten Kap. 2, Abschn. 2.3.3. Zum Regelungsregime für neue Großserienfahrzeuge ausführlich Lutz, PHi 2016, 2 f. 44  Etwa BGH, Urt. v. 09.09.2008, VI ZR 279/06; NJW 2008, 3778, 3779; Urt. v. 07.10.1986, VI ZR 187/85; NJW 1987, 372, 373; BeckOK BGB/Förster, § 823, Rn. 695; Müko BGB/Wagner, § 823, Rn. 444 u. 815; Hey, Die außervertragliche Haftung des Herstellers autonomer Fahrzeuge, 53  f.; Spindler, CR 2015, 766, 771; a. A. Marburger, VersR 1983, 597, 602. 45  Müko BGB/Wagner, § 1, Rn. 44. 42  43 

3  Haftung am Beispiel automatisierter Fahrzeuge

131

Fahrzeugsteuerung den an die Fahrzeugführung gerichteten Verkehrsvorschriften zu entsprechen“. Unklar ist zunächst, inwieweit § 1a Abs. 2 S. 1 Nr. 2 StVG überhaupt ein an den Hersteller gerichtetes Pflichtenprogramm enthält. Formal statuieren §  1a Abs. 1 und § 1b Abs. 1 StVG nur die Voraussetzungen, unter denen der Fahrer eine automatisierte Fahrfunktion verwenden und sich vom Verkehrsgeschehen abwenden darf, § 1a Abs. 2 StVG nimmt in diesem Zusammenhang lediglich eine Legaldefinition des automatisierten Fahrens vor. Wollte man § 1a Abs. 2 S. 1 Nr. 2 StVG zudem bei der Bestimmung der vom Hersteller zu erfüllenden Anforderungen heranziehen, hätte dies mittelbar Implikationen für die technische Ausgestaltung des Fahrzeuges zur Folge. Zumindest für technische Anforderungen i. R. d. Zulassung neuer Großserienfahrzeuge besteht allerdings aufgrund des Anwendungsvorrangs46 der europäischen RL 2007/46/EG und zukünftig der direkt anwendbaren VO 2018/858 schlicht kein nationaler Normsetzungsspielraum. Ob § 1a Abs. 2 S. 1 Nr. 2 StVG mittelbare Anforderungen an den Hersteller entnommen werden können, erscheint daher zumindest als zweifelhaft. In jedem Fall schweigt sich § 1a Abs. 2 S. 1 Nr. 2 StVG aber gerade darüber aus, welcher Vergleichsmaßstab bei der Verkehrsregelerfüllung heranzuziehen ist,47 und liefert mithin keine abschließende Vorgabe für den von einem automatisierten bzw. autonomen Fahrzeug einzuhaltenden Sicherheitsstandard. Gerade die (in der StVO normierten) Verkehrsvorschriften stellen bei der Programmierung automatisierter und autonomer Fahrzeuge allerdings eine erhebliche Herausforderung dar, da sie vielfach unbestimmte und auslegungsbedürftige Rechtsbegriffe enthalten, die nicht ohne weiteres in Codes übersetzt werden können: So fordert etwa § 5 Abs. 4 S. 2 StVO, dass beim Überholen ein „ausreichender“ Seitenabstand zu anderen Verkehrsteilnehmern zu wahren ist. Wie groß ein ausreichender Seitenabstand in Metern sein muss, kann der Durchschnittsfahrer aber Ausführlich dazu Hilgendorf/Hötitzsch/Lutz, Rechtliche Aspekte automatisierter Fahrzeuge, 33, 48 f.; Lutz, Automatisiertes Fahren, 247 ff. 47  V. Hartmann, PHi 2019, 2, 10 f.; möglicherweise anders v. Bodungen/Hoffmann, NZV 2018, 97, 99. 46 

132

L. S. Lutz

anhand der StVO ebenso wenig erkennen, wie der Programmierer diese Anforderungen ohne weitere Schritte in Code umsetzen kann. Zwar sind die Vorgaben der StVO vielfach durch die Rechtsprechung konkretisiert worden, allerdings nur für bestimmte Einzelfälle, sodass eine gewisse Rechtsunsicherheit verbleibt. Sinnvoll wäre es daher für automatisierte und autonome Fahrzeuge, beispielsweise über das Zulassungsrecht eine explizite Quantifizierung unbestimmter Vorgaben der StVO vorzugeben, wie etwa die bei einem Überholmanöver einzuhaltenden Längsund Seitenabstände.48

3.5.2 A  ktueller Stand von Wissenschaft und Technik Wesentliche Bedeutung kommt bei der Bestimmung der berechtigten Sicherheitserwartung dem aktuellen Stand von Wissenschaft und Technik zu; diesem Standard muss das Produkt entsprechen und das danach mögliche und wirtschaftlich zumutbare Maß an Sicherheit bieten.49 Typischerweise ist ein Produktfehler folglich erst nach einer zweistufigen Prüfung zu bejahen: Erstens müssen im Stand von Wissenschaft und Technik überhaupt technisch überlegene Alternativlösungen existieren, und zweitens muss deren Einsatz wirtschaftlich zumutbar sein.50 Den Hersteller innovativer Produkte im Allgemeinen und automatisierter Fahrzeuge im Besonderen stellt allerdings bereits die erste Prüfungsstufe vor erhebliche Herausforderungen: Regelmäßig werden zur Bestimmung des Standes von Wissenschaft und Technik technische Normen als Untergrenze herangezogen, während die Anforderungen an den Hersteller nach oben hin dadurch beschränkt werden, dass er nicht gehalten ist, solche Sicherheitskonzepte umzusetzen, die bisher nur „auf dem

So auch Siemann/Kaufmann, RAW 2019, 58, 64. BGH, Urt. v. 16.06.2009, VI ZR 107/08; NJW 2009, 2952, 2953, Rn. 19; BeckOGK/Goehl, StVG, § 3, Rn. 31; MüKo BGB/Wagner, § 3, Rn. 39. 50  Vgl. Klindt/Handorn, NJW 2010, 1105, 1106. 48  49 

3  Haftung am Beispiel automatisierter Fahrzeuge

133

Reißbrett erarbeitet“ oder noch in der Erprobung befindlich sind.51 Es müssen vielmehr praktisch für den Serieneinsatz reife Lösungen zur Verfügung stehen.52 Im Falle des automatisierten bzw. autonomen Fahrens sind insbesondere die technischen Normen DIN/ISO 26262 und die druckfrische ISO/PAS 21448 von Bedeutung. Während Erstere darauf abzielt, die korrekte Funktion der elektrischen/elektronischen Fahrzeugarchitektur zu gewährleisten, beschäftigt sich Letztere mit der Performance der Funktion, derzeit allerdings nur im Hinblick auf Fahrerassistenzsysteme. Obwohl die existierenden Normen also eine gewisse Orientierung erlauben, bilden sie gerade kein abgeschlossenes Regelwerk für die Konstruktion automatisierter oder gar autonomer Fahrzeuge. Im Falle der Neueinführung innovativer Produkte, die einen gänzlich neuen Markt schaffen, geht die Problematik aber weit über das Fehlen vollumfänglicher technischer Regeln hinaus: Für den Serieneinsatz reife Sicherheitskonzepte werden schließlich erst zusammen mit dem Produkt entwickelt und stellen so die Spitze des Stands von Wissenschaft und Technik dar. Alternativlösungen, an denen eine Orientierung erfolgen könnte, sind dann häufig ebenso wenig vorhandene wie gefestigte Sicherheitserwartungen der berechtigten Verkehrskreise.53 Gleichzeitig ist absehbar, dass automatisierte Systeme und (schwache) künstliche Intelligenzen häufig in von menschlichen Verhaltensweisen geprägten Gebieten zum Einsatz kommen und an Stelle eines Menschen „handeln“ sollen, wobei sie mit einer nahezu unbegrenzten Vielzahl möglicherweise auftretender Konstellationen hoher Komplexität konfrontiert werden. Ebenso wenig wie der Mensch können Algorithmen aber absehbar in allen Fällen gänzlich fehlerfreie Entscheidung gewährleisten, sodass ein Restrisiko unvermeidbar ist. Gerade im Falle autonomer Fahrzeuge kann dieses auch nicht BGH, Urt. v. 16.06.2009, VI ZR 107/08; NJW 2009, 2952, 2953, Rn. 16; BeckOGK/Spindler, BGB, § 823, Rn. 634. 52  BGH, Urt. v. 16.06.2009, VI ZR 107/08; NJW 2009, 2952, 2953, Rn. 16; BeckOGK/Spindler, BGB, §  823, Rn.  634; BeckOK BGB/Förster, ProdHaftG § 3, Rn. 31. 53  Vgl. V. Hartmann, PHi 2019, 2, 8. 51 

134

L. S. Lutz

durch eine besonders sorgfältige Instruktion des Fahrers über seine Residualpflichten eingedämmt werden, da der Fahrer – sofern ein solcher überhaupt noch vorhanden ist – de lege ferenda gerade nicht mehr zum Eingreifen verpflichtet sein soll. Selbst nach Einführung automatisierter oder autonomer Fahrzeuge wird aufgrund der enormen Komplexität der Steuerungssysteme zudem nicht ohne weiteres feststellbar sein, ob eine ­bestimmte Alternativmaßnahme zwar zu einer verbesserten Performance im Bereich X geführt, nicht aber gleichzeitig eine Verschlechterung von Y hervorgerufen hätte. Es stellt sich daher die Frage, bis zu welchem (unvermeidbaren) Restrisiko eine Markteinführung schon per se produkthaftungsrechtlich zu beanstanden ist, selbst wenn keine (erkennbar) überlegene Alternativlösung zur Verfügung steht.

3.5.3 N  eueinführung innovativer Produkte: Sicherheitsmaßstab Sind bestimmte mit der Produktnutzung einhergehende Risiken nach dem maßgeblichen Stand von Wissenschaft und Technik nicht zu vermeiden, so ist nach der Rechtsprechung des BGH unter Abwägung von Art und Umfang der Risiken, der Wahrscheinlichkeit ihrer Verwirklichung und des mit dem Produkt verbundenen Nutzens zu prüfen, ob das gefahrträchtige Produkt (haftungsrechtlich betrachtet) überhaupt in den Verkehr gebracht werden darf.54 Wendet man diese Rechtsprechung konsequent auf die Einführung automatisierter bzw. autonomer Fahrzeuge an, kann bei der Bestimmung des mit dem Produkt verbundenen Nutzens i. S. d. BGH nur auf den derzeitigen menschengesteuerten Realverkehr als Vergleichsmaßstab abzustellen sein – ein Nutzen liegt schließlich nur dann vor, wenn sich gegenüber diesem Status quo VorBGH, Urt. v. 16.06.2009, VI ZR 107/08; NJW 2009, 2952, 2953, Rn. 17; MüKo BGB/Wagner, § 3, Rn. 39. 54 

3  Haftung am Beispiel automatisierter Fahrzeuge

135

teile feststellen lassen. Solche Vorteile dürften sich aus den zu erwartenden Unterschieden im Hinblick auf die beiden anderen Abwägungsfaktoren – Risiken und Wahrscheinlichkeit ihrer Verwirklichung  – ergeben. Zusätzlich wird man die sonstigen Vorteile automatisierten und autonomen Fahrens berücksichtigen müssen, beispielsweise verbesserte Mobilität für Menschen mit körperlichen Einschränkungen. Interessant ist, dass es nach diesen Kriterien nicht zulässig sein dürfte, ex post aus einem einzelnen durch das autonome Fahrzeug verursachten Unfall auf einen Produktfehler zurückzuschließen. Denn der BGH zieht Art und Umfang der Risiken sowie die Wahrscheinlichkeit ihrer Verwirklichung heran, stellt also auf statistische Messgrößen einer größeren Stichprobe ab, quasi den „Erwartungswert von Unfallschäden“.55 Für die Vornahme einer derartigen statistischen Gesamtbetrachtung spricht auch, dass autonome Fahrzeuge zwangsläufig ein anderes Stärken-und-­ Schwächen-­Profil aufweisen werden als menschliche Fahrer: Weder wird es absehbar technisch möglich sein, das menschliche Stärken-und-Schwächen-Profil technisch exakt nachzubilden, noch wäre dies aufgrund der bekannten Unzulänglichkeiten56 menschlicher Fahrer überhaupt wünschenswert. Näherer Untersuchung bedarf allerdings die Frage, welches Sicherheitsniveau ein Vergleich mit dem heutigen Verkehr konkret gebietet. Teilweise wird in der Literatur dazu – meist ohne exakte dogmatische Verortung – vertreten, beim Unfall eines automatisierten Fahrzeugs sei ein Konstruktionsfehler regelmäßig nur dann ausgeschlossen, wenn das Schadensereignis durch andere Verkehrsteilnehmer herbeigeführt oder die Fahrzeugsteuerung nicht ordnungsgemäß vom Fahrer rückübernommen werde.57 Angesichts der vom BGH aufgestellten Kriterien ist dies nicht überzeugend: Ein relevanter Zusatznutzen wird  – selbst S. z.  B. https://de.wikipedia.org/wiki/Erwartungswert. Zugegriffen am 15.07.2020. 56  Ähnl. Hartmann, PHi 2019, 2, 11. 57  BeckOGK/Spindler, BGB, § 823, Rn. 732; Wagner/Goeble, ZD 2017, 263, 266; Fleck/Thomas, NJOZ 2015, 1393, 1397. 55 

136

L. S. Lutz

ohne die Berücksichtigung der zusätzlichen Vorteile des autonomen Fahrens  – spätestens dann erzielt, wenn die Inverkehrgabe der Fahrzeugserie im statistischen Mittel zu einer Reduzierung der Unfallzahlen oder der Unfallschwere führt.58 Selbst wenn der genannte Maßstab erreicht ist und obwohl für den Verwender keine Möglichkeit besteht, die Restgefahren zu kompensieren, muss der Hersteller gleichwohl ausführlich über diese Risiken informieren und dem Adressaten so eine eigenverantwortliche Entscheidung ermöglichen, ob überhaupt eine Nutzung des Produkts erfolgen soll.59

3.6

 utomatisierte Fahrzeuge: Globale A Auswirkungen im Haftungssystem und haftungsrechtliche Letztverantwortung

Bereits in Abschn.  3.4. wurde aufgezeigt, dass die Einführung automatisierter Fahrzeuge und der damit in vielen Situationen verbundene Entfall des Fahrers als Haftungssubjekt per se keine wesentlichen Änderungen im deutschen Haftungsrecht erforderlich machen. Gegenstand der übrigen Abschnitte war dagegen eine isolierte Betrachtung der Voraussetzungen, unter denen haftungsrechtliche Ansprüche gegen die wichtigsten Akteure im Straßenverkehr bestehen können. Kommt es zu einem Unfall, können Ansprüche auf Kompensation desselben Schadens jedoch prinzipiell auch gleichzeitig gegen mehrere Akteure gegeben sein. Der zuerst Leistende kann sich dann unter Umständen bei anderen Beteiligten schadlos halten, also Regress nehmen. Nachfolgend soll näher betrachtet werden, wer in derartigen Fällen in haftungsrechtlicher Letztverantwortung für den entstandenen Schaden aufkommen muss.

Ebenso Zech, ZfPW, 2019, 198, 213, insb. Fn.  65; aus ethischer Sicht Ethik-Kommission Automatisiertes und Vernetztes Fahren, 2017, Regel 6, S. 11. 59  BGH, Urt. v. 16.06.2009, VI ZR 107/08; NJW 2009, 2952, 2954, Rn. 23. 58 

3  Haftung am Beispiel automatisierter Fahrzeuge

137

3.6.1 H  aftungsquote zwischen Unfallbeteiligten: Betriebsgefahr In aller Regel sind an einem Unfall mehrere Verkehrsteilnehmer beteiligt. Wird der Unfall nicht alleine durch einen der Beteiligten verursacht, ist zunächst zu bestimmen, wer welchen Anteil an dem Gesamtschaden tragen muss, mithin ist eine sog. Haftungsquote festzulegen:60 Sind ausschließlich motorisierte Fahrzeuge beteiligt, so ist nach §  17 StVG vorzugehen, für unmotorisierte Verkehrsteilnehmer findet sich die entsprechende Rechtsgrundlage in § 9 StVG i. V. m. § 254 BGB. Selbst wenn ein Unfall ausschließlich durch einen Fehler des einen Beteiligten A verursacht wurde, wird der andere Beteiligte B jedoch nicht automatisch von der Haftung frei: Kam bei dem Beteiligten A ein Kraftfahrzeug zum Einsatz, weist die Rechtsprechung ihm gleichwohl zumeist einen Haftungsanteil zu, da aufgrund der Eigenarten motorisierter Fahrzeuge ein erhöhtes Gefahrenpotenzial (sog. einfache Betriebsgefahr) unterstellt wird.61 Maßgebliche Faktoren sind insoweit unter anderem die Fahrzeugart, das Fahrzeuggewicht und die möglichen Geschwindigkeiten.62 Ohne Hinzutreten besonderer Umstände wird diese Betriebsgefahr üblicherweise bei Pkw mit 20 % bewertet, lediglich bei einem weit überwiegenden Verursachungsanteil des Unfallgegners kann sie auch auf null reduziert werden.63 Nach einer bislang singulär gebliebenen Ansicht soll automatisierten Fahrzeugen insoweit eine gegenüber nicht automatisierten Verkehrsteilnehmern erhöhte Betriebsgefahr zuzuweisen sein, da die „überlegene Technik“ den individuellen Unfall gerade nicht verhindert habe.64 Diese in sich widersprüchliche Ansicht ist Mit einer ausführlichen Darstellung Garbe//Hagedorn, JuS 2014, 287, 290 ff. 61  Allgemeine Meinung, etwa: BeckOK BGB/Lorenz, §  254, Rn.  55; Berz/ Burmann/Grüneberg, Abschnitt 4. A., Rn.  124  f.; Hentschel/König/Dauer/König, StVG, § 17, Rn. 6. 62  Ebd. 63  M.w.N BHHJJ/Heß, § 17, Rn. 20; Garbe//Hagedorn, JuS 2014, 287, 292. 64  Gail, SVR 2019, 321, 325 f. 60 

138

L. S. Lutz

a­bzulehnen: Sofern die verbaute Automatisierungstechnik tatsächlich „überlegen“ ist und durchschnittlich einen Sicherheitsgewinn bringt, reduziert sie die abstrakte Gefährlichkeit des ­Fahrzeugs. Eine in Form der einfachen Betriebsgefahr zu berücksichtigende generelle Gefahrerhöhung besteht dann gerade nicht,65 die Betriebsgefahr ist vielmehr gegenüber vergleichbaren nichtautomatisierten Fahrzeugen reduziert.

3.6.2 Haftungsverteilung zwischen Pflichtversicherung und Hersteller Kommt es durch den Betrieb eines Kfz zu einem Unfallschaden, verlangt der Geschädigte Schadensersatz typischerweise zunächst vom Fahrzeughalter, da dessen Einstandspflicht von den geringsten Voraussetzungen abhängt. Alternativ kann gem. § 115 Abs. 1 S. 1 Nr. 1 VVG i. V. m. § 1 PflVG auch unmittelbar ein Direktanspruch gegen den Haftpflichtversicherer des Halters geltend gemacht werden. In beiden Fällen muss im Verhältnis zwischen Versicherung und Halter nach §  116 Abs.  1 S.  1 VVG allein die Versicherung für den entstandenen Schaden aufkommen. Üblicherweise ist der Schaden somit in letzter Konsequenz von der Versicherung des Halters zu kompensieren. Führt allerdings ein Produktfehler zur Entstehung des Unfallschadens, kann neben die Einstandspflicht des Halters und seiner Versicherung eine Haftung des Herstellers treten. In diesem Fall stellt sich die Frage, unter welchen Voraussetzungen die Versicherung des Halters Schadensersatz vom Hersteller verlangen kann, der Hersteller mithin als Letztverantwortlicher für den Schaden aufkommen müsste. Leistet die Versicherung, gehen etwa bestehende Ersatzansprüche des Halters gegen Dritte gem. § 86 Abs. 1 S. 1 VVG auf sie über, maßgeblich ist daher, ob zwischen Halter und Hersteller Ausgleichsansprüche bestehen. Kann Schadensersatz wahlweise sowohl gegen den Halter als auch den Hersteller geltend gemacht

So auch Greger, NZV 2018, 1, 2.

65 

3  Haftung am Beispiel automatisierter Fahrzeuge

139

werden, insbesondere aufgrund von Halter- und Produkthaftung, haften beide nach § 840 Abs. 1 BGB als Gesamtschuldner i. S. d. §  421 BGB.66 Hinsichtlich des Ausgleichs zwischen mehreren Gesamtschuldnern sieht §  426 Abs.  1 S.  1 BGB alle Gesamtschuldner als „zu gleichen Anteilen verpflichtet, soweit nicht ein anderes bestimmt ist“. Gesetzlich angeordneter Regelfall ist mithin eine Teilung 50:50, allerdings bestimmt § 254 BGB nach allgemeiner Meinung in Form der Berücksichtigung von Verursachungs- und Verschuldensanteilen „ein anderes“.67 Ein Konsens, wie eine Haftungsverteilung nach diesen Kriterien beim automatisierten Fahren vorzunehmen ist, besteht bislang noch nicht. Richtigerweise muss zu Lasten des Halters (und damit auch seiner Versicherung) aber als absolutes Mindestmaß die einfache Betriebsgefahr des Kfz in Ansatz gebracht werden.68 Schließlich hängt die realisierte Zahl von Unfällen nicht nur von der (durch die Leistungsfähigkeit der automatisierten bzw. autonomen Steuerung determinierten) Wahrscheinlichkeit eines Schadenseintritts ab, sondern auch von der Anzahl der zurückgelegten Kilometer und den jeweiligen Einsatzbedingungen. Über diese Faktoren entscheidet aber ausschließlich der Halter. Die Bedeutung der Fahrleistung zeigt die Tatsache, dass bereits heute für konventionelle Fahrzeuge vergünstigte Haftpflichtversicherungen angeboten werden, wenn vom Halter im Gegenzug eine geringe Kilometerlaufleistung pro Jahr zugesagt wird.

3.7

Fazit: Brauchen wir neue Gesetze?

Im vorliegenden Beitrag wurde aufgezeigt, dass das Institut der Halterhaftung in Kombination mit dem Pflichtversicherungs­ system einen angemessenen Ausgleich von Unfallschäden im § 840 Abs. 1 BGB ist nach allgemeiner Meinung nicht nur auf die § 823 ff. BGB anwendbar, sondern auch auf spezialgesetzliche Gefährdungstatbestände, für alle etwa BeckOK BGB/Förster, § 840, Rn. 5 u. 7. 67  MüKo BGB/Wagner, § 840, Rn. 15. 68  Ebenso explizit Greger, NZV 2018, 1, 5; Hey, Die außervertragliche Haftung des Herstellers autonomer Fahrzeuge, 137  f.; wohl auch Gomille, JZ 2016, 76, 82; zweifelnd Koch, VersR 2018, 901, 904. 66 

140

L. S. Lutz

a­ utomatisierten Verkehr ebenso gewährleistet wie im konventionellen. Um einen hundertprozentigen Gleichlauf zu gewährleisten, sollten lediglich die Haftungshöchstbeträge an, die bereits heute in Deutschland ganz überwiegend vereinbarten Deckungssummen von 50 oder sogar 100 Millionen Euro angepasst werden. Gleiches gilt für die Mindestversicherungssummen in § 4 Abs. 2 i. V. m. Anlage Nr. 1a, b PflVG. Da die meisten Halter bereits über derartige Policen verfügen und im konventionellen Verkehr über ihre Versicherung wirtschaftlich für nahezu alle durch sie selbst sowie durch Fahrer und Eigentümer verursachten Drittschäden einstehen müssen, ist eine Mehrbelastung der Halter insoweit nicht zu erwarten. Soweit ein Produktfehler vorliegt, besteht die Möglichkeit, Regress beim Hersteller zu nehmen, wobei die Grundsätze des Gesamtschuldnerausgleichs und insbesondere die dem Halter zuzurechnende Betriebsgefahr zu berücksichtigen sind. Insgesamt ist damit zu konstatieren, dass das deutsche Haftungsrecht bereits heute problemlos einen effizienten Schadensausgleich auch im automatisierten Verkehr ermöglichen würde – durchgreifende Änderungen und fundamental neue Gesetze sind insoweit mithin nicht erforderlich.

Literatur [1] Bamberger/Roth/Hau/Poseck, Beck’scher Online Kommentar zum Bürgerliches Gesetzbuch, 52. Edition, 2019. [2] Borges, Georg, Haftung für selbstfahrende Autos, CR 2016, 272–280. [3] Burmann/Heß/Hühnermann/Jahnke, Straßenverkehrsrecht Kommentar, 26. Aufl., München 2020. [4] Dötsch/Koehl/Krenberger/Türpe, Beck’scher Online Kommentar, Straßenverkehrsrecht, 2. Edition, 2018. [5] Freise, Rainer, Rechtsfragen des automatisierten Fahrens, VersR 2019, 65. [6] Fuchs, Maximilian/Baumgärtner, Alex, Ansprüche aus Produzentenhaftung und Produkthaftung, JuS 2011, 1057–1063. [7] Garbel, Thorsten/Hagedorn, Amelie, Die zivilrechtliche Haftung beim Verkehrsunfall, JuS 2014, 287–294. [8] Gomille, Christian, Herstellerhaftung für automatisierte Fahrzeuge, JZ 2016, 76–82.

3  Haftung am Beispiel automatisierter Fahrzeuge

141

[9] Greger, Reinhard, Haftungsfragen beim automatisierten Fahren, NZV 2018, 1–5. [10] Gsell/Krüger/Lorenz/Reymann, Beck’scher Online Grosskommentar, Zivilrecht, München 2018. [11] Hansard, Volume 791, 5 Juni 2018, Abs. 1249. [12] Hartmann, Volker, Künstliche Intelligenz in Maschinen – Überlegungen aus Sicht des Produkthaftungs- und Produktsicherheitsrechts am Beispiel des automatisierten/autonomen Fahrens, PHI 2019, 2. [13] Hentschel/König/Dauer, Straßenverkehrsrecht Kommentar, 45. Aufl., München 2019. [14] Hey, Tim, Die außervertragliche Haftung des Herstellers autonomer Fahrzeuge bei Unfällen im Straßenverkehr, Wiesbaden 2019. [15] Hilgendorf, Eric/Hötitzsch, Sven/Lutz, Lennart, Rechtliche Aspekte automatisierter Fahrzeuge, Baden-Baden 2014. [16] Huber, Christian, Anhebung der Haftungshöchstbeträge bei teilautomatisiertem Fahren in § 12 StVG ohne Anpassung der Mindestdeckungssumme der Kfz-Haftpflichtversicherung, Teil des modernsten Straßenverkehrsrechts der Welt, allgemeines Lebensrisiko oder gesetzgeberische Panne?, NZV 2017, 545–548. [17] Jänich, Volker/Schrader, Paul, T./Reck, Vivian, Rechtsprobleme des autonomen Fahrens, NZV 2015, 313–318. [18] Lutz, Lennart, Automatisierte Fahrzeuge: Änderungsbestrebungen im Zulassungs- und Verhaltensrecht, PHI 2016, 2–7. [19] Lutz, Lennart, Automatisiertes Fahren, Dashcams und die Speicherung beweisrelevanter Daten, Baden-Baden 2017. [20] Lutz, Lennart, Autonome Fahrzeuge als rechtliche Herausforderung, NJW 2015, 119–124. [21] Lutz, Lennart/Tang, Tito/Lienkamp, Markus, Die rechtliche Situation von teleoperierten und autonomen Fahrzeugen, NZV 2013, 57–63. [22] Mackworth, N. H., The Quarterly Journal of Experimental Psychology, Volume 1, 1948. [23] Marburger, Peter, Die haftungs- und versicherungsrechtliche Bedeutung technischer Regeln, VersR 1983, 597–608. [24] Münchner Kommentar zum Straßenverkehrsrecht, 1. Aufl., München 2017. [25] Säcker/Rixecker/Oetker/Limperg, Münchner Kommentar zum Bürgerlichen Gesetzbuch, 8. Aufl., München 2018. [26] Schubert, Matthias, Regulating the Use of Automated Vehicles (SAE Levels 3 to 5) in Germany and the UK, RAW 2019, 18. [27]  Spindler, Gerald, Roboter, Automation, künstliche Intelligenz, selbst-steuernde Kfz  – Braucht das Recht neue Haftungskategorien?, CR 2015, 766–776. [28] Wolfers, Benedikt, Selbstfahrende Autos: Ist das erlaubt?, RAW 2017, 1.

142

L. S. Lutz

Dr. iur. Dipl.-Ing. Lennart S. Lutz  ist Syndikusrechtsanwalt und Datenschutzbeauftragter bei der Autonomous Intelligent Driving GmbH in München. Mit den rechtlichen Herausforderungen des automatisierten und autonomen Fahrens beschäftigt er sich bereits seit 10 Jahren und ist Autor zahlreicher wissenschaftlicher Publikationen zu diesem Themengebiet.

4

Künstliche Intelligenz im Immaterialgüterrecht Matthias Hartmann und Claudia Ohst

4.1

 elche Bestandteile einer KI kommen für W den Rechtsschutz in Betracht?

Unter Immaterialgüterrechten oder Intellectual and Industrial Properties (IP) werden absolute Rechte verstanden, die an unkörperlichen Gegenständen von der Rechtsordnung zugewiesen werden. Absolut sind diese Rechte, weil sie gegenüber jedermann geltend gemacht werden können, also auch außerhalb einer konkreten Vertragsbeziehung. Der Schutz bezieht sich dabei nicht allein auf eine konkrete Gestaltung eines Gegenstandes, beispielsweise dem Verletzungsstück, sondern wird an dem geistigen Inhalt gewährt, beispielsweise einem Gedicht oder einer technischen Zeichnung. Solche Immaterialgüterrechte bestehen nur, soweit sie von der Rechtsordnung ausdrücklich anerkannt sind. In Deutschland ist dies beispielsweise für Patente, Urheberrechte und Marken der M. Hartmann (*) HK2 Rechtsanwälte, Berlin, Deutschland E-Mail: [email protected] C. Ohst Berlin, Deutschland E-Mail: [email protected] © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von Springer Nature 2020 M. Hartmann (Hrsg.), KI & Recht kompakt, IT kompakt, https://doi.org/10.1007/978-3-662-61700-7_4

143

144

M. Hartmann und C. Ohst

Fall. Einem Immaterialgüterrecht angenähert ist seit April 2019 auch das Geschäftsgeheimnis. Um KIs unter dem Aspekt von Immaterialgüterrechten zu betrachten, soll zunächst in Erinnerung gerufen werden, woraus eine KI besteht. Wie in Kap. 1 gezeigt, beginnt die Erschaffung einer KI mit Algorithmen, die in einer Software umgesetzt sind. Zum Ablaufen wird bestimmte Hardware benötigt; beim Standardbeispiel des Machine Learning wird die KI schließlich mit Daten trainiert oder trainiert sich selbst. Das Entwickeln für KI besonders geeigneter Hardware kann zum Patentschutz führen. Dabei dürfte gerade die Nachbildung neuronaler Netze in Hardware zunehmend an Bedeutung gewinnen. Bereits jetzt hat der immense Rechenbedarf von KI zur Entwicklung spezieller Hardware geführt. Die Ausführungen in diesem Teil konzentrieren sich aber auf den Schutz der geistigen Leistung bei der Entwicklung von Algorithmen, der Programmierung von KI und der Frage, ob Schutzrechte durch das Trainieren einer KI entstehen. An folgendem Beispiel lassen sich die Fragestellungen in Bezug auf IPs für KI gut darstellen, auch wenn KIs inzwischen auf verschiedenste Weise technisch umgesetzt werden: Für das Erstellen einer KI stehen eine Reihe von kostenpflichtigen oder vergütungsfreien Frameworks zur Verfügung, in denen verschiedene Lernalgorithmen zur Anwendung gebracht werden können. Die Frameworks gestatten die Auswahl und Kombination geeigneter Lernalgorithmen und die Zusammenstellung oder Ergänzung der für das Training und den Einsatz erforderlichen Software. Das Ergebnis ist eine ungelernte KI, also letztlich Software, die über eine Schnittstelle bedient werden kann. In dieser Software ist dann implementiert, mit welchem KI-Mechanismus gearbeitet werden soll, beispielsweise Machine Learning, Deep Learning, Neuronale Netze (siehe oben Kap. 1). Die ungelernte KI besteht also vor allem aus Software (einerseits einer KI-Plattform-­Software, andererseits einer Software zur Benutzung und Anwendung). Durch den anschließenden Trainingsprozess mit Daten wird die Software in ihrem gecodeten Teil zumindest bei heute verfügbaren Standardlösungen nicht verändert. Die Software programmiert sich also im Lernprozess nicht um, sondern ändert nur die internen Gewichtungen (Parameter siehe Kap. 1, Abschn. 1.2.2).

4  Künstliche Intelligenz im Immaterialgüterrecht

145

Die gelernte KI hat also immer noch denselben Sourcecode, aber andere Einstellungen, eine andere Konfiguration. Am Beispiel des neuronalen Netzes: die Wertigkeiten aller Knotenpunkte der ungelernten KI könnten beispielsweise bei Null liegen, die gelernte KI dagegen hätte in allen „Zellen“ hinterlegt, ob diese einen Input unverändert, vermindert oder verstärkt weiterleiten. Während die Zelle also durch Programmiercode funktioniert, sind die konkreten Einstellungen Daten. Die ungelernte Software ergibt in Verbindung mit den Lerndaten notwendig immer die identische gelernte KI.  Genauso wie die gelernte KI in der Anwendung auf bestimmte Echtdaten immer den identischen Output generiert. Dies gilt zumindest in der Theorie, in der Praxis werden KIs während des Lernprozesses häufig durch Zufallswerte voreingestellt oder während des Lernprozesses angeregt, um zu verhindern, dass sich die KI in einem erstbesten lokalen Optimum festlernt. IP-Schutz kommt demnach in Betracht für Algorithmen, Software, Daten und für die Gesamtheit, die aus dem Zusammenwirken der Komponenten besteht.

4.2

Urheberrecht

Gegenstand des Urheberrechts sind sog. Werke. Einen nicht abschließenden Katalog der möglichen Werke enthält § 2 UrhG. Für den Bereich der KI sind die Sprachwerke und Darstellungen wissenschaftlicher oder technischer Art und insbesondere die Computerprogramme von Bedeutung. § 4 gibt zusätzlich den Sammlungen von Werken, Daten oder anderen unabhängigen Elementen als Sammel- oder Datenbankwerke einen rechtlichen Schutz. Das Urheberrecht schützt hierbei aber immer nur persönlich geistige Schöpfungen, wobei weder Idee noch Werkthema noch Inhalt eines Werks geschützt sind, sondern nur stets die Form.1 Ein Werk liegt nur dann vor, wenn ein schöpferischer Spielraum ausgenutzt werden kann. Sowohl bei Sprachwerken als auch bei Wandtke/Bullinger/Bullinger, §  2 Rn.  38; BGH, GRUR 1999, 923, 924  – Tele-Info-CD; BGH, GRUR 1995, 47 – Rosaroter Elefant; KG, GRUR-RR 2002, 49 – Vaterland. 1 

146

M. Hartmann und C. Ohst

wissenschaftlichen Werken gilt hierbei lediglich der Maßstab der sogenannten „kleinen Münze“, d. h. es werden lediglich einfache geringe schöpferische Leistungen gefordert.2 Es darf sich beispielsweise nicht um eine bloß mechanische und routinemäßige Zusammenstellung vorgegebener Fakten handeln.3 Man geht bei wissenschaftlichen und technischen Darstellungen zudem davon aus, dass Aufbau und Struktur des Werkes durch den wissenschaftlichen Hintergrund diktiert sind, so dass weniger Spielraum für Individualität verbleibt. Da der Urheberrechtsschutz jedoch ein Form- und kein Ideenschutz ist, muss auch Spielraum für Andere verbleiben, die z. B. zu demselben Thema forschen/publizieren möchten und dies zwangsläufig ähnlich tun würden. Verletzungen des Urheberrechts können in diesem Bereich daher nur beim „Übernehmen“ eines Werkes vorliegen, nicht aber wenn ähnliche Werke geschaffen werden, die von einem Werk „angeregt“ wurden. Das Nervensystem eines Lebewesens wäre als Tatsache beispielsweise nicht geschützt, wohl aber die konkret programmierte Wiederholung des Nervensystems.4 Zusätzlich zum eigentlichen Urheberrecht sind im Urheberrechtsgesetz sogenannte Leistungsschutzrechte verankert. Dabei handelt es sich um dem Urheberrecht angenäherte absolute Rechte, die für einen bestimmten Einsatz bei der Erstellung – eine Leistung  – gewährt werden und nicht von der schöpferischen Qualität des Ergebnisses der Leistung abhängen sollen. So sind z. B. Hersteller von Tonträgern oder ausübende Künstler wie Sänger besonders geschützt. Während Werke urheberrechtlich geschützt sein können, auch ohne im Gesetz ausdrücklich genannt zu sein – dies wird bspw. für Multimediawerke diskutiert5 – gibt es Leistungsschutz nur für die gesetzlich bestimmten LeistungsBGH, GRUR 1993, 34 – Bedienungsanweisung. BGH, GRUR 1981, 520 – Fragensammlung. 4  Siehe den digitalen Fadenwurm C. elegans hier http://openworm.org/. Zugegriffen am 16.01.2020. 5  Fromm/Nordemann/Nordemann, UrhG, § 2, Rn. 231. 2  3 

4  Künstliche Intelligenz im Immaterialgüterrecht

147

ergebnisse. Für KI relevant erscheint hier der Schutz von Datenbanken, §§ 87a ff. UrhG. Geschützt könnte eine KI also vor allem als Computerprogramm, als Datenbankwerk oder Datenbank oder als ein unbenanntes Werk eigener Art sein.

4.2.1 Schutz als Computerprogramm Computerprogramme genießen urheberrechtlichen Schutz, §  2 Abs. 1 Nr. 1, § 69a UrhG. Unter Computerprogrammen versteht das Gesetz „Programme in jeder Gestalt, einschließlich des Entwurfsmaterials“, § 69a Abs. 1 UrhG. Der Schutz wird dabei gewährt für „alle Ausdrucksformen eines Computerprogramms“.6 Ein Computerprogramm ist damit insbesondere sowohl im Quellcode als auch im Objektcode geschützt. Ideen und Grundsätze, die einem Element eines Computerprogramms zugrunde liegen, einschließlich der den Schnittstellen zugrunde liegenden Tatsachen und Erkenntnisse sind dagegen auch hier nicht geschützt.7 Die Abgrenzung von Tatsachen oder Ideen einerseits und Entwurfsmaterial oder einer Ausdrucksform eines Computerprograms andererseits ist allerdings unscharf. Algorithmen, mathematische Formeln, Rechenregeln oder einem Programm zugrunde gelegte abstrakte Lehrsätze sollen nicht als Computerprogramm schutzfähig sein.8 Sie sind jedoch als Problemlösungsmethoden der Implementierung in ein Computerprogramm zugänglich und der Ausdruck dieses Computerpro-

Zur Abgrenzung sollten Computerprogramme jedoch genauer definiert werden: Ein Computerprogramm ist eine Ansammlung von Befehlen, die nach Aufnahme auf einen maschinenlesbaren Träger bewirkt, dass eine informationsverarbeitende Maschine sowohl Eingaben als auch Ausgaben verarbeiten kann (Ohst, S. 36). 7  Dreier/Schulze/Schulze, UrhG, § 2 Rn. 97; Fromm/Nordemann/Nordemann, UrhG, § 2, Rn. 43. 8  Wandtke/Bullinger/Grützmacher, UrhG, §  69a, Rn.  29; Ory/Sorge, NJW 2019, 710, 712. 6 

148

M. Hartmann und C. Ohst

gramms kann dann urheberrechtlich geschützt sein.9 Dadurch werden die Algorithmen aber nicht wiederum als E ­ ntwurfsmaterial gleichermaßen urheberrechtlich geschützt. Das würde den Schutzbereich unzulässig erweitern. Damit ist beispielsweise die für die Entwicklung zahlreicher Deep Learning KIs bahnbrechende Idee der Long short-term Memory10 wohl nicht als Entwurfsmaterial eines Computerprogrammes geschützt. Dagegen kann die Umsetzung dieser Idee in einem Computerprogramm, das diese Idee benutzt, geschützt sein, soweit dabei ein Gestaltungsraum zur Verfügung steht. Die Beschreibung einer Idee oder eines Algorithmus kann allerdings als Sprachwerk oder Darstellung wissenschaftlicher Art geschützt sein, § 2 Abs. 1 Nr. 1 oder 7 UrhG; Gegenstand des Schutzes ist dann aber nur der konkrete Ausdruck – also das „wie“ der Beschreibung, nicht aber die dargestellte Information.11 Nicht als Programm geschützt sind insbesondere auch Daten.12 Nur der Teil einer Software soll geschützt sein, der Anweisungen zum Ablauf und der Steuerung der Prozesse in der Hardware enthält.13 Das Gesetz verwendet deswegen den Begriff Computerprogramm und nicht Software, unter letzteres fallen dann auch die anderen Bestandteile, wie Dokumentationen. Für die KI bedeutet das, dass die programmtechnische Umsetzung einer KI innerhalb einer Software dem Schutz des Urheberrechts als Computerprogramm unterliegen kann. Soweit sich die trainierte von der untrainierten KI jedoch nicht hinsichtlich der Computerbefehle des Programms unterscheidet, sondern lediglich in den gelernten Gewichtungen – also Daten – kommt jedoch ein Schutz als Computerprogramm nach § 69a UrhG nicht in Betracht. Angenommen also, zwei Unternehmen hätten die gleiche KI-Software lizenziert, dann könnte nicht aus dem Recht am Computerprogramm gegen die Übernahme der gelernten Daten des einen Unternehmens durch das andere vorgegangen werden.

Ausführlich Ohst, S. 36 ff. https://www.ncbi.nlm.nih.gov/pubmed/9377276. Zugegriffen am 16.01.2020. 11  Wandtke/Bullinger/Bullinger, UrhG, § 2, Rn. 135. 12  Wandtke/Bullinger/Grützmacher, UrhG, § 69a, Rn. 18. 13  Wandtke/Bullinger/Grützmacher, UrhG, § 69a, Rn. 3. 9 

10 

4  Künstliche Intelligenz im Immaterialgüterrecht

149

Selbstverständlich bleiben beide Computerprogramme geschützt und es könnten andere Ansprüche bestehen, etwa aus Geschäftsgeheimnisgesetz, Datenschutz, Vertrag etc. Auch die Datenbasis kann in ihrer Gesamtheit oder in Teilen als Datenbank gegen eine Übernahme geschützt sein (siehe unten). Die „Kombination“ ist es jedoch nicht. Das Ergebnis überrascht, weil das Lernen einer KI gerade den wirtschaftlichen Wert ausmachen kann; man denke an frei verwendbare KI-Frameworks. Die Beschaffung von Daten für das Training einer KI ist meist sehr aufwendig. Insbesondere sind die Rechte zu klären, um Daten, sofern sie einem Schutzregime unterfallen, für das Lernen nutzen zu dürfen, denn hierfür werden zumindest Vervielfältigungen der Daten im Arbeitsspeicher erforderlich sein.14 Auch vorgelernte KIs haben inzwischen eine erhebliche wirtschaftliche Bedeutung bei den Anbietern von KI. Dass hier eine Schutzlücke bestehen könnte, wird oftmals vergessen. Die Schutzfähigkeit von Computerprogrammen setzt weiter Individualität im Sinne einer „eigenen geistigen Schöpfung“ voraus; qualitative oder ästhetische Kriterien sollen keine Anwendung finden.15 Es genügt,16 wenn das Computerprogramm eine eigene geistige Leistung darstellt, sofern diese nicht völlig banal ist, also lediglich aus einer Aneinanderreihung von Bekanntem und zum Gemeingut gehörenden Material besteht oder auch sonst alltäglich ist. Teile des neuronalen Netzwerks können als Computerprogramme angesehen werden, denn die Neuronen bestehen aus kleinen Computerprogrammen, die Befehle ausführen und durch ihre Gewichte Daten verarbeiten. Einzelne Neuronen sind allerdings zu trivial, um urheberrechtlichen Schutz zu erlangen. Sie bestehen nur aus einfachen Funktionen; ein einzelnes Neuron ist damit nicht geschützt. Das Netz in seiner Gesamtheit als Verbindung von trivialen Funktionen kann jedoch als Computerprogramm geschützt sein.

Sieh dazu Kap. 2. Fromm/Nordemann/Czychowski, UrhG, § 69a, Rn. 14. 16  Seit der Umsetzung der Richtlinie des Rates vom 14. Mai 1991 über den Rechtsschutz von Computerprogrammen. 14  15 

150

M. Hartmann und C. Ohst

Bei moderner Programmierung werden nicht nur Hilfsmittel zur Automatisierung eingesetzt, sondern die Ergebnisse bestehen oft in erheblichem Umfang aus der Zusammenstellung und dem Aufruf vorbestehender Unterprogramme oder Routinen oder werden gleich in einem bestehenden Framework entwickelt.17 Hier stellt sich die Frage, ob das Ergebnis noch ausreichende Individualität aufweist und ob Urheber vielleicht nur die Entwickler des Frameworks sind.18 Ergebnis ist daher, dass Computerprogramme beim Erstellen oder dem Einsatz einer KI urheberrechtlichen Schutz genießen dürften. Dies gilt für das Programm, welches die KI als solches darstellt, die KI-Frameworks als Entwurfsmaterial oder unmittelbar als Computerprogramme, die Programme zur Steuerung des Lernprozesses oder der Nutzung einer KI. Eine Schutzlücke besteht insoweit, als das Setup einer gelernten KI keinen Schutz als neues Computerprogramm beanspruchen kann, solange die Steuerungsbefehle des Programms durch den Lernprozess nicht verändert worden sind. Die gelernte KI kann jedoch in ihrem trainierten Zustand in ein Computerprogramm für den Anwender überführt werden (eine Art Kompilierung), so dass wieder ein Computerprogramm, das dem Schutz zugänglich ist, entsteht, so dass diese Schutzlücke in der Praxis jedenfalls abgemildert werden kann.

4.2.2 Schutz als Datenbank oder Datenbankwerk Wie unter 4.2.1 dargestellt, sind Daten innerhalb einer Software vom Computerprogramm zu unterscheiden und unterfallen nicht deren Schutz nach §  69  a UrhG.  Seit vielen Jahren wird in der Europäischen Union darüber diskutiert, ob der Schutz von Daten als Wirtschaftsgut sinnvoll erscheint. Dabei herrscht Einigkeit, dass es dabei nicht um Rechte an der Information über eine Tatsache gehen kann, sondern immer nur um Rechte an der Festle-

Vgl. Wandtke/Bullinger/Grützmacher, UrhG, § 69a, Rn. 20. Eingehend: Koch, GRUR 2000, 191.

17  18 

4  Künstliche Intelligenz im Immaterialgüterrecht

151

gung dieser Information in einem digitalen Datensatz. Beispielsweise: Das „Eigentum“ am Datensatz mit dem Hochzeitstag von Herrn Müller, soll nicht dazu berechtigen, die digitale Nutzung der ­Information des Hochzeitstages von Herrn Müller zu bestimmen (das ist eher eine Frage des Datenschutzes). Die Bestrebung der EU, ein solches IP an Daten selbst zu schaffen, scheint derzeit aber nachzulassen.19 Stattdessen arbeitet die Kommission an dem Aufbau eines gemeinsamen europäischen Datenraums und versteht darunter vor allem den Zugang zu Daten des öffentlichen oder privaten Sektors einschließlich der wissenschaftlichen Informationen. Geschützt sind Daten allerdings bereits jetzt eingeschränkt als Bestandteile einer Datenbank, §  87a UrhG, oder eines Datenbankwerks, §  4 Abs.  2 UrhG bzw. Sammelwerks §  4 Abs.  1 UrhG. Der Inhalt eines Datensatzes kann selbstverständlich auch selbst unter den Schutz des Urheberrechtsgesetzes fallen, beispielsweise gilt dies für Texte, Fotos, Bilder etc. Der Unterschied zwischen den beiden Schutzinstrumenten besteht darin, dass für ein Sammel- bzw. Datenbankwerk eine persönliche geistige Schöpfung erforderlich ist, mit geringen Anforderungen, ähnlich denen eines Computerprogramms, wenngleich im Deutschen ein anderer Begriff verwendet wird.20 Es handelt sich um einen Urheberrechtsschutz. Bei der Datenbank handelt es sich um einen Leistungsrechtsschutz; hier wird die Investition in eine Datenbank geschützt, nicht deren geistige Schöpfung. Wesentliche Unterschiede gibt es z. B. beim Rechtsinhaber und bei der Schutzdauer des Rechts, aber auch bei den Verwertungsrechten. Während dem Urheber bei einem Datenbankwerk beispielsweise das Vervielfältigungsrecht zusteht, bezieht sich dieses beim Datenbankhersteller einer Datenbank – dem Leistungsschutzrecht – nur auf die Datenbank insgesamt oder einen wesentlichen Teil. Bzgl. des unwesentlichen Teils einer Datenbank gilt der Schutz nur, sofern eine Handlung einer normalen Auswertung der Datenbank zuwiderlaufen oder die berechtigten Interessen des Datenbankherstelhttps://ec.europa.eu/transparency/regdoc/rep/1/2018/DE/COM-2018-232F1-DE-MAIN-PART-1.PDF. Zugegriffen am 16.01.2020. 20  Ausführlich Ohst, S. 150 ff. 19 

152

M. Hartmann und C. Ohst

lers unzumutbar beeinträchtigen würde (§  87b Abs.  1 UrhG). Durch diese Unterscheidung wird beispielsweise sichergestellt, dass Daten selbst nicht monopolisiert werden. Voraussetzung für beide Schutzinstrumente ist jedoch zunächst das Vorliegen einer Sammlung von Werken, Daten oder anderen unabhängigen Elementen, die systematisch oder methodisch angeordnet und einzeln mit Hilfe elektronischer Mittel oder auf andere Weise zugänglich sind. Auf die Datenbasis selbst, mit der die KI trainiert, mag das in vielen Fällen zutreffen. Bei der trainierten KI sieht es jedoch anders aus. Auch diese stellt wohl eine Sammlung von Daten dar, da der Begriff der „Elemente“ sehr weit gefasst ist.21 Die systematische oder methodische Anordnung wird man in der Regel auch annehmen können.22 Schwierig wird es jedoch bei Neuronalen Netze mit der geforderten Einzelzugänglichkeit, denn die einzelnen Neuronen können regelmäßig vom Nutzer des Neuronalen Netzes nicht sinnvoll ausgelesen werden.23 Jedenfalls scheitern wird ein Schutz als Datenbank oder Datenbankwerk an der Unabhängigkeit der Elemente. Dabei wird überprüft, ob die Funktionsfähigkeit der Datenbank in Frage gestellt ist, wenn ein beliebiges Element entfernt wird bzw., ob aus einem Element Rückschluss auf ein weiteres gezogen werden kann. Ist einer dieser beiden Tests positiv, kann nicht mehr von Unabhängigkeit gesprochen werden. Bleibt jedoch die Funktionsfähigkeit der potenziellen Datenbank erhalten und besteht kein zwingend logischer Zusammenhang zwischen den Elementen, ist Unabhängigkeit gegeben.24 Daran fehlt es z.  B. bei neuronalen Netzen. Wird ein Gewicht geändert, ausgetauscht etc., kann es zu Fehlern bzw. Erkennungsungenauigkeiten kommen. Zwar sind Ausführlich Ohst, S. 100 ff. Vgl. nur Ehinger/Stiernerling, CR 2018, 761, 768. 23  Ohst, S. 201 f.; Dreier, GRUR Int. 1992, 739, 745; Hornung, S. 75; Grützmacher, S.  172; Walter/v.Lewinski, Datenbank-RL, Art  1, Rn.  23; ähnlich Springorum, in: Brunnstein/Sint, S. 204, 210, der ausführt, dass die Informationen in den Gewichten für den menschlichen Intellekt nicht zugänglich sind. 24  Ohst, S. 111; vgl. auch Ehinger/Stiernerling, CR 2018, 761, 768. 21  22 

4  Künstliche Intelligenz im Immaterialgüterrecht

153

neuronale Netze robust, d. h. der Ausfall eines Gewichts wird selten zum Ausfall des Netzes führen, aber mit jedem Verlust besteht die Gefahr, dass sich Fehler einschleichen, die zum vollständigen Versagen führen können. Von einer Unabhängigkeit ist also nicht zu sprechen, da das Fehlen eines Elements den Zusammenbruch des Gesamtkonzepts zur Folge haben kann. Die als Daten repräsentierte Einstellung einer KI-Software ist daher auch nicht als Datenbankwerk gemäß § 4 Abs. 2 (oder Sammelwerk gemäß § 4 Abs. 1 UrhG) oder als Datenbank im Sinne des § 87 a UrhG geschützt, auch wenn die Daten selbst, die für das Trainieren der KI verwendet wurden, in ihrer Gesamtheit wiederum eine Datenbank sein können und auch als solche geschützt sind. Die Schutzlücke für KI lässt sich also wohl nicht durch den Schutz als Datenbank oder Datenbankwerk im Sinne des Urheberrechtsgesetzes schließen.

4.2.3 Schutz der KI als Werk eigener Art Schutz gewährt das Urheberrechtsgesetz für alle Arten von Werken der Literatur, Wissenschaft und Kunst, sofern es sich um persönliche geistige Schöpfungen handelt, § 2 Abs. 2 UrhG. Die Aufzählung geschützter Werke in §  2 Abs.  1 UrhG ist dabei nicht abschließend, wie sich aus der Einleitung des Katalogs mit „insbesondere“ ergibt. Die Schaffung einer künstlichen Intelligenz könnte daher als ein unbenanntes Werk eigener Art dem Urheberrecht unterfallen. Anerkannt wurde das Urheberrecht z. B. an literarischen Figuren. So hat der BGH dem Charakter Pippi Langstrumpf Urheberrechtsschutz zuerkannt.25 Ein isolierter Schutz eines fiktiven Charakters setzt voraus, dass die Figur durch die Kombination von ausgeprägten Charaktereigenschaften und besonderen äußeren

BGH, Urt. v. 17.07.2013, I ZR 52/12; GRUR 2014, 258.

25 

154

M. Hartmann und C. Ohst

Merkmalen eine unverwechselbare Persönlichkeit aufweise. Dabei sei ein strenger Maßstab anzulegen.26 Als Charakter könnte beispielsweise ein künstlich intelligenter Agent für die Kundenkommunikation geschützt sein. Geschützt aber ist gerade nicht die „Intelligenz“, sondern die durch besondere Charaktereigenschaften erzeugte „Person“. Versteht man dagegen unter künstlicher Intelligenz die Ausprägung der Fähigkeit eine gestellte Aufgabe ohne vorgegebenen Lösungsweg zu lösen, so erscheint es außerordentlich fraglich, eine darin besonders gute Maschine als Werk zu schützen. Zwar besteht kein Zweifel daran, dass die Schaffung eines intelligent handelnden Systems eine individuelle geistige Leistung darstellt. Nach wohl noch herrschender Meinung liegt ein schutzfähiges Werk jedoch nur vor, wenn dieses einen Gedanken- oder Gefühlsinhalt hat, der auf den Rezipienten des Werkes gedankenanregend zu wirken in der Lage ist.27 Auch die Wahrnehmbarkeit einer künstlichen Intelligenz scheint zweifelhaft. Werke sollen erst schutzfähig sein, wenn sie in wahrnehmbarer Form vorliegen.28 Schwierig wird es auch sein, den schutzfähigen Gehalt einer künstlichen Intelligenz zu bestimmen (Black-Box-Problematik siehe oben Kap. 1). Zuletzt dürfte auch hier zu prüfen sein, welche Bestandteile der KI computergeneriert sind und damit zumindest nach wohl bislang herrschender Meinung vom urheberrechtlichen Schutz ausgeschlossen sind (siehe dazu 4.2.4). Die Fragen veranschaulicht die KI AlphaGo Zero, angeblich die derzeit beste Entität im Go-Spiel.29 AlphaGo Zero wurde nicht mit Echtdaten von Spielen trainiert, sondern ausschließlich durch Spiele gegen sich selbst. Während die untrainierte KI Ergebnis menschlicher Kreativität sein dürfte, fehlte es wohl an einer Einwirkung auf Menschen, die zum Denken oder einer Auseinandersetzung mit der KI anregen könnte. Dies wäre dagegen bei der

BGH, Urt. v. 17.07.2013, I ZR 52/12; GRUR 2014, 258, 260. So zumindest Dreier/Schulze/Schulze, UrhG, § 1, Rn. 5 und § 2, Rn. 12. 28  Dreier/Schulze/Schulze, UrhG, § 2, Rn. 14. 29  https://en.wikipedia.org/wiki/AlphaGo. Zugegriffen am 16.01.2020. 26  27 

4  Künstliche Intelligenz im Immaterialgüterrecht

155

gelernten KI denkbar, indem sie Strategien und Spielzüge mitteilt, die analysiert, verstanden oder auch kritisiert werden können; die gelernte KI ist jedoch „computergeneriert“ entstanden und hat ihre geistig anregenden Fähigkeiten nicht durch menschliche Anleitung gewonnen. Auch wenn also vieles dafürspricht, eine menschlich geschaffene KI als urheberrechtsfähiges Werk eigener Art anzuerkennen, sind für den Umfang eines solches Schutzes die Voraussetzungen und die praktische Anwendung zahllose Fragen ungeklärt.

4.2.4 Können KIs Urheber sein? Nach bislang ganz herrschender Meinung ist nur menschliches Schaffen durch das Urheberrecht geschützt.30 Das UrhG spricht vom Urheber, §§ 1 und 7 UrhG, und der „persönlichen geistigen Schöpfung“, § 2 Abs. 2 UrhG. Das deutsche Immaterialgüterrecht wurde wesentlich von Josef Kohler im 19. Jahrhundert so geprägt, „dass er zwar das Urheber- und Patentrecht als vermögensrechtliche Immaterialgüterrechte personalistisch begründete, nämlich als durch die Früchte der persönlichen Arbeit legitimierte absolute Rechte, dass er aber außerdem aus diesen Autor- und Erfinderrechten ein Individualrecht extrahierte, das sowohl dem Autor an seiner Geistesschöpfung als auch dem Erfinder an seiner Erfindung zusätzlich zustehe“.31

Davon ausgehend ist klar, dass eine KI nicht Urheber im Sinne des heutigen UrhG sein kann. Diese mag letztlich auf einem Exzeptionalismus beruhen, der auch Tieren oder juristischen Personen32 das Urheberrecht abspricht – unabhängig von der künstleriLauber-Rönsberg, GRUR 2019, 244; Hetmank/Lauber-Rönsberg, GRUR 2018, 574; BeckOK UrhR/Ahlberg, UrhG, §  2, Rn.  52; Dreier/Schulze/Schulze, UrhG, § 2, Rn. 8; Wandtke/Bullinger/Thum, UrhG, § 7, Rn. 13 f.; Ory/Sorge, (NJW 2019, 710, 711). 31  Obergfell ZeuP 2019, 499, 510. 32  Urheber ist immer der Schöpfer eines Werks (§ 7 UrhG) und eine natürliche Person (Wandtke/Bullinger/Thum, § 7, Rn. 13). Juristischen Personen können lediglich Rechte eingeräumt werden. 30 

156

M. Hartmann und C. Ohst

schen Qualität des Werkes.33 Eine Änderung dieser Rechtslage ist aber in Deutschland nicht in Sicht; international ist die Lage uneinheitlich.34 Mittels KI können allerdings urheberrechtsfähige Werke auch schon nach jetziger Rechtslage geschaffen werden. Außerdem können Leistungsschutzrechte beim Einsatz einer KI entstehen, denn diese erfordern eine Leistung und keine persönliche Schöpfung. Wird lediglich ein Werkzeug eingesetzt, bleibt der Mensch der Schöpfer des Werkes;35 offensichtlich ist dies bei digitalen Kunstwerken, die am Computer entstehen. Auch bei Softwareentwicklung werden heute viele Arbeitsschritte automatisiert oder computergestützt entwickelt. Bei der Nutzung mächtiger Frameworks kann der Anteil kreativer Neuprogrammierung äußerst gering sein, ohne dass dies am Output erkennbar wäre. Aufgrund der geringen Anforderungen an die Schöpfungshöhe bei Computerprogrammen wird auch in diesen Fällen regelmäßig ein schutzfähiges Ergebnis anzunehmen sein, wenn dem Ersteller für Auswahl, Konzept und Struktur des erstellten Programms noch genügend Gestaltungsfreiraum blieb.36 Am Beispiel der Erstellung von Texten werden die Schwierigkeiten bei der Abgrenzung aber deutlich: Benutzt ein Dichter ein Textverarbeitungsprogramm, so ist dies ein Werkzeug, das keinen Einfluss auf den geistigen schöpferischen Gehalt des Ergebnisses hat. Selbst wenn ein Thesaurus oder automatisches Reimlexikon zur Hilfe genommen wird, um die passenden Worte zu finden, ist allein der Mensch Urheber, denn er trifft die konkrete Auswahl der Bestandteile, die in ihrem Zusammenwirken erst den schöpfeDreier/Schulze/Schulze, UrhG, § 2, Rn. 10. https://web.archive.org/web/20140925123901/. Zugegriffen am 26.02.2020; http://copyright.gov/comp3/docs/compendium-full.pdf; anders das britische Recht. Zugegriffen am 16.01.2020; siehe dazu Lauber-Rönsberg, GRUR 2019, 244, 249. 35  Dreier/Schulze/Schulze, UrhG, §  2, Rn.  14; Fromm/Nordemann/Nordemann, UrhG, § 2, Rn. 21. 36  Kilian/Heussen/Harte-Bavendamm/Wiebe, Kap. 51, Rn. 20. 33  34 

4  Künstliche Intelligenz im Immaterialgüterrecht

157

rischen Gehalt des Gedichts ausmachen. Nun werden aber bereits journalistische Artikel automatisch erzeugt.37 Hier erfolgt die Auswahl der Worte und sogar der Nachrichten durch eine Software. Nach wohl herrschender Meinung scheidet ein Schutz als Sprachwerk für solche Artikel aus, hier käme das Leistungsschutzrecht nach Art.  15 der Richtlinie (EU) 2019/790  in Betracht. Angenommen eine solche Nachrichten-KI wäre anhand der Artikel eines berühmten Autoren trainiert worden und nun in der Lage, dessen Stil zu kopieren. Unterlägen diese Artikel – obwohl qualitativ gleichwertig zu denen des Journalisten  – keinem Werk-Urheberrecht? Oder erscheint der Stil durch die Nachbildung in einer deterministischen KI als schöpferische Leistung des Autors, die sich in den Texten der KI manifestiert, sodass der Autor als Urheber von Texten anzusehen wäre, die er nicht geschrieben hat?38 Vor allem aber führt diese Entwicklung die Unterscheidung zwischen computergenerierter und von Menschen entwickelter Software ad absurdum: Das Ergebnis unterscheidet sich nicht mehr. Es kann schlicht nicht analysiert werden, welche Bestandteile eines Frameworks computergeneriert sind, weshalb sollte davon der Schutz als Computerprogramm abhängen? Sobald „autonome“ Prozesse zu einer automatisierten Auswahl der „kreativen“ Elemente eines Werkes führen, versagen die bisherigen Schemata. Pragmatisch liegt es nahe, davon auszugehen, dass derjenige, der die KI steuert, auch deren Werke erschafft. Davon ging auch der Europäische Gesetzgeber bei der Datenbankrichtlinie aus, so dass das Problem der Urheberschaft nicht als solches identifiziert wurde.39 Daher wurde der Schutz von computergenerierten Datenbanken auch nicht aufgenommen; außerdem wollte man keine Regelung für einen bestimmten Werktyp schaffen.40 Auch bei der Computerrichtlinie sollte urhttps://en.wikipedia.org/wiki/Automated_journalism. Zugegriffen am 16.01.2020; https://www.cjr.org/tow_center_reports/guide_to_automated_ journalism.php. Zugegriffen am 16.01.2020. 38  Vgl. hierzu auch https://www.nextrembrandt.com/ mit dem Experiment, einen neuen „Rembrandt“ zu schaffen. 39  KOM (92), 24 endg., 25 f. 40  KOM (93), 464 endg., 3. 37 

158

M. Hartmann und C. Ohst

sprünglich Art. 1 Abs. 4 b) manifestieren, dass ein Programm, das mit Hilfe eines Computers geschaffen wurde, auch geschützt sein kann, solange es individuell bzw. originell ist. Art. 2 Abs. 5 ergänzte diesen Artikel für die Urheberschaft an solchen Werken dahingehend, dass Urheber derjenige ist, der die Entwicklung späterer Programme durch den Computer veranlasst. Zur schöpferischen Tätigkeit von Maschinen gibt es zahlreiche Ansichten;41 zur Frage der Feststellung eines tatsächlichen men­ schlichen Einflusses verschiedene Denkansätze. Man kann die Auswahl der Daten, die Steuerung der KI, die Eingriffsmöglichkeiten während des Prozesses, die Art der Zielvorgabe, die Vorhersehbarkeit des Werks, den Anteil des gelernten Wissens und vieles mehr berücksichtigen. In den Fällen des echten Einsatzes künstlicher Intelligenz für die Lösung eines Problems, wird das Ergebnis überhaupt nicht mehr vom Menschen gesteuert, sondern ist Ausdruck der Lernfähigkeit von Programmen. Der Programmierer bzw. der Nutzer kann das Ergebnis nicht mehr bestimmen, sondern allenfalls in gewissen Grenzen vorhersagen. Die Einflussnahme beschränkt sich auf das Geben von Initialinputs. Künstliche Intelligenz wird auch gerade deshalb eingesetzt, weil ein Mensch dasselbe Ergebnis gar nicht oder nur mit erheblich größerem Zeitaufwand erstellen könnte. In einigen Fällen kann tatsächlich noch auf einen menschlichen Schöpfer geschlossen werden, in einigen von einer persönlichen Schöpfung i. S. d. § 2 Abs. 2 UrhG nicht mehr die Rede sein. Die menschliche Urheberschaft besteht dann nur noch einzeln an dem Computerprogramm und der Datenbasis, nicht aber an dem Zusammenspiel beider und ihrem Ergebnis. Für KI und andere Fälle, in denen der Initiator das Ergebnis des vom ihm eingeleiteten Prozess nicht mehr vorhersehen und steuern kann, muss über eine Erweiterung des Urheberrechts (oder anderer Schutzregime) nachgedacht werden.42 Ausführlich Ohst, S.170 ff.; Dornis GRUR 2019, 1252; Legner ZUM 2019, 807. 42  Siehe hierzu auch AIPPI, Resolution, 2019 – Study Question, Copyright in artificially generated works, abrufbar unter https://aippi.org/wp-content/uploads/2019/10/Resolution_Copyright_in_artificially_generated_works_English.pdf. Zugegriffen am 26.02.2020. 41 

4  Künstliche Intelligenz im Immaterialgüterrecht

159

Für eine computergenerierte Datenbank besteht auch eine Haftung des Softwareherstellers; demnach muss ihm billigerweise auch ein Recht an diesen Werken zugestanden werden. Außerdem ist den werkgenerierenden Computerprogrammen auch ein Mehrwert zuzusprechen, da der Urheber des Programms nicht nur ein Werk, sondern auch die Voraussetzung für weitere Werke geschaffen hat. Nicht zuletzt sollten computergenerierte Werke geschützt werden, weil sie wirtschaftlich wertvolle Erzeugnisse darstellen, die einen Schutz verdienen und zur Innovationsförderung erforderlich sind und die ohne den geeigneten Schutz der Öffentlichkeit nicht zugänglich gemacht würden. Der KI selbst im bestehenden Urheberrechtssystem einen Schutz als Urheber zuzugestehen, würde jedoch Probleme mit sich bringen: Beispielsweise ist ein Werk bis 70 Jahre nach dem Tod des Urhebers geschützt. Wie wäre diese Frist bei KI als Urheber zu berechnen? Auch der Zweck des aktuellen Urheberrechts wäre auf eine aktuelle KI nicht anwendbar, denn wäre eine KI durch ein ihr zustehendes Urheberrecht in der Lage, sich selbst finanziell zu unterhalten, wäre sie motiviert „Neues“ zu schaffen, wäre sie verletzt, wenn man ihr Werk „stiehlt“? Der Copyright, Designs and Patents Act 1988 sieht eine Regelung bereits vor: Sec. 9 Abs. 3: In the case of a literary, dramatic, musical or artistic work which is computer-generated, the author shall be taken to be the person by whom the arrangements necessary for the creation of the work are undertaken.

In 178 (minor defintions) heißt es: „computer-generated“, in relation to a work, means that the work is generated by computer in circumstances such that there is no human author of the work.

Eine solche Regelung auf Basis des CDPA oder des damaligen Richtlinienvorschlags für die Datenbankrichtlinie sollte daher

M. Hartmann und C. Ohst

160

europaweit eingeführt werden.43 Eine andere Lösungsmöglichkeit, die das bisherige Urheberrecht nicht antastet, aber die wirtschaftliche Verwertung zulässt, könnte in der Einführung eines Leistungsschutzrechts liegen, so dass es einer persönlich geistigen Schöpfung nicht bedarf. Dies wäre vermutlich sachgerecht. Zurzeit wird man sich auch ohne gesetzliche Regelung mit ähnlichen Überlegungen, wie im britischen Copyright angelegt, begnügen müssen.

4.3

Patentrecht

Grundsätzlich sind dem Patentrecht alle Erfindungen, auf allen Gebieten der Technik zugänglich, sofern sie neu sind, auf einer erfinderischen Tätigkeit beruhen und gewerblich anwendbar sind. Hier ist auch nicht nur die Form geschützt. Zwar können auch im Patentrecht keine allgemeinen Ideen geschützt werden, aber ihre Lösungen unter Angabe der zur Lösung verwendeten Mittel.44 Im Urheberrecht wäre die Lösung an sich nicht geschützt, allenfalls ihre Darstellung. Ausgeschlossen sind jedoch gemäß Art.  52 Abs.  2 EPÜ beispielsweise mathematische Methoden und Computerprogramme.45 Wenn das Programm allerdings das Vorhandensein von technischen Mitteln, wie einem Computernetzwerk voraussetzt oder auf einem anderen technischen Gerät mit technischer Wirkung ausgeführt wird und es technischen Charakter hat, kann es dem Patentschutz zugänglich sein.46 Die Prüfungsrichtlinien des EPA schreiben hierzu: Beruht die beanspruchte Erfindung auf einer mathematischen Methode, wird geprüft, ob die mathematische Methode zum technischen Charakter der Erfindung beiträgt. Eine mathematische Methode kann zum technischen Charakter einer Erfindung beitragen, d. h. einen Vgl. Ohst, 180 f.; siehe auch Dornis GRUR 2019, 1252. Benkard/Bacher, Patentgesetz, § 1, Rn. 40. 45  Vgl. z. B. BPatG, Beschl. v. 09.06.2015, 17 W (pat) 37/12 – Keine Patenterteilung für künstliche Intelligenz. 46  Ménière/Pihlajamaa, GRUR 2019, 332, 334. 43  44 

4  Künstliche Intelligenz im Immaterialgüterrecht

161

Beitrag zur Erzeugung einer technischen Wirkung leisten, die einem technischen Zweck dient, wenn sie auf ein Gebiet der Technik angewandt und/oder für eine spezifische technische Umsetzung angepasst wird.47 Zur KI heißt es: Wenn eine Klassifizierungsmethode einem technischen Zweck dient, können die Schritte „Erzeugung des Trainings-Datensatzes“ und „Training des Klassifikators“ auch zum technischen Charakter der Erfindung beitragen, wenn sie das Erreichen dieses technischen Zwecks unterstützen.48 Hier wird die Verwendung eines neuronalen Netzes in einem Herzüberwachungsgerät als Beispiel genannt. Grundsätzlich muss die Erfindung aber auch so klar und vollständig offengelegt werden, dass sie von einem Fachmann ausgeführt werden kann, denn das Patent soll ja der Allgemeinheit zur Verfügung gestellt werden.49 Das kann bei einer trainierten KI durchaus ein Problem darstellen, da die einzelnen Schritte nicht mehr nachvollzogen werden können.50 KI könnte aber auch eine neue Art von Offenbarungsquelle darstellen.51 Ein weiteres Problem stellt auch hier ähnlich wie im Urheberrecht die Frage des menschlichen Erfinders dar. Zwar ist der Begriff des Erfinders im Patentrecht nicht definiert; dass Erfinder ein Mensch sein muss, ist jedoch in der Rechtsprechung unbestritten.52 Das Europäische Patentamt muss eine Anmeldung zurückweisen, wenn der Erfinder keine natürliche Person ist.53 Ausgehend davon, dass der Wert des Patentsystems jedenfalls auch im (finanziellen) Anreiz für den Erfinder liegt54 – und dies für eine KI kein Anreiz sein dürfte – müsste derjenige, auf den die KI selbst zurückgeht, als Erfinder angesehen werden können. Wenn man von der geistigen Schöpfung auch im Patentrecht ausgeht, wäre

G II. 3.3. Richtlinien für die Prüfung des EPA. G II. 3.3.1 Richtlinien für die Prüfung des EPA. 49  Ménière/Pihlajamaa, GRUR 2019, 332, 345. 50  Vgl. auch Lederer, GRUR-Prax 2019, 152. 51  Nägerl/Neuburger/Steinbach, GRUR 2019, 336, 338. 52  Vgl. nur BGH, GRUR 1971, 210 – Wildbißverhinderung. 53  Art. 90 V, III, Art. 81, Regel 19 I EPÜ. 54  Vgl. nur Benkard/Bacher, Patentgesetz, § 1, Rn. 1a ff. 47  48 

162

M. Hartmann und C. Ohst

dies aber nicht folgerichtig, da dieser ggf. gar keinen geistigen Beitrag mehr leistet.55 Jedoch muss – wie im Urheberrecht – jedenfalls de lege ferenda – auch ein geringer Beitrag am Beginn ausreichend sein, um als Erfinder zu gelten, wobei hier ggf. noch zwischen dem Eigentümer der KI und dem tatsächlichen Bediener differenziert werden könnte.56

4.4

Schutz als Geschäftsgeheimnis

Der Schutz von Geschäftsgeheimnissen wurde 2019  in Umsetzung der Richtlinie (EU) 2016/943 zum Schutz von Geschäftsgeheimnissen vor rechtswidrigem Erwerb sowie rechtswidriger Nutzung und Offenlegung neu gefasst. Nach §  2 Nr.  1 GeschGehG sind Geschäftsgeheimnisse Informationen (a) die weder insgesamt noch in der genauen Anordnung und Zusammensetzung ihrer Bestandteile den Personen in den Kreisen, die üblicherweise mit dieser Art von Informationen umgehen, allgemein bekannt oder ohne Weiteres zugänglich und daher von wirtschaftlichem Wert sind und (b) die Gegenstand von den Umständen nach angemessenen Geheimhaltungsmaßnahmen durch ihren rechtmäßigen Inhaber sind und (c) bei denen ein berechtigtes Interesse an der Geheimhaltung besteht. Alle Bestandteile einer KI und die KI als solche können also ein Geschäftsgeheimnis darstellen. Wichtigste Voraussetzung ist dafür allerdings die Geheimhaltung und das Ergreifen angemessener Maßnahmen zur Geheimhaltung. Eine KI kann also nur insoweit dem Geheimnisschutz unterliegen, als der Schöpfer der KI sicherstellt, dass der KI zugrunde liegende Informationen (beispielsweise Computerprogramme, Daten oder sonstige Bestandteile) nur solchen Nutzern zur Kenntnis gelangen, die gegenüber dem Inhaber des Geschäftsgeheimnisses entsprechende Geheimhaltungsverpflichtungen unternommen haben.57

Vgl. auch Nägerl/Neuburger/Steinbach, GRUR, 2019, 336, 340. Vgl. auch Nägerl/Neuburger/Steinbach, GRUR, 2019, 336, 340. 57  Vgl. auch Ehinger/Stiernerling, CR 2018, 761, 769. 55  56 

4  Künstliche Intelligenz im Immaterialgüterrecht

163

Soweit eine KI als Geschäftsgeheimnis geschützt ist, besteht ein den IP-Rechten angenäherter Schutz, insbesondere gegen unbefugten Zugang, Aneignung oder Kopieren, insbesondere ­ elektronischer Dateien, die das Geschäftsgeheimnis enthalten, § 4 Abs.  1 Nr.  1 GeschGehG.  Bei Verletzungen bestehen weitreichende Ansprüche, nicht nur auf Beseitigung, Unterlassung, Vernichtung und Rücknahme aus dem Markt gehen, sondern auch auf Schadensersatz oder Abfindung in Geld, §§ 6 ff. GeschGehG. Die Verletzung von Geschäftsgeheimnissen kann außerdem strafbar sein, § 23 GeschGehG. Die Schutzlücke von KIs (siehe oben 4.2) kann also teilweise dann geschlossen werden, wenn die KI insoweit als Geschäftsgeheimnis behandelt wird. Auch in Gerichtsverfahren kann das Geschäftsgeheimnis gegen Offenlegung geschützt werden, §§ 16 ff GeschGehG.58

Literatur [1] Ahlberg/Götting, Beck’scher Online Kommentar, Urheberrecht, 26. Edition, München 2019. [2] Benkard, Patentgesetz Kommentar, 11. Aufl., München 2015. [3] Dornis, Tim W., Der Schutz künstlicher Kreativität im Immaterialgüterrecht, GRUR 2019, 1252. [4] Dreier, Thomas, Die Harmonisierung des Rechtsschutzes von Datenbanken in der EG, GRUR Int., 1992, 739–749. [5]  Dreier/Schulze, Urheberrechtsgesetz Kommentar, 6. Aufl., München 2018. [6] Ehinger, Patrick/Stimerling, Oliver, Die urheberrechtliche Schutzfähigkeit von Künstlicher Intelligenz am Beispiel von Neuronalen Netzen, CR 2018, 761–769. [7]  Fromm/Nordemann, Urheberrecht Kommentar, 12. Aufl., Stuttgart 2018. [8] Grützmacher, Malte, Urheber-, Leistungs- und Sui-generis-Schutz von Datenbanken, Baden-Baden 1999. [9] Herberger, Maximilian, „Künstliche Intelligenz“ und Recht – Ein Orientierungsversuch, NJW 2018, 2825–2829. [10] Hetmank, Sven/Lauber-Rönsberg, Anne, Künstliche Intelligenz  – He­ rausforderungen für das Immaterialgüterrecht, GRUR 2018, 574–582. [11] Hornung, Oliver, Die EU-Datenbank-Richtlinie und ihre Umsetzung in das deutsche Recht, Baden-Baden 1998. Siehe dazu LG München I, Beschl. v. 13.08.2019 – 7 O 3890/19.

58 

164

M. Hartmann und C. Ohst

[12] Kilian/Heussen, Computerrechts-Handbuch, 32. Ergänzungslieferung, München 2013. [13]  Koch, Frank A., Begründung und Grenzen des urheberrechtlichen Schutzes objektorientierter Software, GRUR 2000, 191–202. [14] Lauber-Rönsberg, Anne, Autonome „Schöpfung“ – Urheberschaft und Schutzfähigkeit, GRUR 2019, 244–253. [15] Lederer, Thomas L., Patentierung im Bereich Künstlicher Intelligenz, GRUR-Prax 2019, 152–154. [16] Legner, Sarah, Erzeugnisse Künstlicher Intelligenz im Urheberrecht, ZUM 2019, 807. [17] Von Lewinski/Walter, European Copyright Law: A Commentary, 2001. [18] Ménière, Yann/Pihlajamaa, Heli, Künstliche Intelligenz in der Praxis des EPA, GRUR 2019, 332–336. [19] Nägerl, Joel/Neuburger, Benedikt/Steinbach, Frank, Künstliche Intelligenz: Paradigmenwechsel im Patentsystem, GRUR 2019, 336–341. [20] Obergfell, Eva Ines, Josef Kohler – Werk und Wirkung auf dem Gebiet des Immaterialgüterrechts, ZeuP 2019, 499–510. [21] Ohst, Claudia, Computerprogramm und Datenbank – Definition und Abgrenzung im Urheberrecht, 2003. [22]  Ory, Stephan/Sorge, Christoph, Schöpfung durch Künstliche Intelligenz?, NJW 2019, 710–713. [23] Springorum, Harald, The protection of neural networks according to German and European Law, in: Brunnstein, Klaus/Sint, Peter Paul (Hrsg.), Intellectual property rights and new technologies, Wien 1995, S. 204. [24] Wandtke/Bullinger, Praxiskommentar Urheberrecht, 5. Aufl., München 2019. Matthias Hartmann  ist Rechtsanwalt und Fachanwalt für IT-­Recht. Er beschäftigt sich seit über 20 Jahren mit Rechtsfragen der Künstlichen Intelligenz und berät Hersteller und Nutzer von KI-Systemen als Gründungspartner der auf IT-Recht spezialisierten Kanzlei HK2 Rechtsanwälte. Dr. Claudia Ohst  ist Rechtsanwältin und Fachanwältin für IT-­Recht. Sie beschäftigt sich seit mehr als 20 Jahren mit der Schnittstelle von Urheber- und IT-Recht und hat zum Urheberrechtsschutz von Computerprogrammen und Datenbanken, u.  a. auch von/bei Künstlicher Intelligenz, promoviert; seit mehr als 10 ­Jahren ist sie zudem Lehrbeauftragte an der Humboldt-Universität zu Berlin.

5

Datenschutz Bernhard Kloos und Johanna Schmidt-­Bens

5.1

Einführung, Problematik, Grundsätze

KI und Datenschutz haben einen unterschiedlichen Hintergrund und abweichende Ziele.1 Beide kommen aus unterschiedlichen Sprachwelten, die miteinander abzugleichen sind, um KI-Konstellationen datenschutzrechtlich bewerten zu können. Bei der datenschutzrechtlichen Betrachtung eines KI-Systems wird folgender Lebenszyklus zu Grunde gelegt:2 Die Datenschutzaufsichtsbehörden des Bundes und der Länder (DSK) sehen hier aber keinen zwingenden Gegensatz, siehe DSK Entschließung der Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder vom 06.11.2019 mit Empfehlungen für eine datenschutzkonforme Gestaltung von KI-Systemen (nachfolgend „DSK-Empfehlung KI-Systeme“). 2  Positionspapier der DSK vom 06.11.2019 zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und dem Betrieb von KI-Systemen (nachfolgend „DSK-Positionspapier KI-TOM“), S. 1. 1 

B. Kloos (*) · J. Schmidt-Bens Berlin, Deutschland E-Mail: [email protected]; [email protected] © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von Springer Nature 2020 M. Hartmann (Hrsg.), KI & Recht kompakt, IT kompakt, https://doi.org/10.1007/978-3-662-61700-7_5

165

166

• • • • • •

B. Kloos und J. Schmidt-Bens

Designs des KI-Systems und der KI-Komponenten Veredelung von Rohdaten zu Trainingsdaten Training der KI-Komponenten Validierung der Daten und KI-Komponenten Einsatz und Nutzung des KI-Systems Rückkopplung von Ergebnissen und Selbstveränderung des Systems

Hinsichtlich aller Phasen und Daten (z.  B.  Rohdaten, Trainingsdaten, Testdaten, Verifikationsdaten) ist jeweils durchzuspielen und zu dokumentieren, dass die datenschutzrechtlichen Anforderungen eingehalten sind und keine relevanten Risiken für die betroffenen Personen bestehen. Angesichts der Komplexität und Dimensionierung von KI-Systemen kann das herausfordernd bis unmöglich erscheinen. Der Datenschutz hat insofern aber gerade die Aufgabe zu vermeiden, dass in der KI „Geister“ entstehen, die man später nicht wieder los wird. Ausgangspunkt von KI-Anwendungen ist die Datenakquise von Rohdaten. Datenschutzrechtlich ist es an dieser Stelle noch vergleichsweise einfach: Man sprich von einem Erheben von Daten als Unterfall der Datenverarbeitung (Art. 4 Nr. 2 DSGVO). Es erfolgt danach häufig die Veredelung der Rohdaten hin zu Trainingsdaten, eine Datenverarbeitung in Form der Veränderung. Danach kommt beim KI-Training die Anwendung eines Lernalgorithmus auf die Trainingsdaten. Das ist datenschutzrechtlich eine Verarbeitung durch Verwendung der Daten, ggf. verbunden mit ihrer weiteren Veränderung (jeweils Art.  4 Nr.  2 DSGVO). Werden die personenbezogenen Daten nur durch die KI ohne fortdauernde Speicherung oder Umgestaltung „durchgeschickt“, könnte man zwar fragen, welche datenschutzrechtliche Relevanz besteht. Die „Verwendung“ (in der englischen Fassung „use“) personenbezogener Daten ist allerdings datenschutzrechtlich eine Art Auffangtatbestand, der jeden Gebrauch des Informationsgehalts personenbezogener Daten für bestimmte Zwecke umfasst.3 Kühling/Buchner/Herbst, DS-GVO, Art. 4 Nr. 2, Rn. 28; Ausnahmen bei der Auftragsverarbeitung (siehe z. B. DSK-Kurzpapier Nr. 13) beziehen sich re3 

5 Datenschutz

167

Jedes gezielte Umgehen mit personenbezogenen Daten kann damit als Verwenden der Daten bezeichnet werden.4 Damit fällt auch das KI-Training unter die „Verwendung“ und ist eine datenschutzrechtliche Verarbeitung. Da in der KI Spuren der personenbezogenen Daten zurückbleiben können, ist das auch interessengerecht und dem Recht auf informationelle Selbstbestimmung geschuldet. Wenn dann die Ergebnisse des KI-Trainings evaluiert und validiert werden, wird das in der Regel einen Abgleich von Daten im Sinne der DSGVO beinhalten. Das KI-Training beinhaltet damit regelmäßig mehrere Verarbeitungsvorgänge, die jeweils datenschutzrechtlich gerechtfertigt sein müssen. Der eigentliche Einsatz und die Nutzung des KI-Systems beinhalten eine weitere Datenverarbeitung, wenn dazu erneut personenbezogene Daten verwendet werden. Bei der Rückkoppelung der Ergebnisse mit den Trainingsdaten kann es zu zusätzlichen Datenverarbeitungen, etwa durch Veränderung der Ausgangsdaten, kommen. Diese Struktur gilt es im Blick zu behalten, denn jede Verarbeitung personenbezogener Daten muss datenschutzrechtlich erlaubt sein. Dabei sind häufig mehrere Schichten zu betrachten. So werden KI-basierte Verarbeitungsvorgänge, z. B. beim Deep Learning, beliebig oft hintereinandergeschaltet und es entstehen Layer um Layer, in denen sich neue Daten, Kopien der Ausgangsdaten und/ oder geänderte personenbezogene Daten befinden können. Teilweise werden zwischen den einzelnen Layern neue Input- oder Feedbackdaten zugemischt. Der Lernvorgang der KI kann überwacht, unüberwacht oder belohnungsbasiert erfolgen. Oft kann man die einzelnen Schritte und ihre Ergebnisse nachvollziehen (explainable AI). Manchmal weiß die KI aber selbst nicht genau, was sie sucht, sondern sie forscht nach unbekannten ­Mustern. Das europaweit mit Wirkung zum Mai 2018 harmonisierte Datenschutzrecht kommt damit zurecht bzw. muss damit zurechtgelmäßig auf den fehlenden Auftrag und nicht auf eine nicht vorliegende Datenverwendung. 4  Simitis/Hornung/Spiecker gen. Döhmann/Roßnagel, Datenschutzrecht, DSGVO, Art. 4 Nr. 2, Rn. 24.

168

B. Kloos und J. Schmidt-Bens

kommen. Es berücksichtigt, dass die datenschutzrechtliche „Verarbeitung“ der einzelne Vorgang oder auch die gesamte Vorgangsreihe sein kann (erneut Art. 4 Nr. 2 DSGVO). Dementsprechend muss man datenschutzrechtlich beides betrachten, den Gesamtvorgang von den Rohdaten bis zum Output ebenso wie die einzelnen Verarbeitungsschritte. Auch für KI-Systeme gelten die Grundsätze für die Verarbeitung personenbezogener Daten (Art. 5 EU-DGVO). Diese Grundsätze müssen durch frühzeitig geplante technische und organisatorische Maßnahmen umgesetzt werden (Datenschutz durch Technikgestaltung, Art. 25 DSGVO).5 Diskriminierende Verarbeitungen sind ebenso zu vermeiden wie jede sonstige Verletzung der Rechte und Freiheiten der betroffenen Personen. Die nationalen Aufsichtsbehörden stellen insofern folgende datenschutzrechtlichen Gewährleistungsziele auf:6 • • • • • • •

Transparenz und Erklärbarkeit Datenminimierung Nichtverkettung Intervenierbarkeit Verfügbarkeit Integrität Vertraulichkeit

Die Beteiligten beim Einsatz eines KI-Systems müssen die Verantwortlichkeit ermitteln, kommunizieren und jeweils die notwendigen Maßnahmen treffen, um die rechtmäßige Verarbeitung, die Betroffenenrechte, die Sicherheit der Verarbeitung und die Beherrschbarkeit des KI-Systems zu gewährleisten.7 Insbesondere muss der Verantwortliche sicherstellen, dass die datenschutzHambacher Erklärung zur Künstlichen Intelligenz vom 03.04.2019 der Datenschutzaufsichtsbehörden des Bundes und der Länder (nachfolgend „DSK-Hambacher Erklärung“), S. 2. 6  Siehe DSK-Empfehlung KI-Systeme und DSK-Positionspapier KI-TOM. 7  DSK-Hambacher Erklärung, S. 4. 5 

5 Datenschutz

169

rechtlichen Grundsätze (Art. 5 DSGVO) eingehalten werden und die Sicherheit der Verarbeitung (Art.  32 DSGVO) gewährleistet ist. KI-Systeme können in vielfältiger und teils nur schwer erkennbarer, vorhersehbarer oder beweisbarer Art und Weise Risiken für die Freiheiten und Rechte natürlicher Personen darstellen.8 Diese Risiken muss der Verantwortliche erkennen und dafür spezifische Maßnahmen definieren, implementieren und betreiben. Alles zusammen ist dann vom Verantwortlichen zu dokumentieren. Mit fast allen datenschutzrechtlichen Grundsätzen befindet sich die KI dabei latent in Konflikt. Die Verarbeitung personenbezogener Daten unterliegt etwa dem Zweckbindungsgrundsatz, d.  h. sie muss für festgelegte, eindeutige und legitime Zwecke erfolgen (Art. 5 Abs. 1 lit. b DSGVO). Bei unüberwachten oder nicht-deterministischen Lernvorgängen können daran Zweifel aufkommen. Allerdings gibt es auch hier für den Gesamtvorgang sehr wohl einen bestimmten Zweck (z. B. wirksame Kundenansprache), nur das konkrete Mittel muss mit Hilfe der KI erst noch gefunden werden. Transparenz (Art. 5 Abs. 1 lit. a DSGVO) und Datenminimierung (Art. 5 Abs. 1 lit. c DSGVO) sind bei KI ebenfalls schwer zu gewährleisten oder stehen sogar im Zielkonflikt zur KI selbst. Mit der Zeit ist aber auch hier mit Standards zu rechnen, schon allein, weil ansonsten der Hersteller oder Inverkehrbringer immer für alle falschen Ergebnisse einer intransparenten KI haften würde. Bereits ganz zu Anfang während der Planung und Spezifikation der KI-Systeme ist zu prüfen, welche Ergebnisse als angemessen und korrekt gelten sollen.9 Der Zweck und die Erwartungen an das System sind eindeutig zu beschreiben, vorzugsweise in einer maschinell zugänglichen Policy.10 Die technischen und organisatorischen Maßnahmen (Art. 32 DSGVO) sind festzulegen, insbeson-

DSK-Positionspapier KI-TOM, S. 5. DSK-Positionspapier KI-TOM, S. 6. 10  DSK-Positionspapier KI-TOM, S. 6. 8  9 

B. Kloos und J. Schmidt-Bens

170

dere die jeweiligen Zugriffsrechte. Regelverstöße, Zweckdehnungen und Zweckverletzungen müssen im Betrieb festgestellt und dokumentiert werden.11 Es muss Möglichkeiten zum Eingreifen in die Verarbeitung geben,12 um sie ggf. zu stoppen. Im Zweifel muss auch Auskunft darüber erteilt werden können, wie Entscheidungen und Prognosen durch ein KI-System zustande gekommen sind.13 Die Entwicklung einer KI ist abhängig von der Menge und der Güte der Daten, die man ihr gibt. Sind die Roh- bzw. Trainingsdaten unzureichend oder fehlerbehaftet (sog. Bias), kann dies zu falschen Ergebnissen oder Diskriminierungen führen. Das ist dann auch ein datenschutzrechtliches Thema, denn unrichtige personenbezogene Daten sind unverzüglich zu löschen oder zu berichtigen (Art. 5 Abs. 1 lit. c DSGVO). Sollte sich zum Beispiel im Rahmen eines KI basierten Bewerbungs- oder Auswahlprozesses herausstellen, dass bestimmte Personengruppen bei der Entscheidungsfindung diskriminiert werden, wäre jeweils zu überprüfen, ob das an den zu Grunde liegenden Daten oder an deren Bewertung durch die KI liegt. Demgemäß gibt es keine datenschutzrechtliche Pauschallösung für KI.  Der Gesamtvorgang und die zu Grunde liegenden Schritte sind jeweils zu analysieren und anhand der datenschutzrechtlichen Anforderungen im Einzelnen durchzudeklinieren.

5.2

 echtsgrundlagen für die Nutzung von R personenbezogenen Daten für KI-­ Training

Das Datenschutzrecht ist für KI nur maßgeblich, soweit personenbezogene Daten verarbeitet werden. Sobald das der Fall ist, benötigt man eine Rechtsgrundlage für die Verarbeitung und muss

DSK-Positionspapier KI-TOM, S. 6. DSK-Positionspapier KI-TOM, S. 7. 13  DSK-Positionspapier KI-TOM, S. 7. 11  12 

5 Datenschutz

171

sicherstellen, dass die Rechte aller betroffenen Personen gewahrt werden.

5.2.1 Definition personenbezogene Daten Personenbezogene Daten sind alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen (Art. 4 Abs. 1 DSGVO). Als identifizierbar wird eine natürliche Person dann angesehen, wenn sie direkt oder indirekt bestimmt werden kann. Dies kann zum Beispiel durch Zuordnung der natürlichen Person zu einer Kennung wie einem Namen, zu einer Online-Kennung, zu einer Kennnummer, zu Standortdaten oder zu mehreren besonderen Merkmalen, die Ausdruck der physischen, physiologischen, genetischen, psychischen, wirtschaftlichen, kulturellen oder sozialen Identität dieser Person sind, geschehen. Um festzustellen, ob eine natürliche Person identifizierbar ist, sollen nach Auffassung des EU-Gesetzgebers alle Mittel berücksichtigt werden dürfen, die von dem für die Datenverarbeitung Verantwortlichen oder einer anderen Person nach deren Ermessen wahrscheinlich genutzt werden, um die natürliche Person zu identifizieren. Für die Festlegung, wann Mittel der Wahrscheinlichkeit nach genutzt werden, sind alle objektiven Faktoren, wie die Kosten der Identifizierung sowie der erforderliche Zeitaufwand he­ ranzuziehen. Dabei sind zudem die jeweils aktuell verfügbare Technologie sowie die laufenden technologischen Entwicklungen zu berücksichtigen. Als personenbezogen werden vor diesem Hintergrund zum Beispiel der Vor- und Zuname, die E-Mailadresse, die Telefonnummer, die Anschrift und das Autokennzeichen14 sowie Fotos, Videos und die Stimme qualifiziert. Auch biometrische Identifikatoren, wie die DNA, die Netzhaut und der Fingerabdruck werden als personenbezogene Daten vom Datenschutzrecht geschützt. Anderer Auffassung AG Kassel vom 07.05.2013, 435 C 584/13.

14 

172

B. Kloos und J. Schmidt-Bens

Auf anonyme Daten ist das Datenschutzrecht nicht anwendbar, auf Pseudonyme, also solche Daten, die einer Person wieder zugeordnet werden können, dagegen schon. Wie weit der Kreis personenbezogener Daten zu ziehen ist, sieht man exemplarisch an den Online-Kennungen wie IP-Adressen und Cookie-Kennungen, die in der Regel einen Personenbezug aufweisen.15 Bei KI ist jeweils konkret zu prüfen, welche Rohdaten zu Grunde gelegt werden, welche Input- und Feedbackdaten später hinzukommen und wann innerhalb der einzelnen Verarbeitungsschritte möglicherweise eine Anonymisierung stattfindet. Verwendet eine KI Sensordaten von Kameras, haben die ent­ sprechenden Bilddaten potenziell Personenbezug. Beim Lidar16 dagegen ist das nicht zwangsläufig der Fall. Vielfach werden bei KI die Daten unterschiedlicher Sensoren kombiniert und erst aus der Kombination kann die betroffene Person identifiziert werden. Die Verfremdung personenbezogener Daten, z. B. durch Verpixelung, schafft bei KI leicht mehr Probleme als sie löst. In den verpixelten Daten steckt dann von vorneherein ein zusätzliches Verfremdungsmerkmal, dessen Auswirkungen schwer vorherzusagen sind. Besser funktionieren kann da das Gruppieren oder Clustern von Daten, aus denen ein Rückschluss auf das Individuum nicht mehr möglich ist.

5.2.2 Verbot mit Erlaubnisvorbehalt Im Datenschutzrecht ist vorgeschrieben, dass jede Verarbeitung personenbezogener Daten zunächst einmal verboten ist, soweit sie nicht ausnahmsweise erlaubt ist (Art. 6 Abs. 1 DSGVO). Als

DSGVO, Erwägungsgrund 30; BGH, Urt. v.  16.05.2017, VI ZR 135/13; EuGH, Urt. v. 01.10.2019, C-673/17 in Rn. 45, 67 auf Grundlage des Parteivortrags und der Vorlageentscheidung für Cookies bestätigt. 16  Abkürzung für light detection and ranging, d.  h. laserbasiertes Verfahren zur dreidimensionalen Modellierung der Umgebung und von Objekten, siehe dazu https://de.wikipedia.org/wiki/Lidar. Zugegriffen am 16.01.2020. 15 

5 Datenschutz

173

Erlaubnis für die Verarbeitung von personenbezogenen Daten kommen vor allem die folgenden, in der Norm aufgeführten Möglichkeiten in Betracht: • Einwilligung der Betroffenen • Erforderlichkeit der Datenverarbeitung zur Erfüllung eines Vertrages oder zur Durchführung vorvertraglicher Maßnahmen • Erforderlichkeit der Datenverarbeitung zur Wahrung eines berechtigten Interesses • Erforderlichkeit der Datenverarbeitung zu wissenschaftlichen Forschungszwecken17 Die Erlaubnisnormen können einzeln oder auch nebeneinander erfüllt sein. Bedauerlicherweise liegen seitens der Aufsichtsbehörden bislang keine nachvollziehbaren Aussagen dazu vor, wann und wie welche Erlaubnismöglichkeiten im Zusammenhang mit KI vom Verantwortlichen genutzt werden können.18

5.2.2.1  E  inwilligung der Betroffenen in die Datenverarbeitung Datenschutzrechtlich anspruchsvoll ist die Legitimation der Verarbeitung im KI-System durch die Einwilligung der Betroffenen. Dies liegt an den Voraussetzungen, die nach den Vorgaben der DSGVO für eine datenschutzkonforme Einwilligung vorliegen müssen, sowie an der Art und Weise der KI-spezifischen Datenverarbeitung. Gemäß Art. 7 DSGVO muss die datenschutzrechtliche Einwilligung in dokumentierter Form informiert, transparent, freiwillig und frei widerruflich abgegeben werden. Diese Voraussetzungen einzuhalten, ist bei der Verarbeitung von KI Daten schwierig, da bei KI möglichst große Datenmengen zu Lernzwecken verarbeitet Siehe dazu Kap. 6 Datenschutz bei öffentlichen KI-Forschungsprojekten. In der Hambacher Erklärung, der DSK-Empfehlung KI-Systeme oder dem DSK-Positionspapier KI-TOM findet sich dazu nichts. 17  18 

174

B. Kloos und J. Schmidt-Bens

werden. Je nach Konstellation kann schwer nachvollziehbar sein, um welche Daten welcher betroffenen Personen es sich handelt. Zudem muss eine Beziehung des KI-Herstellers zu sämtlichen Betroffenen bestehen, von denen der Verantwortliche die Einwilligungen dokumentiert einholen kann. Problematisch ist zudem die Umsetzung eines jederzeit möglichen Widerrufs der Einwilligung: Soweit die personenbezogenen Daten nicht im Rahmen der einzelnen Lernschritte anonymisiert wurden, müssen sie nachträglich identifiziert und wieder herausgefiltert werden können. Gerade bei Einzelspuren in der KI aufgrund des Trainings (z. B. die KI unterstellt, dass alle Einwohner einer Kleinstadt, die größer als 2,20 m sind, einen bestimmten PKW fahren), kann das nahezu unmöglich sein. Eine Voraussetzung für eine wirksame Einwilligung ist deren Bestimmtheit. Personenbezogene Daten dürfen aufgrund der Einwilligung nur für eindeutige und festgelegte Zwecke verwendet werden. Beim KI-Training kann sich das als schwierig erweisen. Je nachdem, wie weit man den Zweck definiert, kann man damit aber auch erfassen, was die KI einmal leisten soll. Unter Anwendung des Grundsatzes „so präzise wie möglich, so abstrakt wie nötig“ wird man den Einsatzzweck und die Verfahren der KI häufig noch so nachvollziehbar darstellen können, dass bei der betroffenen Person die notwendige Informiertheit hergestellt wird. In der biomedizinischen Forschung gibt es insofern das Modell des sog. broad consent.19 Eine Einwilligung in die Datenverarbeitung zu Forschungszwecken kann danach „breiter“ ausfallen, vorausgesetzt, die Unbestimmtheit der Einwilligung wird durch zusätzliche technisch-organisatorische Maßnahmen kompensiert.20 Die betroffene Person muss zuvor aber die Möglichkeit haben, z. B. durch verschiedene Einwilligungsmodule ihre Einwilligung zu beschränken. Bei Kindern, die jünger als 16 sind, muss die Einwilligung durch den bzw. die Träger der elterlichen Verantwortung erteilt

Kühling/Buchner/Buchner/Kühling, DS-GVO, Art. 7, Rn. 64. Kühling/Buchner/Buchner/Kühling, DS-GVO, Art. 7, Rn. 64 unter Hinweis auf EG 33. 19  20 

5 Datenschutz

175

werden (Art. 8 DSGVO). Diesen rechtssicher zu ermitteln, wird oft schwer möglich sein. Vor diesem Hintergrund kann es für den Verantwortlichen ratsam sein, die Verarbeitung der KI-Daten auf eine andere Rechtsgrundlage als die Einwilligung zu stützen.

5.2.2.2  E  rforderlichkeit der Datenverarbeitung zur Erfüllung eines Vertrages oder für vorvertragliche Maßnahmen Zulässig ist die Verarbeitung personenbezogener Daten, soweit dies für die Erfüllung eines Vertrags, dessen Vertragspartei die betroffene Person ist, oder zur Durchführung vorvertraglicher Maßnahmen auf Anfrage der betroffenen Person erforderlich ist (Art. 6 Abs. 1 lit. b DSGVO). Auf den ersten Blick wird das KI-Training bislang nur ausnahmsweise für die Vertragserfüllung erforderlich sein. Das kann sich ändern, etwa wenn Unternehmen anreizorientierte Modelle schaffen oder bestimmte Tarife nur noch bei Nutzung einer KI anbieten. Denkbar sind auch umfassende KI-Datenbanken, zu deren Befüllung der Anbieter Verträge mit den Betroffenen abschließt. Das Recht zum Widerruf der Einwilligung wäre dann nicht anwendbar bzw. eine Kündigung des Vertrags auf Fälle der Unzumutbarkeit beschränkt.21 In der Praxis sind derartige Konstellationen durchaus anzutreffen. So gibt es beispielsweise Crowdworking Dienste22 mit denen Aufgaben (Microtasks) bei einer Vielzahl von Personen gebucht werden können. Vertragsinhalt und  -zweck kann dabei – vorbehaltlich (AGB-) rechtlicher Grenzen – auch die Verwendung der Leistung eines Crowdworkers für das Training einer KI sein. Eine Vorverlagerung in die Vertragsanbahnungsphase erscheint möglich, dürfte aber beim KI-Training theoretischer Natur sein. Vorvertragliche Maßnahmen sind in aller Regel vorübergehend Siehe § 314 BGB; vgl. § 42 UrhG und § 22 KunstUrhG; OLG Düsseldorf, Urt. v. 24.05.2011, I-20 U 39/11 zu § 22 KunstUrhG. 22  Siehe Zusammenstellung auf www.faircrowd.work. Zugegriffen am 16.01.2020; bekanntes Beispiel wäre Amazon Mechanical Turk. 21 

176

B. Kloos und J. Schmidt-Bens

bzw. zeitlich begrenzt. Eine dauerhafte Nutzung der dabei zur Verfügung gestellten personenbezogenen Daten für eine KI wird demnach selten erforderlich sein, um vorvertragliche Maßnahmen auf Anfrage des Betroffenen durchzuführen. Bei der reinen KI-Nutzung, z. B. um ein Angebot zu erstellen, mag das anders sein. Auch dann dürfen angesichts des vorbereitenden Zwecks keine Datenspuren der betroffenen Person in der KI verbleiben.

5.2.2.3  E  rforderlichkeit der Datenverarbeitung zur Wahrung berechtigter Interessen Als Rechtsgrundlage für das KI-Training könnte Art. 6 Abs. 1 lit. f DSGVO herangezogen werden. In der Praxis ist das wohl die am häufigsten verwendete Rechtsgrundlage für KI-Training, z.  B. beim autonomen Fahren. Nach dieser Erlaubnisnorm ist die Verarbeitung von personenbezogenen Daten zulässig, soweit sie zur Wahrung der berechtigten Interessen des Verantwortlichen oder eines Dritten erforderlich ist und keine Interessen oder Grundrechte und Grundfreiheiten der betroffenen Personen überwiegen. Als berechtigt kann jedes Interesse gewertet werden, das nicht gegen die Rechtsordnung verstößt.23 Dies umfasst wirtschaftliche, rechtliche und ideelle Interessen. Beispielsweise hat der Gesetzgeber den datenschutzrechtlich relevanten Bereich des Direktmarketings als eine dem berechtigten Interesse des Unternehmens dienende Datenverarbeitung genannt.24 An einer Verarbeitung von Daten für ihre KI haben Unternehmen in der Regel wirtschaftliche Interessen. Ebenso sind aber auch rechtliche sowie ideelle Interessen denkbar. Eingeschränkt wird die Verarbeitung aufgrund des berechtigten Interesses dadurch, dass sie auch erforderlich sein muss. Das bedeutet, dass zu prüfen ist, ob der anvisierte Zweck auch auf andere zumutbare Weise, als durch die konkrete Art der Datenverarbeitung, erreicht werden kann. Das berechtigte Interesse selbst ist mit Blick auf das im Datenschutzrecht geltende Verbot mit Erlaubnisvorbehalt Taeger/Gabel/Taeger, DSGVO, BDSG, Art. 6, Rn. 107. Erwägungsgrund (47) der DSGVO.

23  24 

5 Datenschutz

177

streng zu prüfen, während das Erfordernis einer zwingend vorliegenden Notwendigkeit der Datenverarbeitung als überinterpretiert anzusehen wäre.25 Auch bei restriktiver Prüfung wird man nicht davon ausgehen dürfen, dass die Verarbeitung von KI-Daten nicht erforderlich ist, nur weil es zuvor auch anders und ohne KI ging. Stattdessen ist im Einzelfall anhand der konkreten Umstände der Verarbeitung eine Bewertung vornehmen. Das Entwickeln einer KI wird in den meisten Fällen von einem anerkennenswerten wirtschaftlichen Interesse gedeckt sein, z. B. um die Effizienz zu steigern, bessere Sachentscheidungen zu treffen oder Kosten zu sparen. Dann wird das KI-Training als solches auch erforderlich sein. Das Bewertungserfordernis hinsichtlich der Erforderlichkeit setzt dann beim „wie“ des KI-Trainings ein. Beispielsweise kann sich die Konsequenz ergeben, dass nur bestimmte Daten, eine betroffene Person, nicht aber deren gesamter Datensatz, in das KI-Training einbezogen werden dürfen. Vor einer abschließenden Entscheidung sind die berechtigten Interessen des Unternehmens mit den Interessen oder Grundrechten und Grundfreiheiten der betroffenen Personen abzuwägen. Sollte die Abwägung zugunsten der Betroffenen ausfallen, kann die Datenverarbeitung nicht auf Art. 6 Abs. 1 lit. f DSGVO gestützt werden. 5.2.2.3.1  Abwägungsfragen Im Rahmen der Abwägung sind die Interessen des Unternehmens gegenüber den Rechten der Betroffenen zu gewichten. Worum geht es dem Verantwortlichen? Wie wichtig ist das für sein Unternehmen, dessen Leistungsangebot und die Öffentlichkeit? Welche Daten und welche Menge an Daten sollen verwendet werden? Erfolgt die Datenverwendung einmalig, zeitlich begrenzt oder dauerhaft? Wie sensibel sind die Daten der betroffenen Person und welche Risiken können sich mit welcher Eintrittswahrscheinlichkeit ergeben? Die Abwägungskriterien sind zahlreich und können in jedem Einzelfall unterschiedlich sein.

Vergleiche zum Grundgedanken Gola/Schulz, DS-GVO, Art. 6, Rn. 36.

25 

178

B. Kloos und J. Schmidt-Bens

Ein wesentliches Kriterium im Rahmen der Abwägung ist die Erwartbarkeit, also die Frage, ob die Datenverwendung der ­vernünftigen Erwartungshaltung der betroffenen Personen entspricht.26 Musste der Betroffene mit der Datenverarbeitung durch die datenverarbeitende Stelle rechnen? Gibt es in insoweit eine Üblichkeit oder zumindest eine naheliegende Wahrscheinlichkeit? Wenn diese Fragen mit ja beantwortet werden können, liegt bereits ein gewichtiger Anhaltspunkt dafür vor, dass der Abwägungsprozess zugunsten des Unternehmens ausfallen kann. Angesichts der Informationspflichten (Art. 13 und 14 DSGVO) könnte man meinen, dass die betroffene Person, der diese Informationen ordnungsgemäß gegeben wurden, immer eine diesbezügliche Erwartung haben muss. Das ist aber nicht das, was die DSGVO mit der Erwartbarkeit meint. Vielmehr geht es um die Erwartungshaltung, welche ein Betroffener hat, der die Informationen im „Kleingedruckten“ gerade nicht zur Kenntnis genommen hat. Rechnet auch ein derartiger Betroffener mit einer entsprechenden Verarbeitung seiner Daten? Beispielsweise würde derzeit ein Mitglied eines Sportvereins nicht damit rechnen, dass seine beim Verein gespeicherten Daten für ein KI-Training dahingehend verwendet würden, wie finanziell leistungsfähig seine Mitglieder sind und wie das für zukünftige Mitgliedsbeiträge berücksichtigt werden kann. Damit fiele für den Verein ein Kriterium negativ aus, was sich auf das Gesamtergebnis der Abwägung auswirken kann, aber nicht muss. Ebenfalls positiv für die datenverarbeitende Stelle kann die Pseudonymisierung von KI-Daten sowie die Verarbeitung von Daten aus öffentlich zugänglichen Quellen ins Gewicht fallen, da in diesen Fallgestaltungen die schutzwürdigen Belange der Betroffenen nur selten überwiegen dürften. Ein häufig zu findender Ansatz, ein positives Abwägungsergebnis zu erreichen, ist es, die Risiken zu begrenzen. Das kann man etwa dadurch erreichen, dass man die Daten bzw. die Datenquellen trennt. Beim sog. Federated Learning27 bleiben die Daten

Erwägungsgrund (EG) (45) DSGVO. https://en.wikipedia.org/wiki/Federated_learning. Zugegriffen am 16.01.2020.

26  27 

5 Datenschutz

179

verteilt gespeichert. Jede Datenquelle (z. B. ein Smartphone) trainiert dann die KI nur mit den eigenen Trainingsdaten. Die Ergebnisse eines lokalen Einzeltrainings, nicht die Trainingsdaten selbst, werden dann aggregiert und abgeglichen, ggf. wiederholt. Je nach Ausgestaltung erhält das Unternehmen dann sogar nur anonyme Daten. Zumindest aber kann das Risiko für die betroffene Person begrenzt sein, weil seine Daten nicht unkontrolliert in einen großen Datentopf einfließen, ohne dass man vorhersehen kann, was dort im Einzelnen mit Ihnen geschieht. In dieselbe Richtung gehen Modelle der Daten-Treuhand.28 Der Anbieter erhält hier nicht selbst die Trainingsdaten, sondern ein Treuhänder für die betroffene Person. Dadurch soll abgesichert werden, dass die Trainingsdaten nur für den ursprünglichen Zweck und ggf. für spätere Kontrollen verwendet werden. Die Verarbeitung von Kategoriedaten, wie zum Beispiel Gesundheitsdaten, darf allerdings mit Blick auf Art.  9 Abs.  1 und Abs. 2 DSGVO nicht auf der Rechtsgrundlage eines berechtigten Interesses erfolgen. Für eine Interessenabwägung ist hier kein Raum. 5.2.2.3.2  Widerspruchsrecht Wenn alle in Art. 6 Abs. 1 lit. f DSGVO genannten Voraussetzungen vorliegen, kann die Verarbeitung von personenbezogenen Daten für eine KI datenschutzkonform durchgeführt werden. Bei der Risikoabschätzung ist allerdings darauf zu achten, dass den Betroffenen gemäß Art.  21  DSGVO ein Widerspruchsrecht gegen die Datenverarbeitung zusteht, das sie jederzeit aus Gründen, die sich aus ihrer besonderen Situation ergeben, gegen die Datenverarbeitung geltend machen können. Die besondere Situation kann dabei rechtlicher, wirtschaftlicher, ethischer, sozialer, gesellschaftlicher oder familiärer Natur sein. Die Begründung des Widerspruchs soll es dem Verantwortlichen ermöglichen, den Widerspruch im Rahmen einer Interessenabwägung zu prüfen. Kann er zwingende schutzwürdige Gründe für die Verarbeitung nachSiehe https://t3n.de/news/mozilla-nutzern-mehr-kontrolle-ki-1213645/ oder https://de.wikipedia.org/wiki/Datentreuh%C3%A4nder. Zugegriffen am 16.01.2020. 28 

180

B. Kloos und J. Schmidt-Bens

weisen, welche die Interessen, Rechte und Freiheiten der betroffenen Person überwiegen, ist die Weiterverarbeitung zulässig. Dasselbe gilt in dem Fall, in dem die Verarbeitung der Geltendmachung, Ausübung oder Verteidigung von Rechtsansprüchen dient. An­ derenfalls müsste der Verantwortliche dem Widerspruch der betroffenen Person nachkommen und könnte die Datenverarbeitung nicht fortsetzen. Für KI-Anwendungen zum Zwecke der Direktwerbung und ein diesbezügliches Profiling gilt eine Besonderheit: Der Widerspruch der betroffenen Person ist hier zwingend zu beachten (Art. 21 Abs. 2 und 3 DSGVO). Der Verantwortliche muss die KI und die Trainingsdaten deshalb darauf vorbereiten, einen Widerspruch oder auch ein Löschungsverlangen (Art. 17 DSGVO) umzusetzen.

5.2.2.4  V  erarbeitung besonderer Kategorien von Daten Probleme bereitet nach aktueller Rechtslage die Verarbeitung besonderer Kategorien von Daten (Kategoriedaten) im Rahmen des KI-Trainings. Art. 9 Abs. 1 DSGVO regelt, dass die Verarbeitung personenbezogener Daten, aus denen die rassische und ethnische Herkunft, politische Meinungen, religiöse oder weltanschauliche Überzeugungen oder Gewerkschaftszugehörigkeit hervorgehen, grundsätzlich verboten ist. Ebenso ist die Verarbeitung von genetischen Daten, biometrischen Daten zur eindeutigen Identifizierung einer natürlichen Person, Gesundheitsdaten oder Daten zum Sexualleben oder der sexuellen Orientierung einer natürlichen Person erst einmal untersagt. Ausnahmen zu diesem Verbot hat der EU-Gesetzgeber in Art. 9 Abs. 2 DSGVO normiert. Danach sind für die Verarbeitung von KI Daten je nach Konstellation folgende Erlaubnismöglichkeiten denkbar: • Ausdrückliche Einwilligung der Betroffenen • Verarbeitung von Kategoriedaten, die der Betroffene offensichtlich öffentlich gemacht hat • Erforderlichkeit der Datenverarbeitung für die Gesundheitsvorsorge oder Arbeitsmedizin

5 Datenschutz

181

• Erforderlichkeit der Datenverarbeitung für wissenschaftliche Forschungszwecke29 Ergänzend gilt §  27 BDSG mit zusätzlichen Verarbeitungsmöglichkeiten insbesondere für statistische Zwecke. 5.2.2.4.1  Ausdrückliche Einwilligung der Betroffenen Das Einholen der Einwilligung bei Betroffenen in die Verarbeitung von KI-Daten ist zwar in vielen Fällen nicht leicht. Bei Kategoriedaten führt aber häufig kein Weg daran vorbei. Hinzu kommt, dass die Einwilligung für Kategoriedaten ausdrücklich bezogen auf diese Form der Verarbeitung und nicht konkludent, also durch schlüssiges Handeln, abgegeben werden kann (Art. 9 Abs. 2 lit. a DSGVO). Gerade im Gesundheitsbereich ist es für die Betroffenen vergleichsweise normal, ausführliche Informationstexte zu lesen und insoweit Einwilligungen zu erteilen. Durch eine intelligente Integration KI-bezogener Einwilligungen in vorhandene Formulare wird man häufig in der Lage sein, die Datenverarbeitung auf diese Rechtsgrundlage zu stützen. Die Einwilligung muss auch hier aktiv, im konkreten Fall, ohne jeden Zweifel und unmissverständlich erfolgen. Das Formular muss daher eine gesonderte Opt-in Möglichkeit enthalten, ob und wie Kategoriedaten für eine KI verwendet werden dürfen. 5.2.2.4.2  V  erarbeitung von Kategoriedaten, die der Betroffene offensichtlich öffentlich gemacht hat Um die datenschutzkonforme Verarbeitung von Kategoriedaten zumindest etwas zu erleichtern, soll sie auch zulässig sein, wenn der Betroffene die Daten selbst offensichtlich öffentlich gemacht hat (Art. 9 Abs. 2 lit. e DSGVO). Dies setzt einen bewussten Willensakt der betroffenen Person voraus, z. B. durch aktive Angabe im öffentlichen Profil eines sozialen Netzwerks.30 Fälle, bei denen Zweifel am Bewusstsein der Person über die Tragweite der Veröffentlichung bestehen, können auf diese Weise

Siehe dazu Kapitel Datenschutz bei öffentlichen KI-Forschungsprojekten. Kühling/Buchner/Weichert, DS-GVO, Art. 9, Rn. 79.

29  30 

182

B. Kloos und J. Schmidt-Bens

nicht gerechtfertigt werden.31 Das Merkmal „offensichtlich“ bedeutet, dass es für Dritte ohne weiteres erkennbar sein muss, dass die betroffene Person selbst die Öffentlichkeit hergestellt hat. ­Damit soll verhindert werden, dass ein Betroffener dadurch den besonderen Schutz verliert, dass ein Dritter dessen sensitive Daten in die Öffentlichkeit trägt.32 Es ist daher zu prüfen, ob die Veröffentlichung zwangsläufig auf der Handlung des Betroffenen beruht oder z. B. auf technischen Voreinstellungen, die ihm nicht zwangsläufig bekannt waren. 5.2.2.4.3  E  rforderlichkeit der Datenverarbeitung für die Gesundheitsvorsorge, Arbeitsmedizin, Behandlung oder Verwaltung im Gesundheitsund Sozialbereich Gesundheitsdaten können nach Art. 9 Abs. 2 lit. h DSGVO verarbeitet werden, wenn dies für das Erreichen gesundheitsbezogener Zwecke im Interesse einzelner natürlicher Personen und der Gesellschaft insgesamt notwendig ist. Die konkrete Erlaubnis soll sich dabei aus einer gesetzlichen Anordnung oder aus einem Vertrag mit einem Angehörigen eines Gesundheitsberufs (Behandlungsvertrag) ergeben können. Umfasst werden neben der Gesundheitsvorsorge und der Arbeitsmedizin auch der Gesundheits- und Sozialbereich sowie die medizinische Diagnostik. Als weitere Voraussetzung ist erforderlich, dass die Daten durch oder unter der Verantwortung von Fachpersonal verarbeitet werden (Art. 9 Abs. 3 DSGVO). Bei der medizinischen Diagnostik und Behandlung gibt es bereits prominente Einsatzfelder von KI. Künstliche Intelligenz ist etwa überlegen bei der Diagnose von Hautläsionen33 oder dem Erkennen von Lungenkrebs in CT-Aufnahmen.34 Zum privilegierKühling/Buchner/Weichert, DS-GVO, Art. 9, Rn. 80. Kühling/Buchner/Weichert, DS-GVO, Art. 9, Rn. 79. 33  https://www.meduniwien.ac.at/web/ueber-uns/news/detailseite/2019/newsim-juni-2019/kuenstliche-intelligenz-bei-diagnose-von-hautlaesionen-dem-menschen-ueberlegen/. Zugegriffen am 16.01.2020. 34  https://www.heise.de/newsticker/meldung/Google-erkennt-Lungenkrebs-in-CT-Aufnahmen-4427496.html. Zugegriffen am 16.01.2020. 31  32 

5 Datenschutz

183

ten Einsatzgebiet gehören aber auch die Abrechnung sowie Qualitäts- und Wirtschaftlichkeitskontrollen.35

5.2.3 D  atenminimierung, Anonymisierung und Pseudonymisierung Für das Training von KI-Systemen werden typischerweise große Datenbestände genutzt. Für personenbezogene Daten gilt auch hier der Grundsatz der Datenminimierung (Art. 5 Abs. 1 lit. c DSGVO).36 Die Verarbeitung muss auf das notwendige Maß beschränkt sein, was dazu führen kann, dass die Verarbeitung mittels anonymer Daten erfolgen muss, wenn dies zur Erreichung des legitimen Zwecks ausreichen würde.37 Beim Aufsetzen von KI-Systemen ist daher stets zu prüfen, ob eine pseudonyme oder anonyme Verarbeitung ausreichen würde. Synthetische, d.  h. künstlich erzeugte Daten stellen eine sichere Variante dar, wie Personenbezug von vorneherein ausgeschlossen werden kann. Aber auch jede andere in zulässiger Weise erfolgte Anonymisierung der KI-Daten führt aus der Anwendbarkeit des Datenschutzrechts hinaus.38 Schwierig ist, wann von einer vollständigen Anonymisierung ausgegangen werden kann. Informationen sind laut den Erwägungsgründen zur DSGVO anonym, wenn sie sich nicht auf eine identifizierte oder identifizierbare natürliche Person beziehen oder wenn die betroffene Person nicht oder nicht mehr identifiziert werden kann.39 Unter Zuhilfenahme der Rechtsprechung des Europäischen Gerichtshofs (EuGH) kann davon ausgegangen werden, dass dann kein Personenbezug mehr angenommen werden kann, wenn alle Mittel geprüft wurden, die vernünftigerweise eingesetzt werden könnten, um die betreffende Person zu identifizieren.40 Laut EuGH wären davon Verfahren erfasst, die praktisch nicht durchführbar wären, weil sie einen unverhältnismäßigen Aufwand an Zeit, Kosten und Kühling/Buchner/Weichert, DS-GVO, Art. 9, Rn. 109. DSK–Hambacher Erklärung, S. 4. 37  DSK–Hambacher Erklärung, S. 4. 38  DSGVO, Erwägungsgrund 26, S. 5. 39  DSGVO, Erwägungsgrund 26, S. 5. 40  EuGH, Urt. v. 19.10.2016, Rs-582/14, Rn. 42. 35  36 

184

B. Kloos und J. Schmidt-Bens

Arbeitskräften erfordern würden.41 Das Risiko einer Identifizierung erscheine in derartigen Fällen de facto vernachlässigbar.42 Diese Sichtweise hat den praktischen Vorteil, Anreize für die Nutzung und Entwicklung von Anonymisierungstechniken zu erhöhen und so zu einem besseren Datenschutzniveau zu führen. Der Nachteil besteht in dem verbleibenden Restrisiko der Identifizierbarkeit einer natürlichen Person, insbesondere mit Blick auf die Weiterentwicklung von Rechnerleistung. Vor diesem Hintergrund ist darauf zu achten, wie sich der Stand der Technik ent­ wickelt und welche Vorgaben die zuständigen Datenschutzaufsichtsbehörden zur Anonymisierung personenbezogener Daten machen.43 Derartige Weiterentwicklungen sind ggf. in eine Risikoabwägung bei der Verarbeitung von KI-Daten mit einzubeziehen. Im Rahmen der Anonymisierung von KI-Daten ist auf die dafür eingesetzte Technik zu achten. Werden Daten beispielsweise verpixelt, wird die KI die Verpixelung mit in ihren Lernprozess aufnehmen, was in einer realen Situation ohne Verpixelung möglicherweise zu ungewolltem Verhalten und falschen Entscheidungen führen kann. Dies kann sich in Bereichen wie dem automatisierten Fahren, dem Notfallmanagement oder in Gesundheitsfragen lebensgefährdend auswirken. Um dies zu verhindern, muss der Lösungsweg nachvollziehbar und korrekt sein. Im Fall der Verpixelung etwa müsste bei der Verarbeitung der Echtdaten dieselbe Verpixelungstechnik eingesetzt werden, wie bei der Verarbeitung der Trainingsdaten.44 Eine derartige statische Komponente kann eine dynamische KI-Entwicklung aber auch behindern. Ist eine Anonymisierung nicht möglich, wäre eine pseudonymisierte Datenverwendung zu prüfen, um die Risiken für die betroffenen Personen zu senken.45 Dazu können beispielsweise Namen durch Zahlenkennungen ersetzt werden. Einer Pseudonymisierung EuGH, Urt. v. 19.10.2016, Rs-582/14, Rn. 46. EuGH, Urt. v. 19.10.2016, Rs-582/14, Rn. 46. 43  Siehe dazu bisher insbesondere Art.-29-Datenschutzgruppe Working Paper (WP) 216. 44  Hartmann, ITRB 5/2019, 121 (122). 45  EU-DSVO, Erwägungsgrund 28. 41  42 

5 Datenschutz

185

unterzogene personenbezogene Daten, die durch Heranziehung zusätzlicher Informationen immer noch einer natürlichen Person zugeordnet werden könnten, bleiben aber personenbezogen. Durch zusätzliche technische und organisatorische Maßnahmen46 oder verteilte Daten47 kann das Risiko zusätzlich begrenzt werden.

5.2.4 Zweckbindung, Zweckänderung Nach Art. 5 Abs. 1 lit. b DSGVO dürfen personenbezogene Daten grundsätzlich nur zu dem Zweck verarbeitet werden, für den sie erhoben wurden (Zweckbindungsgrundsatz). Beim überwachten Lernen ist die Zwecksetzung vergleichsweise einfach. Es geht hier um das Erreichen eines erwarteten Ergebnisses (ground truth).48 Beim unüberwachten Lernen dagegen ist beim Design des KI-Systems zunächst nicht bekannt, was es erkennen soll. Es geht dort darum, Muster und Wahrscheinlichkeiten zu erkennen, deren Ausgestaltung und Zusammensetzung im Vorhinein nicht bestimmt werden kann. Für die Zweckbestimmung ist das allerdings lösbar: Auch das unüberwachte Lernen dient einem konkreten Ziel (z. B. Reduzierung des Stromverbrauchs). Die eigentliche Schwierigkeit liegt hier bei der Erklärbarkeit, nicht bei der Zweckbindung. Die Aufsichtsbehörden fassen den Zweck enger: Die Verar­ beitung von personenbezogenen Daten für das Trainieren von KI-Komponenten soll danach einen eigenen Verarbeitungszweck darstellen.49 Das verkennt, dass die KI nicht Selbstzweck ist, sondern zumeist ein Werkzeug zur Lösung eines Problems oder einer Aufgabe darstellt. Hinsichtlich der Zweckbegrenzung ist zu beachten, dass nur diejenigen Daten verwendet werden dürfen, die dem Zweck auch tatsächlich dienen. Das setzt eine Kategorisierung der verwendeten Daten voraus bzw., wie es die DSK ausdrückt, dass man „die Daten der wesentlichen Dimensionen der

S. u. Abschn. 5.5. S. o. 5.2.2.3. zu Federated Learning oder Treuhandmodellen. 48  DSK-Positionspapier KI-TOM, S. 4. 49  DSK-Positionspapier KI-TOM, S. 9. 46  47 

186

B. Kloos und J. Schmidt-Bens

zu modellierenden Wissensdomäne statistisch auf einem hinreichend akzeptablen Fehlerniveau erfassen kann bzw. erfasst hat“.50 Nachdem der Zweck erfüllt ist, müssen die Daten gelöscht werden, soweit keine gesetzlichen Aufbewahrungsfristen eingehalten werden müssen. Sollen die KI-Daten zu einem anderen oder weiteren Zweck verarbeitet werden, ist dafür nach hiesiger Auffassung zunächst eine Rechtsgrundlage erforderlich,51 die z. B. das berechtigte Interesse des Verantwortlichen legitimieren kann (Art.  6 Abs. 1 lit. f DSGVO). Zusätzlich ist zu prüfen, ob die unterschiedlichen Zwecke miteinander vereinbar sind (Vereinbarkeitsprüfung, Art. 6 Abs. 4 DSGVO). Das gilt auch für die Nutzung personenbezogener Daten zu Trainingszwecken von KI-­Systemen.52 Demnach gibt es erlaubte kompatible Zweckänderungen und inkompatible, die dadurch unzulässig werden. Ein Anwendungsfall zulässiger Zweckänderung bei KI-Daten wäre beispielsweise die spätere Nutzung zu Beweiszwecken bei Rechtsstreitigkeiten im Bereich der Produkthaftung. Die DSGVO nennt einige Beurteilungskriterien für die Vereinbarkeitsprüfung. Dazu zählen die Verbindung der Verarbeitungszwecke, der Zusammenhang, in dem die Daten erhoben wurden, die Art der personenbezogenen Daten (vor allem Kategoriedaten), die möglichen Folgen einer Weiterverarbeitung für die b­ etroffenen Personen sowie das Vorhandensein geeigneter Garantien, wie Verschlüsselung oder Pseudonymisierung. Bei der Anwendung ist zu berücksichtigen, dass diese Kriterien vom Gesetzgeber nur beispielhaft und damit nicht abschließend aufgeführt sind. Man würde bei der Zweckänderung daher zunächst prüfen, wie nahe sich die Verarbeitungszwecke sind. Das würde man bejahen, wenn der neue Zweck der „logisch nächste Schritt“ ist oder

DSK-Positionspapier KI-TOM, S. 9. Vergleiche Kühling/Buchner/Buchner/Petri, DS-GVO, Art. 6, Rn. 182 unter Hinweis auf den redaktionellen Fehler in EG 50 Satz 2; a.  A.  Taeger/Gabel/Taeger, DSGVO BDSG, Art. 6, Rn. 139–142. 52  DSK–Hambacher Erklärung, S. 3. 50  51 

5 Datenschutz

187

denklogisch verknüpft.53 Es geht beim Zusammenhang der Verarbeitung um Erwartbarkeit, also um die Perspektive der betroffenen Person.54 Je sensibler die Daten, z. B. von Kindern oder zur Geolocation, desto höher sind die Anforderungen an die Kompatibilitätsprüfung. Bei den Folgen der Weiterverarbeitung ist zu bewerten, ob zusätzliche Risiken entstehen können, etwa indem Daten erstmals an Dritte oder in Drittländer gelangen. Hinsichtlich der geeigneten Garantien zum Schutz der personenbezogenen Daten nennt die Vorschrift selbst Verschlüsselung und Pseudonymisierung. An dieser Stelle wird man außerdem die Zugriffsrechte genau prüfen müssen, etwa ob für bestimmte spätere Zugriffe auf die Roh- oder Trainingsdaten ein Vier-Augen-Prinzip zur Anwendung kommt oder ein Prüfverfahren zu durchlaufen ist.

5.3

Automatisierte Einzelentscheidungen

Auch wenn die DSGVO technologieneutral formuliert ist, um Weiterentwicklungen in dem Bereich Rechnung zu tragen, wurden gesetzgeberische Wertungen mit Technologiebezug formuliert. Neben den Regelungen zum Datenschutz durch Technik (Art.  25 DSGVO) und zur Sicherheit der Verarbeitung (Art.  32 DSGVO) gehört dazu das Verbot der automatisierten Einzelentscheidung (Art. 22 DSGVO).

5.3.1 G  rundsätzliches Verbot der automatisierten Entscheidung Mit dem Verbot der automatisierten Entscheidung soll der Einzelne davor geschützt werden, im Rahmen der stetig erfolgenden technologischen Weiterentwicklung zum Objekt der Datenverarbeitung zu

Kühling/Buchner/Buchner/Petri, DS-GVO, Art. 6, Rn. 187. Siehe DSGVO, Erwägungsgrund 50.

53  54 

188

B. Kloos und J. Schmidt-Bens

werden.55 Art. 22 Abs. 1 DSGVO regelt, dass betroffene Personen keiner Entscheidung unterworfen werden dürfen, die ihnen gegenüber eine rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt, und die ausschließlich auf einer automatisierten Datenverarbeitung – einschließlich Profiling – beruht. Der Begriff der Verarbeitung umfasst dabei jeden mit Hilfe automatisierter Verfahren ausgeführten Verarbeitungsvorgang personenbezogener Daten. Allein die Maschine muss die Festlegung und nicht nur Vorbereitungen dafür treffen, d. h. ohne jegliches menschliches Eingreifen.56 Die Entscheidung, die auf der automatisierten Verarbeitung beruht, entfaltet dann eine rechtliche Wirkung gegenüber dem Betroffenen, wenn sich durch seine Rechtsposition verändert,57 wie zum Beispiel bei der Vertragsgestaltung. Von einer erheblichen Beeinträchtigung wird gesprochen, wenn die betroffene Person in ihrer Entfaltung nachhaltig gestört wird.58 Dies kann beispielsweise bei der Kündigung eines Vertrages oder der Erhöhung eines Zinssatzes der Fall sein. An einer Beeinträchtigung wird es regelmäßig fehlen, solange sich für die betroffene Person keine Nachteile ergeben. Das Verbot der automatisierten Entscheidung umfasst ausdrücklich auch das Profiling. Gemeint ist damit jede Art der automatisierten Verarbeitung, die darin besteht, dass personenbezogenen Daten verwendet werden, um bestimmte persönliche Aspekte, die sich auf eine natürliche Person beziehen, zu bewerten. Insbesondere sind das Aspekte wie Arbeitsleistung, wirtschaftliche Lage, Gesundheit, persönliche Vorlieben, Interessen, Zuverlässigkeit, Verhalten, Aufenthaltsort oder Ortswechsel. Das Profiling ist im Rahmen von Art. 22 DSGVO nur ein Unterfall, d. h. ein Profiling zur Vorbereitung einer Entscheidung (bloßes Scoring)59 oder ohne rechtliche Wirkung bzw. erhebliche Beeinträchtigung wird vom Verbot der automatisierten Entscheidung nicht erfasst.

Taeger/Gabel/Taeger, DSGVO BDSG, Art. 22, Rn. 8. DSGVO, Erwägungsgrund 71. 57  Kühling/Buchner, DS-GVO, Art. 22, Rn. 24. 58  Kühling/Buchner, DS-GVO, Art. 22, Rn. 26. 59  Kühling/Buchner/Buchner, DS-GVO, Art. 22, Rn. 38. 55  56 

5 Datenschutz

189

5.3.2 A  usnahmen vom Verbot der automatisierten Entscheidung (Art. 22 Abs. 2 und 3 DSGVO) Um automatisierte Entscheidungen nicht völlig zu verhindern, hat der Gesetzgeber drei Ausnahmetatbestände vorgesehen, die für eine sinnvolle KI-basierte Datenverarbeitung jedoch leider zu eng gefasst sind. Der Europäische Datenschussausschuss hat die Möglichkeit, u. a. Leitlinien und Empfehlungen zur näheren Bestimmung der Kriterien und Bedingungen für die auf Profiling beruhenden Entscheidungen bereitzustellen (Art. 70 Abs. 1 lit. f DSGVO). Es ist zu wünschen, dass in diesem Rahmen Konkretisierungen und Festlegungen erfolgen, welche die Stärken von KI zur Geltung kommen lassen. Die automatisierte Einzelentscheidung ist zulässig, wenn sie für den Abschluss oder die Erfüllung eines Vertrags zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist (Art. 22 Abs. 2 lit. a DSGVO). Dies soll beispielsweise der Fall sein, wenn die Entscheidung über einen Kreditantrag oder der Zinssatz von einem bestimmten Scorewert abhängig gemacht wird.60 Das Verbot wird dadurch also wieder weitgehend umgekehrt, allerdings nur soweit die automatisierte Entscheidung auf relevante Faktoren für die vertragstypischen Leistungen des konkreten Rechtsgeschäfts gestützt wird. Das hätte der EU-­ Gesetzgeber also leichter und sinnvoller ausdrücken können, wenn er von vornherein fundierte automatische Entscheidungen nach sachgerechten Kriterien akzeptiert hätte. Unter diesen Vo­ raussetzungen ist eine automatisierte Entscheidung nämlich auch dann zulässig, wenn der Vertragsschluss abgelehnt wird oder eine nachteilige Entscheidung ergeht. Kinder sollten allerdings nicht betroffen sein.61 Parallel muss der Verantwortliche angemessene (Schutz-) Maßnahmen getroffen haben, um den Schutz der Rechte und Freiheiten sowie die berechtigten Interessen der betroffenen Person Kühling/Buchner/Buchner, DS-GVO, Art. 22, Rn. 30. DSGVO, Erwägungsgrund 71.

60  61 

190

B. Kloos und J. Schmidt-Bens

zu wahren (Art. 22 Abs. 3 DSGVO). Dazu zählen laut gesetzgeberischer Wertung mindestens das Recht auf Eingreifen einer Person seitens des Verantwortlichen, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung. Mit diesen Vorgaben soll gewährleistet werden, dass die Perspektive natürlicher Personen jederzeit den automatisierten Prozess unterbrechen kann und die Betroffenen über die Umstände der Entscheidungsfindung informiert werden.62 Das Ergreifen der Schutzmaßnahmen ist keine Voraussetzung für die Zulässigkeit der auto­ matisierten Entscheidung,63 sondern eine eigenständige und bußgeldbewehrte Pflicht. Die Auswirkungen dieser Regelungen für KI sind bislang kaum abzusehen. KI-Programme können Regeln und Wege erkennen, die Menschen verborgen geblieben sind.64 Auf welcher Basis soll dann eine sachgerechte menschliche Entscheidung erfolgen? Im Nachhinein einen Menschen eingreifen zu lassen, kann Fehler korrigieren, aber genauso gut auch neue Probleme schaffen. Der Verantwortliche soll insgesamt eine faire und transparente Verarbeitung bei automatisierten Entscheidungen gewährleisten.65 Die Frage, die sich dabei in der Praxis oft stellt, ist in welchem Umfang Informationen über die Entscheidungsfindung erteilt werden müssen. Die DSGVO sieht insoweit vor, dass die Betroffenen Auskunft darüber erhalten (Art.  15 Abs.  1 lit. h DSGVO), dass eine automatisierte Entscheidungsfindung stattfindet sowie (in den Fällen von Art. 22 Abs. 1 und 4 DSGVO) aussagekräftige Informationen über die involvierte Logik sowie die

Kühling/Buchner, DS-GVO, Art. 22, Rn. 32–35. Kühling/Buchner/Buchner, DS-GVO, Art. 22, Rn. 31. 64  So Garri Kasparow über AlphaZero, die innerhalb weniger Stunden nacheinander die Spiele Schach, Go und Shogi erlernte und dann besser war als jeder Mensch und jede Software, https://de.wikipedia.org/wiki/AlphaGo. Zugegriffen am 16.01.2020. 65  DSGVO, Erwägungsgrund 71. 62  63 

5 Datenschutz

191

Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung. Der Umfang des Auskunftsanspruchs soll nach dem Willen des EU-Gesetzgebers die Rechte und Freiheiten anderer Personen, wie etwa Geschäftsgeheimnisse, nicht beeinträchtigen, wobei dies nicht dazu führen dürfe, dass der betroffenen Person jegliche Auskunft verweigert wird.66 Im Ergebnis wird das auf der Linie der bisherigen bundesdeutschen Rechtsprechung liegen, wonach z. B. mitzuteilen ist, welche Daten einfließen, nicht aber die eigentliche (Score-) Formel einschließlich Rechengrößen und Gewichtung.67 Der zweite Erlaubnistatbestand für die automatisierte Entscheidung ist die ausdrücklichen Einwilligung der betroffenen Person (Art. 22 Abs. 2 lit. c DSGVO). Dafür müssen die bereits dargestellten Voraussetzungen einer wirksamen Einwilligung nachweisbar vorliegen, wobei sich die Einwilligung ausdrücklich auf die Entscheidungsfindung im Rahmen der automatisierten Verarbeitung beziehen muss. Zusätzlich sind angemessene Maßnahmen zum Schutz des Einwilligenden zu ergreifen. Diese bestehen insbesondere darin, dem Betroffenen einzuräumen, einer natürlichen Person gegenüber seinen eigenen Standpunkt darzulegen. Eine in Art. 22 Abs. 2 lit. c DSGVO normierte Öffnungsklausel erlaubt den EU-Mitgliedstaaten darüber hinaus, eigene Zuläs­ sigkeitstatbestände für automatisierte Einzelentscheidungen zu regeln.68 Davon hat der deutsche Gesetzgeber beispielsweise Gebrauch gemacht, als er im Rahmen des Datenschutz-Anpassungsund Umsetzungsgesetz EU (DSAnpUG-­EU) § 37 BDSG formuliert hat. Hier gibt es zu Gunsten der Versicherungswirtschaft weitere Ausnahmen vom Verbot der automatisierten Einzelentscheidung, wenn die Entscheidung im Rahmen der Leistungserbringung nach dem Versicherungsvertrag ergeht und die weiteren DSGVO, Erwägungsgrund 63. BGH, Urt. v. 28.01.2014, VI ZR 156/13. 68  Siehe BT-Drs. 18/11325, S. 106. 66  67 

192

B. Kloos und J. Schmidt-Bens

Voraussetzungen vorliegen. Insbesondere soll die automatisierte Schadensregulierung zwischen der KfZ-Haftpflichtversicherung des Schädigers und dem Geschädigten ermöglicht werden, soweit dem Begehren des Antragstellers/Betroffenen entsprochen wird.69 § 37 Abs. 1 Nr. 2 BDSG soll nach dem Willen des Gesetzgebers die automatisierte Entscheidung über Versicherungsleistungen der Privaten Krankenversicherung bei der Anwendung verbindlicher Entgeltgruppen für Heilbehandlungen ermöglichen.70 Auch für den Fall, dass einem Antrag nicht vollumfänglich stattgegeben wird, soll die automatisierte Rechnungsprüfung durch die Krankenversicherung möglich sein, wenn der Datenverarbeiter angemessene Maßnahmen zum Schutz der berechtigten Interessen der Betroffenen trifft.71

5.3.3 V  erarbeitung besonderer Kategorien von Daten/Kategoriedaten (Art. 22 Abs. 4 DSGVO) Der besondere Schutz, den die Verarbeitung von Kategoriedaten unter der DSGVO genießt, erstreckt sich auch auf die automatisierte Entscheidungsfindung. Diese darf grundsätzlich nicht auf Kategoriedaten beruhen (Art. 22 Abs. 4 DSGVO). Die DSGVO erlaubt dies ausnahmsweise, wenn der Betroffene ausdrücklich in die Verarbeitung von Kategoriedaten eingewilligt hat (Art.  9 Abs.  2 lit.  a DSGVO) oder die Verarbeitung nach Vorgaben im EU-Recht oder im Recht der Mitgliedstaaten erforderlich ist (Art.  9 Abs.  2 lit. f DSGVO). Zudem müssen die dargestellten Voraussetzungen der in Art. 22 Abs. 2 DSGVO geregelten Ausnahmen vorliegen. Zusätzlich dazu müssen ebenso wie bei den anderen Ausnahmetatbeständen angemessene Schutzmaßnahmen ergriffen worden sein.

BT-Drs. 18/11325, S. 106. BT-Drs. 18/11325, S. 106. 71  BT-Drs. 18/11325, S. 106. 69  70 

5 Datenschutz

5.4

193

Transparenz, Informationspflichten, Betroffenenrechte

Personenbezogene Daten müssen auf rechtmäßige Weise und in einer für die betroffene Person nachvollziehbaren Weise verarbeitet werden (Art. 5 Abs. 1 lit. a DSGVO). Dies erfordert eine transparente, leicht zugängliche und verständliche Information über die Verarbeitung (Art. 12 DSGVO). Entscheidungen auf Grundlage des Einsatzes von KI-Systemen müssen nachvollziehbar und erklärbar sein.72 Das betrifft nach Auffassung der Aufsichtsbehörden nicht nur die Erklärbarkeit des Ergebnisses, sondern auch die Nachvollziehbarkeit im Hinblick auf die Prozesse, die Logik und das Zustandekommen von Entscheidungen.73 Auf der anderen Seite besteht bei den datenschutzrechtlichen Informationsrechten der Grundsatz, dass die Rechte und Freiheiten anderer Personen, etwa Geschäftsgeheimnisse oder Rechte des geistigen Eigentums, nicht beeinträchtigt werden dürfen.74 In der Praxis geht es um die Frage, ob zur Erfüllung der Transparenzanforderungen eine abstrakte Erläuterung des zugrunde liegenden KI-Algorithmus ausreicht oder ob dessen Funktionsweise ganz konkret dargestellt werden muss. Das eingesetzte Lernverfahren (z. B. logistische Regression) muss man nicht angeben, dies würde auch keine Erklärbarkeit des Systems ­bewirken.75 Um eine große Detailtiefe muss sich der Verantwortliche gegenüber dem Betroffenen nicht bemühen, hier reicht der Umstand, dass eine KI verwendet wird und wo ggf. weitere Details in Erfahrung gebracht werden können,76 um Güte und Erklärbarkeit des KI-Systems herzustellen. Viel mehr Informationen wünschen sich dagegen die Aufsichtsbehörden, um bei Prüfungen beurteilen zu können, wie sicher das KI-System zu seinen Ergeb-

DSK – Hambacher Erklärung, S. 3. DSK – Hambacher Erklärung, S. 3. 74  DSGVO, Erwägungsgrund 63 Satz 5. 75  DSK-Positionspapier KI-TOM, S. 11. 76  DSK-Positionspapier KI-TOM, S. 11. 72  73 

194

B. Kloos und J. Schmidt-Bens

nissen kommt.77 Die Vorgaben der Aufsichtsbehörden erscheinen jedenfalls nicht konsistent, wenn an anderer Stelle verlangt wird, dem Betroffenen solle sowohl die Beschreibung des Verfahrens der Fehlerbestimmung, als auch das entstandene Fehlermaß transparent gemacht werden,78 also genau die Detailtiefe, die an anderer Stelle ausgeschlossen wird (s. o.). Als Faustformel wird man auch bei der Transparenz auf die Abwägung zurückkommen, die der BGH auf Grundlage von § 34 BDSG alt angestellt hatte:79 Anzugeben sind die eingeflossenen Daten und eine grobe Erläuterung, was mit ihnen gemacht wird. Rechengrößen und deren Gewichtung sind dagegen in der Regel nicht zu erläutern. Zusätzlich steht betroffenen Personen ein Auskunftsrecht über die konkrete Verarbeitung ihrer Daten zu (Art. 15 DSGVO). Die allgemeinen Informationen, insbesondere zu Verarbeitungszwecken, den Kategorien der verwendeten personenbezogenen Daten, zu den Empfängern oder Kategorien von Empfängern, zur Speicherdauer sowie zur Herkunft der Daten (jeweils Art. 15 Abs. 1 DSGVO) wird für den KI-Anbieter bereits schwer genug, ist aber nach den dargestellten Grundsätzen noch lösbar. Der Verantwortliche muss außerdem eine Kopie der personenbezogenen Daten, die Gegenstand der Verarbeitung sind, zur Verfügung stellen (Art. 15 Abs. 3 DSGVO). Noch nicht abschließend geklärt ist, ob das sämtliche, beim Verantwortlichen vorhandene Daten umfasst. Je nachdem, in wie vielen Layern bei KI die Daten unverändert oder bearbeitet gespeichert wurden, würde eine vollständige Auskunft nahezu unmöglich werden. Helfen kann dann allenfalls ein Rückgriff auf den Geschäftsgeheimnisschutz der beauskunftenden Stelle oder das Berufen auf einen exzessiven Antrag (Art. 12 Abs. 5 Satz 2 DSGVO). Neben den Rechten auf Information und Auskunft bestehen eine Vielzahl weiterer Betroffenenrechte: Das Recht auf Berichtigung (Art.  16 DSGVO), das Recht auf Löschung (Art.  17

DSK-Positionspapier KI-TOM, S. 11. DSK-Positionspapier KI-TOM, S. 12. 79  BGH, Urt. v. 28.01.2014, VI ZR 156/13. 77  78 

5 Datenschutz

195

DSGVO), das Recht auf Einschränkung der Verarbeitung (Art. 18 DSGVO), das Recht auf Datenübertragbarkeit (Art. 20 DSGVO) und das bereits oben erläuterte Widerspruchsrecht (Art.  21 DSGVO). Alle diese Rechte begegnen der Schwierigkeit, dass bei einer KI-mäßigen Verarbeitung unklar sein kann, ob noch personenbeziehbare Datenspuren bestehen (eine andere KI würde sie vielleicht finden). Hinzu kommt bei großen Datenmengen der enorme Aufwand, diese nach den Kriterien der DSGVO aufzubereiten und auszuwerten. Aus datenschutzrechtlicher Sicht sollten Verantwortliche deshalb ihr Augenmerk von vorne herein da­ rauf richten, möglichst synthetische oder anonymisierte Daten zu verwenden. Einschränkungen der Betroffenenrechte sind jedenfalls außerhalb des öffentlichen Interesses (Art.  89 DSGVO) kaum vorgesehen.

5.5

 atensicherheit, technische und D organisatorische Maßnahmen

5.5.1 Allgemeine Vorgaben zur Datensicherheit Der Verantwortliche verwendet unter Berücksichtigung der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung sowie der unterschiedlichen Eintrittswahrscheinlichkeit und Schwere der Risiken geeignete technische und organisatorische Maßnahmen, um sicherzustellen und den Nachweis dafür erbringen zu können, dass die Verarbeitung datenschutzkonform erfolgt (Art.  24 Abs.  1 DSGVO). Das umfasst auch ordnungsgemäße Vorkehrungen (Art.  24 Abs.  2 DSGVO) sowie die fortlaufende Überprüfung und Aktualisierung (Art. 24 Abs. 1 Satz 2 DSGVO). Es sind geeignete technische und organisatorische Maßnahmen zu treffen, die ein dem Risiko angemessenes Schutzniveau gewährleisten (Art. 32 Abs. 1 DSGVO). Dabei ist zu berücksichtigen, dass die Auswahl der Maßnahmen unter Berücksichtigung des Stands der Technik, der Implementierungskosten und der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung sowie der unterschiedlichen Eintrittswahrscheinlichkeit und Schwere des Risikos für die Rechte und Freiheiten natürlicher

196

B. Kloos und J. Schmidt-Bens

Personen erfolgt. Pauschalaussagen sind dazu nicht möglich, sondern die Maßnahmen müssen nach den Umständen im Einzelfall festgelegt werden. Im Blick zu behalten ist der Stand der Technik. Zusammengefasst können darunter die verfügbaren Verfahren, Einrichtungen oder Betriebsweisen verstanden werden, deren Anwendung die Erreichung der jeweiligen gesetzlichen Schutzziele am wirkungsvollsten gewährleisten. Der Verantwortliche trifft sowohl zum Zeitpunkt der Festlegung der Verarbeitungsmittel als auch zum Zeitpunkt der eigentlichen Verarbeitung geeignete technische und organisatorische Maßnahmen – wie z. B. Pseudonymisierung –, die dafür ausgelegt sind, die Datenschutzgrundsätze, wie etwa Datenminimierung, wirksam umzusetzen. Der Verantwortliche muss derart die notwendigen Garantien in die Verarbeitung aufnehmen, um den datenschutzrechtlichen Anforderungen zu genügen und die Rechte der betroffenen Personen zu schützen (Art. 25 DSGVO). Als geeignete Schutzmaßnahmen führt Art. 32 Abs. 1 DSGVO beispielhaft auf: a) Pseudonymisierung und Verschlüsselung personenbezogener Daten b) die Fähigkeit, die Vertraulichkeit, Integrität, Verfügbarkeit und Belastbarkeit der Systeme und Dienste im Zusammenhang mit der Verarbeitung auf Dauer sicherzustellen c) die Fähigkeit, die Verfügbarkeit der personenbezogenen Daten und den Zugang zu ihnen bei einem physischen oder technischen Zwischenfall rasch wiederherzustellen d) ein Verfahren zur regelmäßigen Überprüfung, Bewertung und Evaluierung der Wirksamkeit der technischen und organisatorischen Maßnahmen zur Gewährleistung der Sicherheit der Verarbeitung In der Regel wird davon ausgegangen, dass die Maßnahmen auch die Erstellung eines Löschkonzepts umfassen. Dies ergibt sich auch aus Art. 30 DSGVO, der die Notwendigkeit des Führens eines Verzeichnisses von Verarbeitungstätigkeiten umfasst sowie aus Art. 5 Abs. 1 lit. e DSGVO, welcher den Grundsatz der Speicherbegrenzung normiert. Innerhalb des Verzeichnisses über die

5 Datenschutz

197

Verarbeitungstätigkeiten sollen die im Unternehmen vorgesehenen Fristen für die Löschung der verschiedenen Datenkategorien festgehalten werden (Art. 30 Abs. 1 lit. f DSGVO). Dies vor dem Hintergrund, dass personenbezogene Daten nur solange verarbeitet werden sollen, wie zwingend notwendig. Wird eine datenschutzrechtliche Einwilligung in die Verarbeitung von KI-Daten widerrufen, dürfen die Daten grundsätzlich nicht mehr verwendet werden und sind zu löschen. Bei der Erstellung des Löschkonzepts sind jedoch die gesetzlichen Aufbewahrungsfristen zu berücksichtigen. Diese ergeben sich in der Regel aus den Fachgesetzen. Einschlägige Aufbewahrungsfristen sind zum Beispiel für Buchungsbelege, Handelsbücher sowie für Handels- und Geschäftsbriefe in § 257 Handelsgesetzbuch (HGB) sowie §  147 Abgabenordnung (AO) analog geregelt. Zudem ist bei der Aufbewahrung der Daten auf die regelmäßigen Verjährungsfristen, wie beispielsweise in § 12 Abs. 1 Produkthaftungsgesetz (ProdHaftG) sowie in § 195 Abs. 3 Bürgerliches Gesetzbuch (BGB) normiert, zu achten.

5.5.2 KI-spezifische Anforderungen an Datensicherheit, technische und organisatorische Maßnahmen Für den datenschutzkonformen Einsatz von KI-Systemen gab es bislang keine speziellen Standards oder detaillierte Anforderungen an die anzuwendenden technischen und organisatorischen Maßnahmen.80 Es galten die allgemeinen datenschutzrechtlichen Vorgaben (s. o.). Die Datenschutzaufsichtsbehörden wollten das Thema aber schon immer aktiv begleiten und haben dazu jüngst ein Positionspapier zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und dem Betrieb von KI-Systemen veröffentlicht:81

DSK–Hambacher Erklärung, S. 4. DSK-Positionspapier KI-TOM.

80  81 

198

B. Kloos und J. Schmidt-Bens

Das Positionspapier setzt sich mit den zu Grunde liegenden Verfahren im Einzelnen auseinander. Um KI-spezifische technische und organisatorische Maßnahmen abzuleiten, verwendet es die Gewährleistungsziele Transparenz, Datenminimierung, Nichtverkettung, Intervenierbarkeit, Verfügbarkeit, Integrität und Vertraulichkeit. Dazu wird gefordert, dass alle datenschutzrecht­ lichen Anforderungen, insbesondere zur Transparenz bei der Systementwicklung, mitbedacht werden. Zu erwartende Einflüsse der verwendeten Daten auf das Verhalten der KI-Komponenten sind zu formulieren und sowohl während des Trainings als auch laufend beim Einsatz zu prüfen. Alle Umgebungsfaktoren sind zu dokumentieren, damit Roh- und Trainingsdaten nicht unbefugt verändert oder abfließen können. In der Anlage zum Positionspapier stellen die Aufsichtsbehörden eine tabellarische Übersicht über rund 70 technische und organisatorische Maßnahmen für KI-Komponenten und KI-­Systeme vor und ordnen diese bestimmten Phasen im Lebenszyklus eines KI-Systems und den jeweiligen Gewährleistungszielen zu.82 Wichtige Elemente daraus lauten:

5.5.2.1  Maßnahmen beim Design des KI-Systems Es sind im Einzelnen festzulegen und zu dokumentieren: • Zwecke des KI Systems und der KI-Komponenten • angestrebte Güte des KI-Systems • Beschreibung des KI-Systems in einer (maschinell lesbaren) Policy • Eingabe- und Ausgabeparameter • Hypothese des gewünschten Zusammenhang zwischen Eingabe- und Ausgabeparametern • Festlegung von unerwünschtem Verhalten DSK-Positionspapier, KI-TOM, S. 19 bis 23.

82 

5 Datenschutz

199

• Festlegung eines geeigneten KI-Verfahrens und Dokumentation dessen Auswahl • Beteiligte Personen und Rechte

5.5.2.2  M  aßnahmen bei der Veredelung der Rohdaten zu Trainingsdaten In dieser Phase sind folgende Umstände im Blick zu behalten und zu dokumentieren: • Herkunft der Rohdaten klären, normalisieren, standardisieren, komplettieren, fehlerbereinigen und möglichst reduzieren und/ oder pseudonymisieren • Festlegung des Verfahrens zur Datenveredelung • Ausschluss diskriminierender oder ungewünschter Einflussfaktoren • Relevanz und Repräsentativität der Trainingsdaten • Risikobeurteilung • Möglichkeiten zur Anonymisierung oder Synthetisierung • Abschätzung der Datenmengen, um angestrebte Güte zu erreichen • Verwendungszweck der Trainingsdaten • Erkennung und Korrektur von falschen oder diskriminierenden Roh- und Trainingsdaten, Testdaten und Testverfahren • Manipulationsfreiheit, Vertraulichkeit und Verfügbarkeit von Roh- und Trainingsdaten

5.5.2.3  Maßnahmen beim Training der KI Beim Training selbst ist darüber hinaus zu dokumentieren: • Festlegung von Primär-Trainings, Verifikations- und Testdatensätzen einschließlich des Verfahrens zur Einteilung und den Regeln zur Verwendung • Verfahren zur Ermittlung der Güte einschließlich ggf. Prozess zur Erweiterung der Trainingsdaten, um die Güte zu erreichen • Verhinderung von unbefugten Manipulationen

200

B. Kloos und J. Schmidt-Bens

5.5.2.4  Maßnahmen bei der Validierung der KI Zur Prüfung und Validierung der KI soll man festhalten: • Tests mit gewünschten und mit störsignalbehafteten (synthetischen) Daten auf Basis des erwarteten und des unerwünschten Verhaltens • Prüfung der Hypothese und der Erwartungen • Dokumentation der Güte der KI-Komponente inklusive der ermittelten Fehlerrate und Systemstabilität • Untersuchung der KI-Komponente auf Erklärbarkeit und Nachvollziehbarkeit • Evaluation des ausgewählten KI-Verfahrens bezüglich alternativer, erklärbarerer KI-Verfahren

5.5.2.5  M  aßnahmen beim Einsatz der KI und zur Rückkopplung Im laufenden Einsatz sind dann noch einmal deutlich mehr Anforderungen zu beachten und festzulegen: • Möglichkeit des Eingreifens einer Person in den Entscheidungsprozess • Entscheidungen, die hohe Risiken für Betroffene bergen, dürfen von KI-Systemen nur vorbereitet werden • Möglichkeit des Stoppens einer KI-Komponente oder Ersetzens durch eine Fall-Back-Lösung • Auskunftsmöglichkeit für Betroffene zum Zustandekommen von Entscheidungen und Prognosen • Überwachung des Verhaltens der KI-Komponente • Protokollierung von finalen Entscheidungen, deren Freigabe/ Bestätigung/Ablehnung, Zeitpunkt und ggf. entscheidende Person • Prüfung und Bewertung der Hypothese und der Erwartungen auf Basis des Verhaltens im Betrieb • Einhaltung der Policy • Regelmäßige Prüfung der KI-Komponente auf Hypothese, Erwartungen, Diskriminierungen und unerwünschtes Verhalten • Regelmäßige Evaluierung welche Eingabe- und Ausgabeparameter der KI-Komponenten für das gewünschte Verhalten des KI-Systems relevant und erforderlich sind und wenn möglich

5 Datenschutz

• •

• • • • • • •

201

Anpassung der KI-Komponenten zur Verarbeitung nur relevanter und erforderlicher Daten Regelmäßige Prüfung der Güte des KI-Systems und seiner KI-Komponenten Berechnungen der KI-Komponente möglichst auf Endgerät des Nutzer ohne Übermittlung der Daten (Federated Learning, siehe oben), ansonsten möglichst auf Geräten unter der Kontrolle des Verantwortlichen Wenn Übermittlung der Daten an KI-Komponente erforderlich ist, dann Ende-zu-Ende-Verschlüsselung einsetzen Betroffene über das Verfahren zur Ermittlung der Güte des KI-Systems und die festgestellte Güte informieren Betroffene und eingreifende Personen möglichst über Teilergebnisse und Schwellwert informieren Ausschluss der Nutzung durch Unbefugte und zu nicht vorgesehenen Zwecken, auch bei Zwischen- und Nebenergebnissen Hinweis auf und Mechanismen zum Anfechten und Korrigieren von Entscheidungen, Rückkoppelung Verhinderung von unbefugten Manipulationen Rückkopplung möglichst anonymisiert

5.5.2.6  Bewertung des DSK Positionspapiers Der von den Aufsichtsbehörden aufgestellte Katalog für die technischen und organisatorischen Maßnahmen bei KI-Systemen ist datenschutzrechtlich sinnvoll und eine geeignete Hilfestellung, um KI-Vorhaben zu strukturieren und zu überwachen. Daneben sind die allgemeinen Anforderungen an die Datensicherheit einzuhalten und konventionelle Maßnahmen der IT-Sicherheit sicherzustellen (z. B. Zugriffsschutz, Berechtigungskonzept, Backups etc.), damit Unbefugte bei der Produktion, dem Speichern oder der Übermittlung Daten nicht verändern oder zu anderen Zwecken nutzen können. Eine vergleichsweise neue Dimension ist dabei die Güte des KI-Systems. Sie folgt aus dem Grundsatz der Richtigkeit (Art. 5 Abs. 1 lit. d DSGVO) und kann bspw. im Fall des überwachten Lernens über Fehlerraten angegeben werden. Bei unüberwachten Lernverfahren dagegen müssen die Ergebnisse regelmäßig durch Menschen nachträglich interpretiert oder geprüft werden, ggf.

202

B. Kloos und J. Schmidt-Bens

mittels eines Verifikationsmodells. Ansonsten sollen mittels Black-Box-Test synthetische Testdaten erzeugt werden, mit denen geprüft wird, welchen Einfluss die Eingabeparameter auf die Ausgabe der KI-Komponente haben. Systemveränderungen müssen dann wieder protokolliert werden. Bei agiler Entwicklung müssten alle Festlegungen in jeder Iteration geprüft und ggf. neu gefasst werden. Hinsichtlich der Praxistauglichkeit der von der DSK empfohlenen Maßnahmen bestehen nicht wenige Fragezeichen. Zumindest KMU werden bislang allenfalls einen Bruchteil der vor­ geschlagenen Schritte durchführen und noch weniger davon dokumentieren. Als Checkliste wird das Positionspapier gute Dienste leisten. Bei der Beantwortung von konkreten Einzelfragen wird es dagegen wenig Hilfestellung geben können. Elementare datenschutzrechtliche Fragen zu KI (z. B. Rechtsgrundlage, Information der Betroffenen) beantwortet das Papier nicht oder seinerseits intransparent.

5.6

Datenschutz-Folgenabschätzung

Vor der Verarbeitung von Daten zum KI-Training oder bei KI-­ Nutzung ist regelmäßig eine Datenschutz-Folgenabschätzung durchzuführen (Art. 35 DSGVO). Sie ist erforderlich, wenn eine Datenverarbeitung aufgrund der Art, des Umfangs, der Umstände und der Zwecke der Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zur Folge hat. Die Datenschutzaufsichtsbehörde erstellt und veröffentlicht eine Liste der Verarbeitungsvorgänge, für die eine Datenschutzfolgenabschätzung durchzuführen ist (Art.  35 Abs. 4 DSGVO). In entsprechenden Listen83 zur Risikoklassifi-

Siehe zum Beispiel: Der Hessische Beauftragte für Datenschutz und Informationsfreiheit, Liste von Verarbeitungsvorgängen nach Art. 35 Abs. 4 DSGVO für die gemäß Art.  35 Abs.  1 DS-GVO eine Datenschutz-Folgen­ abschätzung von Verantwortlichen durchzuführen ist. https://datenschutz. hessen.de/sites/datenschutz.hessen.de/files/HBDI_Verarbeitungsvorg%C3%A4nge%20-Muss-Liste%20Berlin%20%28002%29.pdf. Zugegriffen am 01.10.2019.

83 

5 Datenschutz

203

zierung verschiedener Datenverarbeitungen wird der Einsatz von künstlicher Intelligenz zur Verarbeitung personenbezogener Daten zur Steuerung der Interaktion mit den Betroffenen oder zur Bewertung persönlicher Aspekte der betroffenen Person als ein solcher Fall genannt, in dem die Folgenabschätzung durchzuführen ist. Ebenso soll die umfangreiche Verarbeitung von personenbezogenen Daten über den Aufenthalt von natürlichen Personen, wie zum Beispiel bei der Fahrzeugdatenverarbeitung, zwingend einer Datenschutz-Folgenabschätzung bedürfen. Dasselbe gilt für die mobile optisch-elektronische Erfassung personenbezogener Daten in öffentlichen Bereichen, sofern die Daten aus ein oder mehreren Erfassungssystemen in großem Umfang zentral zusammengeführt werden, wie beispielsweise bei der Verarbeitung von Fahrzeugdaten durch Umgebungssensoren. Die Verarbeitung von besonderen Arten von Daten/Kategoriedaten in großem Umfang führt ebenso zu der Notwendigkeit einer Datenschutz-­Folgenabschätzung wie die Zusammenführung großer Datenmengen im Rahmen von Big Data Anwendungen. Demnach ist die Folgenabschätzung bei KI datenschutzrechtlich praktisch immer angezeigt.

5.6.1 Ü  bersicht Risikoklassifizierung von Datenverarbeitungen

• Systematische Überwachung • Innovative Nutzung oder Anwendung neuer technologischer oder organisatorischer Lösungen • Bewerten oder Einstufen von Lösungen (Scoring) • Abgleichen oder Zusammenführen von Datensätzen • Automatisierte Entscheidungsfindung mit Rechtswirkung oder ähnlich bedeutsamer Wirkung • Daten zu schutzbedürftigen Betroffenen • Datenverarbeitung in großem Umfang

204

B. Kloos und J. Schmidt-Bens

5.6.2 D  urchführung der Datenschutz-­ Folgenabschätzung Angelehnt an die Systematik des Gesetzes empfiehlt sich die Durchführung der Datenschutz-Folgenabschätzung in den folgenden Schritten:

5.6.2.1  G  enaue Beschreibung der geplanten Verarbeitungsvorgänge und der Zwecke der Verarbeitung Um das Risiko einer geplanten Datenverarbeitung abschätzen zu können und um der in der DSGVO verankerten Dokumentationspflicht nachzukommen, sind sowohl die Verarbeitungsvorgänge als auch deren jeweilige Zwecke zu beschreiben und zu dokumentieren. 5.6.2.2  B  ewertung der Notwendigkeit und Verhältnismäßigkeit der Verarbeitungsvorgänge in Bezug auf den jeweiligen Zweck Auf der Basis dieser Dokumentation ist zu bewerten, ob die Verarbeitungsvorgänge im Verhältnis zum jeweiligen Zweck ­ ­notwendig und verhältnismäßig sind. Zu prüfen ist dabei, ob der Verarbeitungsvorgang geeignet ist, den festgelegten Zweck zu erreichen und ob kein milderes Mittel ersichtlich ist, mit dem der Zweck datensparsamer oder risikoärmer erreicht werden kann. 5.6.2.3  B  estimmung und Prüfung der Rechtsgrundlage Im nächsten Schritt ist die Rechtsgrundlage für die in Frage stehende Datenverarbeitung zu bestimmen. Danach sind deren Voraussetzungen (zum Beispiel der Vertrag, die Einwilligung oder das berechtigte Interesse des Verantwortlichen einschließlich der Interessenabwägung) zu prüfen und zu dokumentieren. Dabei sind im Unternehmen ggf. die zuständigen Fachbereiche, wie die Rechtsabteilung und der Datenschutzbeauftragte, hinzuzuziehen.

5 Datenschutz

205

Nach Art. 39 Abs. 1 lit. c DSGVO gehört die Beratung – auf Anfrage  – sowie die Überwachung der Durchführung der Da­ tenschutz-­Folgenabschätzung zu den gesetzlichen Aufgaben des Datenschutzbeauftragten.

5.6.2.4  B  ewertung der Risiken für die Rechte und Freiheiten der betroffenen Personen Die Risikobewertung bildet zusammen mit den geplanten Abhilfemaßnahmen den Hauptbestandteil der Datenschutz-Folgenabschätzung. Auf beide Schritte sollte dementsprechend viel Gewicht und Sorgfalt verwendet werden. Auch hier ist im Zweifelsfall insbesondere der Datenschutzbeauftragte mit einzubeziehen. Risiken können aus einer Verarbeitung personenbezogener Daten hervorgehen, die zu einem physischen, materiellen oder immateriellen Schaden für die Betroffenen führen können, insbesondere wenn die Verarbeitung zu einer Diskriminierung, einem Identitätsdiebstahl, einem finanziellen Verlust, einer Rufschädigung oder zu anderen erheblichen wirtschaftlichen oder gesellschaftlichen Nachteilen führen kann.84 Dem steht es gleich, wenn die betroffenen Personen um ihre Rechte und Freiheiten gebracht werden, wenn Kategoriedaten verarbeitet werden oder wenn persönliche Aspekte (z. B. Arbeitsleistung, wirtschaftliche Lage, Gesundheit, persönliche Vorlieben, Zuverlässigkeit oder Aufenthaltsort) bewertet oder prognostiziert werden, um persönliche Profile zu erstellen oder zu nutzen. Die Eintrittswahrscheinlichkeit und Schwere des Risikos für die Rechte und Freiheiten der betroffenen Person sollten in Bezug auf die Art, den Umfang, die Umstände und die Zwecke der Verarbeitung bestimmt werden. Anhand einer objektiven Bewertung ist dann festzulegen, ob die Datenverarbeitung ein Risiko oder ein hohes Risiko birgt.85

DSGVO, Erwägungsgrund 75. DSGVO, Erwägungsgrund 76.

84  85 

206

B. Kloos und J. Schmidt-Bens

5.6.2.5  Geplante Abhilfemaßnahmen Wenn aus der Datenschutz-Folgenabschätzung hervorgeht, dass die Verarbeitung ein hohes Risiko zur Folge hätte, trifft der Verantwortliche Abhilfemaßnahmen zur Bewältigung des Risikos. Dies schließt gemäß Art. 35 Abs. 7 lit. d DSGVO Garantien, Sicherheitsvorkehrungen und Verfahren mit ein. Bei der Auswahl der Maßnahmen empfiehlt es sich, auf die in Art. 32 DSGVO normierten Vorgaben zur Sicherheit der Verarbeitung zurückzugreifen. Im Idealfall liegt im Unternehmen bereits ein Schutzkonzept zur Gewährleistung der Datensicherheit vor, auf das Bezug genommen werden kann. 5.6.2.6  Konsultation der Aufsichtsbehörde Kommt der Verantwortliche zu dem Ergebnis, dass durch die Datenschutz-­Folgenabschätzung ein hohes Risiko erkennbar geworden ist, und trifft er keine geeigneten Abhilfemaßnahmen zur Risikominimierung, hat er die zuständige Datenschutzaufsichtsbehörde zu konsultieren (Art. 36 DSGVO). 5.6.2.7  Monitoring und ggf. Neubewertung Nach den Vorgaben in Art. 35 Abs. 11 DSGVO führt der Verantwortliche eine Überprüfung der Datenverarbeitung anhand der Ergebnisse der Datenschutz-Folgenabschätzung durch und unterzieht diese einer neuen Bewertung, wenn sich das mit der Verarbeitung verbundene Risiko geändert hat.

Literatur [1] Datenschutzkonferenz (DSK), Hambacher Erklärung zur Künstlichen Intelligenz, 2019. [2] Datenschutzkonferenz (DSK), Positionspapier Task Force KI, 2019. [3] Gola, Datenschutz-Grundverordnung VO (EU) 2016/679 Kommentar, München 2017. [4] Hartmann, Matthias, Praxis der KI-Verträge, IT-Rechtsberater (itrb), 5/19, 121–123. [5] Kühling/Buchner, Datenschutz-Grundverordnung Kommentar, 2. Aufl., München 2018.

5 Datenschutz

207

[6] Simitis/Hornung/Spiecker gen. Döhmann, Datenschutzrecht Großkommentar, Baden-Baden 2019. [7] Taeger/Gabel, DSGVO BDSG Kommentar, 3. Aufl., Frankfurt am Main 2019. Bernhard Kloos  ist Partner bei HK2 Rechtsanwälte und spezialisiert auf ITRecht und Datenschutz. Er ist außerdem Geschäftsführer der HK2 Comtection GmbH und externer Datenschutzbeauftragter, z.  B. für Online- oder KI-Anbieter. Er befasst sich in diesen Funktionen regelmäßig mit Fragen der technikunterstützten Entscheidungsfindung oder Vertragsdurchführung. Dr. Johanna Schmidt-Bens  ist Volljuristin und arbeitet in der Fintech Branche. Sie hat in Saarbrücken, Köln und Oldenburg deutsches und französisches Recht sowie IT-Recht (LL.M.) studiert und im Datenschutzrecht promoviert. Sie befasst sich seit einigen Jahren intensiv mit aktuellen Entwicklungen in der IT, wie dem Cloud Computing, Big Data und Fragen der KI.

6

Datenschutz in öffentlichen KI-Forschungsprojekten Mit Forschungsdatenmanagement zum Projekterfolg Beatrix Weber

Wer sein Ziel kennt, findet den Weg (Laotse)

6.1

 orschungsprojekte als rechtsfreier F Raum?

6.1.1 Rechtsrahmen Forschung 6.1.1.1 Freiheit von Forschung und Lehre In Art. 13 der EU-Charta ist die Freiheit von Kunst und Forschung und die Achtung der akademischen Forschung vorgegeben. Die Freiheit von Forschung und Lehre ist auch durch Art.  5 Abs.  3 Grundgesetz und die Hochschulgesetze der Länder geschützt. Sie ist allerdings faktisch begrenzt durch die Verfügbarkeit der Mittel, d. h. B. Weber (*) Hochschule Hof, Hof, Deutschland E-Mail: [email protected] © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von Springer Nature 2020 M. Hartmann (Hrsg.), KI & Recht kompakt, IT kompakt, https://doi.org/10.1007/978-3-662-61700-7_6

209

B. Weber

210

menschlicher und finanzieller Ressourcen. Innerhalb dieses Rahmens soll sich die Forschung aber frei entfalten können. So darf die Organisation der Forschungsprozesse nicht ausschließlich von finanziellen Erwägungen bestimmt werden. Daher sind die Hochschulen verpflichtet, die Forschungsfreiheit durch ein wissenschaftsadäquates Gesamtgefüge der Hochschulorganisation zu garantieren.1 Dies sollte über ein angemessenes und wirksames Compliance Management System geschehen. Jeder Forscher muss zudem bei der Durchführung seiner Projekte Recht und Gesetz einhalten. Compliance in Hochschulen und in jedem Forschungsprojekt gehört damit zum Risikomanagement in einer Forschungseinrichtung.2

6.1.1.2  Beihilferecht cc

Unionsrahmen für staatliche Beihilfen zur Förderung von Forschung, Entwicklung und Innovation (Unionsrahmen 2014/C 198/01)

cc

Art. 25, 26 der Verordnung (EU) Nr. 651/2014 vom 17. Juni 2014 zur Feststellung der Vereinbarkeit bestimmter Gruppen von Beihilfen mit dem Binnenmarkt in Anwendung der Art.  107 und 108 des Vertrags über die Arbeitsweise der Europäischen Union, Allgemeine Gruppenfreistellungsverordnung (AGVO): Beihilfen für F&E-­Vorhaben

Das Beihilferecht ist ein scharfes Schwert im Forschungs­ management. Soweit die Durchführung eines Forschungsprojekts gegen Beihilferecht verstößt, ist der Fördergeber berechtigt, die Fördermittel zurückzufordern. Zum einen sind hierbei die Grenzen der sog. Beihilfeintensität einzuhalten. Nach dem Unionsrahmen ist festgelegt, wie hoch die Förderquote, d. h. die Beihilfe für

BVerfG, NVwZ 2011, 224, 227  f.; BVerfG, NVwZ 2014, 1370, 1372; VerfGH Baden-Württemberg, Urt. v. 14.11.2016, 1 VB 16/15, S. 48; NVwZ 2017, 403. 2  Weber/Lejeune [6], S. 151 f. 1 

6  Datenschutz in öffentlichen KI-Forschungsprojekten

211

ein Unternehmen und für welche Projekte sein darf. Zum anderen ist das Forschungsprojekt als wirtschaftliche oder nichtwirtschaftliche Tätigkeit zu bewerten. Wichtigste Folge der Einordnung als wirtschaftliche Tätigkeit ist, dass die Hochschulen für ihre Leistungen Marktpreise erzielen müssen. cc

Forschungsprojekt zu Beginn beihilferechtlich einordnen 

Wirtschaftliche Tätigkeit: • Auftragsforschung: Erbringung, Lizenzierung, Verwertung • Forschungsdienstleistungen, u. a. Beratungsdienstleistungen, Gutachten, Analysen, Untersuchungen • Anwendung gesicherter Erkenntnisse, u. a. Materialprüfung • Vermietung von Forschungsinfrastrukturen, u.  a. Ausrüstung, Geräte Laboratorien, Technika Nichtwirtschaftliche Tätigkeit: • Unabhängige Forschung und Entwicklung zur Erweiterung des Wissens und Verständnisses • Weite Verbreitung der Ergebnisse der Zusammenarbeit

6.1.1.3  Zuwendungsbedingungen Die Ausreichung von Mitteln steht bei staatlichen Programmen in der Regel unter der Bedingung der Einhaltung der Vorgaben der Ausschreibung sowie der Zuwendungsbedingungen, die im Zuwendungsbescheid konkretisiert werden. Soweit Mittel nicht nach den Förderbedingungen verwendet werden, können sie zurückgefordert werden. In den Ausschreibungsbedingungen sind oft Regelungen zum Datenmanagement enthalten. So kann die Zuwendung an die Verpflichtung zu Open Access, zur Nachnutzbarkeit der Daten oder zur weiten Verbreitung der Forschungsergebnisse geknüpft werden. Teilweise wird explizit die Erstellung eines Data Management Plans (DMP) durch die Fördergeber verlangt, in dem die FAIR Daten Prinzipien konzeptioniert und nach-

212

B. Weber

gewiesen werden.3 Die Einhaltung der gesetzlichen Vorschriften zum Datenschutz und Datensicherheit sowie des Rechtemanagements bei der Durchführung von Projekten wird seit Geltung der Datenschutzgrundverordnung (DSGVO) und der Nutzung von großen Datenbeständen auch durch die Zuwendungsgeber mehr und mehr explizit gefordert einschließlich des Nachweises hierzu. Es soll vermieden werden, dass wissenschaftlich bzw. technisch interessante Ergebnisse letztlich mangels Rechtskonformität nicht nutzbar sind und damit die staatliche Förderung ins Leere läuft.4

6.1.1.4  Sonstige Gesetze und Richtlinien Auch in Forschungsprojekten und hier vor allem bei der Nutzung von Forschungsergebnissen sind die gesetzlichen Regelungen, insbesondere der Gewerblichen Schutzrechte und des Geistigen Eigentums zu beachten. Für den Bereich des Datenschutzes sind die Datenschutzgrundverordnung (DSGVO), das Bundesdatenschutzgesetz (BDSG) und die Landesdatenschutzgesetze mit ihren Sonderregelungen für die Forschung zu beachten. Die einzelnen Bundesländer haben zudem unterschiedliche Richtlinien für Drittmittelprojekte erlassen.

6.1.2 Gute wissenschaftliche Praxis Die gute wissenschaftliche Praxis wird durch eine Vielzahl von Regeln der Wissenschaftsorganisationen wie der Hochschulrektorenkonferenz (HRK) oder der Deutschen Forschungsgemeinschaft (DFG) und durch Richtlinien einzelner Organisationen wie der Max-Planck-Gesellschaft oder vieler Universitäten und Hochschulen geprägt. Diese Vorgaben genießen keine Gesetzeskraft. Die rechtsverbindliche Umsetzung des DFG-Kodex ist allerdings

Z. B. Horizon 2020, https://ec.europa.eu/research/participants/docs/h2020funding-guide/cross-cutting-issues/open-access-data-management/data-management_en.htm; z. B. Schweizerischer Nationalfonds; http://www.snf.ch/ de/derSnf/forschungspolitische_positionen/open_research_data/Seiten/data-management-plan-dmp-leitlinien-fuer-forschende.aspx. Zugegriffen am 17.02.2020. 4  Zu Einzelheiten siehe: Weber/Lejeune/Weber, [7], S. 247 ff. 3 

6  Datenschutz in öffentlichen KI-Forschungsprojekten

213

bei der DFG und für Bundesmittel nunmehr Voraussetzung der Mittelbeantragung. Weiterhin können Verstöße zu hochschulinternen Sanktionen oder (öffentlichkeitswirksamen) Aberkennung von Titeln, z. B. bei Plagiaten, führen. DFG: Leitlinien zur Sicherung guter wissenschaftlicher Praxis, Kodex (Auszüge)5 Leitlinie 7: Phasenübergreifende Qualitätssicherung Die Wissenschaftlerinnen und Wissenschaftler führen jeden Teilschritt im Forschungsprozess lege artis durch. Wenn wissenschaftliche Erkenntnisse öffentlich zugänglich gemacht werden (im engeren Sinne in Form von Publikationen, aber auch im weiteren Sinne über andere Kommunikationswege), werden stets die angewandten Mechanismen der Quali­ tätssicherung dargelegt. Dies gilt insbesondere, wenn neue Methoden entwickelt werden. Erläuterung: Kontinuierliche, forschungsbegleitende Qualitätssicherung be­ zieht sich insbesondere auf die Einhaltung fachspezifischer Standards und etablierter Methoden, auf Prozesse wie das Kalibrieren von Geräten, die Erhebung, Prozessierung und Analyse von Forschungsdaten, die Auswahl und Nutzung von Forschungssoftware, deren Entwicklung und Program­ mierung sowie auf das Führen von Laborbüchern. […] Die Herkunft von im Forschungsprozess verwendeten Daten, Organismen, Materialien und Software wird kenntlich gemacht und die Nachnutzung belegt; die Originalquellen werden zitiert. Art und Umfang von im Forschungsprozess entstehenden Forschungsdaten werden beschrieben. Der Umgang mit ihnen wird, entsprechend den Vorgaben im betroffenen Fach, ausgestaltet. […]

DFG, Standards guter wissenschaftlicher Praxis, Leitlinien zum Datenmanagement im Forschungsprozess, Hervorhebungen in allen Quellen durch die Autorin, https://www.dfg.de/download/pdf/foerderung/rechtliche_rahmenbedingungen/ gute_wissenschaftliche_praxis/kodex_gwp.pdf. Zugegriffen am 31.01.2020. 5 

214

B. Weber

Leitlinie 11: Methoden und Standards Zur Beantwortung von Forschungsfragen wenden Wissen­ schaftlerinnen und Wissenschaftler wissenschaftlich fundierte und nachvollziehbare Methoden an. Bei der Entwicklung und Anwendung neuer Methoden legen sie besonderen Wert auf die Qualitätssicherung und Etablierung von Standards. Erläuterungen: Die Anwendung einer Methode erfordert in der Regel spezifische Kompetenzen, die gegebenenfalls über ent­ sprechend enge Kooperationen abgedeckt werden. Die Etablierung von Standards bei Methoden, bei der Anwendung von Software, der Erhebung von Forschungsdaten sowie der Beschreibung von Forschungsergebnissen bildet eine wesent­ liche Voraussetzung für die Vergleichbarkeit und Über­ tragbarkeit von Forschungsergebnissen. Für den Bereich der KI sind die Folgen der Forschung oft nicht absehbar, da das selbst lernende System aus neuen Daten lernen bzw. der aktiv lernende Roboter sich adaptieren soll. Das wissen­ schaftliche Arbeiten unter Unsicherheiten ist u. a. aus den Bayes-­ Netzen bekannt, bei denen Diagnosen auf bedingte Wahrscheinlichkeiten gestützt werden, sog. probabilistisches Schließen. Eine Methode für den Umgang mit Unsicherheiten ist die Fuzzy-­ Logik.6 Im Sinne der wissenschaftlichen Nachvollziehbarkeit der Forschungsergebnisse ist hier besonderes Augenmerk auf die Darstellung der Methoden und die Grauzonen bzw. Grenzen der Berechen- und Belastbarkeit der Ergebnisse zu legen. So ist beispielsweise die Auswahl der Zufallszahlen und der dazu gehörigen Verteilung, das verwendete Stichprobenverfahren (Sampling) zur Vermeidung von unerwünschten Häufungen, die Bestimmung der Parameterbereiche usw. darzulegen.7 Ertel, [1], S. 10. Praxisorientiertes Beispiel bei: Achenbach, Marcus, Weiterentwicklung der Zonenmethode für den Nachweis der Feuerwiderstandsdauer von rechteckigen Stahlbetondruckgliedern, https://e-pub.uni-weimar.de/opus4/frontdoor/ 6  7 

6  Datenschutz in öffentlichen KI-Forschungsprojekten

215

Art. 5 Abs. 1 lit. a DSGVO bestimmt, dass die Datenverarbeitung für den Betroffenen nachvollziehbar sein muss. Der Verantwortliche hat den Nutzer transparent und verständlich zu informieren und hierüber auch einen Nachweis zu erbringen, Art. 12 Abs.  1, 5 Abs.  2 DSGVO.  Bei KI-Systemen unter Verwendung von personenbezogenen Daten ist es daher von besonderer Wichtigkeit, die eingesetzten Methoden und Algorithmen transparent darzustellen und ggf. auch zugänglich zu machen. Für die automatisierte Entscheidungsfindung einschließlich Profiling ist in Art. 15 Abs. 1 lit. h DSGVO mit Bezug auf Art. 22 DSGVO vorgesehen, dass aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen der Verarbeitung für die betroffene Person dargelegt werden. Die Informationspflicht umfasst daher nicht nur das Ergebnis, sondern auch die Prozesse und das grundlegende Zustandekommen von Entscheidungen. Andernfalls können z. B. verdeckte Diskriminierungen nicht aufgedeckt und Gegenmaßnahmen eingeleitet werden, ErwGr. 71 DSGVO.8 Strittig ist für den kommerziellen Bereich, ob „aussagekräf­ tige Informationen über die involvierte Logik“ nur das Prinzip hinter dem verwendeten Algorithmus oder die Offenlegung des Algorithmus selbst erfordern.9 Für die bloße Offenlegung der Prinzipien werden die Geschäftsgeheimnisse der beteiligten Unternehmen oder Rechte des geistigen Eigentums angeführt, die nach dem ErwGr. 63 DSGVO nicht beeinträchtigt werden sollen. Verwiesen wird hierbei regelmäßig auf die Rechtsprechung des BGH zum Scoring der SCHUFA, nach dem nicht die Scoring-Formel selbst, sondern nur die Faktoren, die die ausgewiesene Bewertung beeinflusst haben, offenzulegen sind. Nachvollziehbardeliver/index/docId/3848/file/Achenbach_Marcus_Zonenmethode.pdf. Zugegriffen am 31.01.2020, S. 60. 8  Datenschutzkonferenz: Entschließung der 97. Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder, Hambacher Schloß, 3.April 2019: Hambacher Erklärung zur Künstlichen Intelligenz, https://www.datenschutzkonferenz-online.de/media/en/20190405_hambacher_erklaerung.pdf. Zugegriffen am 31.01.2020, S. 3 f. 9  Hoeren/Niehoff, [3], S. 15.

216

B. Weber

keit und Nachrechenbarkeit werden vom BGH unterschieden. Nachvollziehbar und in allgemein verständlicher Form müssen die Wahrscheinlichkeitswerte, die hierzu genutzten Datenarten und das Zustandekommen der Wahrscheinlichkeitswerte sein. Die allgemeinen Rechengrößen wie die statistischen Werte, die Gewichtung der Berechnungselemente bei der Ermittlung von Wahrscheinlichkeitswerten und die Bildung etwaiger Vergleichsgruppen gehören demgegenüber zur geheimhaltungsbedürftigen Berechnungsgrundlage.10 Neben dem Verweis auf die BGH-Rechtsprechung wird zur Begründung der fehlenden Verpflichtung zur Offenlegung des Algorithmus auf die ständige Veränderlichkeit des ursprünglichen Algorithmus und die sog. Hidden Layer, die zu einer Black Box führen, verwiesen. Die Argumente zum Schutz von Geschäftsgeheimnissen für kommerzielle Anwendungen müssen bei Forschungsdaten an den Anforderungen des Nachweises der guten wissenschaftlichen Praxis und der Nachvollziehbarkeit der Forschungsergebnisse gemessen werden. Ausschließlich mit einer Black Box ohne Offenlegung der Entscheidungsgrundlagen zu argumentieren, ­ macht die Nachvollziehbarkeit und damit Bewertbarkeit der Forschungsergebnisse unmöglich. Hier ist also mindestens im Bereich der kooperativen Forschung die Offenlegung zu fordern. Anderes gilt für die Auftragsforschung, die beihilferechtlich dem wirtschaftlichen Bereich zuzuordnen ist. Für die Nachvollziehbarkeit der Hidden Layer etablieren sich mittlerweile Verfahren wie die Visualisierung mittels einer Heat­ map, beispielsweise bei Bilderkennungsverfahren.11 Der Schutz des entstehenden Geistigen Eigentums kann über den Source Code abgebildet werden. In öffentlich geförderten Programmen wird allerdings zunehmend neben der weiten Verbreitung auch die Zugänglichmachung der Daten als Open Data und der Software über Open Source Modelle gefordert, sodass die Frage nach der

BGH, NJW 2014, 1235, 1237; Hoeren/Niehoff, [3], S. 57 mit Verweis auf die Vorinstanz: OLG Nürnberg, ZD 2013, 26 f. 11  Einsatz z.  B. durch das Heinrich-Hertz-Institut, http://www.heatmapping. org/. Zugegriffen am 16.01.2020. 10 

6  Datenschutz in öffentlichen KI-Forschungsprojekten

217

Pflicht zur Offenlegung von Algorithmen und Source Codes durch die Programmbedingungen beantwortet wird.12

6.1.3 Forschungsdatenmanagement Forschungsdatenmanagement gehört neben dem Rechtemanagement zu den wichtigsten Steuerungsbereichen im Forschungspro­ jektmanagement, um Forschung rechtskonform zu gestalten.13 Neben den rechtlichen Vorgaben sehen einige Landeshochschulgesetze Soll-Vorschriften zu Open Access und Publikationspflichten vor.14 Die Richtlinien und Empfehlungen der Wissenschaftsorganisationen weisen auf die Rechtskonformität und den gesellschaftlich erwünschten Open Access hin. Nach den Empfehlungen der HRK sollen die Hochschulleitungen durch Policies auf ein systematisches Management von Forschungsdaten im Sinne einer guten Hochschul-Governance hinwirken. Dies beinhaltet die Vernetzung, die dauerhafte Verfügbarkeit, den offenen Zugang (Data Sharing), den rechtskonformen Umgang mit Daten, die Datensicherheit und vergleichbare und transparente Bedingungen (Compliance).15 In der sog. Sorbonne-Erklärung vom 27.01.2020 haben eine Vielzahl von universitären Zusammenschlüssen im internationalen ­Kontext, dar-

Z. B. Projekt SAUBER im mFUND-Programm des BMVI, u. a. Hochschule Hof als Projektpartner für den Datenschutz, https://www.bmvi.de/SharedDocs/ DE/Artikel/DG/mfund-projekte/sauber.html. Zugegriffen am 16.01.2020. 13  Siehe dazu im Einzelnen: Weber/Lejeune/Weber, [7], S. 264. 14  Z. B. § 44 Abs. 6 LHG BW und § 47 Sächsische Hochschulfreiheitsgesetz. 15  Hochschulrektorenkonferenz: Empfehlung der HRK vom 13.05.2014: Management von Forschungsdaten – eine zentrale strategische Herausforderung für Hochschulleitungen, https://www.hrk.de/uploads/tx_szconvention/HRK_ Empfehlung_Forschungsdaten_13052014_01.pdf; Hochschulrektorenkonferenz: Empfehlung der HRK vom 10.11.2015: Wie Hochschulleitungen die Entwicklung des Forschungsdatenmanagements steuern können, Orientierungspfade, Handlungsoptionen, Szenarien, https://www.hrk.de/uploads/tx_ szconvention/Empfehlung_Forschungsdatenmanagement__final_ Stand_11.11.2015.pdf. Zugegriffen am 31.01.2020. 12 

218

B. Weber

unter die German U15,16 die Prinzipien von Open Science und Data Sharing bekräftigt.17 DFG: Standards guter wissenschaftlicher Praxis Leitlinie 10: Rechtliche und ethische Rahmenbedingungen, Nutzungsrechte Wissenschaftlerinnen und Wissenschaftler gehen mit der verfas­ sungsrechtlich gewährten Forschungsfreiheit verantwortungsvoll um. Sie berücksichtigen Rechte und Pflichten, insbesondere solche, die aus gesetzlichen Vorgaben, aber auch aus Verträgen mit Dritten resultieren, und holen, sofern erforderlich, Genehmigungen und Ethikvoten ein und legen diese vor. Im Hinblick auf Forschungsvor­ haben sollten eine gründliche Abschätzung der Forschungsfolgen und die Beurteilung der jeweiligen ethischen Aspekte erfolgen. Zu den rechtlichen Rahmenbedingungen eines Forschungsvorhabens zählen auch dokumentierte Vereinbarungen über die Nutzungs­ rechte an aus ihm hervorgehenden Forschungsdaten und For­ schungsergebnissen. Erläuterungen: Wissenschaftlerinnen und Wissenschaftler machen sich die Gefahr des Missbrauchs von Forschungsergebnissen konti­ nuierlich bewusst. Ihre Verantwortung beschränkt sich dabei nicht auf die Einhaltung rechtlicher Vorgaben, sondern umfasst auch die Verpflichtung, ihr Wissen, ihre Erfahrung und ihre Fähigkeiten so einzusetzen, dass Risiken erkannt, abgeschätzt und bewertet werden können. […] Wissenschaftlerinnen und Wissenschaftler treffen, sofern möglich und zumutbar, zu einem frühestmöglichen Zeitpunkt im Forschungsvorhaben dokumentierte Vereinbarungen über die Nutzungsrechte. Dokumentierte Vereinbarungen bieten sich insbesondere an, wenn an einem Forschungsvorhaben mehrere akademische

Presseinformation GermanU15 e.V., https://www.german-u15.de/presse/ ressourcen-2020/20200130_U15_PM-Data-Summit-engl.pdf. Zugegriffen am 17.02.2020. 17  Sorbonne declaration on research data rights, https://www.leru.org/files/ Sorbonne-declaration.pdf. Zugegriffen am 17.02.2020. 16 

6  Datenschutz in öffentlichen KI-Forschungsprojekten

219

und/oder nicht akademische Einrichtungen beteiligt sind oder wenn absehbar ist, dass eine Wissenschaftlerin oder ein Wissenschaftler die Forschungseinrichtung wechseln wird und die von ihr/von ihm generierten Daten weiterhin für (eigene) Forschungszwecke verwenden möchte.

6.2

 erausforderungen beim H Datenmanagement in Forschungsprojekten

6.2.1 Zugang zu Daten Typisches Problem beim Datenmanagement in Forschungsprojekten ist, erst einmal, Zugang zu relevanten Daten zu erhalten. Die Quellen von Forschungsdaten sind hierbei vielfältig: Beobachtungen, Experimente, Simulationen, Abbildungen von Objekten oder Personen, Umfragen und Interviews, Statistiken und Referenzdaten, Logfiles und Nutzungsdaten, Textdokumente usw. Daraus entstehen vielfältige Typen von Forschungsdaten wie Bilder, Modelle, Audio- oder Videoaufzeichnungen, Texte, Datenbanken Programme und sonstige Anwendungen, fach- oder gerätespezifische Daten und vieles mehr.18 Die Nutzung erfolgt durch Erhebung, Speicherung, Zugang und Nachnutzung. Zugang können der Forscher für eigene und fremde Daten, die Universität bzw. Hochschule, Dritte und die Öffentlichkeit begehren. Dabei können sich tatsächliche oder rechtliche Hürden auftun. Bei personenbezogenen Daten sind zunächst die gesetzliche Erhebungsgrundlage bzw. eine Einwilligung zu prüfen. Hier kann die Privilegierung für Forschungszwecke gemäß Art.  89 Abs.  1 DSGVO helfen. Unternehmen sind oft jedoch aus wettbewerblichen Gründen mit der Herausgabe ihrer Daten sehr zurückhaltend, insbesondere, wenn am Konsortium weitere unternehmerische Projektpartner teilnehmen. Zum anderen können aber auch personenbezogene Daten im öffentlichen Bereich ZugangsbeschränKindling, Maxi/Schrimbacher, Peter/Simukovic, Elena, Forschungsdatenmanagement an Hochschulen: Das Beispiel der Humboldt-Universität zu Berlin, https://edoc.hu-berlin.de/bitstream/handle/18452/9693/kindling.pdf?sequence=1&isAllowed=y. Zugegriffen am 31.01.2020. 18 

220

B. Weber

kungen unterliegen, sei es, dass Forscher bzw. Hochschulen die Daten nicht zur Nachnutzung freigegeben haben, sei es, dass die Herausgabe der Daten auf öffentlichen Stellen oder bestimmte Zwecke beschränkt ist. Soweit es sich um Daten aus früheren Forschungsarbeiten anderer Forscher handelt, ist der Forscher aufgrund seiner ­Forschungsfreiheit in der Regel nicht verpflichtet, anderen Forschern Zugang zu den Daten zu gewähren. Anderes kann gelten, wenn die Zuwendungsbedingungen des Programmes, in dem die Daten entstanden sind, den Open Access vorsieht. Nach den DFG Leitlinien zur guten wissenschaftlichen Praxis soll der Zugang gewährt werden. DFG: Standards guter wissenschaftlicher Praxis Leitlinie 10: Rechtliche und ethische Rahmenbedingungen, Nutzungsrechte Erläuterungen: […] Die Nutzung steht insbesondere der Wissenschaftlerin und dem Wissenschaftler zu, die/der sie erhebt. Im Rahmen eines laufenden Forschungsprojekts entscheiden auch die Nutzungsberechtigten (insbesondere nach Maßgabe daten­ schutzrechtlicher Bestimmungen), ob Dritte Zugang zu den Daten erhalten sollen.

6.2.2 Kosten der Daten und Lizenzbedingungen Weitere Hürden sind die Vergütungspflichtigkeit der Daten und/oder mögliche Lizenzbeschränkungen. Frei zugänglich heißt zum einen noch nicht kostenlos nutzbar. Frei zugänglich bedeutet zum anderen auch nicht Nutzung ohne Einschränkungen. Auch im öffentlich-­ rechtlichen Bereich werden zum Teil Gebühren für die Nutzung von Daten erhoben oder es ist ein Auslagenersatz zu leisten.

6  Datenschutz in öffentlichen KI-Forschungsprojekten

221

Geodaten für Mobilitätsanwendungen oder Infrastrukturprojekte

§ 2 Geodatenzugangsverordnung: Nutzung (1) Geodaten und Geodatendienste, einschließlich zugehöri­ ger Metadaten, werden für alle derzeit bekannten sowie für alle zukünftig bekannten Zwecke kommerzieller und nicht kommerzieller Nutzung geldleistungsfrei zur Verfü­ gung gestellt, soweit durch besondere Rechtsvorschrift nichts anderes bestimmt ist oder vertragliche oder gesetz­ liche Rechte Dritter dem nicht entgegenstehen. (2) Die bereitgestellten Geodaten und Metadaten dürfen ins­ besondere 1. vervielfältigt, ausgedruckt, präsentiert, verändert, be­ arbeitet sowie an Dritte übermittelt werden; 2. mit eigenen Daten und Daten Anderer zusammenge­ führt und zu selbstständigen neuen Datensätzen ver­ bunden werden; 3. in interne und externe Geschäftsprozesse, Produkte und Anwendungen in öffentlichen und nicht öffentlichen elektronischen Netzwerken eingebunden werden […] § 3 Quellenvermerke Die Nutzer haben sicherzustellen, dass 1. alle den Geodaten, Metadaten und Geodatendiensten beigegebenen Quellenvermerke und sonstigen rechtli­ chen Hinweise erkennbar und in optischem Zusammen­ hang eingebunden werden; 2. Veränderungen, Bearbeitungen, neue Gestaltungen oder sonstige Abwandlungen mit einem Veränderungshinweis im beigegebenen Quellenvermerk versehen werden oder, sofern die geodatenhaltende Stelle dies verlangt, der bei­ gegebene Quellenvermerk gelöscht wird. ◄ Soweit die Daten nur über einen privatrechtlichen Anbieter zu erlangen sind, werden in der Regel entsprechende Lizenzgebühren

B. Weber

222

fällig. Auch hier sind die unterschiedlichen Lizenzbedingungen zu beachten, die zumeist an unterschiedliche Zahlungsmodelle gekoppelt sind. Für die Nutzung in der Forschung wird oft keine Ausnahme von der Lizenz gemacht. Dies gilt umso mehr, wenn im Konsortium Unternehmen vertreten sind, die eine Nachnutzung der Daten als kommerzielles Produkt anstreben. Lizenzbedingungen privater Anbieter: Beispiel Here Maps (Auszug)19

Eigentum: Die Daten, alle Urheberrechte, die geistigen Eigentums­ rechte oder damit verbundenen Rechte an diesen stehen im Eigentum von HERE und Ihren Lizenzgebern. HERE behält sich und Ihrem Lieferanten das Eigentum an allen Medien, die die Daten enthalten, vor bis zur vollständigen Zahlung aller HERE oder Ihrem Lieferanten nach dieser Vereinbarung oder einer ähnlichen Vereinbarung, mit dem die Daten an Sie ge­ liefert wurden, geschuldeten Beträge. Lizenzerteilung Ihre Lizenz zur Nutzung der Daten ist nicht exklusiv und ausdrücklich auf den persönlichen Gebrauch beschränkt, oder, falls Sie im Namen eines Wirtschaftsunternehmens han­ deln, für den Gebrauch im Rahmen der internen Vorgänge in Ihrem Unternehmen bestimmt. Diese Lizenz unterliegt der Ein­ haltung der in dieser Vereinbarung festgeschriebenen Be­ schränkungen und Begrenzungen und schließt das Recht zur Vergabe von Unterlizenzen nicht mit ein. ◄ CC Bei der Nutzung von Datenbeständen checken!  • Zugang • Kosten • Lizenzbedingungen: kommerzielle/nicht kommerzielle Nutzung, Nachnutzbarkeit, Quellenangaben

https://legal.here.com/de-de/terms/end-user-license-agreement. Zugegriffen am 16.01.2020. 19 

6  Datenschutz in öffentlichen KI-Forschungsprojekten

223

6.2.3 Rechte an Daten Für die Feststellung der Rechte an Daten ist zunächst nach drei Kategorien zu unterscheiden: • Datenhoheit an Einzeldaten, • Datenbestand insgesamt und • Datenbankrechte. Über die Rechtsnatur von Daten herrscht nach wie vor keine Einigkeit.20 Daten sind Informationen. Sie sind damit Rechten nicht gleichzusetzen. An Daten besteht kein Eigentum wie an Sachen und auch keine absoluten Schutzrechte wie bei Marken oder Patenten, auch wenn die Anwendung beider Modelle nach wie diskutiert wird. Für die praktische Anwendung in Projekten empfiehlt es sich, auf die Inhaberschaft an Daten und Datenbeständen sowie die Verfügungsmacht bzw. Hoheit über die Daten abzustellen und diese von den hieraus entstehenden Rechten wie dem Datenbankrecht möglichst klar abzugrenzen. Eine Datenbank im juristischen Sinne ist die systematische oder methodische Anordnung von Daten, die elektronisch oder anders zugänglich ist, und die eine wesentliche Investition erfordert. §§ 87 a ff UrhG schützen damit nicht die geistige Leistung der Programmierung einer Datenbank oder die Datenhoheit über einzelne Daten, sondern die Investition in die Datenbank. Datenbankinhaber ist damit derjenige, der die Investition getätigt hat. Zum eigenen wissenschaftlichen Gebrauch ist die Vervielfältigung eines nach Art oder ­Umfang wesentlichen Teils der Datenbank zulässig, wenn sie zur Verfolgung des wissenschaftlichen Zwecks geboten und nicht gewerblich erfolgt. Es sind deutliche Angaben zur Quelle zu machen, § 87 c Abs. 1, i. V. m. §§ 60 c und d UrhG. Vom Datenbankrecht abzugrenzen ist das Eingeben von Daten in eine Programmierung. Bei der Software ist das individuelle Werk, die geistige Schöpfung und damit die Programmierleistung gem. §§ 69 a ff UrhG geschützt. In Datenbeständen können sich über den Datenschutz hinaus Daten mit technischen Lösungen Hoeren, [2], S. 6.

20 

B. Weber

224

Rechte an Daten und Datenbeständen Rechte von Unternehmen

• Geschäftsgeheimnisse o Vorfeld Patentanmeldung o Know-how • Datenbankrechte • Maschinendaten • Mitarbeiterdaten • Kundendaten

Rechte von dritten Personen/Probanden

Rechte von Forschern in Hochschulen

• Recht auf informationelle Selbstbestimmung/Grundrecht Datenschutz • Persönlichkeitsrechte • Recht am eigenen Bild • Urheberrechte

• Forschungsergebnisse • Forschungsdaten • Erfindungen • Know-how • Urheberrechte • Recht zur (Nicht-) Veröffentlichung

Abb. 6.1  Rechte an Daten, Abb. eigene

und sonstigen Inhalten finden, die über die gewerblichen Schutz­ gesetze bzw. das Geschäftsgeheimnisgesetz geschützt werden. Neben dem Schutz der personenbezogenen Daten werden der Schutz von und Rechte an Unternehmensdaten oft vergessen: Nutzungsrechte am geistigen Eigentum oder gewerbliche Schutzrechte können insbesondere an Entwürfen, Konstruktionsdaten, technischen Lösungen, Fabrikationsdaten, Protokolldaten, Konfigurationsdaten oder Sensordaten bestehen. Ohne Personenbezug sind die Datenschutzrechte zum Schutz personenbezogener Daten nicht einschlägig. Eine Vielzahl von Gesetzen wie das Urheberrechtsgesetz, das Patent-, Marken- und Designgesetz und das Gesetz zum Schutz von Geschäftsgeheimnissen ist im Rechtemanagement eines Forschungsprojekts zu prüfen (Abb. 6.1).

6.2.4 Verwertung und Nachnutzbarkeit Die Verwertung der in Forschungsprojekten erzeugten Datenbestände ist von der Verwertung etwaig entstehender Schutzrechte und der Projektergebnisse im Allgemeinen zu unterscheiden. Für alle Kategorien sind in öffentlichen Projekten zunächst die Pro-

6  Datenschutz in öffentlichen KI-Forschungsprojekten

225

gramm- und damit Zuwendungsbedingungen zu prüfen. Hier ist zumeist bestimmt, ob die Datenbestände Open Access gestellt werden müssen. Dies ist insbesondere bei Daten, die im öffentlichen Interesse auch durch Dritte genutzt werden sollen, der Fall. Beispiel hierfür sind Mobilitätsdaten, die im Interesse der Verbesserung öffentlicher Infra- und Verkehrsstrukturen dem Bundeministerium für Verkehr und digitale Infrastruktur und einem weiten Nutzerkreis, z. B. über das offene Metadatenportal mCLOUD,21 zur Verfügung stehen sollen. Schwierig wird die Abgrenzung schon, wenn in einem Projekt Produkt- und Infrastrukturbezogenen Daten entstehen. Hier ist insbesondere mit Blick auf die Unternehmenspartner vor Beginn des Projektes abzugrenzen, welche Daten und Datenbestände bereits vorhanden und in wessen Hoheit sind und welche Daten programmgemäß öffentlich zugänglich gemacht werden können und müssen. Unabhängig von den Datenbeständen können Schutzrechte an technischen Lösungen wie Patente entstehen. Auch hier sind in öffentlichen Projekten die Programmbedingungen relevant. So werden im Softwarebereich oft Open Source Lösungen vorschrieben. Erster Schritt ist wiederum, vor Projektbeginn die Altschutzrechte der Partner zu erfassen und zu dokumentieren, diese von den im Projekt entstehenden Rechten abzugrenzen und die eingesetzten Open Source Lizenzen auf etwaige Copy Left Klauseln zu prüfen. Die staatlichen Fördergeber haben je nach Programm die Förderung des gesellschaftlichen Fortschritts mit möglichst weitgehender Offenstellung oder auch die Förderung einzelner Branchen, Regionen oder Unternehmen mit der Möglichkeit der exklusiven Verwertung durch diese oder Freistellung einzelner Lösungen im Auge. DFG: Standards guter wissenschaftlicher Praxis Leitlinie 13: Herstellung von öffentlichem Zugang zu For­ schungsergebnissen Grundsätzlich bringen Wissenschaftlerinnen und Wis­ senschaftler alle Ergebnisse in den wissenschaftlichen Diskurs ein. Im Einzelfall kann es aber Gründe geben, Ergebnisse nicht https://www.bmvi.de/DE/Themen/Digitales/mFund/mCloud/mcloud.html. Zugegriffen am 16.01.2020.

21 

B. Weber

226

öffentlich zugänglich […] zu machen; dabei darf diese Entscheidung nicht von Dritten abhängen. Wissenschaftlerinnen und Wissenschaftler entscheiden in eigener Verantwortung  – unter Berücksichtigung der Gepflogenheiten des betroffenen Fachgebiets –, ob, wie und wo sie ihre Ergebnisse öffentlich zugänglich machen. Ist eine Entscheidung, Ergebnisse öffentlich zugänglich zu machen, erfolgt, beschreiben Wissenschaftlerinnen und Wissenschaftler diese vollständig und nachvollziehbar. Dazu gehört es auch, soweit dies möglich und zumutbar ist, die den Ergebnissen zugrunde liegenden Forschungsdaten, Materialien und Informationen, die angewandten Methoden sowie die eingesetzte Software verfügbar zu machen und Arbeitsabläufe umfänglich darzulegen. Selbst programmierte Software wird unter Angabe des Quellcodes öffentlich zugänglich gemacht. […] Erläuterungen: Aus Gründen der Nachvollziehbarkeit, Anschlussfähigkeit der ForschungundNachnutzbarkeithinterlegenWissenschaftlerinnen und Wissenschaftler, wann immer möglich, die der Publikation zugrunde liegenden Forschungsdaten und zentralen Materialien – den FAIR-­Prinzipien („Findable, Accessible, Interoperable, Re-­Usable“) folgend – zugänglich in anerkannten Archiven und Repositorien. Einschränkungen können sich im Kontext von Patentanmeldungen mit Blick auf die öffentliche Zugänglichkeit ergeben. Sofern eigens entwickelte Forschungssoftware für Dritte bereitgestellt werden soll, wird diese mit einer ange­ messenen Lizenz versehen. […]

6.3

Datenschutz

6.3.1 DSGVO, BDSG und Landesdatenschutzgesetze Für die Anwendung der Datenschutzgesetze sind die Partner eines Forschungsprojektes nach öffentlicher Institution oder privatrechtlichem Unternehmen bzw. Organisation einzuordnen. Zu

6  Datenschutz in öffentlichen KI-Forschungsprojekten

227

letzteren gehören auch die außeruniversitären Forschungseinrichtungen, die in der Regel als e.V. fungieren.22 Die DSGVO ist für alle anwendbar. Das BDSG gilt für öffentliche und nichtöffentliche Stellen, insbesondere Unternehmen und Vereine. Die Landesdatenschutzgesetze gelten darüber hinaus für öffentliche Stellen des jeweiligen Landes. Soweit eine Hochschule im öffentlich-­ rechtlichen Bereich handelt, gilt für sie daher ebenso das ­entsprechende LDSG. Soweit sich das Forschungsprojekt aber im wirtschaftlichen Bereich bewegt, z. B. in der Auftragsforschung, nimmt die Hochschule am Wettbewerb teil mit der Folge, dass auch das BDSG gilt. Relevanter Unterschied ist, dass hier bei Verstößen auch Bußgelder verhängt werden können. Beim Handeln der Hochschulen als öffentliche Stellen müsste hingegen die Rechtsaufsicht eingreifen.23 Für Hochschulen als öffentliche Stellen gelten noch weitere Besonderheiten. Das allgemeine Auskunftsrecht und der Zugang der Öffentlichkeit zu amtlichen Dokumenten gem. Art. 86 DSGVO gilt für Hochschulen, Schulen, Universitätskliniken, Forschungseinrichtungen sowie sonstige öffentliche Stellen nur eingeschränkt. Für die Forschung wird das Recht auf Auskunft über den Inhalt von Dateien und Akten durch die Landesdatenschutzgesetze ausgeschlossen.24 Als Aufsichtsbehörde fungiert einheitlich der Landesdatenschutzbeauftragte, der für die öffentlichen Stellen nach Landesrecht zuständig ist.25 Im Ergebnis gelten für Hochschulen und Unternehmen in Forschungsprojekten gleichermaßen die inhaltlichen und organisatorischen Vorgaben der DSGVO hinsichtlich Datenschutz und Datensicherheit sowie unterschiedlich der ergänzenden nationalen Gesetze.

Siehe Zusammenstellung: Weber/Lejeune/Weber, [7], S. 165 ff. Art. 83 und 84 DSGVO i. V. m. Art. 22 und 23 BayDSG; Bayerischer Landtag, Drucksache 17/19628, 12.12.2017, S. 44. 24  Z. B. Art. 39 Abs. 1, Abs. 4 BayDSG. 25  Z.  B. in Bayern der Bayerische Landesbeauftragte für den Datenschutz, Art. 1 Abs. 3 i. V. m. Art. 15 BayDSG. 22  23 

228

B. Weber

6.3.2 Verantwortlicher der Datenverarbeitung In Forschungsprojekten ist zunächst anhand des Projektdesigns zu klären, welcher Projektpartner Verantwortlicher der Datenverarbeitung im Sinn der DSGVO ist und wer Auftragsverarbeiter. Im Einzelnen ist hier Vieles noch ungeklärt.26 Im Fall der Auf­ tragsforschung wird der Forscher in der Regel eine Plattform, eine Anwendung oder ein Modell entwickeln, das dann durch den Unternehmenspartner in der Verwertung als Datenverantwortlichem in der Anwendung mit Daten gefüllt wird. Bei Kooperationen in öffentlich geförderten Projekten wird das Projektdesign in der Regel von allen oder mindestens mehreren Konsortialpartnern gestaltet. Damit wäre für den Zeitraum des Forschungsprojekts das Konsortium Verantwortlicher. Mangels Rechtsperson des Konsortiums sind die Projektpartner im Rah­ men des Forschungsprojektes gemeinsame Verantwortliche gem. Art. 26 DSGVO, soweit sie gemeinsam über Zweck und Mittel der Datenverarbeitung entscheiden. Soweit rechtliche Anforderungen zum Schutz der Daten zum Zeitpunkt des Projektstarts nicht erfüllbar sind, z. B. beschränkter Nutzerkreis für bestimmte Daten oder fehlende Einwilligung der Nutzer, besteht die Möglichkeit, mit anonymisierten Daten, synthetischen Daten oder Simulationen zu arbeiten. Soweit die rechtlichen Vorgaben unklar sind, kann auch die erste Hälfte des Projekts zur rechtlichen Begutachtung, Clustering der Daten, Prüfung des Rechtemanagements und zur Konzeption der Tools oder der Plattform einschließlich Datenschutzkonzeption (Privacy-by-Design in Rein­ form) verwendet werden. Können dann gutachterlich die rechtlichen Bedenken ausgeräumt werden, kann in der Implementierungsphase ggf. mit Echtdaten gearbeitet werden, was die Akzeptanz in der Verwertung in der Regel deutlich erhöht. Unklar ist auch die Zuordnung der Verantwortlichkeit im Bin­ nenverhältnis Hochschule zu Forscher. Vertragspartner der Kooperationsverträge ist die Hochschule, nicht der Forscher selbst. Das spricht dafür, dass Verantwortlicher für die Verarbeitung perSchwartmann, [4], S. 1006.

26 

6  Datenschutz in öffentlichen KI-Forschungsprojekten

229

sonenbezogener Daten im Sinne des Art.  4 Nr.  7 DSGVO die Hochschule ist. Der selbstständig Forschende kann andererseits den Zweck, Art und Umfang der Datenverarbeitung festsetzen, denn diese richten sich nach dem Zweck und Design des Forschungsvorhabens. Andererseits ist er mindesten hinsichtlich der Ausgestaltung des Verarbeitungsverzeichnisses und der technisch-­ organisatorischen Maßnahmen an die Vorgaben der Hochschulleitung bzw. des Datenschutzbeauftragten gebunden. Auch das Konstrukt der gemeinsam für die Verarbeitung Verantwortlichen gem. Art. 26 Abs. 1 DSGVO passt nicht so recht, da Zwecke und Mittel nicht gemeinsam festgelegt werden und der Forscher auch nicht ein von der Hochschule abgetrennter, rechtlich selbstständig Handelnder ist, sofern die Forschung im Hauptamt stattfindet. Für die dem Forschungsprojekt nachgelagerte Phase der Verwertung kommt es für die Verantwortlichkeit für die Daten und die Rechte auf die Zuwendungsbedingungen und den Konsortialvertrag an. Die Forschungsergebnisse müssen sich bei öffentlich geförderten Projekten trotz aller Anwendungsnähe im vorwettbewerblichen Bereich bewegen. Insofern sind die Daten entweder ohnehin zu anonymisieren, um Open Data Vorgaben zur erfüllen. Alternativ ist für die Nutzung in der Verwertung ein gesonderter Erlaubnistatbestand für den oder die Verwerter als dann auch datenschutzrechtlich (gemeinsame) Verantwortliche erforderlich.

6.3.3 Datenschutzkonzeption 6.3.3.1 Clustering der Daten In jedem Forschungsprojekt sind die Daten auch nach ihrem rechtlichen Bezug vollständig zu erfassen und dann zu clustern. Hierbei sind zunächst personenbezogenen Daten zu identifizieren. Dies können Daten von Probanden, Patienten, Nutzern, Kunden oder Mitarbeitern im Unternehmenskontext, aber auch Pro­ tokolldaten oder Sensordaten mit Personenbezug sein. Sobald beispielsweise in der Produktion über Tagging oder persönlich zuordenbare Endgeräte wie Tablets oder Scanner ein Personenbezug zum Mitarbeiter direkt oder über die Einsatzpläne herstellbar ist, handelt es sich mindestens um identifizierbare Personen.

230

B. Weber

6.3.3.2  Materiell-rechtliche Vorgaben des Datenschutzes in Forschungsprojekten Neben den allgemein für alle Datenverarbeitungsvorgänge geltenden Rechtsvorschriften genießt die Datenverarbeitung in der Forschung einige Privilegierungen. Zunächst gelten für öffentliche Stellen im Rahmen ihrer Aufgabenwahrnehmung gesetzliche Erlaubnistatbestände für die Nutzung von Daten. Hochschulen gehören zu den öffentlichen Stellen, wenn sie einen öffentlichen Träger haben. Auf ein berechtigtes Interesse gem. Art. 6 Abs. 1 lit. f DSGVO dürfen sich Behörden bei ihrer Aufgabenerfüllung nicht stützen. Sie benötigen eine gesetzliche Grundlage oder eine Einwilligung, Erwägungsgrund (ErwGr) 47 der DSGVO. Bsp.: Art. 4 BayDSG: Rechtmäßigkeit der Verarbeitung (zu Art. 6 Abs. 1 bis 3 DSGVO) (1)  Die Verarbeitung personenbezogener Daten durch eine öffentliche Stelle ist unbeschadet sonstiger Bestimmungen zulässig, wenn sie zur Erfüllung einer ihr obliegenden Aufgabe erforderlich ist. (2) 1Personenbezogene Daten, die nicht aus allgemein zugänglichen Quellen entnommen werden, sind bei der betroffenen Person mit ihrer Kenntnis zu erheben […]

Die Verarbeitung zu wissenschaftlichen Forschungszwecken genießt darüber hinaus auch eine Privilegierung, wenn sie nicht durch öffentliche Stellen durchgeführt wird. Die wissenschaftlichen Forschungszwecke sind weit auszulegen. Sie gelten für die Grundlagen- wie die angewandte Forschung, für die technologische Entwicklung und die Demonstration und schließen die privat finanzierte Forschung mit ein, ErwGr 159 der DSGVO. Art. 89 DSGVO bestimmt, dass die Nutzung u. a. für wissenschaftliche Forschungszwecke zulässig ist, wenn für die Verarbeitung geeignete Garantien für die Rechte und Freiheiten den betroffenen Personen vorgesehen sind. Mit diesen Garantien sind ausreichende technisch-organisatorische Maßnahmen nachzuweisen. Müssen die Zwecke der Erhebung von personenbezogenen Daten an sich bei der Erhebung festgelegt, eindeutig und legitim

6  Datenschutz in öffentlichen KI-Forschungsprojekten

231

sein, so genießen Forschungszwecke die Privilegierung der erweiterten Zweckbindung. Die Verarbeitung zu anderen als den ursprünglichen bei Erhebung vorliegenden Zwecken ist für die Forschung zulässig. Die Weiterverarbeitung soll als vereinbarer und rechtmäßiger Verarbeitungsvorgang gelten, Art.  5 Abs.  1 lit. b, Art. 89 Abs. 1, ErwGr 50 der DSGVO. Öffentliches Interesse und öffentliche Stellen sind also zu unterscheiden. Auch private wissenschaftliche Forschungszwecke können im öffentlichen Inte­ resse liegen. Ungeklärt ist, ob die Privilegierung der Weiterverarbeitung auch gilt, wenn sie durch Dritte erfolgt. Dagegen spricht, dass die DSGVO immer von dem Verantwortlichen bei der Weiterverarbeitung spricht. Schon der Begriff des Verantwortlichen stößt im Verhältnis Hochschule zu weisungsfreiem Forscher an seine Grenzen. Bsp.: Art. 6 BayDSG: Zweckbindung (zu Art. 6 Abs. 3 und 4 DSGVO) (1) […] (2) Eine Verarbeitung zu anderen Zwecken als zu denjenigen, zu denen die Daten erhoben wurden, ist unbeschadet der Bestimmungen der DSGVO zulässig, wenn […] die Ver­ arbeitung erforderlich ist […] zur Durchführung wissenschaftlicher oder historischer Forschung, das wissenschaftliche oder historische Interesse an der Durchführung des Forschungsvorhabens das Interesse der betroffenen Person an dem Ausschluss der Zweckänderung erheblich überwiegt und der Zweck der Forschung auf andere Weise nicht oder nur mit unverhältnismäßigem Aufwand erreicht werden kann […] Personenbezogene Daten, die ausschließlich zu Zwecken der Datensicherung oder der Datenschutzkontrolle verarbeitet werden, dürfen nicht zu anderen Zwecken verarbeitet werden.

232

B. Weber

Die Verarbeitung von besonderen Kategorien von Daten gem. Art. 9 Abs. 1 DSGVO, insbesondere Gesundheitsdaten, ist nur ausnahmsweise auch ohne Einwilligung der betroffenen Person für wissenschaftliche Forschungs- oder für statistische Zwecke zulässig, wenn die Verarbeitung zu diesen Zwecken erforderlich ist und die Interessen des Verantwortlichen an der Verarbeitung die Inte­ ressen der betroffenen Person an einem Ausschluss der Verarbeitung erheblich überwiegen. Es sind besondere Maßnahmen zum Schutz der Daten zu ergreifen, §§ 27 Abs. 1, 22 Abs. 2 BDSG.

6.3.3.3  Datensicherheit: Technisch-organisatorische Maßnahmen Anders als in Anwendungsprojekten auf Basis gesicherter Erkenntnisse existiert für Forschungsprojekte kein Stand der Technik, aus dem die t­echnisch-­organisatorischen Maßnahmen, die sog. TOM’s, ableitbar wären. Die Forschungsprojektarbeiten bewegen sich auf dem Stand der Wissenschaft bzw. entwickeln diesen weiter und schaffen daher erst die Grundlage für einen neuen Stand der Technik. Bei KI-Anwendungen geht es in der Regel um innovative neue Anwendungen, für die es keinen wie auch immer gearteten Stand der Technik gibt. Es muss daher auf die allgemeinen Vorgaben der DSGVO zurückgegriffen werden. Auch im Bereich der Forschung gilt der Grundsatz der Datenminimierung, Art. 89 Abs. 1 S. 2 DSGVO. Zu den TOM’s zählen daher die Pseudo- oder Anonymisierung, so früh als es der Forschungszweck gestattet.27 Die Nachweisbarkeit des Forschungsdatenbestandes und die Rechte der Betroffenen nach der DSGVO laufen teilweise einander zuwider. Die nationalen Gesetzgeber können daher Ausnahmen vom Auskunftsrecht (Art. 15 DSGVO), dem Recht auf Berichtigung (Art.  16 DSGVO), dem Recht auf Einschränkung der Verarbeitung (Art.  18 DSGVO) und dem Widerspruchsrecht (Art.  21 DSGVO) vorsehen, Art.  89 Abs.  2 DSGVO. Dies gilt jedoch nur, soweit diese Rechte das Erreichen des spezifischen Forschungszweckes unmöglich machen oder ernsthaft beeinträchtigen würden und die Ausnahmen für die Erfüllung des Zweckens notwendig sind. 27  Zur möglichen technischen Umsetzung siehe: Watteler/Kinder-Kurlanda [5], S. 518.

6  Datenschutz in öffentlichen KI-Forschungsprojekten

233

Bsp.: Art. 25 Verarbeitung zu Forschungszwecken BayDSG (zu Art. 89 DSGVO)28 (1)  Für Zwecke der wissenschaftlichen oder historischen Forschung erhobene oder gespeicherte personenbezogene Daten dürfen nur für diese Zwecke verarbeitet werden. (2) 1Die personenbezogenen Daten sind zu anonymisieren, sobald dies nach dem Forschungszweck möglich ist. 2Bis dahin sind die Merkmale, mit denen Einzelangaben über persönliche oder sachliche Verhältnisse einer bestimmten oder bestimmbaren Person zugeordnet werden können, gesondert zu speichern. 3Sie dürfen mit den Einzelangaben nur zusammengeführt werden, soweit der Forschungszweck dies erfordert. (3) Die wissenschaftliche oder historische Forschung betrei­ benden Stellen dürfen personenbezogene Daten nur veröffentlichen, wenn die betroffene Person eingewilligt hat oder dies für die Darstellung von Forschungsergebnissen über Ereignisse der Zeitgeschichte unerlässlich ist. (4) Die Art. 15, 16, 18 und 21 DSGVO sind nicht anzuwenden, soweit die Inanspruchnahme dieser Rechte voraussichtlich die Verwirklichung der wissenschaftlichen oder his­ torischen Forschungszwecke unmöglich macht oder ernsthaft beeinträchtigt und diese Beschränkung für die Erfüllung der Forschungszwecke notwendig ist.

6.3.4 Datenschutz-Folgenabschätzung Bei dem Einsatz neuer Technologien ist gem. Art. 35 DSGVO eine Datenschutz-Folgenabschätzung vorzunehmen. Für den Einsatz von KI-Systemen unter Nutzung personenbezogener Daten liegt in Forschungsprojekten kein Stand der Technik vor. Standards für den datenschutzkonformen Einsatz von KI-Systemen haben sich Die vergleichbare Regelung des § 27 BDSG betrifft nur besondere Kategorien von Daten im Sinne des Art. 9 Abs. 1 DSGVO. 28 

234

B. Weber

ebenfalls noch nicht etabliert. Gleichzeitig kann nach Art, Umfang, Umstände und ggf. Zwecke der Verarbeitung ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen vorliegen. Beim Einsatz von KI-Systemen ist jedenfalls in der Forschung regelmäßig eine Datenschutz-Folgenabschätzung vorzunehmen.29 Die Datenschutz-Folgenabschätzung hat nach den gesetzlichen Vorschriften mindestens die folgenden Aspekte zu enthalten: • Systematische Beschreibung der geplanten Verarbeitungsvorgänge, der Zwecke der Verarbeitung und ggf. die vom Verantwortlichen verfolgten berechtigten Interessen, • Bewertung der Notwendigkeit und Verhältnismäßigkeit der Verarbeitungsvorgänge in Bezug auf den Zweck, • Bewertung der Risiken für die Rechte und Freiheiten der betroffenen Personen und • geplante Abhilfemaßnahmen zur Bewältigung der Risiken einschließlich Garantien, Sicherheitsvorkehrungen und Verfahren, durch die der Schutz der personenbezogenen Daten sichergestellt und der Nachweis der Einhaltung der daten­schutzrechtlichen Vorschriften erbracht wird. Anders als bei den originären Erlaubnistatbeständen zur Nutzung von Daten in der Forschung, die sich zunächst auf den Forschungszweck beschränken können, ist spätestens bei der Datenschutz-­ Folgenabschätzung die Perspektive der späteren Nutzung nach Projektende einzunehmen. Insbesondere im Bereich der anwendungsbezogenen Forschung sind die Einsatzgebiete im Blick und der Ausgleich der Datennutzer und Betroffenen schon im Forschungsprojekt nachzuvollziehen. Andernfalls hätten die Forschungsergebnisse nur grundsätzlichen Wert und wären unter den Vorbehalt der rechtmäßigen Anwendbarkeit zu stellen. Die meisten Fördergeber haben hierauf seit einiger Zeit Für KI-Systeme allgemein: Datenschutzkonferenz: Entschließung der 97. Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder, Hambacher Schloß, 3.April 2019: Hambacher Erklärung zur Künstlichen Intelligenz, https://www.datenschutzkonferenz-online.de/media/ en/20190405_hambacher_erklaerung.pdf. Zugegriffen am 31.01.2020. 29 

6  Datenschutz in öffentlichen KI-Forschungsprojekten

235

reagiert und machen die rechtliche Konformität der gefundenen Ergebnisse, insbesondere im Bereich des Datenschutzes, zum Bestandteil der Fördervoraussetzungen. Vor allem bei digitalen Plattformen kann hierbei nicht nur das einzelne Produkt oder die Dienstleistung in den Blick genommen werden. Neben dem Rechtemanagement und möglichen Haftungsfragen ist vielmehr die gesamte Anwendungs- oder Verarbeitungsplattform bzw. die Verarbeitungsumgebung für einen Wirtschaftssektor, für ein bestimmtes Marktsegment oder für eine weit verbreitete horizontale Tätigkeit nach den Gesichtspunkten des Datenschutzes zu würdigen, ErwGr 92 der DSGVO. Bei öffentlichen Stellen kann an sich eine Datenschutz-­ Folgenabschätzung unterbleiben, wenn sie schon durch eine andere Stelle für einen im wesentlichen gleichen Verarbeitungs­ vorgang getroffen wurde.30 Dies gilt für in der Verwaltung wiederkehrende Verarbeitungsvorgänge, trifft jedoch in der Regel auf Forschungsprojekte mit einem forscherischen Zugang zur Erarbeitung neuen Wissens nicht zu. Aufgrund der besonderen Risiken und der Eigendynamik von KI-Anwendungen ist die Datenschutz-Folgenabschätzung aus rechtlicher Sicht in jedem Fall in Forschungsprojekten mit einer Technikfolgenabschätzung aus wissenschaftlich-ethischer Sicht zu ergänzen, sog. Ethics-by-Design (Abb. 6.2).

6.3.5 Implementierung und Prozessmodellierung Nach dem Grundsatz des Privacy-by-Design, Art.  25 bzw.  32 DSGVO, sind die Grundsätze von Datenschutz und Datensicherheit schon bei der Entwicklung von Produkten und Dienstleistungen zu berücksichtigen. Der Verantwortliche muss interne Strategien festlegen und Maßnahmen hierzu ergreifen. In datengetriebenen Projekten der Grundlagenforschung ist mangels Anwendungsbezug eine konkrete Implementierung und Modellierung des Datenschutzprozesses oft nicht möglich. Soweit ein Anwendungsbezug im Projekt vorliegt,

Z. B. Art. 14 BayDSG.

30 

B. Weber

236

“Prinzip Verantwortung“ (nach Jonas) Grundlagen einer Zukunftsethik • Risikoethik: Risiken einschätzen und transparent machen • Vorsorgeprinzip: Gebot zur weiteren Forschung, wenn Risiken unklar Implementierung in jedes datenbasierte Projekt • Datenschutz-Compliance • Privacy-by-Design/Ethics-by-Design • Begünstigte Zwecke mit gesellschaftlichem Nutzen • Datenschutz-Folgenabschätzung

Abb. 6.2  Risikofolgenabschätzung, Abb. eigene

ist die Prozessimplementierung mindestens modellhaft zu durchdringen und darzustellen, z. B. mit einem Business-­Process-ManagementTool wie ARIS. Soll die technische Entwicklung in der Regel zwar nicht bis zum Prototyp, aber doch über ein Mock-up hinaus in das Stadium eines Demonstrators gelangen, ist die Dokumentation der Datenschutz-­Compliance im Prozess erforderlich.

6.4

Zusammenfassung

Datenschutz in Forschungsprojekten ist Teil des Forschungsdatenmanagements und damit Bestandteil von Compliance in der Projektsteuerung insgesamt. Je nach Ansiedelung des Forschungsprojektes im öffentlichen oder Auftragsforschungsbereich sind unterschiedliche rechtlichen Rahmenregelungen zu Datenschutz und Rechtemanagement zu beachten. Die spezifisch datenschutzrechtlichen Privilegierungen der wissenschaftlichen Forschungszwecke gelten jedoch gleichermaßen für öffentliche wie private Forschung.

6  Datenschutz in öffentlichen KI-Forschungsprojekten

237

Literatur [1] Ertel, Wolfgang, Grundkurs Künstliche Intelligenz, 4.Aufl., Wiesbaden 2016. [2] Hoeren, Thomas, Datenbesitz statt Dateneigentum, MMR 4/2019, S. 5–8. [3] Hoeren, Thomas/Niehoff, Maurice, KI und Datenschutz – Begründungserfordernisse automatisierter Entscheidungen, RW 2018, S. 47–66. [4] Schwartmann, Rolf, Wer trägt Verantwortung für Forschungsdaten, Forschung und Lehre 11/2019, S. 1006–1007. [5] Watteler, Oliver/Kinder-Kurlanda, Katharina E., Anonymisierung und sicherer Umgang mit Forschungsdaten in der empirischen Sozialforschung, DuD 08/2015, S. 515–519. [6] Weber, Beatrix/Lejeune, Stefanie, Compliance in Hochschulen – Risikomanagement im Wissenschaftsbetrieb, Zeitschrift für Risk, Fraud & Compliance 4, 2019, S. 151–156. [7] Weber, Beatrix/Lejeune, Stefanie, Compliance in Hochschulen – Handbuch für Universitäten, Hochschulen und außeruniversitäre Forschungseinrichtungen, Berlin 2019. Beatrix Weber,  Die Mission „Innovative Technologien rechtlich möglich machen“ lebt Prof. Dr. Beatrix Weber als Leiterin der Forschungsgruppe „Recht in Nachhaltigkeit, Compliance und IT“ am Institut für Informationssysteme der Hochschule für Angewandte Wissenschaften Hof. Sie forscht mit ihrem Team in interdisziplinären Projekten auf der Schnittstelle zwischen Recht und IT, insbesondere zu Compliance, Datenschutz und rechtskonformer Gestaltung neuer Technologien wie der Haftung bei KI-Anwendungen.

7

Künstliche Intelligenz im Arbeitsrecht Jörg Hennig und Anika Nadler

7.1

Einführung

Die Arbeitswelt ist großen Veränderungen ausgesetzt. Der Wandel unserer Art zu arbeiten, vollzieht sich nicht nur im Großen, sondern immer mehr auch in den kleinen, jeden Einzelnen betreffenden Bereichen. Wann immer Maschinen zum Einsatz kommen, verspricht der Mensch sich von ihnen Erleichterung und Ressourcenoptimierung, betrachtet aber die daraus resultierenden Änderungen dennoch häufig mit Argwohn. Und er bleibt mit Fragen zurück: • Wird die Maschine mich eines Tages ersetzen? • Sind Maschinen in der Lage, meine Arbeit besser zu erledigen als ich? • Welchen Einfluss wird die Maschine auf mein persönliches Leben haben? J. Hennig (*) · A. Nadler HK2 Rechtsanwälte, Berlin, Deutschland E-Mail: [email protected]; [email protected] © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von Springer Nature 2020 M. Hartmann (Hrsg.), KI & Recht kompakt, IT kompakt, https://doi.org/10.1007/978-3-662-61700-7_7

239

J. Hennig und A. Nadler

240

Je komplexer und mächtiger Maschinen werden, desto größer sind die Erwartungen, aber auch die Befürchtungen. Es v­ erwundert daher nicht, dass die KI an der Spitze menschlicher Bewunderung für Maschinen steht und gleichzeitig keine Maschine die Menschen so ratlos und hilfesuchend zurücklässt. Zum ersten Mal in der Geschichte der technischen Revolution, die der Mensch geschaffen hat, besteht die ernstliche Möglichkeit, dass uns Maschinen überflügeln. „Science Fiction coming alive, wenn man so möchte. Aber wieviel von dieser Erwartung ist wirklich realistisch und welche Gedanken werden weiterhin Zukunftsmusik sein?“

Diese Fragen stellen sich auch Juristen, deren Aufgabe die Kategorisierung gesellschaftlicher Änderung naturgemäß und aus eigenem Selbstverständnis heraus ist. Schwerpunkte im Arbeitsrecht bilden dabei eine mögliche Ungleichbehandlung von Beschäftigten, vor allem nach dem AGG, die Reichweite von Mitbestimmungsrechten nach dem BetrVG sowie schließlich Fragen der Direktionsrechtsausübung mit und durch KI.

7.2

Benachteiligung nach dem AGG

7.2.1 B  enachteiligung durch KI am Beispiel des Bewerbungsverfahrens In der Arbeitswelt kann es in verschiedenen Bereichen zu Diskriminierungen bzw. Benachteiligung kommen. Nach § 1 AGG ist eine Benachteiligung jede Ungleichbehandlung aus Gründen • • • • • •

der Rasse oder wegen der ethischen Herkunft, des Geschlechts, der Religion oder Weltanschauung, einer Behinderung,

7  Künstliche Intelligenz im Arbeitsrecht

241

• des Alters • oder der sexuellen Identität. Diese Benachteiligungen können dabei sowohl unmittelbar, aber auch mittelbar Grundlage für Entscheidungsprozesse in der Arbeitswelt werden. Ziel des AGG ist daher, diese Benachteiligungen zu verhindern. Wie kann KI hier helfen oder hinderlich sein? Die leichte und schnell zu gebende Antwort könnte schließlich lauten, dass die Maschine objektiv ist und jeder diese Benachteiligungsgründe einfach zu „löschen“ ist, sodass die Maschine diskriminierungsfrei und im besten Sinne frei von Benachteiligungen arbeiten könnte.

7.2.1.1  Funktionsweise des Auswahlprozesses der KI Doch weit gefehlt. Die komplexere Antwort ergibt sich erst aus dem Funktionsverständnis von KI.  KI arbeitet datenbasiert und extrahiert aus den ihr zugeführten Daten die zugrunde liegenden Muster.1 In Unternehmen, die KI ihre Bewerberauswahl überlassen, wird die KI mit all den Daten vorangegangener Bewerberprozesse und Auswahlzyklen „gefüttert“. Die KI wertet die ihr zur Verfügung gestellten Daten aus und erkennt die zugrunde liegenden Muster. Selbstverständlich arbeiten Unternehmen in den meisten Fällen unter Ausschluss der oben dargestellten Unterscheidungskriterien und speichern Bewerberdaten z.  B. ohne Angabe des Geschlechts oder der Nationalität/Rasse. Eine unmittelbare Benachteiligung findet sich daher auch nur noch in wenigen menschengeführten Bewerberprozessen. Benachteiligungen sind jedoch dann umso schwerwiegender, je weniger sie auf den ersten Blick erkennbar sind. So ist die mittelbare Benachteiligung im Arbeitsrecht mittlerweile zur größeren Gefahr für Bewerber geworden. Diese mittelbaren Benachteiligungen ergeben sich aus Mustern. Diese Muster ergeben, dass Bewerber nicht primär wegen ihres Geschlechts oder ihrer Rasse benachteiligt werden, Vgl. auch Dzida/Groh, NJW 2018, 1917.

1 

242

J. Hennig und A. Nadler

wohl aber mittelbar aufgrund von Unterscheidungskriterien, die im Ergebnis eben auch auf dem Geschlecht oder der Rasse beruhen. Die Maschine könnte also aus den Mustern erkennen,2 dass in vorherigen Bewerberzyklen, deren Daten sie besitzt, Bewerber nicht ausgewählt wurden, die • einen bestimmten zeitlichen Bruch im Lebenslauf vorweisen • oder in bestimmten Gegenden wohnen.3 Deutlicher wird die Unterscheidungsfindung noch, wenn aus Daten analysiert wird, welche Mitarbeiter eingestellt wurden und daher von der Maschine als Erfolg angesehen werden. Sind diese überwiegend männlich, lernt die Maschine, dass das Merkmal „männlich“ positiv ist, mittelbar also das Merkmal „weiblich“ negativ zu besetzen ist.4 Auch wenn die Maschine die Daten „männlich“ und „weiblich“ nicht erhält, kann sie dieses Kriterium anhand weiterer Unterscheidungsmerkmale ausfindig machen. Auf den ersten Blick erscheinen diese Unterscheidungsmerkmale also objektiv, nur sind sie es nicht. Auf diese Weise erkannte die KI im Fall „Amazon“, dass sowohl Frauen als auch Bewerber mit Migrationshintergrund zu benachteiligen waren, da sie diese Muster aus den ihr zur Verfügung gestellten Ergebnis vorangegangener Bewerberprozesse extrahiert hatte. Diese Bewertung ergibt sich freilich erst aus der Nachbetrachtung der KI-Bewertung durch den Menschen: Die KI hatte aufWeitere Beispiele bei Dzida/Groh, NJW 2018, 1917. Am Beispiel der Kriminalitätsvorhersage, z. B Angwin et al. (2016) – Machine Bias. There’s software used across the country to predict future criminals. And it’s biased against blacks, https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. Zugegriffen am 16.01.2020. 4  So z. B. bei Amazon, Jeffrey Dastin, Amazon scraps secret AI that showed bias against women, https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G. Zugegriffen am 16.01.2020. 2  3 

7  Künstliche Intelligenz im Arbeitsrecht

243

grund der Erkenntnisse aus den vorangegangenen Bewerberzy­ klen die mittelbaren Benachteiligungen, die der Mensch, bewusst oder unbewusst, angewandt hat, als anzuwendendes Muster erkannt und dieses fortgeführt. Die KI hat daher die mittelbaren Benachteiligungen bewusst aus ihrer Funktionsweise (Mustererkennung und -anwendung) zur Grundlage für ihre Entscheidungen zur Bewerberauswahl gemacht.

7.2.1.2  A  rbeitsrechtliche Probleme im KI-basierten Bewerberauswahlverfahren Konkret leiten sich hieraus folgende Probleme im Auswahlverfahren ab. • Die nicht ausgewählten Bewerber sind prinzipiell nicht bekannt, können also nicht „nachkontrolliert“ werden. • Die KI ist so komplex in ihrer Mustererkennung, dass möglicherweise die mittelbare Benachteiligung gar nicht auffällig ist und immer weiter fortgeschrieben wird. • Was ist mittelbare Benachteiligung? Auch die Einteilung in Abschlussnoten kann mittelbar benachteiligend sein, weil z. B. Frauen bessere Uni-Abschlüsse erzielen/Migranten eher schlechte Uni-Abschlüsse erzielen (weil sie z. B. neben dem Studium mehr arbeiten mussten) • Damit stellt sich das Folgeproblem, wo die Grenze zwischen mittelbarer Benachteiligung und tatsächlich notwendiger Unterscheidung zur Bestenauslese liegt. Welche Art von Differenzierung ist hier gesellschaftlich/politisch erwünscht, welche nicht? Ein völliger Verzicht auf Differenzierung bedeutet zugleich einen Abschied vom Leistungs- und Eigenverantwortungsprinzip. • Die wenigen wirklich neutralen Korrelationen wie z.  B. die zwischen der Länge des Arbeitsweges und einer negativen Bewertung dieses Kriteriums bei der Personalauswahl5 (z. B. we-

Vgl. hierzu Ernst, JZ 2017, 1026.

5 

244

J. Hennig und A. Nadler

gen höherer Fluktuation bei diesen Mitarbeitern oder einer fahrtzeitbedingt geringeren Leistungsfähigkeit) würde die Möglichkeiten der KI nicht ausschöpfen. Zudem: Selbst hier wäre wieder eine mittelbare Benachteiligung aus dem Gesichtspunkt: „Außenbezirk – geringeres Einkommen – Migrationshintergrund“ denkbar, worauf Dzida/Groh hinweisen.6 • Solange eine KI an Bestandsdaten trainiert wird (aus dem alten Bewerberprozess) werden mittelbare Benachteiligungen als Muster und nicht als Fehler erkannt, den es zu lösen gilt. Dieser Fehler, den der Mensch damit gesetzt hat, wird fortgeschrieben. Die Maschine kann diesen Fehler aber im Bruchteil der Zeit auf eine größere Menge an Bewerberdaten anwenden, also auch als Dienstleistung für Dritte. Eine Analyse zur Erkennung des Fehlverhaltens ist aufwändig und nur durch Experten möglich.

7.2.2 Ausblick In den vorliegenden Beispielen löst die künstliche Intelligenz die Probleme der Bewerberauswahl und der menschlichen Prozesse im Arbeitsrecht nicht, sondern schreibt bestehende Muster lediglich fort und optimiert diese ressourcensparend. Ergebnis der Komplexität maschinenbasierter beziehungsweise auf künstlicher Intelligenz beruhender Auswahlprozesse ist jedoch, dass die Muster für den Menschen nicht mehr oder aber nur mit solch großem Aufwand nachvollziehbar sind, dass der Sinn des Einsatzes künstlicher Intelligenz verloren geht. Wo der Mensch als Fehlerquelle eliminiert werden soll, wird die KI eingesetzt, die aufgrund ihrer Funktion jedoch die bestehenden mittelbaren Benachteiligungen als Muster noch komprimiert erkennt und zur Grundlage ihrer eigenen, nicht mehr mit zumutbaren zeitlichen Aufwänden auflösbaren Entscheidung (z. B. Bewerbervoroder Bewerberendauswahl) macht.

Dzida/Groh, NJW 2018, 1917.

6 

7  Künstliche Intelligenz im Arbeitsrecht

245

Die juristische und gesellschaftspolitische Frage muss hier aktuell sein, bis zu welchem Bereich eine mittelbare Benachteiligung tatsächlich Benachteiligung im Sinne des AGG ist und ab welchem Punkt eine solche mittelbare Benachteiligung schlichtweg notwendig ist, um den Grundsatz der Bestenauswahl zu erfüllen. An dieser Frage wird sich zukünftig bemessen, welche Nachteile eine Gesellschaft bereit ist, hinzunehmen. Das Ziel, weshalb KI als goldene Kuh der Tilgung menschlicher Fehler angesehen wird, der diskriminierungsfreie Auswahlprozess, ist noch lange nicht erfüllt. Die KI ist jedoch in der Lage dies zu leisten. Entweder werden die Daten um unzulässige Muster bereinigt oder der KI wird beigebracht ein anderes Muster, nämlich diskriminierungsfreie Entscheidungen, zu erkennen und in optimierter Form zur Grundlage ihrer Entscheidung zu machen.

7.3

Mitbestimmung nach dem BetrVG

Auch wenn noch relativ wenig diskutiert wurde, wie weit KI Mitbestimmungsrechte des Betriebsrates berührt, hat sich über Jahrzehnte eine Rechtsprechung zu den infrage kommenden Tatbeständen, insbesondere zum Auskunftsanspruch nach § 80 Abs. 2 BetrVG und zur Mitbestimmung bei der Einführung technischer Einrichtungen (§ 87 Abs. 1 Nr. 6 BetrVG) entwickelt, aus der einige Anleihen auch für aktuelle Fragen der KI genommen werden können.

7.3.1 A  uskunftsanspruch gemäß § 80 Abs. 2 BetrVG Nach § 80 Abs. 2 BetrVG ist der Betriebsrat zur Durchführung seiner Aufgaben rechtzeitig und umfassend vom Arbeitgeber zu unterrichten. Dieser Anspruch besteht auch hinsichtlich von KI-Anwendungen, die sich auf Beteiligungsrechte des Betriebsrats auswirken können. Dabei gelten die nachfolgenden Regeln.

246

J. Hennig und A. Nadler

7.3.1.1  Aufgabenbezug § 80 Abs. 2 BetrVG sieht einen Auskunftsanspruch vor, der sich auf sämtliche Aufgaben des Betriebsrats bezieht. Das ist vor allem der Fall, wenn es um die Ausübung gesetzlicher Mitwirkungsund Mitbestimmungstatbestände geht.7 Aufgabenbezug und Auskunftsanspruch stehen in einer Wechselbeziehung. Ohne Aufgabenbezug besteht kein Anspruch auf Auskunftserteilung, aber eine Auskunft muss auch nur soweit erteilt werden, wie diese zur Ausübung des Mitbestimmungsrechts erforderlich ist.8 Der Anspruch des Betriebsrats besteht nicht nur, wenn allgemeine Aufgaben oder Beteiligungsrechte feststehen. Die Unterrichtung soll es dem Betriebsrat vielmehr auch ermöglichen, in eigener Verantwortung zu prüfen, ob sich Aufgaben im Sinne des Betriebsverfassungsgesetzes ergeben und er zu ihrer Wahrnehmung tätig werden muss. Die Grenzen des Auskunftsanspruchs liegen dort, wo ein Beteiligungsrecht offensichtlich nicht in Betracht kommt. Erst dann kann nicht mehr davon gesprochen werden, dass die Auskunft zur Durchführung von Aufgaben des Betriebsrats erforderlich sei. Eine gewisse Wahrscheinlichkeit für das Bestehen von Aufgaben genügt bereits.9 Daraus folgt eine zweistufige Prüfung, • ob überhaupt eine Aufgabe des Betriebsrats gegeben und • ob im Einzelfall die begehrte Information zur Aufgabenwahrnehmung erforderlich ist.10 Da die Mitbestimmung im Bereich des § 87 BetrVG sehr weit geht wird ein Auskunftsanspruch regelmäßig anzunehmen sein.

7.3.1.2  Zeitpunkt In zeitlicher Hinsicht muss die Information so frühzeitig erfolgen, dass der Betriebsrat die entsprechenden gesetzlichen Aufgaben Vgl. Fitting, § 80, Rn. 51. Richardi/Thüsing, BetrVG, § 80, Rn. 53. 9  BAG, Beschl. v. 15.12.1998, 1 ABR 9/98. 10  BAG, Beschl. v. 06.05.2003, 1 ABR 13/02. 7  8 

7  Künstliche Intelligenz im Arbeitsrecht

247

noch ordnungsgemäß erfüllen kann. Das ist regelmäßig weit vor Durchführung einer Maßnahme der Fall.

7.3.1.3  Umfang Die Information muss umfassend sein, d. h. alle Angaben enthalten, die der Betriebsrat benötigt, um seine Entscheidung ordnungsgemäß treffen zu können.11 7.3.1.4  Pflicht zur Informationsbeschaffung Gerade vor dem Hintergrund, dass der Arbeitgeber beim Einsatz von KI oftmals nicht wissen wird, wie und auf welche Weise Ergebnisse zustande kommen, erlangt die Frage besondere Bedeutung, inwieweit der Arbeitgeber sich von bestimmten Sachverhalten Kenntnis verschaffen und auch diese Informationen an den Betriebsrat weitergeben muss. Beispiel

Mittels KI werden Dienstpläne entworfen. Das Auskunftsrecht des Betriebsrats dürfte unzweifelhaft bestehen, da jedenfalls das Mitbestimmungsrecht gemäß §  87 Abs.  1 Nr.  2  BetrVG hinsichtlich der Lage der Arbeitszeiten tangiert ist. Wie weit geht hier die Auskunftspflicht des Arbeitgebers? Genügt es, wenn der Arbeitgeber die Ergebnisse des Dienstplanvorschlages präsentiert oder ist er darüber hinaus auch v­ erpflichtet, den Algorithmus zu beschreiben und schließlich zu erklären, warum der Algorithmus zu bestimmten Ergebnissen geführt hat, auch wenn er so komplex ist, dass der Arbeitgeber dies selbst nicht nachvollziehen kann? ◄ Unproblematisch besteht die Auskunftspflicht hinsichtlich des eigentlichen Willensaktes, also der tatsächlichen Erstellung des Dienstplans. Hier deckt sie sich in dem Beispiel bereits weit­ gehend mit den Mitbestimmungsrechten aus 87 Abs.  1 Nr.  2 BetrVG.  Ein Auskunftsanspruch besteht jedoch zusätzlich hinsichtlich des Algorithmus, auf dessen Basis die KI zum Entwurf Richardi/Thüsing, BetrVG, § 80, Rn. 62.

11 

248

J. Hennig und A. Nadler

des Dienstplans kommt. Dieses Mitbestimmungsrecht ergibt sich zwar nicht aus Nr. 2 (Lage der Arbeitszeiten) wohl aber aus Nr. 6 (technische Einrichtungen), weil mit technischen Mitteln erfasste und ausgewertete Mitarbeiterdaten Grundlage der Dienstplangestaltung sind. Für den Fall, dass weder der Arbeitgeber noch seine Erfüllungsgehilfen aufgrund der Komplexität der Anwendung wissen, warum die KI zu ihren Vorschlägen gelangt, wäre mit der bisherigen Rechtsprechung darauf abzustellen, ob der Arbeitgeber diese Erkenntnisse überhaupt (nicht) oder mit vertretbarem Aufwand erlangen kann.12 Ein einfaches Berufen des Arbeitgebers auf bloße Unkenntnis scheidet aus. Zwar sieht das BetrVG keinen „Herstellungsanspruch“ in dem Sinne vor, dass der Arbeitgeber ihm unbekannte Daten wie die unbekannte Erkenntnis der KI unter größerem Aufwand beschaffen muss.13 Allerdings nimmt das BAG eine Erkundigungspflicht des Arbeitgebers an, wenn die erforderlichen Informationen bereits im Betrieb vorhanden sind oder vorhanden sein müssen. So muss ein Arbeitgeber z. B. über die tatsächlichen Arbeitszeiten seiner Mitarbeiter Auskunft geben, auch wenn er hierüber keine Daten besitzt. Solange diese Daten im Betrieb des Arbeitgebers objektiv vorhanden sind und nicht erst von dritter Seite beschafft werden müssen, sieht das BAG den Arbeitgeber in der Pflicht, die entsprechenden Daten zu generieren und an den Betriebsrat weiterzugeben. Das gilt für die Erhebung sämtlicher Daten, die erforderlich sind, damit der Arbeitgeber gesetzliche Vorschriften wie zum Beispiel Höchstarbeitszeiten nach dem ArbZG einhalten kann. So lange sich die Überwachungsaufgabe und der darauf beruhende Auskunftsanspruch des Betriebsrats auf normativ gebundenes Handeln des Arbeitgebers bezieht, verlangt die Rechtsprechung demnach vom Arbeitgeber auch die Beschaffung unbekannter Daten.14 Bezogen auf das Beispiel der Dienstplangestaltung kommen neben dem Aspekt der Verteilungsgerechtigkeit bei der Lage der

BAG, Beschl. v. 06.05.2003, 1 ABR 13/02. BAG, Beschl. v. 06.05.2003, 1 ABR 13/02. 14  BAG, Beschl. v. 06.05.2003, 1 ABR 13/02. 12  13 

7  Künstliche Intelligenz im Arbeitsrecht

249

Arbeitszeiten vor allem die Regelungen des AGG als Basis für Auskunftsansprüche des Betriebsrats in Betracht, die durch Arbeitgeber zu beachten sind. Da nahezu jegliche Personalauswahl durch KI AGG-Relevanz besitzt, dürfte die Erhebungspflicht des Arbeitgebers umfassend anzunehmen sein. Eine Grenze ist erst zu ziehen, wenn die Datenerhebung für den Arbeitgeber nicht zumutbar ist. Davon ist nach bisheriger Rechtsprechung auszugehen, wenn dem Arbeitgeber die Generierung der Daten nicht möglich ist und die Daten erst von dritter Seite beschafft werden müssten.15 Wenn man allerdings davon ausgeht, dass die gesamte Datenauswertung durch KI dem Arbeitgeber zuzurechnen ist und es eine Grundpflicht des Arbeitgebers darstellt, seinen Betrieb so zu organisieren, dass er die Übereinstimmung betrieblicher Abläufe mit gesetzlichen Vorgaben selbst überprüfen und korrigieren kann, wird die Unzumutbarkeit nur in Ausnahmefällen anzunehmen sein.16

7.3.2 Mitbestimmung nach § 87 BetrVG 7.3.2.1  Grundsatz Im Rahmen der Mitbestimmung nach § 87 BetrVG kann KI bei nahezu allen Tatbeständen eine Rolle spielen. So kann die Ordnung des Betriebes und das Verhalten der Arbeitnehmer (Nr.  1) durch KI gesteuert und überwacht werden, Arbeitszeiten, Mehroder Minderarbeit (Nr.  2) durch KI definiert und auch ein Urlaubsplan (Nr. 5) mithilfe von KI erstellt werden. Allerdings ist zu unterscheiden. Die soeben genannten Mitbestimmungstatbestände schließen vollständig an ein willensgesteuertes Verhalten des Arbeitgebers an. Hier bleibt auf der phänomenologischen Ebene der Mitbestimmung kein Raum mehr für die Berücksichtigung besonderer Eigenschaften der KI. Tatsächlich spielt sich die Relevanz für die Mitbestimmung deshalb nur auf der Basis des § 87 Abs. 1 Nr. 6 BetrVG ab, nämBAG, Beschl. v. 06.05.2003, 1 ABR 13/02. BAG, Beschl. v. 06.05.2003, 1 ABR 13/02.

15  16 

250

J. Hennig und A. Nadler

lich bei der Frage, wie und auf welche Weise Daten gewonnen oder so verarbeitet werden, dass die durch KI vorgeschlagenen Ergebnisse, die später durch den Arbeitgeber umgesetzt werden, transparent, nachvollziehbar und benachteiligungsfrei sind. Diese Sicht deckt sich mit der bisherigen Rechtsprechung. Schon immer wurden Computer zur Unterstützung bei der Erstellung von Urlaubsplänen, zur Arbeitszeiterfassung oder zur Erstellung von Dienstplänen eingesetzt, ohne dass in dem Einsatz der Technik ein Mitbestimmungsrecht bei den jeweiligen Einzeltatbeständen gesehen wird. Diese Mitbestimmungsrechte ergeben sich allein aus der Entscheidung des Arbeitgebers zur Umsetzung einer Maßnahme und nicht aus den technischen Grundlagen, die Ursache seines Handelns sein können.

7.3.2.2  § 87 Abs. 1 Nr. 6 BetrVG 7.3.2.2.1  Nutzung der KI an sich Die Nutzung der KI ist im Rahmen des § 87 Abs. 1 Nr. 6 BetrVG zunächst relativ unproblematisch zu erörtern und als mitbestimmungspflichtig einzuordnen. Schon auf Basis der bisherigen Rechtsprechung des BAG sind alle Formen von Programmen, die geeignet sind, das Verhalten von Arbeitnehmern zu überprüfen und auch entsprechend eingesetzt werden können, mitbestimmungspflichtig. Auf eine Überwachungsabsicht des Arbeitgebers oder eine spätere Verwendung der durch die technische Einrichtung gewonnenen Informationen kommt es nicht an.17 Bereits im Jahr 1983 urteilte das BAG weitsichtig, entscheidend sei vor allem, dass die Überwachung nicht erst mit der Auswertung der durch die technischen Geräte ermittelten und aufgezeichneten Informationen beginne und sich schon auf die anonyme technische Ermittlung von Informationen beziehe. Bereits in diesem Moment sei vom Vorliegen eines Mitbestimmungsrechts auszugehen.18

BAG, Beschl. v. 06.12.1983, 1 ABR 43/81. BAG, Beschl. v. 06.12.1983, 1 ABR 43/81.

17  18 

7  Künstliche Intelligenz im Arbeitsrecht

251

Geht man davon aus, dass bei Datenauswertung mittels KI nahezu immer die Herstellung eines Personenbezuges möglich ist, auch wenn dies nicht das eigentliche Ziel des Programms ist, ist auch stets vom Vorliegen eines Bestimmungsrechts auszugehen. CCBeim Abschluss von Betriebsvereinbarungen sollte an die Ver­

änderung und Nutzung der Datenbestände durch und für KI gedacht und z. B. fortlaufende Auskunftspflichten des Arbeitgebers vereinbart werden.

7.3.2.2.2  Rechtskonforme Ausübung der Mitbestimmung Die Rechtsprechung, die bisher zu § 87 Abs. 1 Nr. 6 BetrVG ergangen ist, bietet einiges an Leitlinien, die im Rahmen der Entwicklung und des betrieblichen Einsatzes der KI zu beachten sind. So besteht vor allem keine grenzenlose Regelungsbefugnis der Betriebsparteien, sondern das Mitbestimmungsrecht des Betriebsrates bei der Einführung und Anwendung technischer Überwachungseinrichtungen dient allein dem Zweck, die Arbeitnehmer des Betriebs vor rechtlich unzulässigen Eingriffen in ihr Persönlichkeitsrecht zu schützen und rechtlich zulässige Überwachungsmaßnahmen auf das unbedingt erforderliche Maß zu b­ eschränken.19 Eingriffe in das Persönlichkeitsrecht der Arbeitnehmer müssen deshalb durch überwiegende schützenswerte Interessen des Arbeitgebers gerechtfertigt und verhältnismäßig sein.20 Betriebsvereinbarungen müssen diesen Anforderungen immer genügen und ersetzen die Rechtmäßigkeitskontrolle nicht. Das Erfordernis der Zustimmung des Betriebsrats zu einer konkreten Überwachungsmaßnahme ist nur geeignet, eine inhaltliche Beschränkung möglicher Eingriffe in die Persönlichkeitsrechte der Arbeitnehmer verfahrensrechtlich ergänzend zu sichern; es erwei-

Fitting, § 87, Rn. 216; Richardi, BetrVG, § 87, Rn. 480. BAG, Beschl. v. 26 08.2008, 1 ABR 16/07.

19  20 

252

J. Hennig und A. Nadler

tert die Befugnisse des Arbeitgebers jedoch nie über rechtliche Grenzen hinaus.21 Der Grundsatz der Verhältnismäßigkeit verlangt, dass die von den Betriebsparteien getroffene Regelung geeignet, erforderlich und unter Berücksichtigung der gewährleisteten Freiheitsrechte angemessen ist, um den erstrebten Zweck zu erreichen.22 Eignung, Erforderlichkeit und Angemessenheit werden in der Praxis die Reichweite der Mitbestimmung des Betriebsrates – und auch den Anwendungsbereich von KI an sich – somit stark begrenzen. Denn trotz eines an sich bestehenden Beurteilungsspielraums werden die Betriebsparteien beim Einsatz von KI erhebliche Begründungsschwierigkeiten haben, warum diese im Hinblick auf die allgemeinen Persönlichkeitsrechte der Arbeitnehmer zur Zweckerreichung erforderlich und angemessen sind, wenn das angestrebte Ergebnis nicht klar, sondern nur vage formuliert ist. Es ist also immer zu fragen, ob man Systeme der KI zwingend einsetzen muss, um zu kaum prognostizierbaren oder erklärbaren Ergebnissen zu gelangen. Jedenfalls dann, wenn das Ergebnis des Einsatzes offen ist, dürfte es nach geltendem Recht bereits an der Erforderlichkeit der Maßnahme scheitern. Lässt sich die Erforderlichkeit im Einzelfall begründen, zum Beispiel damit, dass im Rahmen eines datenschutzkonformen Verfahrens Datenauswertungen zur Entwicklung autonomer Systeme erforderlich sind, müssen die Betriebsparteien zudem die weitere Hürde der Angemessenheit nehmen.23 Für die Prüfung der Angemessenheit sind Intensität und Schwere eines Eingriffs und das Gewicht der rechtfertigenden Gründe gegeneinander abzuwägen.24 Für die Schwere eines Eingriffs ist insbesondere von Bedeutung,25

BAG, Beschl. v. 26 08.2008, 1 ABR 16/07. BAG, Beschl. v. 29.06.2004, 1 ABR 21/03. 23  BAG, Beschl. v. 29.06.2004, 1 ABR 21/03. 24  BAG, Beschl. v. 29.06.2004, 1 ABR 21/03. 25  BAG, Beschl. v. 26 08.2008, 1 ABR 16/07. 21  22 

7  Künstliche Intelligenz im Arbeitsrecht

253

• wie viele Personen wie intensiv den Beeinträchtigungen ausgesetzt sind • ob die Betroffenen als Personen anonym bleiben, • welche Umstände und Inhalte (der Kommunikation) erfasst werden • welche Nachteile den Grundrechtsträgern aus der Überwachungsmaßnahme drohen oder von ihnen nicht ohne Grund befürchtet werden26 • Dauer und Art der Maßnahme • ob der Betroffene einen ihm zurechenbaren Anlass für die Datenerhebung geschaffen hat  – etwa durch eine Rechtsverletzung – oder ob diese anlasslos erfolgt ist Von besonderer Bedeutung ist die „Persönlichkeitsrelevanz“ der erfassten Informationen bzw. die „berechtigte Privatheitserwartung“ des Arbeitnehmers.27 Die Heimlichkeit einer in Grundrechte eingreifenden Ermittlungsmaßnahme erhöht das Gewicht der Freiheitsbeeinträchtigung. Den Betroffenen kann hierdurch vorheriger Rechtsschutz faktisch verwehrt und nachträglicher Rechtsschutz erschwert werden.28 Auch bei einem hohen Verarbeitungsinteresse des Arbeitgebers kann dann das Nichtverarbeitungsinteresse des Arbeitnehmers überwiegen. So dürfen Arbeitnehmer grundsätzlich erwarten, dass besonders eingriffsintensive Maßnahmen nicht ohne einen durch Tatsachen begründeten Verdacht einer Straftat oder schweren Pflichtverletzung ergriffen werden und insbesondere nicht „ins Blaue hinein“ oder wegen des Verdachts bloß geringfügiger Verstöße eine heimliche Überwachung und ggf. „Verdinglichung“ von ihnen gezeigter Verhaltensweisen erfolgt. Dem­ gegenüber können weniger intensiv in das allgemeine Persönlichkeitsrecht des Arbeitnehmers eingreifende DatenerheBAG, Beschl. v. 29.06.2004, 1 ABR 21/03. BAG, Urt. v. 31.01.2019, 2 AZR 426/18. 28  Vgl. BVerfG, Urt. v. 11.03.2008, 1 BvR 2074/05 und 1 BvR 1254/07; BAG, Urt. v. 31.01.2019, 2 AZR 426/18. 26  27 

254

J. Hennig und A. Nadler

bungen, -verarbeitungen und -nutzungen ohne Vorliegen eines durch Tatsachen begründeten Anfangsverdachts erlaubt sein. Das gilt vor allem für nach abstrakten Kriterien durchgeführte, keinen Arbeitnehmer besonders unter Verdacht stellende offene Überwachungsmaßnahmen, die der Verhinderung von Pflichtverletzungen dienen. So kann es aber auch liegen, wenn der Arbeitgeber aus einem nicht willkürlichen Anlass prüfen möchte, ob der Arbeitnehmer seine vertraglichen Pflichten vorsätzlich verletzt hat, und er – der Arbeitgeber – dazu auf einem Dienstrechner gespeicherte Dateien einsieht, die nicht ausdrücklich als „privat“ gekennzeichnet oder doch offenkundig „privater“ Natur sind. Dafür muss die Maßnahme jedoch offen in dem Sinne erfolgen, dass der Arbeitnehmer im Vorfeld darauf hingewiesen worden ist, welche legitimen Gründe eine Einsichtnahme in dienstliche Ordner und Dateien erfordern können.29 Daraus lässt sich ableiten, was Arbeitgeber und Betriebsrat unternehmen können, um die Anwendung von Systemen der KI rechtmäßig zu vereinbaren: • Beschränkung der Erhebung auf kleine Personenkreise • Sicherung größtmöglicher oder sogar vollständiger Anonymität und entsprechender Kontrollen, zum Beispiel durch den Betriebsrat • Beschränkung der Erhebung auf absolut notwendige Inhalte mit entsprechender Transparenz • keine Geheimüberwachung, sondern größtmögliche Transparenz der erfassten Daten auch gegenüber den Arbeitnehmern • Beschränkung der Erhebung auf möglichst kurze Dauer Die Vorteile einer KI gestützten Überwachung großer interner Datenbestände auf Hinweise auf Straftaten zu Lasten des Arbeitgebers oder dessen Kunden (Fraud Detection) lassen sich so natürlich nicht nutzen.

BAG, Urt. v. 31.01.2019, 2 AZR 426/18.

29 

7  Künstliche Intelligenz im Arbeitsrecht

255

7.3.2.3  § 94 Personalfragebogen, Beur­ teilungsgrundsätze Allgemeine Beurteilungsgrundsätze i. S. von § 94 Abs. 2 Alt. 2 BetrVG sind Regelungen, die die Bewertung des Verhaltens oder der Leistung eines Arbeitnehmers verobjektivieren und nach einheitlichen, für die Beurteilung jeweils erheblichen Kriterien ausrichten sollen. Es geht damit um die Regelung der Frage, wie, d. h. nach welchen Gesichtspunkten, der Arbeitnehmer insgesamt oder in Teilen seiner Leistung oder seines Verhaltens beurteilt werden soll. Mit solchen allgemeinen Beurteilungsgrundsätzen soll ein einheitliches Vorgehen bei der Beurteilung und ein Bewerten nach einheitlichen Maßstäben ermöglicht und so erreicht werden, dass die Beurteilungsergebnisse miteinander vergleichbar sind.30 Beurteilungsgrundsätze müssen sich stets auf eine Person und nicht auf einen Arbeitsplatz beziehen. Keine Beur­ teilungsgrundsätze sind deshalb Stellenbeschreibungen und analytische Arbeitsplatzbewertungen.31 Auch Anforderungs­ profile und Funktionsbeschreibungen sind deshalb keine ­Auswahlrichtlinien nach § 95 BetrVG. Dasselbe gilt für Funktionsbeschreibungen, die noch nicht einmal Anforderungen hinsichtlich der fachlichen und persönlichen Voraussetzungen der jeweiligen Funktionsträger enthalten.32 Wenn KI im betrieblichen Bereich eingesetzt wird, um Strukturen aufzudecken und zu optimieren, ist es kaum denkbar, dass dies nicht mit einer Leistungs- oder Verhaltensbewertung einhergeht, sei es z.  B. nur, um Personen herauszufiltern, die in einer Nachtschicht eine höhere Produktivität aufweisen, die mit anderen Mitteln nicht messbar wäre. Insoweit ist auch hier in aller Regel von der Verwirklichung des Mitbestimmungstatbestandes auszugehen. Das Mitbestimmungsrecht des Betriebsrats erstreckt sich immer auch darauf, ob bei Wahl eines automatisierten Ver-

BAG, Beschl. v. 23.10.1984, 1 ABR 2/83. Richardi/Thüsing, BetrVG, § 94, Rn. 62. 32  BAG, Beschl. v. 14.01.1986, 1 ABR 82/83. 30  31 

256

J. Hennig und A. Nadler

fahrens die Beurteilung automatisch oder durch Zwischenschaltung einer Person erfolgt.33

Literatur [1] Dzida, Boris/Groh, Naemi, Diskriminierung nach dem AGG beim Einsatz von Algorithmen im Bewerbungsverfahren, NJW 2018, 1917. [2] Ernst, Christian, Algorithmische Entscheidungsfindung und personenbezogene Daten, JZ 2017, 1026. [3] Fitting, Betriebsverfassungsgesetz, 26. Aufl., München 2012. [4] Richardi, Betriebsverfassungsgesetz, 16. Aufl., München 2018. Jörg Hennig ist Fachanwalt für Arbeitsrecht und Fachanwalt für Sozialrecht. Er ist Partner bei HK2 Rechtsanwälte in Berlin. Er ist spezialisiert auf das Beratungsfeld „Flexibilisierung von Arbeitsbedingungen.“ Hierzu gehört die rechtliche Betreuung u.  a. bei Restrukturierungen, Arbeitnehmerüber­ lassung, in sozialversicherungsrechtlichen Fragen (Versicherungspflicht, Scheinselbstständigkeit) und im Betriebsverfassungsrecht. Besonderes Interesse gilt dabei dem Komplex „Arbeiten 4.0“, den er in dem Standardwerk „Zeitarbeit und Arbeiten 4.0 – Handbuch für die Praxis“ (4. Aufl. 2017) bearbeitet hat. In diesem Zusammenhang beschäftigt er sich regelmäßig mit den arbeitsrechtlichen Auswirkungen von KI – Projekten. Anika Nadler  ist Rechtsanwältin und Partnerin bei HK2 Rechtsanwälte in Berlin und berät Unternehmen jeder Größenordnung mit einer Spezialisierung auf den medizinischen Arbeitsmarkt. Hierzu gehört die rechtliche Betreuung u.  a. von Ärzteverbünden, Kliniken und medizinischen Personaldienstleistern. Ihr Interesse gilt dabei innovativen Entwicklungen im Arbeitsrecht, sowie im medizinischen Bereich, u. a. der Telemedizin. In diesem Zusammenhang beschäftigt sie sich regelmäßig mit den Auswirkungen von KI – Projekten auf die Arbeitswelt.

Richardi/Thüsing, BetrVG, § 94, Rn. 62.

33 

8

Künstliche Intelligenz und das Strafrecht Christian Haagen und Anna Lohmann

8.1

 eue Herausforderungen für das N Strafrecht?

Die technische Entwicklung bringt einerseits viele Vorteile, andererseits aber auch einige Nachteile mit sich. Der zunehmende Einsatz Künstlicher Intelligenz im Alltag soll dem Menschen eigentlich Arbeit abnehmen und erleichtern. Die Kehrseite bzw. Gefahr solcher Produkte wird dann deutlich, wenn es zu Schadensfällen kommt. Kontrovers wird diskutiert, wer für etwaige Schäden verantwortlich gemacht werden soll. Da Gerichte bislang keinerlei derartige Fälle zu entscheiden hatten, besteht in dieser Hinsicht noch weitgehend Unklarheit. Als Entwickler und Inverkehrbringer kann der Hersteller die von Produkten ausgehende Gefahr zu-

C. Haagen (*) Noerr LLP, München, Deutschland E-Mail: [email protected] A. Lohmann Würzburg, Deutschland E-Mail: [email protected] © Der/die Herausgeber bzw. der/die Autor(en), exklusiv lizenziert durch Springer-Verlag GmbH, DE, ein Teil von Springer Nature 2020 M. Hartmann (Hrsg.), KI & Recht kompakt, IT kompakt, https://doi.org/10.1007/978-3-662-61700-7_8

257

258

C. Haagen und A. Lohmann

nächst am besten beherrschen. Aus diesem Grund beschäftigt sich der Beitrag im Kern mit Fragestellungen der strafrechtlichen Produkthaftung, die sich bei Schadensfällen während des Einsatzes Künstlicher Intelligenz stellen. Dabei werden die speziellen ­Problemfelder mit den bisherigen rechtlichen Grundsätzen im jeweiligen Bereich in Verbindung gebracht, um auf diese Weise zu erörtern, ob die neuen Fragestellungen mit bekannten Grundsätzen vergleichbar sind. Anhand aktueller Fälle soll die bereits gegenwärtige Relevanz dieser Probleme verdeutlicht werden.

8.2

Strafrechtliche Verantwortung beim Einsatz Künstlicher Intelligenz

Ein häufiger Anwendungsbereich Künstlicher Intelligenz ist die Mustererkennung. Diese kommt vor allem bei Kamerasystemen zur Klassifizierung von Objekten zum Einsatz. Dieser Einsatzbereich dient als Ausgangspunkt für die sich anschließenden Erläuterungen. Dabei werden nur sogenannte geschlossene Systeme betrachtet; selbstlernende offene Systeme bleiben bei der folgenden Betrachtung außen vor. Kommt es aufgrund des Einsatzes eines geschlossenen KI-Systems zu einer Rechtsgutsverletzung, so wird man sich mit der Frage beschäftigen müssen, wer dafür strafrechtlich zur Verantwortung gezogen werden kann. Der Beitrag soll eine erste Orientierung geben mit welchen, zum Teil bekannten, zum Teil neuen Problemstellungen in diesem Bereich zu rechnen ist.

8.2.1 K  ünstliche Intelligenz: Anwendungsfälle der Mustererkennung Die technische Entwicklung im Bereich des automatisierten Fahrens ist in den letzten Jahren beeindruckend vorangeschritten. Von den fünf möglichen Leveln sind die Systeme der Level 1 und 2 mittlerweile zu einer Selbstverständlichkeit bei Neufahrzeugen geworden. So findet derzeit auf deutschen Straßen nicht nur das assistierte Fahren des Levels 1 statt, worunter alle möglichen Assistenzsysteme zu fassen sind, die entweder die Längs- oder die

8  Künstliche Intelligenz und das Strafrecht

259

Querführung des Fahrzeugs übernehmen, sondern auch das ­teilautomatisierte Fahren des Levels 2.1 Hier übernimmt das Fahrzeug bereits die Quer- und Längsführung für einen bestimmten Zeitraum und ermöglicht unter ständiger Überwachung des Fahrers bspw. das selbstständige Einparken.2 Zudem befinden sich Level 3 Systeme in Planung. Hierbei soll das sog. hochautomatisierte Fahren mittels eines Staupiloten umgesetzt werden. Mit einem solchen System wäre das Fahrzeug in der Lage, sich selbstständig durch einen Stau zu manövrieren.3 Kürzlich meldeten Daimler und Bosch, dass mit der behördlichen Freigabe des Automated Valet Parking für das Parkhaus des Mercedes-Benz-­ Museums erstmals weltweit ein Level 4 System zugelassen ist.4 Hierunter versteht man ein System, bei dem der Fahrer das Fahrzeug abstellt, verlässt und dieses schließlich vollständig fahrerlos einparkt.5 Das Fahrzeug sucht sich dabei eigenständig einen geeigneten freien Parkplatz, bewegt sich ohne Fahrer zu diesem und parkt ein. Hierfür sind nicht zuletzt zahlreiche Kameras notwendig, welche die Umgebung des Fahrzeugs wahrnehmen und das veränderte Umfeld dauerhaft überwachen.6 So wird u. a. ein Erkennen von plötzlichen Hindernissen, wie Fußgängern auf der

SAE International, SAE International Releases Updated Visual Chart for Its “Levels of Driving Automation” Standard for Self-Driving Vehicles, https:// www.sae.org/news/press-room/2018/12/sae-international-releases-updated-visual-chart-for-its-%E2%80%9Clevels-of-driving-automation%E2%80%9Dstandard-for-self-driving-vehicles. Zugegriffen am 21.01.2020. 2  Ebd. 3  Grünweg, Tom, Autonomes Fahren im neuen A8. Audi ist ein Level weiter, Spiegel Mobilität vom 27.09.2017, https://www.spiegel.de/auto/aktuell/audia8-audi-ist-beim-autonomen-fahren-ein-level-weiter-a-1169062.html. Zugegriffen am 23.01.2020. 4  Mercedes Benz, Bosch und Daimler: Automated Valet Parking, https://www. mercedes-benz.com/de/innovation/daimler-bosch-automated-valet-parking/. Zugegriffen am 21.01.2020. 5  Wachenfeld/Winner/Gerdes et  al, Use-Cases des autonomen Fahrens, in: Maurer/Gerdes/Lenz/Winner (Hrsg.), Autonomes Fahren, S. 15. 6  Bosch, Vernetzte Parklösungen. Automated Valet Parking  – Parken lassen statt stressen lassen, https://www.bosch.com/de/stories/automated-valet-parking/. Zugegriffen am 21.01.2020. 1 

260

C. Haagen und A. Lohmann

Fahrbahn, realisiert.7 Eine Möglichkeit, die Wahrnehmung der Umgebung zu gewährleisten, bietet die Musterkennung. Diese wird nicht nur im Bereich des automatisierten Fahrens gewinnbringend genutzt. Auch in der Medizin werden mithilfe von KI-Mustererkennungsprodukten herausragende Ergebnisse erzielt. So ist die KI etwa in der Lage, Mammografien selbstständig auszuwerten8 und den Arzt bei einer schnelleren und genaueren Analyse zu unterstützen sowie falsche Diagnosen zu ­reduzieren.9 Doch was versteht man unter dem Begriff der Mustererkennung und wie funktioniert diese? Mustererkennungsprogramme dienen der Klassifizierung von Objekten. So ist eine solche KI in der Lage, eine Katze, einen Fußgänger oder andere Objekte zu identifizieren. Bei KI-Mustererkennungsprogrammen werden überwiegend sog. Neuronale Netze eingesetzt. Hierbei wird das System derart trainiert, dass es nach Abschluss der Trainingsphase selbstständig das erlernte Muster erkennen kann. Das Training kann auf zwei verschiedene Arten erfolgen: als überwachtes und als unüberwachtes Lernen.10 Beim sogenannten überwachten Lernen wird der KI eine große Anzahl an Bildern mit dem zu lernenden Muster (bspw. eine Katze) und eine etwa ebenso große Anzahl an Bildern ohne das zu lernende Muster vorgelegt und ihr mitgeteilt, welche der Bilder das Muster zeigen. Das System lernt dann anhand dieser Vorgaben. Im Gegensatz dazu werden der KI beim unüberwachten Lernen Bilder ohne weitere Angaben vorgelegt. Hier erkennt die KI mit der Zeit selbst die entscheidenden „Muster“ des Objekts, bei einer Katze bspw. die Pfoten, den Schwanz, die Schnurrhaare. Unabhängig von dem gewählten Trainingsmodell ist alleine ent-

Ebd. Wollenschläger, J., Künstliche Intelligenz bei Brustkrebs, Radiologie Bayer vom 15.08.2017, https://www.radiologie.bayer.de/aktuelles/news/wissenschaft/kuenstliche-intelligenz-bei-brustkrebs. Zugegriffen am 21.01.2020. 9  Vgl. hierzu Grätzel von Grätz, Philipp, Künstliche Intelligenz in Produkten von Siemens Healthineers, Siemens Healthineers vom 06.06.2019, https:// www.siemens-healthineers.com/de/news/kuenstliche-intelligenz-in-produkten.html. Zugegriffen am 21.01.2020. 10  Vgl. zu den folgenden technischen Ausführungen Kaplan, Künstliche Intelligenz, S. 46. 7  8 

8  Künstliche Intelligenz und das Strafrecht

261

scheidend, dass das System nach Abschluss des Trainings das trainierte Muster erkennt. Ist der Lernvorgang nach der Trainingsphase beendet, so handelt es sich um ein sog. geschlossenes System. Ein eigenständiges Hinzulernen des Systems nach Verlassen des Trainingsgeländes findet bei diesen Systemen nicht mehr statt. Der Einsatz solcher geschlossener KI-Systeme bringt einige strafrechtliche Fragestellungen mit sich, die es im Folgenden überblicksartig zu erörtern gilt.

8.2.2 P  roblemfelder der strafrechtlichen Produkthaftung Der Einsatz von KI-Systemen ist in vielen Bereichen auch außerhalb des autonomen Fahrens gewinnbringend. Wie bereits oben aufgezeigt, hat auch die Medizin den großen Nutzen solcher Systeme für sich entdeckt.11 Der Einsatz von KI scheint perfekt: Der Mensch soll durch die Übernahme der KI entlastet und menschliche Schwächen als positiver Nebeneffekt nivelliert werden. Doch was passiert, wenn das System fehlerhaft ist? Kein KI-System kann eine hundertprozentige Sicherheit gewährleisten. Kommt es aufgrund der Fehlerhaftigkeit schließlich zu einem strafrechtlich relevanten Schaden, so wirft ein solcher Fall einige Fragestellungen auf. Im Folgenden sollen die sich hierzu im Strafrecht stellenden Problemfelder skizziert und erörtert werden. Dabei werden zunächst rein objektive, sich bei vielen Deliktstypen stellende Probleme behandelt: Wer kommt als Täter in Betracht? Welches strafbare Verhalten kann dem Täter vorgeworfen werden? War dieses Verhalten überhaupt ursächlich für den eingetretenen Erfolg? Daran anschließend werden mögliche Vorsatz- und Fahrlässigkeitskonstellationen näher beleuchtet.

So wird KI bspw. im Bereich der Krebsdiagnostik als gewinnbringend erachtet, vgl. Haenssle/Fink/Schneiderbauer et al, Man against machine: diagnostic performance of a deep learning convolutional neuronal network for dermoscopic melanoma recognition in comparison to 58 dermatologists, Annals of Oncology 29, 1836–1842. 11 

262

C. Haagen und A. Lohmann

8.2.2.1  R  ichtiges Handlungssubjekt als Anknüpfungspunkt Wer kann strafrechtlich zur Verantwortung gezogen werden, wenn ein oben beschriebenes KI-System einen strafrechtlich relevanten Schaden verursacht? Hinter einer solch allgemein gehaltenen Fragestellung können sich verschiedene Konstellationen verbergen. Zunächst könnte an eine Herstellerstrafbarkeit zu denken sein. An dieser Stelle ist jedoch deutlich zu machen, dass nicht das Herstellerunternehmen, sondern nur die beim Hersteller Tätigen strafrechtlich zur Verantwortung gezogen werden können. Hintergrund ist das in Deutschland fehlende Unternehmensstrafrecht. Die strafrechtlichen Normen knüpfen nur an ein menschliches Verhalten an; Rechtssubjekt ist mithin allein der Mensch.12 Im Rahmen einer solchen „Herstellerstrafbarkeit“ kommt zunächst eine strafrechtliche Verantwortung eines beim Hersteller in leitender Position Tätigen in Betracht. Beispiele dafür sind u. a. Vorstandsvorsitzende oder Geschäftsführer. Treffen solche oder andere Verantwortliche die Entscheidung oder sind zumindest an ihr beteiligt, ein KI-Produkt, trotz seiner Fehlerhaftigkeit, auf den Markt zu bringen, so können sie strafrechtlich dafür belangt werden.13 Ähnlich liegt der Fall, wenn das Produkt bereits auf dem Markt ist und erst dann seine Fehlerhaftigkeit bekannt wird. Entscheidet ein Verantwortlicher in einer solchen Konstellation, das KI-Produkt trotzdem weiterhin auf dem Markt zu lassen, unterlässt also den erforderlichen Rückruf, so kann er grundsätzlich wegen dieser Entscheidung belangt werden. Im Einzelfall können in derartigen Konstellationen auch entsprechende Warnhinweise ausreichen, doch müssen diese tatsächlich gegeben werden, sofern man sich nicht für das Unterlassen dieser Hinweise strafrechtlich verantworten lassen möchte. Werden die in den beiden Szenarien beschriebenen Entscheidungen nicht von einem Ein­ zelnen, sondern von Mehreren getroffen, bspw. von allen Geschäftsführern einer GmbH gemeinsam, so kommt u.  U. eine

Wessels/Beulke/Satzger, Strafrecht AT, Rn. 132. So auch Sander/Hollering, NStZ 2017, 193, 197.

12  13 

8  Künstliche Intelligenz und das Strafrecht

263

­ ittäterstrafbarkeit in Betracht.14 Dies gilt auch dann, wenn ein M Geschäftsführer zwar anderer Meinung ist, für den Rückruf aber aufgrund des Widerstandes der Anderen nicht einsteht.15 Grund hierfür ist, dass jeder Einzelne verpflichtet ist, alles Mögliche und Zumutbare zu unternehmen, um das Produkt aus dem Verkehr zu ziehen.16 Inwieweit dem Verantwortlichen in den einzelnen Fallszenarien jeweils ein Vorsatz- oder „lediglich“ ein Fahrlässigkeitsvorwurf gemacht werden kann, hängt vom Einzelfall ab. Entscheidend wird dabei sein, ob er den konkret eingetretenen Schaden wollte, indem es ihm bspw. aufgrund von Gewinnmaximierungsmöglichkeiten o.  ä.17 gleichgültig ist, ob es zu einer Rechtsgutsverletzung kommt oder er vielmehr bewusst darauf vertraute, dass der Fehler so gering ist, dass ein solcher Erfolg sicherlich nicht eintreten werde (Abschn.  8.2.2.3.1). Eine strafrechtliche Untersuchung kann überdies anstehen, wenn ein Fehler des KI-Produkts zuvor hätte erkannt werden können. Bei diesen und anderen Fahrlässigkeitskonstellationen kommt es entscheidend darauf an, ob die beim Hersteller in leitender Position Tätigen beim Inverkehrbringen die im Verkehr erforderliche Sorgfalt beachtet haben.18 Werden die bestehenden Sorgfaltspflichten außer Acht gelassen, so kann ein Fahrlässigkeitsvorwurf im Raum stehen. Ein solcher ergibt sich etwa, wenn bei der Konstruktion des KI-Produkts nicht der gebotene Sicherheitsstandard oder der aktuelle Stand der Technik berücksichtigt bzw. als Maßstab für die Konstruktion zugrunde gelegt worden ist.19 Auch mögliche fehlerhafte Instruktionen hinsichtlich des Umgangs mit dem entsprechenden KI-Produkt können Anknüpfungspunkt für eine BGH, Beschl. v. 06.07.1990, II StR 549/89. BGH, Beschl. v. 06.07.1990, II StR 549/89. 16  BGH, Beschl. v. 06.07.1990, II StR 549/89. 17  Sander/Hollering, NStZ 2017, 193, 196 weisen im Zusammenhang des automatisierten Fahrens insb. auf Wettbewerbsvorteile hin; Franke, DAR 2016, 61, 61 zeigt zudem die enorme wirtschaftliche Bedeutung solch automatisierter Systeme auf. 18  Roxin, Strafrecht AT I, § 24, Rn. 4; Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1102. 19  So auch Sander/Hollering, NStZ 2017, 193, 198. 14  15 

264

C. Haagen und A. Lohmann

strafrechtlich relevante Handlung sein.20 Auf die den Hersteller konkret beim Einsatz eines KI-Produkts treffenden Sorgfaltspflichten wird später genauer eingegangen (Abschn. 8.2.2.4). Überdies kann eine Strafbarkeit eines beim Hersteller angestellten Programmierers in Betracht kommen. Ein strafrechtlicher Vorwurf kann ihm u.  a. bei einer fehlerhaften Programmierung gemacht werden. Auch wenn dieser den Mangel erst nach Inverkehrbringen erkennt und nichts unternimmt, könnte er sich u. U. einem strafrechtlichen Vorwurf ausgesetzt sehen. Wie oben bei der Strafbarkeit der Verantwortlichen beim Herstellerunternehmen, können auch bei diesem Handlungssubjekt verschiedene Vorsatz- und Fahrlässigkeitskombinationen gebildet werden. Hier stellt sich ebenso die Frage, inwieweit dieser einen nicht erkannten Fehler im Rahmen seiner Programmierarbeit hätte erkennen können bzw. müssen. An dieser Stelle wird im Gegensatz zu einem Angestellten in leitender Position jedoch ein anderer Maßstab anzulegen sein, da der Programmierer die spezifische fachliche Expertise für ein solches Produkt besitzt und fehlerhafte ­Stellen somit leichter ausfindig machen kann.21 Insbesondere bei den eingangs genannten Fallkonstellationen muss im Einzelfall genau geprüft werden, ob der Programmierer tatsächlich aus eigenem Antrieb handelte oder ob er nicht vielmehr aufgrund eines Weisungsrechts seitens des Arbeitgebers agierte. Ein solcher Aspekt kann sich auf die strafrechtliche Verantwortung auswirken. So können bspw. Fallkonstellationen auftreten, in denen der Programmierer die Unternehmensverantwortlichen über den Fehler informiert, diese jedoch entscheiden, nichts zu unternehmen. Fraglich ist, ob der Programmierer mit dem Informieren der Verantwortlichen alles Erforderliche getan hat oder ob an ihn weitere, darüberhinausgehende Sorgfaltsanforderungen zu stellen sind.22 Solche Fragestellungen können nur im Einzelfall gelöst werden. Eine pauschale Beantwortung dieser Fragen verbietet sich an Sander/Hollering, NStZ 2017, 193, 198. In diese Richtung auch Sander/Hollering, NStZ 2017, 193, 198. 22  Dies wurde vom BGH im Falle eines Angestellten bejaht, der sich bei einer Besprechung mit dem zuständigen Geschäftsführer für einen Rückruf aussprach, vgl. BGH, Urt. v. 04.05.1988, 2 StR 89/88. 20  21 

8  Künstliche Intelligenz und das Strafrecht

265

dieser Stelle. Überdies ist es in der heutigen Unternehmenspraxis eher selten, dass ein einzelner Programmierer ein gesamtes Produkt entwickelt. Vielmehr steht hinter einem solchen KI-Produkt ein komplettes Team. In einem solchen Fall des arbeitsteiligen Verhaltens könnte der sog. Vertrauensgrundsatz Anwendung finden.23 Das bedeutet, dass sich jedes Teammitglied grundsätzlich auf das verkehrsgerechte Verhalten der Anderen verlassen kann; bei ersichtlichen konkreten Anhaltspunkten aber intervenieren muss.24 Begeht ein Programmierer im Team einen für Andere nicht offensichtlichen Fehler, so können die anderen Teammitglieder für diesen Fehler nicht zur Verantwortung gezogen ­werden. Die oben beschriebenen KI-Produkte sind nur so gut, wie die Anzahl und die Qualität der bereitgestellten Daten, im Bereich der Mustererkennung namentlich der Bilder. Dabei kommt es nicht selten vor, dass diese Daten nicht nur seitens des Herstellerunternehmens, sondern auch von Dritten zur Verfügung gestellt werden. Sind die Daten eines Dritten fehlerhaft und kommt es hierdurch zu einem Schaden, kann dies im Einzelfall zu einer strafrechtlichen Verantwortung des Dienstleisters führen. Die entscheidende Frage für den Hersteller des KI-Produkts an dieser Stelle wird sein, ob er nicht selbst sorgfaltswidrig handelt, wenn er die erworbenen Daten nicht nochmals überprüft, bevor er diese für das Training seines KI-Produkts verwendet. Problematisch ist hierbei in der Regel die enorme Datenmenge. Wie soll das Herstellerunternehmen diese alle prüfen? Überdies stellt sich die Frage, inwiefern die beim Herstellerunternehmen Tätigen über das erforderliche fachliche Knowhow verfügen, um evtl. fehlerhafte Daten auslesen zu können. Man denke bspw. an die Entwicklung eines medizinischen KI-Produkts zur Tumorerkennung. Selbst Ärzte werden sich bei manchen Bildern uneinig sein, ob ein gut- oder bösartiger Tumor zu erkennen ist – wie soll dann erst ein beim Hersteller Tätiger, i. d. R. technisch Ausgebildeter, erkennen, dass auf einem vorgelegten Bild kein Tumor ist, wie vom Roxin, Strafrecht AT I, § 24, Rn. 25; Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1121. 24  Roxin, Strafrecht AT I, § 24, Rn. 25; Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1121. 23 

266

C. Haagen und A. Lohmann

Datenzulieferer fälschlicherweise behauptet? Bestand zudem kein Grund zu der Annahme, dass fehlerhafte Daten in dem erworbenen Datensatz enthalten sind, so gestaltet sich auch der Vorwurf einer fehlenden Sichtung der Daten u. U. schwierig. Gegen eine solche Sichtungspflicht könnte im Einzelfall sprechen, dass bereits über einen längeren Zeitraum hinweg fehlerfreie Datensätze von diesem Zulieferer erworben worden sind oder, dass der Zulieferer explizit auf eine Fehlerfreiheit hingewiesen habe. Auf der anderen Seite kann ebenso gut argumentiert werden, dass die beim Hersteller Tätigen für das Inverkehrbringen eines fehlerhaften KI-Produkts verantwortlich sind. Die Daten sind gerade das Herzstück einer einwandfrei funktionierenden KI. So könnte vom Hersteller als Mindestsorgfaltsanforderung zumindest verlangt werden, dass die erworbenen Daten stichpunktartig kontrolliert werden, sofern eine Gesamtsichtung aus rein praktischen G ­ ründen nicht möglich ist. Letztlich wird eine solche Fragestellung am Einzelfall zu entscheiden sein. Ein weiteres Problem, das sich wohl überwiegend im Bereich des automatisierten Fahrens stellen wird, ist die strafrechtliche Verantwortung von Zulassungsbehörden.25 Problematisch daran wird v. a. sein, dass eine solche Behörde die technische Bedenkenlosigkeit einzelner KI-Produkte keinesfalls vollumfänglich überprüfen kann, dabei aber gleichzeitig davon ausgehen muss, dass kein KI-Produkt eine hundertprozentige technische Fehlerlosigkeit gewährleisten kann. Auf dieses Problem wird im Folgenden noch genauer eingegangen (Abschn. 8.2.4). Erwirbt der Endkunde schließlich ein KI-Produkt, so kann auch dieser als Eigentümer beim Überlassen des Produkts an einen Dritten zur Verantwortung gezogen werden.26 Möglich scheint hierbei etwa eine fehlende Einweisung in die korrekte Funk­ tionsweise, das Verschweigen einer bekannten Fehlerhaftigkeit oder das Unterlassen der Verwendung von aktualisierten Softwareupdates, wenn hieraus ein Schaden entsteht. Auf dieses Problem weisen auch Sander/Hollering, NStZ 2017, 193, 199 hin. 26  Sander/Hollering, NStZ 2017, 193, 196 verdeutlichen dies am Beispiel des Fahrzeughalters. 25 

8  Künstliche Intelligenz und das Strafrecht

267

Der Endnutzer des KI-Produkts kann jedoch auch durch die eigene Verwendung als Verantwortlicher in Betracht kommen. Dessen strafrechtliche Verantwortung lässt sich v. a. in Fällen annehmen, in denen er das KI-Produkt entgegen der vom Hersteller erläuterten Anwendungsregeln (außerhalb der Systemgrenzen) verwendet und aufgrund dieser Zweckentfremdung ein strafrechtlich relevanter Erfolg eintritt. Zudem müsste die Frage geklärt werden, inwieweit dem Nutzer ein Vorwurf gemacht werden kann, wenn er die KI-Funktion des Produkts bspw. nicht nutzt, beim Verwenden dieser ein Erfolgseintritt aber hätte vermieden werden können. Nach aktueller Rechtslage wird man zumindest im Bereich des automatisierten Fahrens zu dem Ergebnis kommen müssen, dass dem Nutzer eines hoch- oder vollautomatisierten Kfz keine Pflicht obliegt, die einzelnen KI-Systeme zu nutzen. Er ist lediglich gemäß § 1b Abs. 1 StVG dazu verpflichtet, auch während der Übernahme das Verkehrsgeschehen nicht vollkommen außer Acht zu lassen. Weitere Pflichten, wie einen stetigen Einsatz dieser KI-Funktionen, sofern möglich, obliegen dem Fahrer nicht. Vielmehr legt § 1a Abs. 2 Nr. 3 StVG ausdrücklich fest, dass jederzeit eine Übersteuerung oder Deaktivierung des einzelnen Systems durch den Fahrer möglich sein muss. Anders verhält sich dies natürlich, wenn der Einsatz von KI im Laufe der nächsten Jahre verpflichtend wäre. Eine solche Überlegung könnte bspw. im Bereich der Medizin angestellt werden: Zukünftige ärztliche Diagnosen beim Mammografie-Screening sollen nur noch mittels KI durchgeführt werden dürfen, um so die Anzahl der Fehldiagnosen auf ein Minimum zu beschränken. Weigert sich ein Arzt in einem solchen Fall das entsprechende KI-Produkt bei der Diagnose einzusetzen, so kann ihm bei einer daraus folgenden Fehldiagnose eine Sorgfaltspflichtverletzung zur Last gelegt werden, sofern die KI Auffälligkeiten beim Screening erkannt hätte. Zusammenfassend lässt sich festhalten, dass beim Einsatz von KI eine Vielzahl von Handlungssubjekten mit unterschiedlichen Verhaltensweisen strafrechtlich zur Verantwortung gezogen werden können. Es sind diverse Begehungs-, aber auch Unterlassungsdelikte, sowie Vorsatz- und Fahrlässigkeitskombinationen möglich. Die dargestellten Fallszenarien können dabei keinen Anspruch auf Vollständigkeit erheben, vielmehr sollen sie als eine

268

C. Haagen und A. Lohmann

erste Orientierungshilfe und der Sensibilisierung dienen. Insbesondere sind bei diesem Themenkomplex pauschalierte Antworten nicht möglich, sodass letztlich einzelfallabhängig zu entscheiden ist, wer konkret wegen welcher Handlung strafrechtlich zur Verantwortung gezogen werden kann. Im Folgenden beschränken sich die Ausführungen auf eine Betrachtung der Strafbarkeit eines beim Hersteller in leitender Position Tätigen, wie bspw. ein Geschäftsführer einer GmbH. Zur Vereinfachung wird stets nur vom Hersteller gesprochen.

8.2.2.2  Kausalitätserfordernis Der Prüfungspunkt der Kausalität bereitet v. a. bei Schäden, die aufgrund des Inverkehrbringens von Produkten eingetreten sind, einige Schwierigkeiten. So wird es bei Begehungsdelikten – Delikte, die durch ein aktives Tun begangen werden  – häufig ­schwierig sein, den konkreten Zusammenhang zwischen der Verwendung des fehlerhaften Produkts und bspw. der eingetretenen Gesundheitsschädigung zu klären.27 Die Kausalität bei Begehungsdelikten wird mittels der sog. conditio-sine-qua-non-Formel bestimmt (vom RG bereits als Äquivalenz- oder Bedingungstheorie bezeichnet).28 Danach liegt Kausalität vor, wenn die Bedingung des Erfolgs nicht hinweggedacht werden kann, ohne dass der Erfolg in seiner konkreten Gestalt entfiele.29 Dieser Problemkomplex im Bereich der strafrechtlichen Produkthaftung wurde v.  a. durch die Lederspray-Entscheidung des BGH geprägt.30 Es wurde entschieden, dass für die positive Feststellung der Kausalität nicht erforderlich sei, fehlerfrei zu klären, welche Substanz des Produkts den Schaden hervorgerufen hat; es genügt vielmehr, dass alle anderen dafür in Betracht kommenden Ursachen ausgeschlossen werden können.31 Zudem hat der BGH in Wittig, Wirtschaftsstrafrecht, § 6, Rn. 41. Roxin, Strafrecht AT I, §  11, Rn.  6; Rengier, Strafrecht AT, §  13, Rn.  3; Wessels/Beulke/Satzger, Strafrecht AT, Rn. 228. 29  Roxin, Strafrecht AT I, § 11, Rn. 6. 30  BGH, Beschl. v. 06.07.1990, II StR 549/89. 31  BGH, Beschl. v. 06.07.1990, II StR 549/89. 27  28 

8  Künstliche Intelligenz und das Strafrecht

269

einer späteren Entscheidung eine weitere Lockerung dieses Grundsatzes vorgenommen, indem er die zweifelsfreie Mitursächlichkeit des Produkts für die eingetretene Gesundheitsschädigung genügen lässt.32 Die hier getroffenen leitenden Aussagen sind v. a. in Fällen relevant, in denen chemische Produkte im Verdacht stehen, Gesundheitsschädigungen hervorzurufen. Doch auch für den Einsatz von KI könnten diese Grundsätze von Bedeutung sein. KI bringt aufgrund ihrer Autonomie immer eine gewisse Unberechenbarkeit mit sich. So kann in manchen Fällen womöglich nicht nachvollzogen werden, warum es zu einem Schaden gekommen ist. Für die Kausalitätsfeststellung müsste dann entsprechend der vom BGH entwickelten Grundsätze nicht sicher feststehen, welche einzelne Systemfehlfunktion letztendlich für den Schaden ursächlich war. Entscheidend wäre allein, dass das Gesamtprodukt ursächlich war und alle anderen für den Schaden in Betracht kommenden Ursachen ausgeschlossen werden können. Nicht nur bei Begehungsdelikten, sondern auch bei Unterlassungsdelikten stellt sich das Kausalitätsproblem. Das ist v. a. in solchen Fallgestaltungen von Bedeutung, in denen der beim Hersteller tätige leitende Verantwortliche trotz der Fehlerhaftigkeit des Produkts garantenpflichtwidrig bestimmt, keinen Rückruf des Produkts durchzuführen. Um die Ursächlichkeit dieser Entscheidung für den eingetretenen Schaden festzustellen, muss die ursprüngliche conditio-sine-qua-non-Formel modifiziert werden.33 Diese wird beim Unterlassungsdelikt mithilfe der sog. Quasi-­ Kausalität ermittelt.34 Zu fragen ist, ob der Rückruf nicht hinzugedacht werden kann, ohne dass der Erfolg mit an Sicherheit grenzender Wahrscheinlichkeit entfiele.35 Nicht zu leugnen ist, dass in derartigen Fallgestaltungen, bei denen das Produkt bereits beim Endnutzer im Einsatz ist, erhebliche Beweisprobleme

BGH, Beschl. v. 02.08.1995, II StR 221/94. Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1173. 34  Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1173. 35  BGH, Beschl. v. 04.03.1954, III StR 281/53; Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1173. 32  33 

270

C. Haagen und A. Lohmann

a­ uftreten:36 Hätte der Nutzer überhaupt vom Rückruf erfahren? Nutzt der Endabnehmer das Produkt trotz des Rückrufs weiter? Im Einzelfall ist zu klären, ob der Schaden tatsächlich aufgrund des (unterlassenen) Rückrufs ausgeblieben wäre. Ein weiteres Kausalitätsproblem in diesem Zusammenhang besteht darin, wie bereits oben angedeutet, dass häufig die Entscheidung, einen Rückruf zu unterlassen, nicht von einem Einzelnen getroffen wird, sondern mehrere daran beteiligt sind. Auch hier lassen sich wieder verschiedene Konstellationen bilden. So kann ein sich für den Rückruf aussprechender, aber im Wege einer Mehrheitsentscheidung überstimmter Verantwortlicher, grundsätzlich wegen dieser Entscheidung nicht zur Verantwortung gezogen werden.37 Anders liegt der Fall, wenn er der Entscheidung, den Rückruf zu unterlassen, nicht widerspricht, sondern durch sein Verhalten vielmehr stillschweigend (bspw. durch Stimmenthaltung)38 den Beschluss der anderen billigt.39 Entscheidend an den dargelegten Ausführungen ist, dass sich für ein geschlossenes KI-System keine neuen Kausalitätsprobleme stellen. Vielmehr können mit den bestehenden Regeln, die generell in diesem Bereich für die strafrechtliche Produkthaftung gelten, auch Fälle gelöst werden, in denen ein fehlerhaftes geschlossenes KI-System das für die Rechtsgutsverletzung verantwortliche Produkt ist.

8.2.2.3  Vorsatz Nachdem die bisherigen Problemfelder allesamt im objektiven Tatbestand angesiedelt waren, wird im Folgenden auf die subjektive Komponente eines Delikts eingegangen: den Vorsatz. Die kriKuhlen, in: Achenbach/Ransiek/Rönnau (Hrsg.), Handbuch Wirtschaftsstrafrecht, 2. Teil 1. Kap. Rn. 54. 37  Kuhlen, in: Achenbach/Ransiek/Rönnau (Hrsg.), Handbuch Wirtschaftsstrafrecht, 2. Teil 1. Kap. Rn. 46. 38  Wie eine Stimmenthaltung zu werten ist (Nicht-zustande-kommen des Beschlusses oder Wertung als Nein-Stimme), hängt von der jeweiligen Satzung ab. 39  BGH, Beschl. v. 05.05.1988, II StR 89/88. 36 

8  Künstliche Intelligenz und das Strafrecht

271

tischen Prüfungspunkte in diesem Zusammenhang sind deutlich umfangreicher und schwieriger zu handhaben als im objektiven Bereich. Das liegt zum einen an der schwierigen Nachweisbarkeit subjektiver Komponenten im Prozess, zum anderen  – was noch umfangreich zu erörtern sein wird  – an fehlenden Maßstäben, wenn es um den Einsatz autonomer Systeme geht. In Rede stehende Taten in diesem Bereich sind v.  a. die Körperverletzung nach § 223 StGB, der Totschlag nach § 212 StGB oder die Sachbeschädigung gemäß § 303 StGB. 8.2.2.3.1  Das Wissen und Wollen des Erfolgs Der Vorsatz tritt in drei  – nach ihren Anforderungen absteigenden – Erscheinungsformen auf: der Absicht, dem direkten Vorsatz und dem Eventualvorsatz.40 Alle drei Arten setzen sich dabei aus zwei Komponenten, dem Wissen und dem Wollen, zusammen,41 die jedoch in jeweils unterschiedlicher Ausprägung vorliegen müssen.42 Sowohl die Absicht der Tatbestandsverwirklichung als auch der direkte Vorsatz sind in Konstellationen, in denen es zu Schäden nach Inverkehrbringen von KI-Systemen kommt, zwar möglich, aber eher unwahrscheinlich, sodass deren Betrachtung außen vor bleibt. Der Fokus liegt demnach auf dem Eventualvorsatz (dolus eventualis), bei dem die Wissens- und Wollenskomponente jeweils nur schwach ausgeprägt ist.43 Kurzum liegt ein solcher vor, wenn der Täter den Erfolg ernstlich für möglich hält (Wissenskomponente), sich damit abfindet und es billigend in Kauf nimmt (Wollenskomponente), dass sein Verhalten zur Verwirklichung eines gesetzlichen Tatbestands führt.44 Dabei muss sich nur mit dem Risiko der Tatbestandsverwirklichung abge­ funden werden, d. h. der Täter muss eher zur Hinnahme der Folge Wessels/Beulke/Satzger, Strafrecht AT, Rn. 326. BGHSt 36, 1, 10; 51, 100, 119. 42  Nähere Erläuterungen sind in diesem Zusammenhang nicht gewinnbringend und werden nur insofern vorgenommen, als sie für die weiteren Ausführungen von Relevanz sind. 43  Wessels/Beulke/Satzger, Strafrecht AT, Rn. 333. 44  Vgl. BGHSt 21, 283, 284; BGH, NStZ 1999, 507, 508; MüKo StGB/Joecks, § 16, Rn. 52 ff. 40  41 

272

C. Haagen und A. Lohmann

bereit sein, als zum Verzicht auf die Vornahme der Handlung.45 Mithin kann ein Billigen also auch dann vorliegen, wenn dem Täter der Erfolg im Ergebnis höchst unerwünscht ist.46 8.2.2.3.2  V  orsätzliches Verhalten bei Inverkehrbringen eines Produkts Nach dieser kurzen Einführung über die Voraussetzungen des Eventualvorsatzes, soll mit der Erörterung einer Fallkonstellation begonnen werden, die sich nach Inverkehrbringen einer KI ereignen könnte. Daran anschließend erfolgen generelle Erwägungen zu den Problempunkten im Vorsatzbereich. Der Hersteller H produziert ein Fahrzeug, das mit einem deep-learning fähigen Kamerasystem ausgestattet ist. Im Rahmen ausführlicher Tests kam es durch die Kamera immer wieder zu Fehlklassifikationen von Objekten (bspw. zu einem Nicht-­ Erkennen eines Menschen) und damit zu einem simulierten Unfall, bei dem ein Mensch verletzt/getötet wurde. Trotz Kenntnis dieses Mangels entscheidet sich der Vorstand V dafür, das Fahrzeug in diesem Zustand in Umlauf zu bringen. Ihm ist das damit verbundene Risiko bewusst, wobei er hofft, dass es zu keinem Schaden kommen wird. Schließlich will er seinen Umsatz und seinen Gewinn steigern. Bereits nach einigen Wochen kommt es aufgrund der gleichen Situation zu einem tödlichen Unfall, bei dem Person O ihr Leben verliert. Objektiv wurde der Tatbestand des Totschlags, §  212  Abs.  1 StGB, verwirklicht. Als maßgebliche Handlung kann an das Inverkehrbringen des Fahrzeugs angeknüpft werden.47 Subjektiv müsste V wenigstens mit dolus eventualis gehandelt, also die Möglichkeit des Erfolgseintritts erkannt und billigend in Kauf genommen haben. Beides ist in derartigen Konstellationen zu bejahen. Es war bekannt, dass es zu einem solchen Unfall komBGH, NStZ-RR 2004, 164; dazu ausführlich Wessels/Beulke/Satzger, Strafrecht AT, Rn. 339. 46  BGH, NJW 1955, 1688; BGHSt 18, 246, 248. 47  Ebenfalls an die Entscheidung des Inverkehrbringens anknüpfend Sander/ Hollering, NStZ 2017, 193, 197; objektiv ist das Inverkehrbringen kausal für den Tod und letzterer ist dem Vorstand V auch objektiv zurechenbar; ein erlaubtes Risiko – dazu später mehr – lässt die Strafbarkeit hier nicht entfallen. 45 

8  Künstliche Intelligenz und das Strafrecht

273

men kann, denn die Testphase hat gezeigt, dass diese Fehlfunktion immer wieder aufgetreten ist. Da weder Soft- noch Hardware überholt wurden, hat man auf das Problem nicht weiter reagiert. Demnach war (insb. V) bekannt, dass die – wahrscheinliche und nicht fernliegende – Möglichkeit bestand, dass es zu solchen Folgen kommen kann. Auf der anderen Seite kann das entsprechende Willenselement ebenfalls angenommen werden. Es genügt dabei, dass der Täter eher zur Hinnahme des Erfolgs, als zum Verzicht der Vornahme der Handlung geneigt ist. Die meisten wirtschaftlich agierenden Unternehmen fokussieren eine Umsatz- bzw. Gewinnsteigerung. Wird dabei ein Risiko, wie das Inverkehrbringen eines nicht ausgereiften Produkts in Kauf genommen, so kann zwar der Erfolg (Verletzung eines Menschen durch eine Fehlfunktion) höchst unerwünscht sein, man nimmt diesen potenziellen Erfolg aber eher hin, als auf das Inverkehrbringen zu verzichten. Dies genügt nach der Rechtsprechung, um Eventualvorsatz anzunehmen. Somit ist sowohl der objektive als auch der subjektive Tatbestand eines vorsätzlichen Totschlags erfüllt. Darüber hinaus sind in dem vorliegenden fiktiven Fall keine Rechtfertigungs- oder Entschuldigungsgründe gegeben, sodass schlussendlich eine Strafbarkeit des Vorstands nach § 212 Abs. 1 StGB möglich ist.48 8.2.2.3.3  Problemfelder vorsätzlichen Verhaltens Wie bereits aus der kurzen Fallanalyse hervorgeht, können nach deutschem Recht nur natürliche Personen, sprich die hinter dem Unternehmen stehenden Personen und nicht das Unternehmen als solches, strafrechtlich belangt werden.49 Auf den ersten Blick erzeugt es wohl Stirnrunzeln, dass sich Hersteller von KI-­Produkten, gemeint sind die dahinterstehenden Personen wie Unternehmens-

Besteht der Vorstand/die Geschäftsführung aus mehreren Personen, so löst der BGH die Konstellation über die Mittäterschaft: Alle Mitglieder, die für das Inverkehrbringen, also die maßgebende Handlung gestimmt haben, handelten als Mittäter, sodass ihnen der Erfolg gemeinsam, sprich jedem Einzelnen von ihnen zurechenbar ist, siehe BGHSt 37, 106, 129. 49  Siehe dazu Fischer, StGB, Vor § 13, Rn. 1; Schuster, DAR 2019, 6, 7. 48 

274

C. Haagen und A. Lohmann

verantwortliche oder Mitarbeiter des Entwicklungsteams,50 aufgrund einer Vorsatztat zu verantworten haben. Obige Ausführungen zeigen jedoch, dass es sich dabei um kein unwahrscheinliches Szenario handelt. Sicher werden integre Unternehmen Fehler an ihrem Produkt i. d. R. zunächst beheben, bevor es in einem kaum brauchbaren und vor allem unsicheren Zustand in den Verkehr gebracht wird. Das Beispiel war hinsichtlich der Fehlerhäufigkeit sehr klar formuliert, indem der Fehler in der Testphase häufig auftrat und drastische Ergebnisse, wie den simulierten Tod einer Person, erzeugte. Dass ein solches Produkt nicht in Umlauf gebracht werden darf, steht wohl kaum in Frage. Bildet man den Fall nicht mehr so eindeutig, ist es schon zweifelhaft, ob man sich noch im Vorsatzbereich bewegt. So könnte der Fehler nur ein einziges Mal bei tausenden von Testläufen ­aufgetreten sein, wonach eine neue Kalibrierung durchgeführt wurde, sodass es in tausenden neuen Testläufen zu keinem Fehler mehr kam. Oder es kam bei solchen Testläufen zwar nicht zu einem simulierten tödlichen Zusammenstoß, aber zu einem folgenlosen Ausfall der Kamera für wenige Sekunden. In beiden Konstellationen ist fraglich, stellt man auf das Inverkehrbringen des Produkts ab, wonach aufgrund einer Fehlfunktion (Fehlklassifikation) wieder ein tödlicher Unfall verursacht wurde, ob der Sachverhalt noch für die Annahme eines Eventualvorsatzes Raum gibt, oder man sich – wenn überhaupt – im Bereich einer Fahrlässigkeitsstrafbarkeit bewegt. Im ersten Beispiel kommt es zumindest zu einem tödlichen Unfall in der Simulation. In tausend anderen Testläufen funktionierte das System, insb. nach der neuen Kalibrierung, einwandfrei. Dennoch wusste der Hersteller, explizit der Vorstand, der über das Inverkehrbringen entscheidet, dass es zu einer Fehlfunktion und letztlich zu einem Schaden kommen könnte. Auf der Wollens-Seite muss dem Vorstand aber zugutegehalten werden, dass er den Fehler wohl behoben und im Anschluss tausende Tests ohne Auffälligkeiten durchgeführt hat. Er hat sich gerade nicht für ein Inverkehrbringen, sondern für eine Nachbesserung des Produkts entschieden. Dadurch wurde gezeigt,

Schuster, DAR 2019, 6, 7.

50 

8  Künstliche Intelligenz und das Strafrecht

275

dass dem Vorstand ein solcher Erfolg (Schaden nach Fehlfunktion) nicht nur höchst unerwünscht ist, sondern dass er sogar  – nach den Testläufen erfolgreich – das Produkt verbessert hat. Somit nähme er in einem solchen Fall den Erfolg nicht billigend in Kauf, sodass ein dolus eventualis abzulehnen wäre.51 Im zweiten Beispiel ist noch nicht einmal in der Simulation ein tödlicher Unfall aufgetreten, sodass bereits die Wissenskomponente des Eventualvorsatzes fraglich ist, in der der Erfolg zumindest für möglich gehalten werden muss. Argumentativ könnte das „Für-möglich-­ halten“ darin gesehen werden, dass es nur vom Zufall abhing, ob es in der kurzen Ausfallzeit zu einem Unfall kommt und der Hersteller somit angehalten wäre, das Produkt nachzubessern und erneut zu testen. Jedenfalls lässt sich ein billigendes in Kauf nehmen des Erfolges nur schwerlich konstruieren, wenn noch nicht einmal ein solches Ereignis in der Simulation auftrat. Hier ist also allenfalls Raum für eine Fahrlässigkeitsstrafbarkeit. Nun stellt sich die Frage, ob nach einer gewissen Anzahl an fehlerfreien Testläufen oder einer fehlerfreien Testphase dem Hersteller irgendwann kein Vorsatz für spätere potenzielle Schäden mehr vorgeworfen werden kann. Anders formuliert: Wie viele Testläufe sind erforderlich, damit sich der Hersteller entlasten kann? Auf diese Frage kann keine spezifische Antwort gegeben werden, zumal sich die Rechtsprechung dahingehend noch nicht geäußert hat und keine gesetzlichen Vorgaben existieren. Anknüpfungspunkt sollte der Umfang des Eventualvorsatzes sein, sprich das „Für-möglich-halten“ und billigende „In-Kauf-­ nehmen“ des Erfolges. Für möglich kann ein Erfolg nur gehalten werden, wenn es Anhaltspunkte für dessen Eintritt gibt. Wie bereits erläutert ist die Wissenskomponente abzulehnen, wenn ausreichend Testläufe durchgeführt wurden und es zu keiner Fehlfunktion kam. Vorsatz erfordert, auch in Gestalt des Eventualvorsatzes, dass dem Täter das Risiko des Erfolgseintritts vor Augen steht, und er deshalb nicht mehr auf das Ausbleiben der

Zu diskutieren wäre, ob in einem solchen Fall nicht bereits der objektive Tatbestand aufgrund des erlaubten Risikos entfallen würde. Zudem kommt möglicherweise eine Fahrlässigkeitsstrafbarkeit in Betracht. 51 

276

C. Haagen und A. Lohmann

Tatbestandsverwirklichung vertrauen kann.52 Sollten sich also in der Testphase wirklich keinerlei Auffälligkeiten zeigen, die auf eine Fehlfunktion schließen lassen, so wird die Wissenskomponente des Vorsatzes kaum anzunehmen sein. Ohne jeglichen Hinweis auf einen nur ansatzweise möglichen Taterfolg spricht daher alles dafür, den Vorsatz abzulehnen. Daraus lässt sich nun i. R. d. Vorsatzes aber auch schließen, dass es nicht einmal auf die Durchführung einer Testphase bzw. von Testläufen (solange diese nicht gesetzlich vorgeschrieben sind) ankommen kann. Maßgeblich sind nämlich Indizien und Tatsachen, die für einen potenziellen (Tat-)Erfolg, ausgelöst bspw. durch eine Fehlfunktion, sprechen. Denn beim Vorsatz muss der Täter eine Situation für gegeben halten, die sich als konkretes Risiko einer Tatbestandsverwirklichung darstellt.53 Wenn also schon keine Testphase durchgeführt wird, können dabei auch keine Anhaltspunkte über Fehler im Produkt zu Tage kommen. Anders verhält es sich natürlich, wenn dem Hersteller bereits bei der Entwicklung und Produktion Fehler bekannt werden. Übertragen auf den Hersteller kann diesem wohl kein vorsätzliches Verhalten angelastet werden, solange er über keine Fehlfunktionen bzw. Unsicherheiten des Produkts Bescheid weiß. Ein KI-Produkt ohne jedwede Testläufe in den Verkehr zu bringen stellt jedoch zweifelsohne ein fahrlässiges Verhalten dar. Relevant könnte zudem eine Strafbarkeit aufgrund vorsätzlichen Unterlassens sein. Dies käme in Betracht, wenn der Hersteller es unterlässt, seine Entwicklung und Produktion derart zu überwachen, dass er von einem potenziellen Fehler hätte wissen können. Es bleibt dahingestellt, ob und wieweit eine Pflicht des Herstellers besteht, die Entwicklung und Produktion zu überwachen und zu kontrollieren.54 Jedenfalls müsste im subjektiven Bereich ein Wissen i. S. e. „Für-möglich-haltens“ dahingehend bestehen, dass seine unterlassene Überwachung zu einer konkreten Todesfolge nach Inverkehrbringen führen könnte. Ohne konkrete Anhaltspunkte wird sich dies aber ebenfalls nicht annehmen Siehe dazu Kindhäuser/Hilgendorf, StGB, § 15, Rn. 120. Kindhäuser/Hilgendorf, StGB, § 15, Rn. 120. 54  Zu Pflichten des Herstellers im Rahmen einer strafrechtlichen Produkthaftung siehe S/S/Sternberg-Lieben/Schuster, StGB, § 15, Rn. 216 ff. 52  53 

8  Künstliche Intelligenz und das Strafrecht

277

lassen, sodass in solchen Fällen eher eine Fahrlässigkeitshaftung in Betracht kommt. Eine Wissenszurechnung von Arbeitnehmern – wie im Zivilrecht üblich55 – an den Arbeitgeber existiert im Strafrecht gerade nicht. Gleiches gilt für das Zurechnen von Handeln über § 278 BGB.56 Demnach kann der Hersteller im Strafrecht grundsätzlich nicht für Handeln und Wissen seiner Arbeitnehmer bestraft werden. Eine täterschaftliche Zurechnung kann nur über § 25 StGB erfolgen.57 Solange der Hersteller also weder mittelbarer Täter noch Mittäter ist, scheidet seine Strafbarkeit für ein Handeln oder Wissen seiner Arbeitnehmer aus. 8.2.2.3.4  Relevanz der Vorsatzstrafbarkeit Die Fälle, in denen der Hersteller sich einer Vorsatztat schuldig machen würde, sind überschaubar. Zwar sind die Anforderungen an einen Eventualvorsatz nicht allzu hoch, aus praktischer Sicht jedoch eher selten gegeben.58 Denn die Wissenskomponente („Für-möglich-halten“ des Erfolges) erfordert, dass der Hersteller es anhand von Indizien und Tatsachen für möglich halten muss, dass es zu einem konkreten Erfolgseintritt kommen wird. Ohne jedwede Auffälligkeiten bei der Entwicklung, Herstellung oder einer sich anschließenden Testphase wird dies nur selten gegeben sein, da schlichtweg keinerlei Anhaltspunkte für potenzielle Tatbestandsverwirklichungen bestehen. Es stellt sich nun die Frage, wo die Besonderheit des Einsatzes Künstlicher Intelligenz liegt. Die KI wird verwendet, um die Gegenstände der Kameraaufnahmen zu klassifizieren. Dabei greift sie auf einen bereits vorab festgelegten Pool an angelernten Daten Nach welcher Vorschrift sich diese Zurechnung richtet und das Wissen welcher Arbeitnehmer sich der Arbeitgeber zurechnen lassen muss ist strittig, siehe dazu Palandt/Ellenberger, BGB, §  166, Rn.  6  f.; BeckOGK BGB/Raab-Gaudin, § 634a, Rn. 437 ff. 56  Siehe dazu BeckOGK BGB/Schaub, § 278, Rn. 2. 57  Näher dazu Fischer, StGB, § 25, Rn. 2 ff. 58  So auch Schuster, DAR 2019, 6, 7 sowie S/S/Sternberg-Lieben/Schuster, StGB, § 15, Rn. 216; mit weiterer Begründung Sander/Hollering, NStZ 2017, 193, 195 f. 55 

278

C. Haagen und A. Lohmann

zu. Während des Betriebs gleicht sie also nur die aktuellen Aufnahmen mit den vom Hersteller eingespeisten Daten ab. Sollte dabei eine Fehlklassifikation erfolgen, liegt dies bei Handlungen, die auf den Hersteller zurückfallen (bspw. fehlerhaft angelernte Daten, fehlerhafte Programmierung der Software, Einsatz unzuverlässiger Hardware, etc.) in dessen Verantwortungsbereich. Eine Vorsatzstrafbarkeit kommt jedoch nur unter den oben genannten Bedingungen in Betracht.

8.2.2.4  Fahrlässiges Herstellerverhalten Der wohl wichtigste Bereich, wenn es um die strafrechtliche Verantwortlichkeit beim Einsatz Künstlicher Intelligenz geht, ist die Fahrlässigkeit. Wie im vorherigen Kapitel gezeigt wurde, kommt eine Vorsatzstrafbarkeit nur selten in Betracht. Relevanter und praxisnäher ist vielmehr ein Fahrlässigkeitsvorwurf an die Hersteller.59 Um die Systematik beizubehalten wird zunächst kurz auf den Umfang und die Anforderungen an die strafrechtliche Fahrlässigkeit eingegangen, woran sich die Erörterung im Kontext einer Herstellerstrafbarkeit in Hinblick auf KI-Produkte anschließt. 8.2.2.4.1  Grundsätze zur strafrechtlichen Fahrlässigkeit Grundlegend geht das dt. StGB von einer Vorsatzstrafbarkeit aus und bestraft fahrlässiges Verhalten nur dann, wenn es explizit im Gesetz vorgesehen ist, was sich aus § 15 StGB ergibt. Relevant sind dabei im Bereich der strafrechtlichen Produkt-/Produzentenhaftung insb. die §§ 222, 229 StGB.60 Fahrlässigkeit ist im Gesetz nicht definiert. Sie unterscheidet sich vom Vorsatz, indem sie keinen Willen zur Tatbestandsverwirklichung in Kenntnis aller objektiven Tatbestandsmerkmale erfordert.61 Maßgeblich ist vielmehr die ungewollte Verwirklichung Siehe dazu insb. Sander/Hollering, NStZ 2017, 193, 196; Schuster, DAR 2019, 6, 7. 60  Darüber hinaus hält Schuster, DAR 2019, 6, 7 f. § 315b StGB in der Variante des „ähnlichen, ebenso gefährlichen Eingriff“ für relevant, da über Abs. 4 und Abs. 5 auch eine fahrlässige Begehungsweise möglich ist. Dies wird bei der vorliegenden Betrachtung außen vorgelassen. 61  Zu Inhalt und Anforderungen an die Fahrlässigkeit Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1102 ff. 59 

8  Künstliche Intelligenz und das Strafrecht

279

des gesetzlichen Tatbestands durch eine pflichtwidrige Vernachlässigung der im Verkehr erforderlichen Sorgfalt.62 Dabei steht das Merkmal der „Sorgfaltspflichtverletzung“ im Mittelpunkt, wobei auch die Elemente der „Vorhersehbarkeit“, „Erkennbarkeit“ und „Vermeidbarkeit“ eine Rolle spielen.63 8.2.2.4.2  Ausgangsfall Anknüpfungspunkt für die sich anschließenden Erörterungen soll folgender Ausgangsfall sein: Hersteller H produziert ein Fahrzeug, das mit einem Kamerasystem ausgestattet ist, welches anhand einer Mustererkennung Gegenstände klassifiziert. Zusätzlich ist das Kfz mit weiteren Sensoren verschiedener Hersteller ausgestattet, die ebenfalls Klassifizierungen und Messungen vornehmen. Anhand dieser Klassifizierungen richtet das Fahrzeug seine Steuerung aus. Nach mehreren Testläufen funktionierte das Produkt einwandfrei und wurde in den Verkehr gebracht. Nach ca. zwei Jahren kommt es zu einem für den Passanten P tödlichen Zusammenstoß mit dem Fahrzeug. Die Auswertung des Fahrzeugspeichers zeigte, dass das Fahrzeug seit Inverkehrbringen mehrere Fehlfunktionen hatte, die für den Fahrer/Halter unbemerkt blieben und zu keinen Konsequenzen führten, aber bei Auslesen des Fahrzeugspeichers erkennbar gewesen wären. Der Anspruch ist nicht, diesen Fall anhand der aktuellen Gesetzeslage zu lösen. Vielmehr soll er als Anknüpfungspunkt für sich in diesem Themenbereich allgemein stellende Probleme dienen. 8.2.2.4.3  Sorgfaltspflichten Die erste Frage betrifft die Bestimmung der Sorgfaltspflichten der Hersteller, die sie im Rahmen des Vertriebs ihrer Produkte, in diesem Fall ihrer KI-Produkte walten lassen zu haben. Sorgfaltspflichten sind primär aus der zivilrechtlichen Produkthaftung

Engisch, Untersuchungen über Vorsatz und Fahrlässigkeit im Strafrecht, S.  269; Roxin, Strafrecht AT I, §  24, Rn.  4; Rengier, Strafrecht AT, §  52, Rn. 15. 63  Ausführlich dazu Roxin, Strafrecht AT I, § 24, Rn. 9 ff. 62 

280

C. Haagen und A. Lohmann

bekannt.64 Die strafrechtlichen Sorgfaltspflichten des Herstellers decken sich dem Grunde nach mit den Verkehrspflichten, denen Hersteller im Rahmen der Produkthaftung ausgesetzt sind.65 Jedoch können im Strafrecht nur natürliche Personen  – und nicht wie im Zivilrecht auch das Unternehmen als solches – verantwortlich gemacht werden, weshalb aufgrund des persönlichen Risikos im Strafrecht höhere Voraussetzungen gelten müssen.66 Der Maßstab, den die Hersteller stets anzuwenden haben, ist, wie bereits ausgeführt, die im Verkehr erforderliche Sorgfalt. Verkehrssicherungspflichten Diese erforderliche Sorgfalt wird außer Acht gelassen, wenn der Hersteller die wegen der Eröffnung einer neuen Gefahrenquelle für ihn bestehenden Verkehrssicherungspflichten in vermeidbarer Weise verletzt hat.67 Solche Verkehrssicherungspflichten korrespondieren mit der o. g. „im Verkehr erforderlichen Sorgfalt“. Sie resultieren aus der Pflicht zur Abwehr von Gefahren, die auf dem Zustand von Sachen, Anlagen oder Einrichtungen in einem bestimmten Herrschaftsbereich beruhen.68 Hintergrund dieser Pflichten ist der Grundsatz, dass Rechtsgüter nicht verletzt werden dürfen.69 Solche Pflichten können sich aus geschriebenen und ungeschriebenen Regeln ergeben.70 Relevant sind gerade in diesem Kontext das Regelwerk „Funktionale Sicherheit sicherheitsbezogener elektrischer/elektronischer/programmierbarer elektronischer Systeme“ (IEC 61508) und insb. die Konkretisierung für Kfz durch Siehe dazu ausführlich MüKo BGB/Wagner, § 823, Rn. 806 ff. Siehe BGHSt 53, 38, 42; so die wohl h.M. vgl. Kuhlen, Fragen einer strafrechtlichen Produkthaftung, S. 87 f.; wobei Schuster, DAR 2019, 6, 8 davon ausgeht, dass die zivilrechtlichen Pflichten aufgrund der Versicherbarkeit des Schadensrisikos höher anzusetzen sind als die strafrechtlichen. 66  Kuhlen, in: Achenbach/Ransiek/Rönnau (Hrsg.), Handbuch Wirtschaftsstrafrecht, 2. Teil 1. Kap. Rn. 6. 67  Sander/Hollering, NStZ 2017, 193, 197. 68  Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1187. 69  RGSt 19, 51, 53; Alexander, Die strafrechtliche Verantwortlichkeit für die Wahrung der Verkehrssicherungspflichten im Unternehmen, S. 56. 70  Vgl. Rengier, Strafrecht AT, §  52, Rn.  16; zu geschriebenen Regeln als staatliche Vorgaben siehe Alexander, Die strafrechtliche Verantwortlichkeit für die Wahrung der Verkehrssicherungspflichten im Unternehmen, S. 82 ff. 64  65 

8  Künstliche Intelligenz und das Strafrecht

281

die Normung DIN 26262.71 Relevant sind zudem die allgemein anerkannten Regeln der Technik, da diese als Anleitungen für handwerkliche oder industrielle Verfahrensweisen zur Herstellung oder Verwendung technischer Anlagen, Geräte, Maschinen, Bauwerke und ähnlichem dienen.72 Danach lässt sich abstrakt formulieren, dass sich der Hersteller an all diese Vorgaben halten muss, um seiner Verkehrssicherungspflicht nachzukommen. Diese müssen bei der Konstruktion, Fabrikation und Instruktion (dazu noch später) beachtet werden. Missachtet der Hersteller in irgendeinem Stadium diese gesetzlichen Bestimmungen, so kann ihm vorgeworfen werden, dass er die im Verkehr erforderliche Sorgfalt außer Acht gelassen hat. Bspw. können Straßenverkehrsnormen als Grundlage herangezogen werden. Nach der Einfügung des § 1a StVG im Jahre 2017 kann allein aus dem Inverkehrbringen von automatisierten Fahrzeugen, welche den dort vorgegebenen Anforderungen genügen, nicht mehr auf ein sorgfaltswidriges Verhalten seitens des Herstellers geschlossen werden. Relevante Verkehrsnormen sind u. a. die bereits genannten IEC und DIN-Normen, wobei diese jedoch keine gesetzlichen Bestimmungen, sondern nur von Interessenverbänden geschaffene Regelwerke sind.73 Aus diesem Grund kann deren Missachtung nicht zwingend zu einem Sorgfaltsverstoß führen, sondern nur ein starkes Indiz für einen Verstoß darstellen.74 Daran schließt sich nun die Frage an, was von den Herstellern im Rahmen der Verkehrssicherungspflichten erwartet werden kann. Möglichkeit und Zumutbarkeit Die Anforderung an den Hersteller, sowie vermutlich dessen Ansporn selbst, ist, die höchst mögliche Sicherheit zu gewährleisten. Zweifelsohne kann nicht erwartet werden, dass der Hersteller abJänich/Schrader/Reck, NZV 2015, 313, 317; Sander/Hollering, NStZ 2017, 193, 198. 72  BVerfGE 49, 89, 135; sowie ausführlich dazu Alexander, Die strafrechtliche Verantwortlichkeit für die Wahrung der Verkehrssicherungspflichten im Unternehmen, S. 89 ff. 73  So Roxin, Strafrecht AT I, § 24, Rn. 18. 74  Roxin, Strafrecht AT I, § 24, Rn. 19; Gomille, JZ 2016, 76, 82. 71 

282

C. Haagen und A. Lohmann

solute Sicherheit gewährleistet.75 Dies würde ihn über Gebühr belasten und wäre, da es immer zum Eintritt unvorhergesehener Ereignisse kommen kann, schlichtweg unmöglich. Grundsätzlich wird vom Hersteller die Sorgfalt erwartet, die ein verständiger und umsichtiger, in vernünftigen Grenzen vorsichtiger Mensch im Rahmen der Sicherungserwartungen des jeweiligen Verkehrskreises für ausreichend halten darf, um andere Personen vor Schäden zu bewahren.76 Nach aktueller BGH Rechtsprechung hat der Hersteller mithin zur Gewährleistung der erforderlichen Produktsicherheit diejenigen Maßnahmen zu treffen, die nach den Gegebenheiten des konkreten Falls zur Vermeidung bzw. Beseitigung einer Gefahr objektiv erforderlich und nach objektiven Maßstäben zumutbar sind.77 Kurzum hat der Hersteller diejenige Sorgfalt anzuwenden bzw. diejenige Sicherheit zu gewährleisten, die ihm möglich und zumutbar ist.78 Die Möglichkeit und Zumutbarkeit sind zwei Begriffe, die zunächst wenig Aussagegehalt besitzen. Anders formuliert, muss der Hersteller alles in seiner Macht Stehende vornehmen, um das Produkt so sicher wie möglich zu machen, wobei er aber nicht über das Maß der Zumutbarkeit beansprucht werden darf. Die Zumutbarkeit sei so lange gegeben, bis die Kosten, welche durch die erhöhte Sorgfalt entstehen, die Summe der Schäden, welche durch sie vermieden werden, übersteigen.79 Demzufolge sind die Sorgfaltspflichten besonders hoch, wenn schwerwiegende Schäden, insb. an Leben, Gesundheit und körperlicher Unversehrtheit drohen.80 Übertragen auf den Beispielsfall stellt sich die Frage der Möglichkeit und Zumutbarkeit in Bezug auf die Anzahl der durchzu-

Siehe BGHSt 53, 38, 42; BGH, NJW 2013, 48, 48; OLG Celle, VersR 2004, 1010, 1010. 76  BGH, NJW 2018, 2956, 2957; Palandt/Sprau, BGB, § 823, Rn. 51. 77  BGH, NJW 2009, 1669, 1670. 78  Ausführlich dazu MüKo BGB/Wagner, § 823, Rn. 809. 79  BGH, NJW 1981, 1603, 1604; NJW 2009, 1669, 1670. 80  BGH, NJW 2009, 2952, 2953; BeckOGK BGB/Spindler, § 823, Rn. 403; Schuster, DAR 2019, 6, 8. 75 

8  Künstliche Intelligenz und das Strafrecht

283

führenden Testläufe. Hier spielt eine Vielzahl an Faktoren eine Rolle, weshalb keine explizite Aussage in absoluten Zahlen möglich sein wird. Maßgeblich sind wohl die potenzielle Gefährlichkeit des Produkts, der Umfang eines Testlaufs, die bereits aufgetretenen Komplikationen bei der Herstellung, der zu erwartende Einsatzbereich etc. Klar und unstreitig ist wohl, dass eine hohe Anzahl an fehlerfreien Testläufen bzw. eine lange Testphase für das Unternehmen besser sind als zu wenige bzw. eine zu kurze. Im Beispielsfall stehen im Bereich des automatisierten Fahrens die Rechtsgüter Leben und körperliche Unversehrtheit in Rede. Diese sind außerordentlich gewichtige Rechtsgüter, weshalb ein höherer Aufwand durch den Hersteller in Gestalt von Intensität, Dauer und Umfang der Testläufe erwartet werden muss. Ob die Testphase in einem konkreten Schadensfall ausreichend gewesen ist oder nicht, ist jeweils eine Einzelfallentscheidung, wobei eine hohe Quantität sicher nicht nachteilig ist. Der Hersteller steht dabei in der Pflicht darzulegen, dass er alles ihm Mögliche und Zumutbare getan hat, um Schäden zu vermeiden. Konstruktion, Fabrikation und Instruktion Nachdem nun der Umfang der Sorgfaltspflichten durch die „Möglichkeit“ und die „Zumutbarkeit“ begrenzt wurden, können sie – wie auch im Zivilrecht – in die Konstruktions-, Fabrikations- und Instruktionspflichten aufgeteilt werden.81 Von der Art der Pflichtverletzung könnte es u. a. abhängen, welche Person strafrechtlich für eine Sorgfaltspflichtverletzung verantwortlich gemacht werden kann.82 Während bei der Konstruktion v. a. Programmierer im Mittelpunkt stehen, müssen i. R. d. Fabrikation auch die verantwortlichen Entscheidungsträger und Konstrukteure in Betracht gezogen werden.83

Sander/Hollering, NStZ 2017, 193, 197; Schuster, DAR 2019, 6, 8. Siehe dazu ausführlich Alexander, Die strafrechtliche Verantwortlichkeit für die Wahrung der Verkehrssicherungspflichten im Unternehmen, S. 66. 83  Sander/Hollering, NStZ 2017, 193, 198. 81  82 

284

C. Haagen und A. Lohmann

Konstruktionsfehler ziehen sich durch eine ganze Serie und liegen insb. dann vor, wenn das Produkt im Zeitpunkt des Inverkehrbringens hinter dem aktuellen Stand der Technik und dem gebotenen Sicherheitsstandard zurückbleibt.84 Ein Beispiel wäre ein fehlerhafter Bauplan, sodass die Kamera im Kfz an einer Position angebracht wird, von der aus sie den rechten Fahrbahnrand und damit auch den Gehweg nicht wahrnehmen kann. Sollte eine solche Fehlkonzeption ursächlich für einen Unfall sein, so ergeben sich keine Besonderheiten durch KI-Produkte im Vergleich zu klassischen Produkten. Im Bereich der Konstruktion müssen insb. auch die bereits erwähnten IEC und DIN-Normen beachtet werden. Die danach folgende Fabrikation könnte Fehler umfassen, bei denen einzelne Stücke (Ausreißer) von dem in der Produktserie angestrebten Standard abweichen.85 Diese Fehler hat der Hersteller im zivilrechtlichen Haftungsbereich grundsätzlich auch dann zu verantworten, wenn sie trotz aller zumutbaren Vorkehrungen unvermeidbar gewesen sind.86 Jedoch können im Strafrecht Grundsätze zum erlaubten Risiko (siehe dazu unten) herangezogen werden. Solange diese Grundsätze eingehalten werden, muss sich der Hersteller kein strafrechtlich fahrlässiges Verhalten vorwerfen lassen. Auch bei derartigen Fehlern besteht keine Besonderheit von KI-Produkten im Vergleich zu klassischen Produkten. Relevant könnte zuletzt die Verletzung einer Instruktionspflicht sein, bspw. in Hinblick auf die Funktionsweise und Verwendung von Fahrassistenzsystemen.87 Der Hersteller muss die jeweilige Systemgrenze und die Folgen derer Überschreitung/Verletzung mitteilen.88 In diesem Zusammenhang gilt das Gleiche wie oben,

BGHZ 181, 253, 258; BGH, NJW 2013, 1302, 1303; MüKo BGB/Wagner, § 823, Rn. 818; Sander/Hollering, NStZ 2017, 193, 198. 85  Lutz/Tang/Lienkamp, NZV 2013, 57, 61; Gomille, JZ 2016, 76, 77; Palandt/Sprau, ProdHaftG, § 3, Rn. 9. 86  Lutz/Tang/Lienkamp, NZV 2013, 57, 61; Hintergrund ist eine verschuldensunabhängige Gefährdungshaftung über das ProdHaftG. 87  Siehe dazu Sander/Hollering, NStZ 2017, 193, 198 f. 88  Lutz/Tang/Lienkamp, NZV 2013, 57, 61. 84 

8  Künstliche Intelligenz und das Strafrecht

285

es existieren bei einer Instruktionspflichtverletzung keine Besonderheiten bei einem KI-Produkt. Um Rekurs auf den Ausgangsfall zu nehmen, lässt sich vermuten, dass die Fehlfunktion der Kamera auf einen Konstruktions- oder Fabrikationsmangel zurückzuführen ist. Ein Indiz dafür wäre das bereits mehrfache Auftreten der Fehlfunktion über die zwei Betriebsjahre hinweg. Da jedoch  – mangels Angaben im Sachverhalt – nicht klar ist, worauf der Fehler genau beruht, kann keine Aussage hinsichtlich einer Strafbarkeit getroffen werden. Produktbeobachtungspflicht Relevanter im aktuellen Themenkomplex als die bisher erörterten drei Fehlerarten ist die vom Hersteller zu beachtende Produktbeobachtungspflicht. Während Konstruktions- und Fabrikationsfehler nur relevant sind, wenn sie dem Produkt im Zeitpunkt seiner Inverkehrgabe anhaften,89 spielt die Produktbeobachtungspflicht erst dann eine Rolle, wenn sich das Produkt schon im Verkehr befindet.90 Genau darin begründet sich auch die nachträgliche Beobachtungspflicht, da die zeitpunktbezogenen Sorgfaltspflichten auf einer historischen Risikoeinschätzung beruhen und mithin überholt werden können, das Produkt aber weiterhin im Verkehr gelassen wird und eine Gefahr erst in der tatsächlichen Anwendung auftreten kann.91 Eine genaue Definition des Umfangs von Produktbeobachtungspflichten existiert gerade nicht. Wie bei den Erörterungen zur Möglichkeit und Zumutbarkeit kommt es bei der Intensität der Pflicht darauf an, wie bewährt das Produkt ist, wie lange es bereits in welcher Stückzahl am Markt vorhanden ist und mit welchem Schädigungspotenzial zu rechnen ist.92

Gomille, JZ 2016, 76, 78. Alexander, Die strafrechtliche Verantwortlichkeit für die Wahrung der Verkehrssicherungspflichten im Unternehmen, S. 70 ff. 91  Näher dazu MüKo-BGB/Wagner, § 823, Rn. 837; Schuster, DAR 2019, 6, 9; BeckOGK BGB/Spindler, § 823, Rn. 657. 92  Näher zu der aktiven und passiven Produktbeobachtung des Herstellers bei MüKo BGB/Wagner, § 823, Rn. 838 sowie BeckOGK BGB/Spindler, § 823, Rn. 658 ff. 89  90 

286

C. Haagen und A. Lohmann

Bei KI-Produkten handelt es sich um eine relativ neue Art von Gefahrenquellen. Ihre Handlungen sind teilweise nicht nachvollziehbar und auch nicht vorhersehbar.93 Sie agieren frei und ohne menschlichen Einfluss mit ihrer Umwelt, was eine besondere Gefährlichkeit mit sich bringt. Gerade im Straßenverkehr sind bedeutende Rechtsgüter der Verkehrsteilnehmer bzw. Passanten dieser Gefährlichkeit ausgesetzt. Dies spricht für eine erhöhte Produktbeobachtungspflicht der Hersteller bei derartigen Produkten. Zudem besteht ein hohes Schädigungspotenzial, v. a. dann, wenn die KI-Einheit direkt mit Menschen interagiert. Nichts Anderes darf gelten, wenn erst wenige solcher Produkte im Umlauf sind. Denn die Unberechenbarkeit der KI in Kombination mit der fehlenden Nachvollziehbarkeit erhöht die von ihr ausgehende Gefahr.94 In diesem Bereich kann nun von einer Besonderheit des Einsatzes von KI-Einheiten gesprochen werden. Klassische Produkte, die noch nicht vermehrt eingesetzt werden, ziehen wohl keine solch intensive Produktbeobachtungspflicht nach sich. Allein die Aussage, dass bei KI-Produkten wohl höhere Sorgfaltsanforderungen i. S. e. Produktbeobachtungspflicht bestehen, präzisiert noch nicht, wie diese genau umzusetzen ist. Eine rein passive Pflicht zur Auswertung von Kundenbeschwerden wird keinesfalls genügen.95 Der Schwerpunkt dürfte auf einer aktiven Pflicht zur Generierung von Informationen über Schadensrisiken des eigenen Produkts liegen.96 Dies kann erneut v.  a. damit begründet werden, dass mit dem Produkt ein hohes Schädigungspotenzial einhergeht, sowie dass die Bevölkerung – gerade im Bereich des autonomen Fahrens – hohe Sicherheitserwartungen an

Vgl. Böhringer, RAW 1/19, 13, 13. So spricht Böhringer, RAW 1/19, 13, 13 von einer Erhöhung der „abstrakten Gefährlichkeit“ durch die Unberechenbarkeit; siehe auch Beck, Selbstfahrende Kraftfahrzeuge – aktuelle Probleme der (strafrechtlichen) Fahrlässigkeitshaftung, in: Oppermann/Stender-Vorwachs (Hrsg.), Autonomes Fahren, S. 38 f. 95  Zur passiven Produktbeobachtungspflicht siehe MüKo BGB/Wagner, § 823, Rn. 838. 96  Zu einer solchen aktiven Produktbeobachtungspflicht BeckOGK BGB/Spindler, § 823, Rn. 658. 93  94 

8  Künstliche Intelligenz und das Strafrecht

287

derartige Produkte stellt.97 Fraglich ist, welche Auswirkungen das auf den Ausgangsfall hat. Hätte der Hersteller das Kfz aktiv durch Auslesen des Fehlerspeichers kontrolliert, so hätte wahrscheinlich eine Nachbesserung erfolgen können. Dabei stellt sich jedoch die Frage, ob der Hersteller zur Kontrolle jedes einzelnen Fahrzeugs angehalten ist. Dies würde einen immensen, kaum zumutbaren Aufwand bedeuten, der dem Hersteller wohl nicht aufgebürdet werden kann. Im Umkehrschluss bedeutet das aber nicht, dass er keine Fahrzeuge kontrollieren muss. Vielmehr könnte mit der erhöhten Produktbeobachtungspflicht eine zumindest stichprobenartige Kontrollpflicht verbunden sein. Demnach hätte der Hersteller bei dieser Serie vereinzelte Kontrollen (bspw. durch Auslesen der Fehlerspeicher) durchführen müssen. Hat er auf diese Weise eine Kontrolle durchgeführt und waren keine Auffälligkeiten erkennbar, hat er seiner Produktbeobachtungspflicht genüge getan und ihm kann kein Sorgfaltsverstoß vorgeworfen werden. Hat er keinerlei Kontrollen durchgeführt, muss Gegenteiliges gelten. Wie umfangreich und in welcher Qualität Kontrollen durchgeführt werden müssen, ist stets, unter Heranziehung obiger Kriterien, eine Frage des Einzelfalls. Da der Fehler im hiesigen Fall jedoch in zwei Jahren wiederholt aufgetreten ist, wird er wohl auch bei anderen Produkten der gleichen Serie zu finden sein. Demnach hätte eine selbst stichprobenartige Kontrolle den Fehler aufdecken müssen, weshalb eine Verletzung der Produktbeobachtungspflicht naheliegt. In diesem Zusammenhang stellt sich zudem die Frage, auf welche Art und Weise eine Nachbesserung bei den Produkten erforderlich ist, deren Fehlerhaftigkeit durch die Produktbeobachtung oder durch Hinweise der Nutzer bekannt geworden ist. Grundsätzlich ist der Hersteller in solchen Fällen nur zu Warnungen und ggf. einem Rückruf verpflichtet.98 Eine darüberhinausgehende Pflicht des Herstellers das Sicherheitsrisiko auf seine Kosten zu beseitigen besteht nach Ansicht des BGH nur dann, wenn eine Gefährdung der durch § 823 Abs. 1 BGB geschützten Rechtsgüter Diese Argumentation stützend MüKo BGB/Wagner, § 823, Rn. 839. Die Anforderungen an die Pflichten des Herstellers in solchen Fällen wurden ausführlich in BGH, NJW 2009, 1080, 1081 ff. dargelegt. 97  98 

288

C. Haagen und A. Lohmann

durch das fehlerhafte Produkt lediglich auf diese Weise effektiv beseitig werden kann.99 Die Kriterien für Inhalt und Umfang der erforderlichen Maßnahmen sind das gefährdete Rechtsgut sowie die Größe der Gefahr.100 Eine relevante Nachbesserung wäre bspw. ein Update der Systemsoftware der KI.101 Das erlaubte Risiko Das erlaubte Risiko ist eine für geschlossene KI-Systeme besonders relevante Fallgruppe.102 Es ist immer dann einschlägig, wenn ein zwar grundsätzlich gefährliches Verhalten aufgrund seines sozialen Nutzens allgemein erlaubt ist.103 Diese Figur kommt häufig beim Inverkehrbringen von Massenprodukten zum Tragen.104 Geschlossene KI-Systeme findet man überwiegend in Bereichen, die einer Vielzahl von Menschen zugänglich sind. So wird man (zukünftig) bei einem Krankenhausbesuch mit einem solchen Produkt in Berührung kommen, ohne es bewusst wahrzunehmen, wie bspw. das oben bereits erwähnte Mammografie-Screening. Oder man steigt in ein Auto ein, das bereits mit entsprechenden KI-­Produkten ausgestattet ist. KI wird immer häufiger in das alltägliche Leben Einzug finden, es erleichtern und der Gesellschaft einen großen Nutzen erweisen. Sind diese KI-Produkte einmal Teil unseres Alltags, wird wohl keiner wieder auf die entsprechenden Vorteile verzichten wollen. Man denke nur an das Valet Parking, das nicht nur eine Zeitersparnis mit sich bringen, sondern auch die manchmal nervenaufreibende Parkplatzsuche bald Geschichte sein lassen

BGH, NJW  2009, 1080, 1081; ausführlich dazu Kuhlen, in: Achenbach/ Ransiek/Rönnau (Hrsg.), Handbuch Wirtschaftsstrafrecht, 2.  Teil 1.  Kap. Rn. 41 ff. 100  BGHZ 80, 186, 191 f. 101  Siehe dazu Schuster, DAR 2019, 6, 9. 102  Der dogmatisch bestehende Streit, an welcher Stelle diese Fallgruppe im Deliktsaufbau zu verorten ist, soll an dieser Stelle nicht vertiefend behandelt werden. Vielmehr soll sich auf das hier bestehende KI-Spezifische konzen­ triert werden und eine Möglichkeit der Prüfung aufgezeigt werden. 103  Ganz allgemein erklärt bei Wessels/Beulke/Satzger, Strafrecht AT, Rn. 268. 104  Kindhäuser/Hilgendorf, StGB, §  15, Rn.  58; Fischer, StGB, Vor §  32, Rn. 13a; Hilgendorf, in: FS Fischer, S. 105. 99 

8  Künstliche Intelligenz und das Strafrecht

289

wird. Das Heikle an diesen KI-Systemen ist jedoch, dass nie eine hundertprozentige Fehlerfreiheit gewährleistet werden kann, sodass Schäden nicht ausgeschlossen werden können. Gerade hier greift die Figur des erlaubten Risikos ein. Dadurch, dass derartige KI-Systeme nicht nur von Massen zukünftig genutzt werden, sondern auch einen enormen gesellschaftlichen Nutzen mit sich bringen, bspw. die verbesserte Diagnose beim Mammografie-Screening, werden deren innewohnenden Risiken wohl akzeptiert werden müssen. Welche Risiken als gesellschaftlich akzeptiert gelten, wird im Einzelfall abzuwägen sein. Hier wird man sich auf der einen Seite fragen müssen, welche Eintrittswahrscheinlichkeit bei welcher Art von Schäden in Ordnung sein soll und auf der anderen Seite inwieweit man den technischen Fortschritt auf diese Art und Weise hemmen möchte. Im Bereich des Straßenverkehrs ist die Anwendung dieser ­Fallgruppe mittlerweile gemeinhin anerkannt.105 So ist bspw. allgemein bekannt, dass es durch einen Airbag Aufprall zu (tödlichen) Verletzungen kommen kann. Dieses Risiko wird jedoch von der Gesellschaft akzeptiert, da der Airbag für die Sicherheit im Straßenverkehr von enormen (gesellschaftlichen) Nutzen ist. Das oben Ausgeführte bedeutet jedoch nicht, dass niemandem ein strafrechtlicher Vorwurf für das Inverkehrbringen eines Produkts gemacht werden kann, das zwar gesellschaftlich derart wertvoll ist, aber gleichzeitig enorme Risiken birgt, weil bspw. der ak­ tuelle Stand der Technik bei der Entwicklung nicht immer berücksichtigt worden ist. Das erlaubte Risiko stellt vielmehr eine weitere Untergruppe der Sorgfaltsanforderungen dar, die an den Hersteller gestellt werden. Die Straflosigkeit des Herstellers kann sich nur aus einem Zusammenspiel der zu beachtenden Sorgfaltsanforderungen (vgl. dazu Abschn.  8.2.2.4.3) und dem erlaubten Risiko ergeben. Konkret bedeutet das, dass kein beim Hersteller Tätiger wegen des Inverkehrbringens eines zwar risikoreichen, aber gesellschaftlich nützlichen Produkts strafrechtlich belangt werden kann, sofern er beim Inverkehrbringen alle Sorgfaltsanforderungen beachtet – das Risiko zum Zeitpunkt des Inverkehrbringens also auf das technisch möglichste Minimum beschränkt hat. So soll eine

Wessels/Beulke/Satzger, Strafrecht AT, Rn. 268.

105 

290

C. Haagen und A. Lohmann

strafrechtliche Verantwortung jedenfalls dann ausscheiden, wenn eine ausreichende Stichprobenkontrolle seitens des Herstellers stattgefunden hat.106 Denn: Auch ein aus dem Verkehrskreis des Täters aus ex ante Sicht handelnder Dritter, hätte dieses nach wie vor zwar (minimal) risikobehaftete, aber gesellschaftlich akzeptierte und nützliche Produkt auf den Markt gebracht. Nur ein solches Ergebnis kann folgerichtig sein. Würde man an dieser Stelle zu einem anderen Ergebnis gelangen, so könnten auch andere technische Produkte ohne KI-Bezug nie in den Verkehr gebracht werden, ohne dass mit einer strafrechtlichen Verfolgung zu rechnen wäre.107 8.2.2.4.4  Vorhersehbarkeit Die zweite Komponente i. R. d. Fahrlässigkeit ist die Vorhersehbarkeit. Diese erfordert, dass der Erfolg, hätte er vorhergesehen werden können, überhaupt vermeidbar gewesen ist.108 Maßstab für Vorherseh- und Vermeidbarkeit ist ein aus der ex ante Sicht109 beurteilender fiktiver, besonnener und gewissenhafter Dritter in der konkreten Lage und in der sozialen Situation des Täters.110 Die Vorhersehbarkeit stellt ein weiteres Problem beim Einsatz von KI-Einheiten dar. Je autonomer und gefährlicher ein System ist, desto eher ist abstrakt vorhersehbar, dass es zu einem Schaden (bspw. einer Verletzung eines Menschen) kommen wird.111 Mangels bisheriger Erfahrungen ist jedoch keine genaue Prognose möglich, mit welcher Wahrscheinlichkeit und Häufigkeit solche Schäden eintreten werden. Dass sie aber durchaus möglich und nicht unwahrscheinlich sind, zeigt das unten angeführte Unfallszenario, das sich in der Nähe von Aschaffenburg abgespielt hat. Problematisch dabei könnte sein, dass nie der genaue Hergang eines Schadenseintritts vorhersehbar sein wird. Demnach kommt S/S/Sternberg-Lieben/Schuster, StGB, § 15, Rn. 216. So auch Schuster, DAR 2019, 6, 8. 108  Beck, [4], S. 38; S/S/Sternberg-Lieben/Schuster, StGB, § 15, Rn. 124 f. 109  Böhringer, RAW 1/19, 13, 15. 110  Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1115. 111  Beck, [4], S. 38 f.; Sander/Hollering, NStZ 2017, 193, 193 f. 106  107 

8  Künstliche Intelligenz und das Strafrecht

291

es darauf an, was genau für die Vorhersehbarkeit erforderlich ist. Dabei können zwei Extreme betrachtet werden:112 Fordert man die Vorhersehbarkeit der konkreten Situation und Verletzung, so wird dies bei autonomen Systemen zumeist dazu führen, dass Vorhersehbarkeit abgelehnt werden muss. Anders hingegen, wenn man die Vorhersehbarkeit abstrakter Risiken genügen lässt, was ein immenses Risiko zulasten der Hersteller bedeuten würde. Zieht man zur Begriffsbestimmung die Rspr. heran, so ist es ausreichend, wenn der Erfolg in seinem Endergebnis vorhersehbar ist, nicht jedoch der Geschehensablauf als solcher.113 Demzufolge wird, zieht man wieder das Beispiel des autonomen Fahrens heran, wohl der abstrakte Erfolg, die Verletzung der körperlichen Unversehrtheit oder des Lebens, vorhersehbar sein. Dies ist für den Hersteller äußerst kritisch. Denn die fehlende Nachvollziehbarkeit sowie die spezifische Unvorhersehbarkeit des Verhaltens autonomer Systeme macht es für die Hersteller ex ante kaum möglich, Vorkehrungen zur Schadensvermeidung zu treffen. Ein spezifisches Problem bei KI-Einheiten ist in einem unvollständigen Datensatz zu sehen.114 Damit ist gemeint, dass dem geschlossenen System nicht die notwendigen Daten vorliegen, um die Situation, mit der es konfrontiert ist, zu lösen, woraufhin es zu einem Unfall kommt. Wäre mit der Situation gerechnet worden, so hätten die notwendigen Daten den Unfall womöglich vermeiden können. Daran schließt sich die Frage an, ob die Situation für den Hersteller bei der Programmierung vorhersehbar gewesen ist oder nicht. Dies muss wieder für den jeweiligen Einzelfall entschieden werden. Angeknüpft werden könnte einerseits an den Zeitpunkt des Inverkehrbringens, sodass der Hersteller  – unter Heranziehung des bereits oben genannten zu prästierenden Si-

Siehe dazu auch Beck, [4], S. 47. So die ständige Rspr., siehe nur RGSt 54, 351, 351; 73, 370, 372; BGHSt 3, 62, 63; 12, 75, 77. 114  Böhringer, RAW 1/19, 13, 17 spricht in diesem Kontext von einem nicht ausreichenden Regelwerk. 112  113 

292

C. Haagen und A. Lohmann

cherheitsstandards  – alles Mögliche und Zumutbare115 getan haben muss, um alle vorhersehbaren Konstellationen mit in die Programmierung aufzunehmen. Andererseits könnte auf die Zeit nach Inverkehrgabe abgestellt werden, sodass auch Produktbeobachtungspflichten eine Rolle spielen können. Maßstab muss jedenfalls der Stand der Wissenschaft und Technik sein.116 War es nach diesem nicht möglich, beim Inverkehrbringen an diese unwahrscheinliche Situation zu denken oder gar diese zu programmieren, kann die Sorgfaltspflichtverletzung allenfalls in der Verletzung der Produktbeobachtungspflicht liegen, die womöglich eine (nun mögliche) Nachbesserung oder einen Rückruf erforderlich gemacht hätte.117 Diesem Szenario ähnelt die aktuelle Diskussion um die Abstürze der Boeing 737-Max Maschinen:118 Boeing räumte ein, dass ihre Flugsimulationssoftware nicht in der Lage war, die Flugbedingungen zu simulieren, die denjenigen ähneln, die beim Absturz der Maschinen herrschten. Zudem lag wohl in der Flugsoftware an sich ein Fehler vor, der für den Absturz ursächlich gewesen sein soll.119 Dabei stellen sich genau die eben aufgeworfenen Fragen. Hätte Boeing dieses Szenario vorhersehen müssen und hätte der Unfall vermieden werden können, falls der Softwarefehler nicht vorhanden gewesen wäre? Gerade im Luftverkehr handelt es sich in Hinblick auf die in Rede stehenden Rechtsgüter um einen sensiblen Bereich, sodass Boeing bei der Softwareherstellung und –erprobung ein Höchstmaß an Sorgfalt Dabei handelt es sich dem Grunde nach um Anforderungen an die Sorgfaltspflichten, die jedoch mit der Vorhersehbarkeit verknüpft sind, weshalb eine isolierte Betrachtung nicht geboten ist, siehe dazu Wessels/Beulke/Satzger, Strafrecht AT, Rn. 1116. 116  So S/S/Sternberg-Lieben/Schuster, StGB, § 15, Rn. 216. 117  Kuhlen, in: Achenbach/Ransiek/Rönnau (Hrsg.), Handbuch Wirtschaftsstrafrecht, 2. Teil 1. Kap. Rn. 39; BeckOGK-BGB/Spindler, § 823, Rn. 657; Schuster, DAR 2019, 6, 9. 118  Siehe dazu und zum Folgenden https://www.welt.de/wirtschaft/article193743059/Boeing-raeumt-erstmals-Fehler-bei-Software-fuer-737MAX-Maschinen-ein.html. Zugegriffen am 21.01.2020. 119  https://www.nzz.ch/mobilitaet/luftfahrt/boeing-737-max-grundlegender-softwarefehler-gefunden-ld.1499955. Zugegriffen am 21.01.2020. 115 

8  Künstliche Intelligenz und das Strafrecht

293

aufwenden muss, um eine Grundsicherheit des Produkts zu gewährleisten.120 Im Rahmen der Vorhersehbarkeit muss wohl u. a. beachtet werden, welche technischen Mindestanforderungen an den Luftverkehr und die Luftsicherheit (auch auf internationaler Ebene) gestellt werden. Vorhersehbarkeitsprobleme sind also nicht erst bei zukünftigen vollautonomen Systemen, sondern bereits bei klassischen, nicht KI spezifischen Konstellationen denkbar. Ein weiteres Problem i. R. d. Vorhersehbarkeit ist der Einsatz mehrerer, zusammenwirkender KI-Produkte verschiedener Hersteller in einem Endprodukt. Diese Konstellation findet sich auch im Ausgangsfall in Gestalt der verschiedenen zusammenwirkenden Sensoren. Sollte es aufgrund einer Fehlklassifikation zu einem Schaden kommen, könnten durch das Zusammenspiel dieser Produkte die Nachvollziehbarkeit und Vorhersehbarkeit noch schwieriger zu bestimmen sein, als es bei KI-Produkten ohnehin schon der Fall ist. Abschließende Standards oder Anforderungen an die Vorhersehbarkeit beim Einsatz einer KI können nicht getroffen werden. Ob der Erfolg für den Hersteller tatsächlich vorhersehbar gewesen ist, muss wiederum in jedem Einzelfall anhand der tatsächlichen Umstände beurteilt werden. Die eben ausgeführten Erwägungen können jedoch bei der im Einzelfall durchzuführenden Abwägung Berücksichtigung finden. 8.2.2.4.5  Relevanz fahrlässigen Verhaltens Die strafrechtliche Produkthaftung konzentriert sich primär auf fahrlässiges Herstellerverhalten. Hintergrund ist die potenzielle Gefahr, die von den Produkten ausgeht, die der Hersteller in den Verkehr bringt. Schließlich ist er dafür verantwortlich, dass seine Produkte den entsprechenden Sicherheitsanforderungen genügen, zumal aus seiner Sphäre die andauernde Gefahrenquelle resultiert.121

Vgl. S/S/Sternberg-Lieben/Schuster, StGB, § 15, Rn. 216. BeckOGK BGB/Spindler, § 823, Rn. 657.

120  121 

294

C. Haagen und A. Lohmann

8.2.3 Der „Aschaffenburger Fall“ In Fachkreisen ist der tragische Fall von Aschaffenburg mittlerweile in aller Munde. Was passierte im Jahr 2012 in der Nähe von Aschaffenburg? Und warum erregt dieser Fall ein derartiges Aufsehen?

8.2.3.1  Vorgehensweise im Jahre 2012122 Im Frühjahr 2012 ereignete sich ein tödlicher Unfall mit einem Fahrzeug, welches mit einem autonomen System, namentlich einem Spurhalteassistenten, ausgestattet war. Der Fahrer des Kfz erlitt kurz vor dem Eintritt in eine Ortschaft einen Schlaganfall, weswegen er das Lenkrad nach rechts verriss. Der Spurhalteassistent agierte tadellos und lenkte das Fahrzeug wieder zurück in die Fahrbahnspur, woraufhin das Kfz ungebremst mit dem bewusstlosen Fahrer in die Ortschaft fuhr. Dort erfasste das Fahrzeug eine junge Mutter und ihr Kind tödlich. Der Familienvater wurde verletzt. Dieser Fall erregte in der juristischen Literatur enormes Aufsehen. Grund hierfür ist zum einen, dass es sich hierbei um einen der ersten Fälle handelt, bei dem ein autonomes System einen Schaden verursachte. Zum anderen, dass die in diesem Fall zuständige Staatsanwaltschaft zurecht entschied, dass niemand für den Tod der beiden Opfer sowie die einem Anderem zugefügten Verletzungen strafrechtlich zur Verantwortung gezogen werden konnte. Weder dem bewusstlosen Fahrer noch dem Hersteller konnte für das einwandfreie Funktionieren des Spurhalteassistenten ein Vorwurf gemacht werden. Richtungsweisend waren v. a. die Ergebnisse der Prüfung der strafrechtlichen Verantwortung seitens des Herstellers. Anknüpfungspunkt für eine strafrechtliche Verantwortung waren dahingehende Überlegungen, dass das System nicht ausreichend sicher gewesen sei, um allen jemals erdenklichen Herausforderungen des täglichen Straßenverkehrs gerecht zu werden. Doch die Staatsanwaltschaft wies darauf hin, dass nicht jede nur denkbare Möglichkeit berücksichtigt werden Die Sachverhaltsschilderungen beruhen auf den Eckdaten der Darstellungen in Hilgendorf, DRiZ 2018, 66, 68. 122 

8  Künstliche Intelligenz und das Strafrecht

295

muss. Vielmehr könne keine Technik hundertprozentig sicher sein. Das Unterlassen solcher  – praktisch wahrscheinlich kaum umsetzbaren – hundertprozentiger Maßnahmen führe nicht zu einem sorgfaltswidrigen Verhalten.

8.2.3.2  Neuer Lösungsansatz? Nach dem Erlass des Bescheides der Staatsanwaltschaft im Dezember 2012 musste sich die Rechtsprechung mit zwei weiteren Fällen befassen, die großes mediales Aufsehen erregten. Zum einen kam es im Frühjahr 2016 zu einem tödlichen Unfall, der auf ein illegales Autorennen zurück zu führen war. Zum anderen ereignete sich im Sommer desselben Jahres ein Amoklauf in München, bei dem neun Menschen ums Leben kamen. Was haben diese beiden Fälle mit dem Fall von Aschaffenburg zu tun? Auf den ersten Blick wenig. Doch auf den zweiten Blick lohnt sich eine genauere Betrachtung dieser Entscheidungen. Beide Fälle thematisieren die Vorhersehbarkeit eines bestimmten Ergebnisses bei Handeln Dritter. Dies stellt auch im Bereich zunehmender Automatisierung ein gewichtiges Problem dar. Fraglich ist, ob die bestehenden Grundsätze auf den Einsatz von KI übertragen werden können oder ob solche neu auf die KI zugeschnitten werden müssen. 8.2.3.2.1  „Berliner Raserfall“123 Im Frühjahr des Jahres 2012 fuhren zwei der Raser-Szene-­ Angehörige mit überhöhter Geschwindigkeit und unter Nichtbeachtung weiterer Verkehrsregeln über den Berliner Kurfürstendamm. Ziel war es als Sieger dieses Rennens hervorzugehen. So passierten sie u.  a. eine Kurve mit einer von 120–135 km/h erreichten Kurvengrenzgeschwindigkeit, um dann nochmals zu beschleunigen. Sie fuhren schließlich unter Nichtbeachtung des Rotlichtsignals einer Ampel in eine Kreuzung ein. Hier kam es bei einer mittlerweile von 160–170 km/h erreichten Spitzengeschwindigkeit zu einer Kollision zwischen dem Fahrzeug eines Angeklagten und einem ordnungsgemäß einfahrenden Fahrzeug. Die Ausführungen beruhen auf den Sachverhaltsfeststellungen des LG Berlin, Urt. v. 27.02.2017, (535 Ks) 251 Js 52/16 (8/16). 123 

296

C. Haagen und A. Lohmann

Der Fahrer des ordnungsgemäß fahrenden Fahrzeugs erlag seinen Verletzungen noch am Unfallort. Die beiden am Straßenrennen beteiligten Fahrer sowie die bei einem Fahrer mitgefahrene Beifahrerin erlitten nur leichte und oberflächliche Verletzungen. Das LG Berlin verurteilte die angeklagten Fahrer wegen des Todes des Fahrers des ordnungsgemäß kreuzenden Kfz zu einem in Mittäterschaft begangenen Mord. Das Aufsehenerregende an diesem Fall ist, dass das LG Berlin bei den Angeklagten jeweils dolus eventualis annahm und so wegen Mordes und nicht, wie von der Verteidigung plädiert, wegen fahrlässiger Tötung verurteilte. Wie oben bereits dargelegt (Abschn.  8.2.2.3.1) kommt dolus eventualis immer dann in Betracht, wenn der Täter den Erfolg erkennt, ihn also für möglich hält, und diesen in Kauf nimmt bzw. ihm gleichgültig ­gegenübersteht.124 Bewusste Fahrlässigkeit ist hingegen gegeben, wenn der Täter den möglichen Erfolgseintritt zwar erkennt, aber bewusst und nicht nur vage darauf vertraut, dass dieser nicht eintreten wird.125 Das LG Berlin stützte sich bei dieser Annahme auf mehrere Anhaltspunkte. So wurde u. a. hinsichtlich des Wissenselements argumentiert, dass die Angeklagten mit einem tödlichen Ausgang des Rennens rechnen mussten, da das Autorennen mit überhöhter Geschwindigkeit innerorts auf keinesfalls menschenoder autoleeren Straßen stattfand, wobei die Fahrzeuge v.  a. in Kurvenbereichen an ihre technischen Grenzen gebracht wurden und letztlich in eine Kreuzung unter Nichtbeachtung des Rotlichtsignals eingefahren sind, ohne diese überblicken zu können.126 Diese gleichgültige Verhaltensweise ließ die Wahrscheinlichkeit eines Unfalls immens steigen. Auch das voluntative Element lag nach Ansicht des LG Berlin vor: So wünschten sich die Täter den Tötungserfolg zwar nicht, doch standen sie diesem zumindest gleichgültig gegenüber, indem sie mit ihrem Verhalten eine

BGH, NStZ 2017, 25, 26; Baumann/Weber/Mitsch/Eisele, Strafrecht AT, § 11, Rn. 25; Eisele, JZ 2018, 549, 551. 125  Kindhäuser/Hilgendorf, StGB, § 15, Rn. 90. 126  LG Berlin, Beschl. v. 27.02.2017, (535 Ks) 251 Js 52/16 (8/16). 124 

8  Künstliche Intelligenz und das Strafrecht

297

ersichtliche und große Lebensgefahr geschaffen hatten, nur um als Sieger des Rennens hervorzugehen.127 Nichtsdestotrotz hielt dieses Urteil vor dem BGH nicht stand, da das LG den Vorsatz zu einem Zeitpunkt annahm, bei dem es gleichzeitig davon ausgegangen ist, dass der Angeklagte hier „absolut unfähig war noch zu reagieren“.128 Wenn dem so wäre, dann läge zu diesem Zeitpunkt aber keine relevante Tathandlung vor,129 da hierfür ein menschliches, willensgetragenes Verhalten erforderlich ist.130 Vielmehr nahm das LG Berlin einen unbeachtlichen dolus subsequens an, indem es das Geschehen mit einem fiktiven Fall in den Bergen verglich: Der Täter stößt einen Stein von der Kuppe und merkt erst später, dass er damit seinen Feind treffen könnte, ist damit aber einverstanden.131 Der Vorsatz muss jedoch im Zeitpunkt der Tathandlung vorliegen, §§  16  S.  1, 8 S. 1 StGB. Der BGH wies allerdings darauf hin, dass es sich bei dem gesamten illegalen Autorennen um eine prozessuale Tat handle,132 sodass das LG Berlin mit entsprechender Begründung den Vorsatz auch zu einem anderen, früheren Zeitpunkt nachweisen kann.133 Dieser Nachweis ist dem LG Berlin gelungen, sodass in der erneuten Revisionsentscheidung das Urteil in Hinblick auf den verurteilten Fahrer insoweit rechtskräftig wurde.134 Was kann man aus diesem Urteil nun für einen strafrechtlichen Umgang mit KI ziehen? Die in vielen Fällen als „Raserurteil“ bezeichnete Entscheidung des LG Berlin macht erneut deutlich, dass selbst wenn man sich den für möglich erachteten Erfolg zwar nicht wünscht, aber dieser für einen erkennbar ist und man ihn in Kauf nimmt, nur um sein eigentliches Ziel zu erreichen, keine Fahrlässigkeitsstrafbarkeit mehr in Betracht kommt. Um die subjektive Tatseite in einem Gerichtsverfahren zu erörtern, muss der LG Berlin, Beschl. v. 27.02.2017, (535 Ks) 251 Js 52/16 (8/16). LG Berlin, Beschl. v. 27.02.2017, (535 Ks) 251 Js 52/16 (8/16). 129  So auch Eisele, JZ 2018, 549, 550. 130  Fischer, StGB, Vor § 13, Rn. 7. 131  Vgl. dazu Eisele, JZ 2018, 549, 550. 132  BGH, Urt. v. 01.03.2018, 4 StR 399/17; vgl. dazu auch Eisele, JZ 2018, 549, 550. 133  Vgl. dazu auch Eisele, JZ 2018, 549, 550. 134  Urteil des BGH vom 18.06.2020 – 4 StR 482/19. 127  128 

298

C. Haagen und A. Lohmann

Richter zwangsläufig auf objektive Kriterien zurückgreifen, da er das Vorgehen im Inneren des Täters bei Ausübung der Tathandlung nicht kennen kann.135 Im Rahmen dieser Überprüfung ist auf alle relevanten Tatumstände einzugehen.136 Ein relevanter Tatumstand kann u.  a. die Gefährlichkeit der Tathandlung sein. So kommt bspw. der Abgabe eines Schusses eine gewichtige Indiz­ wirkung zu, sodass u. U. auf das Wissens- und Wollenselement geschlossen werden kann, da der Täter bei einem Schuss mit einem tödlichen Ausgang rechnen muss und diesen (bei Fortsetzen) auch billigend in Kauf nimmt.137 Auch mittelbare Angriffe auf vitale Körperteile stellen ein mögliches Indiz für die Annahme des Wissens- und Wollenselements dar.138 All diese Überlegungen wurden auch nochmals im „Berliner Raserfall“ aufgegriffen. Überträgt man dies nun auf den Einsatz von KI, so sind u. U. Fallgestaltungen denkbar, in denen im Einzelfall eine Vorsatzstrafbarkeit seitens des Herstellers gegeben sein kann. Ein Hersteller, der sein fehlerhaftes KI-Produkt auf den Markt bringt und feststellen muss, dass tödliche Verletzungen nicht ausgeschlossen werden können, läuft Gefahr sich wegen einer Vorsatzstrafbarkeit verantworten zu müssen. Warum? In einem solchen Fall weiß der Entscheidungsträger, dass es zu tödlichen Verletzungen kommen kann. Das Wissenselement des Vorsatzes lässt sich bei dem fiktiv gebildeten Fall problemlos bejahen. In Hinblick auf das voluntative Element wird man Überlegungen anstellen müssen, ob dem Einsatz von KI an sich bereits eine Indizwirkung aufgrund einer gegebenen gefährlichen Tathandlung zukommt mithilfe derer auf das Wollenselement geschlossen werden kann. Grundsätzlich wird man dies wohl verneinen müssen, wenn die KI sach- und fachgerecht in den Verkehr gebracht wird. So könnte man zwar argumentieren, dass sich eine Gefährlichkeit aus dem selbstständigen – autonomen – Agieren der KI ergeben kann. Doch muss zugegeben werden, dass von jedem technischen oder automatiBeckOK StGB/Eschelbach, § 212, Rn. 21. So bspw. BGH, NJW 2016, 1970, 1971; weitere Nachweise bei BeckOK StGB/Eschelbach, § 212, Rn. 21. 137  BGH, NJW 2016, 1970, 1970 ff.; weitere Beispiele bei Eisele, JZ 2018, 549, 551. 138  BeckOK StGB/Eschelbach, § 212, Rn. 24.1. 135  136 

8  Künstliche Intelligenz und das Strafrecht

299

sierten Produkt eine gewisse Gefährlichkeit ausgeht. So geht auch von einem Kfz nach Inbetriebnahme eine gewisse Gefährlichkeit aus, doch wird das bloße ordnungsgemäße Bedienen desselbigen nicht als gefährliche Tathandlung einzustufen sein. Anders liegt der Fall, wenn die KI fehlerhaft und somit (noch) unberechenbarer ist. Setzt man eine solche ein, so kann durchaus eine gefährliche Tathandlung angenommen werden. Zieht man an dieser Stelle einen Vergleich zu einem nicht bestimmungsgemäßen Gebrauch eines Kfz, so wird deutlich warum. Rast man mit einem Kfz mit weitaus überhöhter Geschwindigkeit über den Kurfürstendamm, kann die Gefährlichkeit einer solchen Handlung bejaht werden.139 Grund hierfür ist, dass ein gewissenhaftes Kontrollieren des Fahrzeugs nicht mehr möglich ist. Dann müsste auch der Einsatz einer fehlerhaften unberechenbaren KI als gefährlich einzustufen sein, denn auch diese lässt sich u. U. nicht mehr kontrollieren. Überdies lässt es sich hören, dass für die Feststellung des Wollenselements Parallelen in Hinblick auf die Gefährdung vitaler Körperteile gezogen werden kann. In der Regel ist ein KI-System in einem Produkt verbaut. Ist dieses System fehlerhaft, so ist der Einbau zwar keine aktive massive Gewalteinwirkung, wie sie sich bei einem Schuss auf den Körper darstellen würde, doch genügen auch mittelbare Einwirkungen.140 So entschied der BGH, dass das Manipulieren der Bremse eines Kfz einen solchen Angriff darstellen kann.141 Im Einzelfall könnte dann auch der Einbau einer fehlerhaften KI in ein Kfz ähnlich zu entscheiden sein. Der Körper des Nutzers des Kfz ist in beiden Fällen der jeweiligen fehlerhaften technischen Einrichtung hilflos ausgesetzt. Fischer weist im Zusammenhang mit dem Berliner Raserfall zudem darauf hin, dass das bloße Nicht-Einverstandensein mit dem Erfolgseintritt nicht zum Aussschluss des bedingten Vorsatzes führe, sofern der Schadenseintritt von Umständen abhängt, die der Täter nicht beherrschen kann. Diese Feststellung kann durchaus auch für KI-­Systeme relevant werden: Selbst wenn der Hersteller mit einem möglichen, ihm bewussten, Schadenseintritt nicht einverstanden ist, kann er sich einem Vorsatzvorwurf u. U. So prüft dies auch Eisele, JZ 2018, 549, 551. Vgl. BeckOK StGB/Eschelbach, § 212, Rn. 24.1. 141  BGH, NStZ 2006, 446, 446. 139  140 

300

C. Haagen und A. Lohmann

nicht enziehen, wenn dieser von KI-internen Vorgängen abhängt, die er selbst nicht (mehr) beherrschen kann.142 Die dargestellten objektiven Elemente stellen nur einen Ausschnitt solcher dar, denen im Rahmen des subjektiven Tatbestands Indizwirkung für die Feststellung des Vorsatzes zukommen kann. Ziel war es, mit dem „Berliner Raserfall“ aufzuzeigen, dass sich die tradierten Strukturen auch auf den Einsatz von KI übertragen lassen. Der BGH weist jedoch zurecht in jeder Entscheidung darauf hin, dass all diesen objektiven Feststellungen im Bereich des subjektiven Tatbestands nur Indizwirkung zukommt.143 Entscheidend ist eine einzelfallabhängige Gesamtwürdigung aller ­relevanten Tatumstände. Eine allgemeine Lösung verbietet sich an dieser Stelle. 8.2.3.2.2  „Münchner Amoklauf“144 Ein weiterer medienträchtiger, wie auch tragischer Fall trug sich im Jahre 2016 in München zu. Hier erschoss der Täter mit einer zuvor im Darknet erworbenen Waffe an verschiedenen Orten mehrere Menschen und verletzte viele weitere. Am Ende erschoss er sich selbst. Daraufhin wurde gegen den Anbieter der Waffen im Darknet prozessiert.145 Er wurde letztlich u. a. wegen fahrlässiger Tötung in neun Fällen und fahrlässiger Körperverletzung in fünf Fällen verurteilt. Die infrage stehende Handlung wurde hingegen nicht als Beihilfehandlung zu vorsätzlich begangenen Tötungsund Verletzungsdelikten eingestuft. Auch in diesem Prozess kam den subjektiven Tatbestandsmerkmalen besondere Bedeutung zu. Entscheidend war, ob bei dem Angeklagten ein möglicher Gehilfenvorsatz vorgelegen hat und somit gerade keine Fahrlässigkeitsstrafbarkeit mehr in Betracht kommen kann. Hierfür ist maßgeblich, dass der Angeklagte den wesentlichen Unrechtsgehalt der Haupttat erfasst, dem Täter ein für die Haupttat notwendiges Mittel zur Hand gibt und damit bewusst das Risiko der Fischer, § 15 StGB, Rn. 16. So auch bei der Manipulation des Bremsschlauchs, vgl. BGH, NStZ 2006, 446, 446. 144  Die Schilderungen des Tathergangs wurden der Beck-Aktuell Meldung entnommen, vgl. Redaktion beck-aktuell, becklink 2013912. 145  Die Ausführungen sind den Darlegungen des LG München I, Beschl. v. 19.01.2018, 12 KLs 111 Js 239798/16 entnommen. 142  143 

8  Künstliche Intelligenz und das Strafrecht

301

mit dem Mittel geförderten Haupttat erhöht, deren Einzelheiten der Beihilfe Leistende jedoch nicht zu erfassen braucht.146 Ein Gehilfenvorsatz liegt dagegen nicht vor, wenn unter Kenntnis des allgemeinen Risikos einer solchen Handlung ein Tatbeitrag geleistet wird, jedoch nicht erkannt oder gar für möglich gehalten wird, dass diese unterstützende Handlung gleichzeitig die vom Täter vorgenommene Tathandlung unterstützt.147 Vorliegend konnte nicht nachgewiesen werden, dass der Täter diese Möglichkeit gar erkannt, geschweige denn bewusst unterstützt hat. Das LG München sah jedoch ein ­fahrlässiges Handeln als gegeben an. So wies es i. R. d. objektiven Vorhersehbarkeit darauf hin, dass nicht sämtliche Einzelheiten des Geschehensablaufs vorhergesehen werden müssen, sondern vielmehr auf die generelle Möglichkeit eines solchen Ablaufs abgestellt werden muss. Diese Entscheidung macht erneut deutlich, dass keine Pauschallösungen vorgegeben sind, sondern immer am Einzelfall entschieden werden muss. Doch zukünftig wird man sich die Frage stellen müssen, inwieweit bei Fallgestaltungen, an denen eine KI beteiligt ist, die objektive Vorhersehbarkeit zu bejahen ist. So ist für einen Waffenverkäufer im Darknet objektiv vorhersehbar, dass mit den verkauften Waffen auch ein Tötungsdelikt begangen werden kann. Inwieweit sind Risiken, die von einer KI ausgehen, objektiv vorhersehbar? Bei geschlossenen KI-Systemen könnte die Gefahr bestehen, dass die KI vor einer Aufgabe steht, die der Entwickler nicht bedacht hat148 und es deshalb zu einem Schaden kommt. Es stellt sich die Frage, ob dies für den Entwickler objektiv vorhersehbar war und somit eine Fahrlässigkeitsstrafbarkeit bei Vorliegen aller weiteren Tatbestandsmerkmale in Betracht kommt. Hier lässt sich zum einen argumentieren, dass die technische Entwicklung in einem enormen Tempo voranschreitet. Dass ein Fall nicht bedacht wird, liegt keinesfalls so sehr außerhalb der allgemeinen Lebenserfahrung, dass man damit nicht zu rechnen bräuchte. Diese Annahme rührt gerade daher, dass keine Einzelheiten, sondern lediglich eine generelle Eintrittsmöglichkeit vorhergesehen werden muss. Auf der anderen Seite kann mit dem gleichen Argument dargelegt werden, dass die Technik in einem BeckOK StGB/v. Heintschel-Heinegg, § 27, Rn. 19. Vgl. LG München I, Beschl. v. 19.01.2018, 12 KLs 111 Js 239798/16. 148  So auch Böhringer, RAW 19/1, 13, 17. 146  147 

302

C. Haagen und A. Lohmann

enormen Tempo voranschreitet und die KI schließlich vor He­ rausforderungen steht, die man bei Inverkehrbringen noch gar nicht vorhersehen konnte. Verallgemeinert man das Szenario dahingehend, ob ein Schaden, verursacht durch ein KI-System, objektiv vorhersehbar ist, so wird man dies in den meisten Fällen, in denen Menschen mit einer KI in Berührung kommen, wohl mit „Ja“ beantworten müssen. Grund hierfür ist, dass auch beim Einsatz von einigen technischen Massenprodukten ohne KI-Funktion Körperschäden statistisch fast sicher sind.149 Die KI bringt aufgrund ihres autonomen Agierens immer eine gewisse Unberechenbarkeit mit sich. Hundertprozentige Sicherheit kann auch hier nicht gegeben werden. Demzufolge liegt ein Schaden, verursacht durch eine KI, wohl nicht so sehr außerhalb der Lebenserfahrung, dass man damit nicht zu rechnen bräuchte. Doch auch in diesem Bereich existiert für KI-Systeme bislang noch keine Rechtsprechung. Man wird abzuwarten haben, welche Linie sich entwickeln wird. 8.2.3.2.3  Neue Erkenntnisse für Aschaffenburg? Würde sich ein solcher Fall, wie er sich im Jahre 2012 bei Aschaffenburg ereignete, jetzt wiederholen, stellt sich die Frage, ob aufgrund der Erkenntnisse aus den Urteilen des LG Berlin und LG München dieser nun anders zu beurteilen wäre, als es die Staatsanwaltschaft damals gemacht hat. Diese Frage lässt sich mit einem klaren „Nein“ beantworten. Dem Hersteller kann auch nach der jetzigen Rechtslage kein Vorwurf für das einwandfreie Funktionieren des Spurhalteassistenten gemacht werden.

8.2.4 F  ragen der Zulassung am Beispiel von Fahrzeugen Zum Abschluss soll knapp auf Probleme i. R. d. Zulassung von KI-Systemen, insb. im Straßenverkehr eingegangen werden. Wie bereits eingangs erläutert, müssen Systeme vor Inverkehrbringen

Vgl. dazu Hilgendorf, in: FS Fischer, S. 105.

149 

8  Künstliche Intelligenz und das Strafrecht

303

von einer Zulassungsbehörde abgenommen bzw. freigegeben werden. Kfz dürfen in Deutschland nämlich nur betrieben werden, wenn sie zugelassen wurden, § 3 Abs. 1 S. 1 FZV. Die Zulassungsbehörden bescheinigen dem Hersteller mit einer allgemeinen Betriebserlaubnis (§ 20 StVZO), dass ein Fahrzeug sowie die darin verbauten Teile (also auch KI-Einheiten) zum Verkehr auf öffentlichen Straßen zugelassen sind.150 Kritisch ist dabei, dass sie wohl weder die Ressourcen noch das notwendige Knowhow besitzen, um die notwendigen Tests durchzuführen. Schließlich ist ihnen kaum zumutbar, ein Fahrzeug wochenlang dahingehend zu testen, ob die KI-gestützten Fahrfunktionen wirklich in allen möglichen Situationen einwandfrei funktionieren. Demnach werden sie sich hauptsächlich an den im Zulassungsverfahren vom Hersteller vorzulegenden Unterlagen orientieren müssen.151 Nach Einführung des § 1a StVG ist zumindest die grundsätzliche Zulassung von Kfz mit hoch- oder vollautomatisierten Fahrfunktionen unproblematisch. Ob die Zulassungsbehörden aufgrund ihres technischen Wissens bei Anwendung der höchsten Sorgfalt hätten vorhersehen können, dass durch den Einsatz derartiger Fahrsysteme durch Fehlfunktionen ausgelöste Schäden resultieren können, ist fraglich.152

8.3

Neue Regelungen für KI?

Der Beitrag zeigt, dass der zunehmende Einsatz von KI Veränderungen mit sich bringen wird. Wie mit diesen im Einzelfall umzugehen ist, wird überwiegend durch die Rechtsprechung zu entscheiden sein. Die Frage, die damit unumgänglich einhergeht, ist, ob nicht der Gesetzgeber bereits zuvor tätig werden sollte. Hier ist jedoch festzuhalten, dass das Strafrecht bewusst einen fragmentarischen Charakter innehat: Es kann und soll nicht alles geregelt Zu den Anforderungen an eine Zulassung siehe § 3 Abs. 1 S. 2 FZV; dazu allgemein Schröder, DVBl 2017, 1193, 1193. 151  Sander/Hollering, NStZ 2017, 193, 199. 152  Allgemein zu Problemen im Zulassungsrecht bei autonomen Fahrzeugen Lutz/Tang/Lienkamp, NZV 2013, 57, 57 ff. 150 

304

C. Haagen und A. Lohmann

werden.153 Wäre dies anders, so würde mehr als nur ein Stück Freiheit aufgegeben werden. Derzeit unnötige gesetzgeberische Aktivitäten im Bereich des Strafrechts sollten deshalb zurückgehalten werden. Der Beitrag macht deutlich, dass mit den aktuellen Regelungen ein Fehlverhalten beim Einsatz von geschlossenen KI-Produkten entsprechend sanktioniert werden kann. Ebenso zeigen die geschilderten Fälle aus Berlin und München, dass ähnliche Problemstellungen bereits bei Fällen ohne KI-Bezug auftreten und entsprechend gelöst werden können. Panische Überregulierungen würden an dieser Stelle eher zu einem Rückschritt als zu einem Fortschritt führen. Grund hierfür ist die schnelle technische Entwicklung, sodass zum einen nicht alles geregelt werden kann und zum anderen bereits erlassene Regelungen schnell wieder veraltet sein könnten. Das Strafrecht als das altbekannte „schärfste Schwert des Staates“154 darf im Bereich der KI nicht inflationär genutzt werden. Vielmehr soll die Freiheit, die das Strafrecht bietet, aufrechterhalten und so der technische Fortschritt gefördert werden.

Literatur [1] Achenbach, Hans/Ransiek, Andreas/Rönnau, Thomas (Hrsg.), Handbuch Wirtschaftsstrafrecht, 5. Aufl., Heidelberg 2019. [2] Alexander, Thorsten, Die strafrechtliche Verantwortlichkeit für die Wahrung der Verkehrssicherungspflichten im Unternehmen, Herbolzheim 2005. [3] Baumann, Jürgen/Weber, Ulrich/Mitsch, Wolfgang/Eisele, Jörg, Strafrecht. Allgemeiner Teil. Lehrbuch, 12. Aufl., Bielefeld 2016. [4] Beck, Susanne, Selbstfahrende Kraftfahrzeuge – aktuelle Probleme der (strafrechtlichen) Fahrlässigkeitshaftung, in: Oppermann Bernd H./ Stender-­ Vorwachs, Jutta (Hrsg.), Autonomes Fahren. Rechtsfolgen, Rechtsprobleme, technische Grundlagen, München 2017. [5] Böhringer, Jacob, Strafrechtliche Verantwortlichkeit für autonome Systeme, RAW 1/19, S. 13–17. [6] Eisele, Jörg, Bedingter Tötungsvorsatz bei verbotenen Kraftfahrzeugrennen?, JZ 2018, S. 549–556. Wessels/Beulke/Satzger, Strafrecht AT, Rn. 15. Wessels/Beulke/Satzger, Strafrecht AT, Rn. 15.

153  154 

8  Künstliche Intelligenz und das Strafrecht

305

[7] Engisch, Karl, Untersuchungen über Vorsatz und Fahrlässigkeit im Strafrecht, Berlin 1930. [8] Fischer, Thomas, Strafgesetzbuch mit Nebengesetzen, 67. Aufl., München 2020. [9] Franke, Ulrich, Rechtsprobleme beim automatisierten Fahren  – ein Überblick, DAR 2016, S. 61–66. [10] Gomille, Christian, Herstellerhaftung für automatisierte Fahrzeuge, JZ 2016, S. 76–82. [11]  Gsell/Krüger/Lorenz/Reymann, Beck’scher Online Grosskommentar zum Bürgerlichen Gesetzbuch, München 2019. [12] Heintschel-Heinegg, Bernd von, Beck’scher Online Kommentar zum StGB, 42. Edition, München 2019. [13] Hilgendorf, Eric, Automatisiertes Fahren und Recht  – ein Überblick, JA 2018, S. 801–807. [14] Hilgendorf, Eric, Automatisiertes Fahren und Strafrecht – der „Aschaffenburger Fall“, DRiZ 2018, S. 66–69. [15] Hilgendorf, Eric, Autonome Systeme, künstliche Intelligenz und Roboter in Barton, Stephan/Eschelbach, Ralf/Hettinger, Michael/Kempf, Eberhard/Krehl, Christoph/Salditt, Franz (Hrsg.), Festschrift für Thomas Fischer, München 2018, S. 99–113. [16] Jänich, Volker M./Schrader, Paul T./Reck, Vivien, Rechtsprobleme des autonomen Fahrens, NZV 2015, S. 313–318. [17] Joecks, Wolfgang/Miebach, Klaus (Hrsg.), Münchener Kommentar zum Strafgesetzbuch, München Band  1, §§  1–37, 3. Aufl. 2017; Band  4, §§ 185–262, 3. Aufl., 2017. [18] Kaplan, Jerry, Künstliche Intelligenz. Eine Einführung, Frechen 2017. [19] Kindhäuser, Urs/Hilgendorf, Eric, Strafgesetzbuch. Lehr- und Praxiskommentar, 8. Aufl., Baden-Baden 2019. [20] Kuhlen, Lothar, Fragen einer strafrechtlichen Produkthaftung, Heidelberg 1989. [21] Lutz, Lennart/Tang, Tito/Lienkamp, Markus, Die rechtliche Situation von teleoperierten und autonomen Fahrzeugen, NZV 2013, S. 57–63. [22] Maurer, Markus/Gerdes, J.  Christian/Lenz, Barbara/Winner, Hermann (Hrsg.), Autonomes Fahren. Technische, rechtliche und gesellschaftliche Aspekte, Heidelberg 2015. [23] Palandt, Otto (Begr.), Bürgerliches Gesetzbuch mit Nebengesetzen, 79. Aufl., München 2020 [24] Rengier, Rudolf, Strafrecht Allgemeiner Teil, 11. Aufl., München 2019. [25] Roxin, Claus, Strafrecht Allgemeiner Teil. Band  I.  Grundlagen  – Der Aufbau der Verbrechenslehre, 4. Aufl., München 2006. [26] Säcker, Franz Jürgen/Rixecker, Roland/Oetker Hartmut/Limperg, Bettina (Hrsg.), Münchener Kommentar zum Bürgerlichen Gesetzbuch, München, Band 6, 7. Aufl., München 2017. [27] Sander, Günther/Hollering, Jörg, Strafrechtliche Verantwortlichkeit im Zusammenhang mit automatisiertem Fahren, NStZ 2017, S. 193–206.

306

C. Haagen und A. Lohmann

[28] Schönke, Adolf (Begr.)/Schröder, Horst, Strafgesetzbuch Kommentar, 30. Aufl., München 2019. [29] Schröder, Meinhard, Rechtsnatur, -wirkungen und –wirksamkeit von EG-Typengenehmigungen und Übereinstimmungsbescheinigungen für Kraftfahrzeuge, DVBl 2017, S. 1193–1202. [30] Schuster, Frank Peter, Strafrechtliche Verantwortung der Hersteller beim automatisierten Fahren, DAR 2019, S. 6–11. [31]  Steinert, Philipp, Automatisiertes Fahren (Strafrechtliche Fragen), SVR 2019, S. 5–7. [32] Wachenfeld, Walther/Winner, Herrmann/Gerdes, Chris et al, Use-­Cases des autonomen Fahrens, in: Maurer, Markus/Gerdes, J. Christian/Lenz, Barbara/Winner, Hermann (Hrsg.), Autonomes Fahren. Technische, rechtliche und gesellschaftliche Aspekte, Heidelberg 2015. [33] Wessels, Johannes/Beulke, Werner/Satzger, Helmut, Strafrecht Allgemeiner Teil. Die Straftat und ihr Aufbau, 49. Aufl., Heidelberg 2019. [34] Wittig, Petra, Wirtschaftsstrafrecht, 4. Aufl., München 2017. Christian Haagen  ist Rechtsanwalt bei der Kanzlei Noerr LLP am Standort München mit dem Schwerpunkt Gesellschaftsrecht. Zuvor war er Wissenschaftlicher Mitarbeiter am Lehrstuhl für Strafrecht, Strafprozessrecht, Rechtstheorie, Informationsrecht und Rechtsinformatik von Prof. Dr. Dr. Eric Hilgendorf. Sein Forschungsschwerpunkt liegt auf dem Recht der Digitalisierung. Seine Dissertation „Verantwortung für Künstliche Intelligenz. Ethische Aspekte und zivilrechtliche Anforderungen bei der Herstellung von KI-Systemen“ wird voraussichtlich noch 2020 erscheinen. Anna Lohmann  ist Europajuristin und Wissenschaftliche Mitarbeiterin am Lehrstuhl für Strafrecht, Strafprozessrecht, Rechtstheorie, Informationsrecht und Rechtsinformatik von Prof. Dr. Dr. Eric Hilgendorf. Im Rahmen ihrer Dissertation beschäftigt sie sich mit Rechtsfragen rund um das Themenfeld Künstliche Intelligenz im Strafrecht. Der Schwerpunkt liegt dabei auf einer möglichen Veränderung der tradierten strafrechtlichen Verantwortungsstrukturen, insb. bei der Herstellung von KI-Produkten.