Handbuch Maschinenethik [1. Aufl. 2019] 978-3-658-17482-8, 978-3-658-17483-5

Table of contents :
Front Matter ....Pages I-VIII
Einleitung (Oliver Bendel)....Pages 1-10
Front Matter ....Pages 11-11
Wozu brauchen wir die Maschinenethik? (Oliver Bendel)....Pages 13-32
Maschinenethik und Philosophie (Catrin Misselhorn)....Pages 33-55
Mensch, Maschine und Verantwortung (Julian Nida-Rümelin, Fiorella Battaglia)....Pages 57-71
Front Matter ....Pages 73-73
Maschinenethik und Roboterethik (Janina Loh)....Pages 75-93
Maschinenethik und Trans- und Posthumanismus (Janina Loh)....Pages 95-115
Front Matter ....Pages 117-117
Algorithmen, Daten und Ethik (Stefan Ullrich)....Pages 119-144
Maschinenethik und Technikethik (Karsten Weber, Thomas Zoglauer)....Pages 145-163
Front Matter ....Pages 165-165
Maschinenethik und Robotik (Julian Nida-Rümelin, Fiorella Battaglia)....Pages 167-184
Maschinenethik und Künstliche Intelligenz (Leonie Seng)....Pages 185-205
Front Matter ....Pages 207-207
From Logic Programming to Machine Ethics (Ari Saptawijaya, Luís Moniz Pereira)....Pages 209-227
Evolutionary Machine Ethics (The Anh Han, Luís Moniz Pereira)....Pages 229-253
Learning How to Behave (Bertram F. Malle, Matthias Scheutz)....Pages 255-278
Front Matter ....Pages 279-279
Autonomes Fahren aus Sicht der Maschinenethik (Claudia Brändle, Armin Grunwald)....Pages 281-300
Pflegeroboter aus Sicht der Maschinenethik (Oliver Bendel)....Pages 301-318
Autonome Waffensysteme/Kriegsroboter (Catrin Misselhorn)....Pages 319-334
Sexroboter aus Sicht der Maschinenethik (Oliver Bendel)....Pages 335-353
Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft (Eric Hilgendorf)....Pages 355-372
Front Matter ....Pages 373-373
Das GOODBOT-Projekt (Oliver Bendel)....Pages 375-393
Das LIEBOT-Projekt (Oliver Bendel)....Pages 395-414
Das LADYBIRD-Projekt (Oliver Bendel)....Pages 415-433
Front Matter ....Pages 435-435
Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden (Eric Hilgendorf)....Pages 437-452
Maschinenethik und strafrechtliche Verantwortlichkeit (Monika Simmler)....Pages 453-469

Citation preview

Oliver Bendel  Hrsg.

Handbuch Maschinenethik

Handbuch Maschinenethik

Oliver Bendel Hrsg.

Handbuch Maschinenethik mit 23 Abbildungen und 4 Tabellen

Hrsg. Oliver Bendel Institut für Wirtschaftsinformatik Hochschule für Wirtschaft FHNW Windisch, Schweiz

ISBN 978-3-658-17482-8 ISBN 978-3-658-17483-5 (eBook) ISBN 978-3-658-27682-9 (Bundle) https://doi.org/10.1007/978-3-658-17483-5 Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. Springer VS © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von allgemein beschreibenden Bezeichnungen, Marken, Unternehmensnamen etc. in diesem Werk bedeutet nicht, dass diese frei durch jedermann benutzt werden dürfen. Die Berechtigung zur Benutzung unterliegt, auch ohne gesonderten Hinweis hierzu, den Regeln des Markenrechts. Die Rechte des jeweiligen Zeicheninhabers sind zu beachten. Der Verlag, die Autoren und die Herausgeber gehen davon aus, dass die Angaben und Informationen in diesem Werk zum Zeitpunkt der Veröffentlichung vollständig und korrekt sind. Weder der Verlag, noch die Autoren oder die Herausgeber übernehmen, ausdrücklich oder implizit, Gewähr für den Inhalt des Werkes, etwaige Fehler oder Äußerungen. Der Verlag bleibt im Hinblick auf geografische Zuordnungen und Gebietsbezeichnungen in veröffentlichten Karten und Institutionsadressen neutral. Springer VS ist ein Imprint der eingetragenen Gesellschaft Springer Fachmedien Wiesbaden GmbH und ist ein Teil von Springer Nature. Die Anschrift der Gesellschaft ist: Abraham-Lincoln-Str. 46, 65189 Wiesbaden, Germany

Inhaltsverzeichnis

Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Oliver Bendel

1

Teil I Grundlagen der Maschinenethik . . . . . . . . . . . . . . . . . . . . . . .

11

.......................

13

Maschinenethik und Philosophie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Catrin Misselhorn

33

Mensch, Maschine und Verantwortung . . . . . . . . . . . . . . . . . . . . . . . . . Julian Nida-Rümelin und Fiorella Battaglia

57

Teil II

Die Maschinenethik und verwandte Ethiken und Ansätze . . .

73

Maschinenethik und Roboterethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Janina Loh

75

................

95

Die Maschinenethik und die Bereichsethiken . . . . . . . . . . . .

117

Algorithmen, Daten und Ethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Stefan Ullrich

119

Maschinenethik und Technikethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Karsten Weber und Thomas Zoglauer

145

Teil IV

Maschinenethik, Robotik und Künstliche Intelligenz . . . . . .

165

Maschinenethik und Robotik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Julian Nida-Rümelin und Fiorella Battaglia

167

Wozu brauchen wir die Maschinenethik? Oliver Bendel

Maschinenethik und Trans- und Posthumanismus Janina Loh Teil III

V

VI

Inhaltsverzeichnis

Maschinenethik und Künstliche Intelligenz . . . . . . . . . . . . . . . . . . . . . . Leonie Seng

185

Teil V

...............

207

From Logic Programming to Machine Ethics . . . . . . . . . . . . . . . . . . . . Ari Saptawijaya und Luís Moniz Pereira

209

Evolutionary Machine Ethics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . The Anh Han und Luís Moniz Pereira

229

Learning How to Behave . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Bertram F. Malle und Matthias Scheutz

255

Teil VI

Anwendungsgebiete der Maschinenethik . . . . . . . . . . . . . . .

279

Autonomes Fahren aus Sicht der Maschinenethik . . . . . . . . . . . . . . . . . Claudia Brändle und Armin Grunwald

281

.....................

301

Autonome Waffensysteme/Kriegsroboter . . . . . . . . . . . . . . . . . . . . . . . . Catrin Misselhorn

319

Sexroboter aus Sicht der Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . Oliver Bendel

335

Programmierung moralischer Maschinen

Pflegeroboter aus Sicht der Maschinenethik Oliver Bendel

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Eric Hilgendorf

355

Teil VII

.......

373

Das GOODBOT-Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Oliver Bendel

375

Das LIEBOT-Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Oliver Bendel

395

Das LADYBIRD-Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Oliver Bendel

415

Teil VIII

...................

435

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Eric Hilgendorf

437

............

453

Beispiele und Prototypen moralischer Maschinen

Maschinenethik und Roboterrecht

Maschinenethik und strafrechtliche Verantwortlichkeit Monika Simmler

Autorenverzeichnis

Fiorella Battaglia Fakultät für Philosophie, Wissenschaftstheorie und Religionswissenschaft, Ludwig-Maximilians-Universität München, München, Deutschland Oliver Bendel Institut für Wirtschaftsinformatik, Hochschule für Wirtschaft FHNW, Windisch, Schweiz Claudia Brändle Karlsruher Institut für Technologie (KIT), Institut für Technikfolgenabschätzung und Systemanalyse (ITAS), Karlsruhe, Deutschland Armin Grunwald Karlsruher Institut für Technologie (KIT), Institut für Technikfolgenabschätzung und Systemanalyse (ITAS), Karlsruhe, Deutschland The Anh Han School of Computing, Media and the Arts, Teesside University, Middlesbrough, Großbritannien Eric Hilgendorf Juristische Fakultät, Universität Würzburg, Würzburg, Deutschland Janina Loh Institut für Philosophie, Universität Wien, Wien, Österreich Bertram F. Malle Department of Cognitive, Linguistic, and Psychological Sciences, Brown University, Providence, RI, Vereinigte Staaten Catrin Misselhorn Lehrstuhl für Wissenschaftstheorie und Technikphilosophie, Institut für Philosophie der Universität Stuttgart, Stuttgart, Deutschland Julian Nida-Rümelin Fakultät für Philosophie, Wissenschaftstheorie und Religionswissenschaft, Ludwig-Maximilians-Universität München, München, Deutschland Luís Moniz Pereira NOVA Laboratory for Computer Science and Informatics (NOVA LINCS), Departamento de Informática, Faculdade de Ciências e Tecnologia, Universidade Nova de Lisboa, Caparica, Portugal Ari Saptawijaya Faculty of Computer Science, Universitas Indonesia, Depok, Jawa Barat, Indonesien Matthias Scheutz Department of Computer Science, Tufts University, Medford, MA, Vereinigte Staaten VII

VIII

Autorenverzeichnis

Leonie Seng Institut für Philosophie und Theologie, Pädagogische Hochschule Ludwigsburg, Ludwigsburg, Deutschland Monika Simmler Law School, Universität St. Gallen, St. Gallen, Schweiz Stefan Ullrich TU Berlin, Weizenbaum-Institut für die vernetzte Gesellschaft, Berlin, Deutschland Karsten Weber Institut für Sozialforschung und Technikfolgenabschätzung, OTH Regensburg, Regensburg, Deutschland Thomas Zoglauer Arbeitsgebiet Technikphilosophie, BTU Cottbus-Senftenberg, Cottbus, Deutschland

Einleitung Oliver Bendel

Inhalt 1 Die ersten Schritte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Die Maschinenethik und ihre Verbündeten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Vorstellung und Wirklichkeit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Sexroboter und Kampfroboter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Das vorliegende Buch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1 3 4 6 8 9

Zusammenfassung

Maschinenethik ist eine junge Disziplin. Sie beschäftigt sich mit maschineller Moral. Dabei bleibt sie nicht beim Theoretischen stehen, sondern geht ins Praktische. Zusammen mit Künstlicher Intelligenz und Robotik bringt sie moralische und unmoralische Maschinen hervor. Der Beitrag führt in grundsätzliche Aspekte der Maschinenethik aus persönlicher und fachlicher Sicht ein. Die Kapitel des „Handbuchs Maschinenethik“ werden genannt und in ihren Inhalten umrissen. Schlüsselwörter

Maschinenethik · Ethik · Moral · Moralische Maschinen · Maschinelle Moral

1

Die ersten Schritte

In meinem zweiten Studium in den 1990er-Jahren, dem Studium der Informationswissenschaft an der Universität Konstanz, habe ich eine sechzigseitige Arbeit mit dem Titel „Ethik und Einsatz von Informationstechnik“ geschrieben. Auf einigen O. Bendel (*) Institut für Wirtschaftsinformatik, Hochschule für Wirtschaft FHNW, Windisch, Schweiz E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_1

1

2

O. Bendel

Seiten ging ich darauf ein, ob Computer moralische Rechte oder moralische Pflichten besitzen, ob sie Verantwortung tragen und zur Verantwortung gezogen werden können. Grundlage waren Schriften von James H. Moor („Are There Decisions Computers Should Never Make“), John W. Snapper („Responsibility for ComputerBased Errors“) und William Bechtel („Attributing Responsibility to Computer Systems“) aus den 1970er- und 1980er-Jahren (Moor 1979; Snapper 1985; Bechtel 1985). Ich zog den Schluss, dass Computer weder moralische Rechte noch moralische Pflichten haben. Heute baue ich Maschinen, die moralische Verpflichtungen haben, oder die zumindest Aufgaben übernehmen, die sich auf moralische Aspekte beziehen. Meine Überzeugung hat sich im Kern nicht geändert. Ich versuche nur, etwas genauer zu sprechen – und die Realität einzufangen, die sich inzwischen ergeben hat. 2009 erschien „Moral Machines“ von Wendell Wallach und Colin Allen (Wallach und Allen 2009), 2011 „Machine Ethics“ von Michael und Susan L. Anderson (Anderson und Anderson 2011). Ich verschlang beide Bücher, und plötzlich wurde mir klar, dass neben die Informationsethik, die bereits einer meiner Schwerpunkte war, die Maschinenethik treten musste. Ich konnte damit wie in meinem Philosophiestudium ab 1987 an der Universität Konstanz Ethik treiben – damals war es vor allem Tierethik –, ich konnte die Überlegungen aus meinem Studium der Informationswissenschaft aufgreifen und meine Promotion über anthropomorphe Softwareagenten an der Universität St. Gallen einbeziehen. Endlich kam alles zusammen, was mich schon immer interessiert hatte, viel zu spät in meiner wissenschaftlichen Laufbahn, aber mit einer perfekten Passung und einer emotionalen Wirkung auf meinen Forschergeist. In diesem für mich so wichtigen Jahr schrieb ich für das Gabler Wirtschaftslexikon den Beitrag zur Maschinenethik (Bendel 2012b) und verfasste und veröffentlichte die ersten Zeitschriftenartikel zum Thema (Bendel 2012a). Ich skizzierte das Roboterauto-Problem und beauftragte einen Studenten, eine Formel zu entwickeln, die quantifizieren und qualifizieren konnte. Er leistete hervorragende Arbeit. Die Formel, die ich Anfang 2013 bei einer Konferenz für Technikfolgenabschätzung in Prag vorstellte (Bendel 2014d), ließ den Bürgermeister sterben, die Bürgerrechtlerin und die Kinder überleben. Das Publikum war etwas irritiert, einerseits wegen des unerwarteten Themas, andererseits wegen des unerwarteten Ausgangs. Nach kurzer Zeit stand für mich fest, dass ich nicht nur, wie in der Informationsethik oder der Tierethik, über die Dinge nachdenken, sondern sie auch erschaffen wollte. 2013 entstand der GOODBOT (Bendel 2013, 2018b), 2016 der LIEBOT (Bendel et al. 2017). Eine moralische und eine unmoralische Maschine. Chatbots sollten mein großes Thema in der Maschinenethik werden und bleiben. Mir gefiel, dass man sie einfach umsetzen konnte und sie natürlichsprachliche Fähigkeiten hatten. Sprache und Moral weisen viele Zusammenhänge auf, und diese konnte ich erkunden. 2013 stieß ich auch auf mein zweites großes Thema, die tierfreundlichen Maschinen (Bendel 2014a, b, 2015a). Zunächst schrieb ich mehrere Artikel darüber, dann modellierte ich annotierte Entscheidungsbäume, mit denen Roboterautos, Fotodrohnen und Saugroboter das Leben von Tieren retten konnten. An den Knoten befinden sich moralische Annahmen und Begründungen. Der Entschei-

Einleitung

3

dungsbaum kann zur konkreten Implementierung der moralischen Maschine verwendet werden. Nützlich ist er schon vorher: Das Moralische wird explizit. 2017 setzten wir LADYBIRD, einen Saugroboter, der Marienkäfer verschonte, auf einer solchen Grundlage prototypisch um (Bendel 2017). 2016 war ein weiteres wichtiges Jahr für mich. Ich trug an der Stanford University im Rahmen der AAAI Spring Symposia über tierfreundliche Roboterautos vor und warf meinen dazugehörigen annotierten Entscheidungsbaum an die Leinwand (Bendel 2016). Es war das bestgerankte Paper im Symposium „Ethical and Moral Considerations in Non-Human Agents“. Der Grund dafür war, wie mir einer der Veranstalter verriet, dass ich konkret geworden war. Ich lernte Ronald C. Arkin kennen, mit dem ich später auf einem Podium an der Jagiellonian University in Krakau über die Frage diskutierte, ob man betrügerische Maschinen bauen darf, zudem Joanna Bryson, Peter Asaro und Luís Moniz Pereira. Alle waren sie da, und wir plauderten im Zitrusfrüchtegarten neben dem Tagungsgebäude miteinander. Die AAAI Spring Symposia habe ich seitdem jedes Jahr besucht. Im März 2019 reflektierte ich das bedingungslose Grundeinkommen sowie das bedingungslose Grundeigentum, das ich mit der Enteignung bzw. Besteuerung von Milliardären, einer Bevölkerungsbegrenzung und einer Welteinrichtung verband – eine Sozialutopie, die ich ausgerechnet im Silicon Valley erklärte. Beim Symposium zum maschinellen Bewusstsein hatte ich nicht eingereicht, nicht etwa, weil mich die Thematik nicht interessiert hätte, sondern weil ich dafür noch nicht reif war. An dieser Stelle möchte ich mehr ins Fachliche eintauchen.

2

Die Maschinenethik und ihre Verbündeten

Die Maschinenethik bringt die maschinelle Moral hervor und erforscht sie. Damit ist sie eine Gestaltungsdisziplin wie beispielsweise die Wirtschaftsinformatik. „Maschinelle Moral“ ist ebenso wie „moralische Maschine“ ein Terminus technicus. Man bildet im Moment einfach bestimmte Aspekte menschlicher Moral ab. Manche von uns halten sich gerne an Regeln. Maschinen ebenso – sie lieben Regeln sogar, und wenn es sich um selbstlernende Systeme handelt, können sie diese selbst weiterentwickeln. Auch „künstliche Intelligenz“ ist ein Terminus technicus. Man kann nach 70 Jahren nicht einfach sagen, es gebe keine künstliche Intelligenz, wie es inzwischen manche tun. Wir haben sie mit zahlreichen Definitionen, Diskussionen und Implementationen auf die Welt gebracht. Wenn ich „wir“ sage, meine ich die Community, deren Gast ich bin. Ich bin kein KI-Experte, sondern ein Maschinenethiker. Künstliche Intelligenz und Robotik sind für uns Hilfsdisziplinen und Partnerwissenschaften. Wir benötigen sie, um moralische und unmoralische Maschinen entstehen zu lassen. Faktisch baue ich sie zusammen mit meinen Studierenden, im Rahmen von Praxisprojekten und Bachelorarbeiten. Sie müssen sich Kenntnisse in diesen Disziplinen aneignen. Das Interesse bringen sie als Wirtschaftsinformatiker von Haus aus mit, und Informationsethik und Maschinenethik haben sie bei mir gehört.

4

O. Bendel

Die Maschinenethik musste irgendwann neben die Künstliche Intelligenz treten. Wenn eine Maschine smart ist, dann liegt es nahe, dass sie auch moralisch ist. Hier sollte man wiederum das Metaphorische herauslesen. Von welchen Maschinen reden wir überhaupt? Man geht meist von teilautonomen und autonomen Systemen aus. Diese werden von uns alleine gelassen, müssen unabhängig von uns zwischen Optionen auswählen und zu Aktionen fähig sein. Um wieder das Metaphorische zu bemühen: Sie müssen selbstständig entscheiden und handeln. Dafür benötigen sie zum einen vielleicht Formen der Intelligenz, zum anderen vielleicht Formen der Moral. Nebenbei ist zum Ausdruck gekommen, wie ich die Begriffe verwende: Ethik ist die Disziplin, Moral ist der Gegenstand. Was wir in die Maschine einpflanzen, ist die Moral, einzelne ihrer Aspekte, eine Ahnung davon. Eine Rolle können dabei Modelle normativer Ethik spielen, etwa Pflichtethik, Folgenethik oder Tugendethik. Und die zuständige Disziplin ist eben die Maschinenethik. Im Englischen werden Ethik und Moral weniger strikt getrennt. Bei der Übersetzung entsteht im Deutschen häufig Verwirrung. Weiter passt das Maschinelle Bewusstsein als Disziplin neben Maschinenethik und Künstliche Intelligenz. Das „maschinelle Bewusstsein“, das den Gegenstand der Disziplin bezeichnet, ist ebenfalls ein Terminus technicus. Man kann zwischen verschiedenen Arten des Bewusstseins unterscheiden, etwa zwischen Zugangsbewusstsein und phänomenalem Bewusstsein. Ich denke, dass mentale Zustände von Maschinen nicht oder nicht ohne weiteres zu erreichen sind. Man kann sie nicht einmal ohne weiteres simulieren. Was man simulieren kann, sind Erscheinungen, die mit ihnen zusammenhängen, etwa der Ausdruck von Gefühlen. Eine intelligente Maschine, die moralische Fähigkeiten hat und Empathie zeigt – das wäre in gewisser Weise die perfekte Erfindung, zumindest für bestimmte Anforderungen und Anwendungen. Zugleich entstehen mit ihr Herausforderungen auf mehreren Ebenen. Vor tausenden Jahren hat man nach dem Sitz des Verstandes gesucht. Man vermutete ihn überall, am Knie, am Fuß. Wenn man den Schädel öffnete und das Gehirn zum Vorschein kam, konnte man kaum schlussfolgern, dass damit gedacht und geträumt wird. Genau so etwas bräuchte man aber vermutlich, um mentale Zustände hervorzubringen, eine dreidimensionale, verschlungene, wabbelige Struktur, die über Sensoren aller Art mit der Außenwelt verbunden und in einen beweglichen Körper eingebunden ist. Ein umgekehrter Cyborg könnte ein Bewusstsein und ein Selbstbewusstsein haben, ob das Gehirn in ihn eingesetzt oder in ihm herangewachsen ist.

3

Vorstellung und Wirklichkeit

Von der Science-Fiction möchte ich zur Realität zurückkehren. Egal, ob man den Definitionen und Diskussionen der Maschinenethik folgen will, ob man ihre Interessen und Ambitionen versteht, man muss zugestehen, dass sie sich neuartige Maschinen ausgedacht und diese geschaffen hat. Wie die Künstliche Intelligenz, doch in nur kurzer Zeit und mit nur wenigen Personen. Damit meine ich keineswegs, dass man schon zufrieden sein kann. Vielmehr stehen wir ganz am Anfang. Aber die

Einleitung

5

Erfolge sind da, und selbst wenn ich skeptisch gegenüber Möglichkeiten maschinellen Bewusstseins bin, bin ich davon überzeugt, dass die Forschung dazu Früchte tragen und die Maschinenethik bereichern wird. Schon jetzt ist eine ganze Bandbreite moralischer und unmoralischer Maschinen vorhanden. Wenn man Moor folgen will, der Einteilung, die er in dem Buch der Andersons getroffen hat, handelt es sich um „implicit ethical agents“ und „explicit ethical agents“ (Moor 2011). Maschinelles Bewusstsein als Arbeitsgebiet könnte dazu beitragen, dass „full ethical agents“ entstehen. Ich denke, dass wir eine solche Vollständigkeit gar nicht unbedingt brauchen. Mit Bewusstsein und Selbstbewusstsein als mentalen Zuständen würden wir uns sogar einige Probleme einhandeln. Wahrnehmende, empfindende und leidende Maschinen verlangen nach moralischen Rechten – dies habe ich schon als Student so formuliert. Alles andere wäre Speziesismus. Freilich sind diese Maschinen nicht in Sicht. Wenn ich schon wieder zurück in die Vergangenheit reise und Persönliches berichte, möchte ich auf die Tierethik zu sprechen kommen. Wir sind in den 1980er-Jahren über die Grenze in die Schweiz gefahren, um moderne Kuhställe zu besichtigen. Das Tier konnte sich, wenn es wollte, im Kreis bewegen. Lediglich ein kleiner Fortschritt, aber besser als ein Stillstand. Bei unserer Reise verließen wir den Elfenbeinturm der Philosophie und atmeten den Geruch der Bauernhöfe ein. Der Professor, bei dem wir Tierethik hatten, war nicht unbedingt ein Tierfreund. Ich persönlich bin ein Tierrechtler, finde die Unterscheidung zwischen Wissenschaft und Aktivismus allerdings wichtig. Es ist hilfreich, Tiere, Menschen und Maschinen nebeneinander zu stellen und nach ihrem moralischen Status zu fragen. Die meisten Tiere sind Objekte der Moral („moral patients“), keine von ihnen Subjekte („moral agents“). Alle Menschen sind Objekte der Moral, die meisten von ihnen Subjekte. Manche autonomen Maschinen sind neue, merkwürdige, fremdartige Subjekte der Moral. Sie sind nicht gut oder böse, sie haben keinen freien Willen. Sie haben keine Intuition und keine Empathie. Sie können aber als moralische Maschinen unter verschiedenen Optionen diejenige auswählen, die moralisch adäquat ist. Wie angemerkt, sind Maschinen keine Objekte der Moral, sie haben keine Rechte. Wenn man vom Subjekt ausgeht, stehen Maschinen zwischen Tieren und Menschen. Das ist sicherlich ein merkwürdiger und irritierender Befund, und ich gelange zu ihm, obwohl ich Tiere für so viel komplexer, wertvoller und schöner halte. Tiere kann man zähmen und dressieren, man kann ihnen beibringen, Opfer zu finden und Menschen zu vergewaltigen. Aber werden sie dadurch zu moralischen oder unmoralischen Tieren? Mir scheint es so, als wären sie höchstens „implicit ethical agents“, schwerlich „explicit ethical agents“ (die man als „moral agents“ bezeichnen könnte). Wie gesagt, richtet sich ein Teil meiner Forschung auf tierfreundliche Maschinen. Erstens sind diese für die Maschinenethik grundsätzlich interessant. Es treffen immer mehr autonome Systeme auf Tiere, und es ist die Frage, wie sie sich moralisch verhalten können. Zweitens sind bestimmte Bereiche für die Maschinenethik wohl nur theoretisch von Belang, nicht praktisch. Autonome Autos könnten Menschen quantifizieren und qualifizieren, aber sie sollten es nicht. Die Hinwendung zu den Tieren öffnet eine Hintertür. Warum sollte man sie nicht quantifizieren und qualifi-

6

O. Bendel

zieren, wenn man viele von ihnen retten kann? Oft wird es einfach darum gehen, vor dem richtigen Tier abzubremsen. Eine seltene Kröte oder ein gesunder Igel sollte verschont werden, ein Insekt nicht – einfach, um die Mobilität nicht zu gefährden. Drittens – aber hier muss ich meinen Hut wechseln – sind tierfreundliche Maschinen die Freundinnen der Tierrechtler, also von Leuten wie mir. Ich wünsche mir persönlich, dass sie auf den Markt kommen. Damit sind wir bei einem weiteren Punkt. Moralische und unmoralische Maschinen liegen als Simulationen und Prototypen vor. Für manche von ihnen gibt es Finanzierungen. So unterstützt das Pentagon eine Forschung, die ich aus persönlichen Gründen nicht treibe. Ron Arkin und andere Maschinenethiker profitieren davon (Arkin 2009). Produkte existieren insgesamt noch kaum. Ich habe versucht, die Automobilindustrie von meinen Ideen zu überzeugen, doch ohne Erfolg. Ich habe Saugroboterhersteller angeschrieben, ohne Resonanz. Die Firmen werden unsere Ergebnisse berücksichtigen, sobald sie sich einen Gewinn davon versprechen. Und zwar in der Regel ohne uns. So läuft es halt: Wir müssen und wollen publizieren, damit die Urheberschaft bewiesen ist, und was wir publizieren, nimmt nicht allein die Wissenschaft, sondern auch die Wirtschaft zur Kenntnis. Zumindest ich habe für Patente weder Zeit noch Geld. Das Jammern ist freilich zu früh. Es wäre von Wert, wenn es ein paar moralische Maschinen zu kaufen gäbe.

4

Sexroboter und Kampfroboter

2016 fand eine Konferenz in London statt, die „Love and Sex with Robots“, kurz LSR. Das legendäre Goldsmiths, mit Absolventinnen und Absolventen wie Graham Sutherland, Damien Hirst und Bridget Riley, hatte uns aufgenommen, und da Sexroboter und Liebespuppen ein alter Menschheitstraum sind und ihre Entwicklung nicht zuletzt Kunst ist, war es der richtige Ort. Wie Ovid über die von Pygmalion geschaffene Galatea schrieb: „Dass es nur Kunst war, verdeckte die Kunst.“ (Ovid 1994). Ich hatte den Eindruck, dass überwiegend Frauen da waren, und in den Pausen unterhielt ich mich mit Studentinnen, die darüber klagten, dass sie keine Testpersonen und -gruppen fanden. Im Hörsaal waren etliche Journalisten vertreten. So eine Konferenz ließen sie sich nicht entgehen. Ich trug über Sexroboter aus Sicht der Maschinenethik vor. Nicht zum ersten Mal beschäftigte ich mich mit diesem Thema. Im Jahr zuvor war mein Buchbeitrag „Surgical, Therapeutic, Nursing and Sex Robots in Machine and Information Ethics“ erschienen (Bendel 2015b). Tatsächlich kann man Sexroboter, wenn man will, in dieser Reihe sehen. Nicola Döring trug 2018 für mein Buch „Pflegeroboter“ zu der Frage bei, ob Pflegeroboter sexuelle Assistenzfunktionen haben sollten (Döring 2018). Während sich Maschinenethiker selten mit Sexrobotern einlassen, sind sie Pflegerobotern durchaus zugeneigt. Die beiden Andersons haben 2019 zusammen mit Vincent Berenz einen Beitrag über einen Nao veröffentlicht, der für eine Pflegeeinrichtung gedacht ist und bei dem sich Maschinenethik mit Machine Lear-

Einleitung

7

ning verbindet (Anderson et al. 2019). Tatsächlich kann man, wie schon angedeutet, moralische Maschinen bauen, deren Moral gleichbleibt oder sich verändert. Was der bessere Ansatz ist, hängt vom Kontext ab. Mein Vortrag an der Kunsthochschule der University of London enthielt alte und neue Vorschläge aus der Maschinenethik heraus. Einer war, dass man die Maschinen lehren sollte, an irgendeinem Punkt innezuhalten, um die Menschen nicht zu überbeanspruchen. Denn Roboter können immer, Männer nicht. Das war ein gefundenes Fressen für die Boulevardmedien. In der ganzen Welt hieß es in den folgenden Tagen, Wochen, Monaten und Jahren, dass Sexroboter uns zu Tode vögeln werden. Das war nicht meine Aussage, aber das wurde daraus gemacht. Sexroboter werden von manchen Personen und Kreisen für unmoralisch gehalten. Ich halte sie weder für moralisch noch für unmoralisch. Oder besser ausgedrückt, sie werden es erst, wenn man ihnen entsprechende Verhaltensweisen beibringt. Das ist ein ganz entscheidender Punkt. Ein Maschinenethiker fragt weniger danach, was eine Maschine ist, sondern wie sie sein kann. Er schaut einen Sexroboter oder einen Kampfroboter als Wissenschaftler ohne Scheu und Vorbehalte an. Er interessiert sich dafür, wie er die Moral in die Maschine kriegt. Die Maschinenverarbeitbarkeit ist die Kardinalfrage. Natürlich kann er eine bestimmte Haltung haben – ich persönlich lehne autonome Kampfroboter im Einsatz ab. Die Forschung daran finde ich interessant, und erst recht diejenige von Ron Arkin. Kampfroboter sind ein Glücksfall für die Maschinenethik. Es gibt das Völkerrecht, Gesetze auf nationaler Ebene, Verträge und Konventionen – und all das kann man auf die Maschine übertragen. Ich bin bei dieser Forschung nicht dabei, weil ich keine Lust darauf habe. Ich erarbeite weder Grundlagen für Kampfroboter noch baue ich Prototypen. Das ist nicht das Feld, auf dem ich als Wissenschaftler kämpfe. 2017 wurden wir nicht an der University of London aufgenommen. Das Risiko war zu hoch. Islamistische Terroristen, so hieß es, wollten einen Anschlag auf uns verüben. In einer Halle im Norden von London fanden wir Zuflucht. Ich hatte bis dahin noch nie von einer Konferenz in Europa gehört, die wegen Terrorgefahr fast nicht und dann bloß unter bestimmten Umständen – es war kalt, wir wurden bewacht, es gab nichts Anständiges zu essen – stattfinden konnte. Die Medien berichteten kaum darüber. Das schockierte mich noch mehr als der Plan, uns in die Luft zu sprengen. Dieses Mal referierte ich über die synthetischen Stimmen von Sexrobotern. Ich machte Vorschläge, sie zu verändern, sie heiser und erregt werden zu lassen. Das hatte wiederum mit Maschinenethik zu tun. Für mich bezieht sich das „Moralisieren“, wie ich es nenne, auf die Entscheidungen und die Handlungen – und auf das Kommunizieren. Dabei spielt nicht allein eine Rolle, was die Roboter sagen, sondern auch, wie sie es sagen. 2018 sollte die LSR in Missoula, Montana stattfinden. Sie war angehängt an eine andere Konferenz, zu der man ausgerechnet Steve Bannon als Keynoter einlud. Die Tagung, bei der ich wieder angenommen worden war, fand nicht statt. Der zivile Widerstand der Wissenschaftler hatte dies verhindert. Wir hatten unsere Papers zurückgezogen. Der Titel meines Beitrags lautete „Trans-Formers: The Metamorphoses of Sex Robots“. Die Maschinenethik kam ganz am Rande vor.

8

5

O. Bendel

Das vorliegende Buch

Das Jahr 2016 war nicht zuletzt wichtig für mich, weil Frank Schindler von Springer VS auf mich zutrat und fragte, ob ich das „Handbuch Maschinenethik“ herausgeben will. Ich wollte, und es war früh klar, dass es ein europäisches Buch werden sollte. Die Community der Maschinenethik hat in den USA ihre Heimat, doch hier sind ebenfalls wichtige Stimmen zu vernehmen, und ich habe sogar den Eindruck, dass sich bei uns eigene Schwerpunkte herausgebildet haben. Die Autorinnen und Autoren des Buchs stammen mehrheitlich aus den deutschsprachigen Ländern. Manche hat es – das ist die Anziehungskraft der Wissenschaft – in die Ferne verschlagen. Die meisten kennen sowohl die amerikanische Forschung als auch die deutschsprachige Literatur. Das ist ein gewisses Paradox: In den USA nimmt man Entwicklungen in der Ethik, seien sie noch so modern, kaum wahr, wenn sie nicht in englischer Sprache beschrieben werden. Umgekehrt nimmt man in Deutschland, in Österreich und in der Schweiz alles zur Kenntnis, was in den USA geschieht. Das Deutsche als Wissenschaftssprache ist weitgehend verloren, was sich in der Philosophie und speziell in der Ethik als deutlicher Nachteil herauskristallisiert. Im Kap. „Grundlagen der Maschinenethik“ werden eben solche geschaffen. Es handelt sich um keine systematische Einführung – für eine solche sei auf die eingangs genannten Klassiker und auf „Wirtschaftliche und technische Implikationen der Maschinenethik“ (Bendel 2014c), „Überlegungen zur Disziplin der Maschinenethik“ (Bendel 2018a) oder „Grundfragen der Maschinenethik“ (Misselhorn 2018) verwiesen. Vielmehr wird untersucht, wozu es Maschinenethik überhaupt braucht und wie sich ihr Verhältnis zur Philosophie gestaltet. In Kap. „Die Maschinenethik und verwandte Ethiken und Ansätze“, Kap. „Die Maschinenethik und die Bereichsethiken“ und Kap. „Maschinenethik, Robotik und Künstliche Intelligenz“ wird versucht, das Verhältnis zu den Nachbardisziplinen auszuloten. Das Kap. „Programmierung moralischer Maschinen“ stellt eben diese im Ansatz dar. Für eine Vertiefung empfiehlt sich „Programming Machine Ethics“ (Pereira und Saptawijaya 2016). Im Kap. „Anwendungsgebiete der Maschinenethik“ wenden sich die Autorinnen und Autoren dem autonomen Fahren, Pflegerobotern, Kampfrobotern und Sexrobotern zu. Im Kap. „Beispiele und Prototypen moralischer Maschinen“ präsentiere ich meine Artefakte der Maschinenethik und damit meine moralischen und unmoralischen Chatbots. Für weitere Beispiele sei auf die erwähnten Beiträge von Arkin und Anderson et al. verwiesen. Das Kap. „Maschinenethik und Roboterrecht“ schließlich enthält Überlegungen zu Zivilrecht und Strafrecht. Wenn dieses Buch in gedruckter Form erschienen ist, sind bereits neue Projekte in der Maschinenethik abgeschlossen. 2018 haben wir den BESTBOT implementiert (Laukenmann 2018). Er erkennt Probleme der Benutzer, indem er ihre Texteingaben analysiert – und indem er in ihrem Gesicht liest. Drei Gesichtserkennungssysteme sind mit ihm verbunden, und er beherrscht Emotionserkennung auf eine beeindruckende Weise. Wenn er Diskrepanzen zwischen Aussagen und Ausdruck bemerkt, thematisiert er dies. Nach meiner Ansicht sollte man den BESTBOT nicht aus dem Labor lassen. Gesichtserkennung ist eine heikle Technologie. Wie so oft gewinnt man bei dieser Anwendung ein bisschen Sicherheit und verliert viel Freiheit. Ein

Einleitung

9

weiteres Projekt, im Frühjahr 2019 begonnen, ist eine Maschine, die ihre Moral weiterentwickelt. Die Zukunft wird ein Moralmenü bringen, mit dem man die individuelle Moral auf den maschinellen Stellvertreter überträgt. Es entsteht eine Stellvertretermoral, die Chancen wie Risiken birgt. Mit der Maschinenethik können wir autonomen Maschinen moralische Verhaltensweisen beibringen. In geschlossenen und halb offenen Umgebungen sehe ich viele Anwendungsmöglichkeiten. Bei offenen Umgebungen bin ich skeptisch. Ein autonomes Auto kann man, wie dargestellt, moralisieren, man kann es quantifizieren und qualifizieren lassen. Aber es sollte letztlich nicht über Leben und Tod von Menschen entscheiden. Wir können in der Forschung zeigen, was man erreichen kann, und manches muss man dann in der Anwendung verbieten. Auch autonome Kampfroboter gehören, wie gesagt, dazu. In diesem Sinne läuft die Maschinenethik hier und dort ins Leere. Aber ich bin davon überzeugt, dass sie noch viele spannende Jahre vor sich hat und dass sie zahlreiche Bereiche erobern und verändern wird.

Literatur Anderson, Michael, und Susan L. Anderson, Hrsg. 2011. Machine ethics. Cambridge: Cambridge University Press. Anderson, Michael, Susan L. Anderson, und Vincent Berenz. 2019. A value-driven eldercare robot: Virtual and physical instantiations of a case-supported principle-based behavior paradigm. In Proceedings of the IEEE (Early Access), 19 Oct 2018. https://ieeexplore.ieee.org/document/ 8500162. Zugegriffen am 16.04.2019. Arkin, Ronald C. 2009. Governing lethal behavior in autonomous robots. Boca Raton: CRC Press. Bechtel, William. 1985. Attributing responsibility to computer systems. Metaphilosophy 16(4): 296–306. Bendel, Oliver. 2012a. Die Moral der Maschinen: Überlegungen zur Maschinenethik In inside-it.ch, 24. Oktober 2012. http://www.inside-it.ch/articles/30517. Bendel, Oliver. 2012b. Maschinenethik. Gabler Wirtschaftslexikon. Wiesbaden: Gabler. http:// wirtschaftslexikon.gabler.de/Definition/maschinenethik.html. Zugegriffen am 25.05.2018. Bendel, Oliver. 2013. Good bot, bad bot: Dialog zwischen Mensch und Maschine. UnternehmerZeitung 19(7): 30–31. Bendel, Oliver. 2014a. Advanced driver assistance systems and animals. Künstliche Intelligenz 28(4): 263–269. Bendel, Oliver. 2014b. Fahrerassistenzsysteme aus ethischer Sicht. Zeitschrift für Verkehrssicherheit 2:108–110. Bendel, Oliver. 2014c. Wirtschaftliche und technische Implikationen der Maschinenethik. Die Betriebswirtschaft 4:237–248. Bendel, Oliver. 2014d. Towards machine ethics. In. Technology assessment and policy areas of great transitions. 1st PACITA project conference, March 13–15, 2013. Prague 2014, Hrsg. Michalek Tomáš, Lenka Hebáková und Leonhard Hennen Leonhard, et al., 321–326. Bendel, Oliver. 2015a. Überlegungen zur Disziplin der Tier-Maschine-Interaktion. GBS, 14. Februar 2015. http://gbs-schweiz.org/blog/ueberlegungen-zur-disziplin-der-tier-maschine-inter aktion/. Zugegriffen am 25.05.2018. Bendel, Oliver. 2015b. Surgical, therapeutic, nursing and sex robots in machine and information ethics. In Machine medical ethics. Intelligent systems, control and automation: Science and engineering, Hrsg. Simon Peter van Rysewyk und Matthijs Pontier, 17–32. Berlin/New York: Springer.

10

O. Bendel

Bendel, Oliver. 2016. Annotated decision trees for simple moral machines. In The 2016 AAAI spring symposium series, 195–201. Palo Alto: AAAI Press. Bendel, Oliver. 2017. LADYBIRD: The animal-friendly robot vacuum cleaner. In The 2017 AAAI spring symposium series, 2–6. Palo Alto: AAAI Press. Bendel, Oliver. 2018a. Überlegungen zur Disziplin der Maschinenethik. Aus Politik und Zeitgeschichte 6–8:34–38. Bendel, Oliver. 2018b. From GOODBOT to BESTBOT. In The 2018 AAAI spring symposium series, 2–9. Palo Alto: AAAI Press. Bendel, Oliver, Kevin Schwegler, und Bradley Richards. 2017. Towards Kant machines. In The 2017 AAAI spring symposium series, 7–11. Palo Alto: AAAI Press. Döring, Nicola. 2018. Sollten Pflegeroboter auch sexuelle Assistenzfunktionen bieten? In Pflegeroboter, Hrsg. Oliver Bendel, 249–267. Wiesbaden: Gabler. Laukenmann, Joachim. 2018. Chatbot mit Gespür für Emotionen. Tages-Anzeiger, 12. Dezember 2018, S. 38. Misselhorn, Catrin. 2018. Grundfragen der Maschinenethik. Ditzingen: Reclam. Moor, James H. 1979. Are there decisions computers should never make. Nature and System 1: 217–229. Moor, James H. 2011. The nature, importance, and difficulty of machine ethics. In Machine ethics, Hrsg. Michael Anderson und Susan L. Anderson, 13–20. Cambridge: Cambridge University Press. Ovid. 1994. Metamorphosen. Ditzingen: Reclam. Pereira, Luís Moniz, und Ari Saptawijaya. 2016. Programming machine ethics. Cham: Springer International Publishing. Snapper, John W. 1985. Responsibility for computer-based errors. Metaphilosophy 16(4): 289–295. Wallach, Wendell, und Colin Allen. 2009. Moral machines: Teaching robots right from wrong. New York: Oxford University Press.

Teil I Grundlagen der Maschinenethik

Wozu brauchen wir die Maschinenethik? Oliver Bendel

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Der Begriff der Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Die philosophische Begründung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Die praktische Begründung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Zusammenfassung und Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14 14 19 24 31 31

Zusammenfassung

Die Maschinenethik ist eine junge, dynamische Disziplin. Es ist einfach, ihren Gegenstand zu bestimmen, die Moral in der Maschine, und es fanden zahlreiche begriffliche Klärungen statt. Dennoch gibt es immer wieder Verwechslungen und Missverständnisse. Diese erinnern an die Diskussionen der ersten 40, 50 Jahre der Künstlichen Intelligenz. Dieser wurde vorgehalten, keine Fortschritte zu erzielen, ihr wurde vorgeworfen, dass Systeme nicht intelligent sein können, und es wurde von manchen nicht realisiert oder akzeptiert, dass man metaphorisch oder intentional sprechen kann, mit in die Zukunft gerichteten Absichten. Der vorliegende Beitrag will Grundlagen der Maschinenethik erarbeiten, ohne andere Grundlagenartikel und -bücher nachzuzeichnen und zusammenzufassen. Vielmehr wird, nachdem der Begriff der Maschinenethik erörtert wurde, die Frage beantwortet, warum wir eine solche Disziplin brauchen, zunächst aus philosophischer, dann aus praktischer Perspektive.

O. Bendel (*) Institut für Wirtschaftsinformatik, Hochschule für Wirtschaft FHNW, Windisch, Schweiz E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_2

13

14

O. Bendel

Schlüsselwörter

Maschinenethik · Roboterethik · Informationsethik · Ethik · Moralische Maschinen · Maschinelle Moral

1

Einleitung

Die Maschinenethik ist eine junge, dynamische Disziplin. Es ist einfach, ihren Gegenstand zu bestimmen, die Moral in der Maschine (bzw. die maschinelle Moral oder die moralische Maschine), und es fanden zahlreiche begriffliche Klärungen statt. Dennoch gibt es immer wieder Verwechslungen und Missverständnisse. Diese erinnern an die Diskussionen der ersten 40, 50 Jahre der Künstlichen Intelligenz (KI), die neben der Robotik die wichtigste Partnerin der Maschinenethik ist. Ihr wurde vorgehalten, keine Fortschritte zu machen, ihr wurde vorgeworfen, dass Systeme nicht intelligent sein können, und es wurde von manchen nicht realisiert oder akzeptiert, dass man metaphorisch oder intentional sprechen kann, mit in die Zukunft gerichteten Absichten. Der vorliegende Beitrag will Grundlagen zur Maschinenethik erarbeiten, ohne andere Grundlagenartikel und -bücher wie (Wallach und Allen 2009) und (Anderson und Anderson 2011) nachzuzeichnen und zusammenzufassen. Vielmehr wird, nachdem der Begriff der Maschinenethik erläutert wurde (Abschn. 2), die Frage beantwortet, warum wir eine solche Disziplin brauchen, zunächst aus philosophischer (Abschn. 3), dann aus praktischer Perspektive (Abschn. 4). Eine Zusammenfassung mit Ausblick (Abschn. 5) rundet den Beitrag ab.

2

Der Begriff der Maschinenethik

Es ist nicht einfach, über Tiere und Maschinen zu sprechen. Darf man sagen, dass der Hund um etwas bettelt? Darf man sagen, dass er treuherzig schaut? Darf man behaupten, die Katze sei eine Diva? Darf man dem Hai nachsagen, dass er brutal ist? Darf man sagen, dass der Roboter einen Kopf hat oder Fußball spielt? Ich bin der Meinung, dass man das darf, wenn sich alle Beteiligten im Klaren darüber sind, was damit gemeint ist. Ich würde sogar feststellen, wir kommen gar nicht umhin, eine gewisse anthropozentrische, metaphorische Sprechweise auf das eine oder andere anzuwenden, das mit uns Ähnlichkeiten aufweist. Zugleich muss man Grenzen ziehen, darf man die Dinge nicht verwechseln, darf man die Metaphern nicht überstrapazieren. Am meisten Mühe habe ich damit, den Hai brutal zu nennen. Er ist einfach ein Hai. Von der Disziplin der Künstlichen Intelligenz (KI) sagen wir, sie beschäftige sich mit dem Gegenstand der künstlichen Intelligenz bzw. bringe diese hervor. Im Moment simulieren wir menschliche Intelligenz, und zwar nicht in allen Aspekten, sondern in ausgewählten. Dies würde ich schwache Künstliche Intelligenz nennen, wobei es diesbezüglich unterschiedliche Deutungen gibt. Ich würde zugleich von

Wozu brauchen wir die Maschinenethik?

15

einer metaphorischen Sprechweise ausgehen. Wir sind nicht der Meinung, dass die künstliche Intelligenz das Gleiche ist wie die menschliche Intelligenz. Nun gibt es neben der schwachen Künstlichen Intelligenz die starke. Manche Vertreter glauben, dass man eines Tages künstliche Intelligenz herstellen kann, die von der menschlichen nicht unterscheidbar ist, entweder im Ganzen oder wiederum in bestimmten Aspekten. Mein Vorschlag ist, mit der Disziplin der Maschinenethik und ihrem Gegenstand, der maschinellen Moral oder der moralischen Maschine, genauso umzugehen (Bendel 2018a). Die Maschinenethik simuliert im Moment die menschliche Moral, nicht in allen Aspekten, sondern in ausgewählten. Für viele Menschen sind Regeln sehr wichtig, an die sie sich halten und von denen sie sogar denken, dass sich andere daran halten sollen (eine Forderung, die häufig jeder Grundlage entbehrt). Solche Regeln kann man Maschinen einpflanzen. Damit wird ein Aspekt der menschlichen Moral simuliert. Nun ist diese meist wesentlich mehr als das starre Befolgen von Regeln, wenn man von Fundamentalisten einmal absieht. Wir haben Konzepte wie den freien Willen, wir reden von Bewusstsein und Selbstbewusstsein, von Mitgefühl und Mitleid. Die meisten dieser Aspekte lässt die schwache Maschinenethik in der Praxis (auf die noch eingegangen wird) außer Acht. Es handelt sich mehrheitlich um zutiefst menschliche oder tierische Möglichkeiten, die schwer zu simulieren sind. Natürlich kann eine Maschine einem Menschen gegenüber so tun, als hätte sie Mitleid, aber es ist unklar, wie sie in sich selbst ein Gefühl nachahmen könnte. Wie auch immer, bei dem, was möglich ist, mag man ebenfalls eine metaphorische Sprechweise erkennen. Die maschinelle Moral ist nicht die menschliche Moral, doch wir wissen nun, was damit gemeint sein kann. Man kann einwenden, dass im Falle der Regeln die maschinelle Moral sehr wohl die menschliche sei. Man mache ja nichts anderes, als die Regeln zu nehmen, an die wir uns halten, und sie den Maschinen einzupflanzen. Es gebe hier gar keine maschinelle Moral, bloß menschliche Moral im maschinellen Kontext. Darauf kann man entgegnen, dass eben das Erhalten oder Erlernen der Regeln anders als bei Menschen abläuft. Uns sind gewisse Tendenzen zu Verhaltensweisen angeboren, aber die meisten Konkretisierungen passieren im ständigen Sichgegenseitigversichern und Sichgegenseitigverbessern, in der Familie, unter Freunden, in der Gruppe, in der Gesellschaft, in der Partnerschaft, wenn wir älter geworden sind, und in der Auseinandersetzung mit uns selbst, im Kampf mit dem Gewissen, das inzwischen herangewachsen ist. Auch das Befolgen der Regeln ist, wie angedeutet, anders. Selbst wenn wir Fundamentalisten sind, passiert etwas anderes als bei der Maschine: Wir haben eine tiefe Überzeugung, die die Maschine nicht hat, wenn auch eine, die moralisch zweifelhaft ist.1

1

Andernorts habe ich weitere Argumente ins Feld geführt. Die Maschine wird von uns alleingelassen, und sie gerät in Situationen, die wir vielleicht vorausgesehen haben, die sich aber tatsächlich anders gestalten. Es entsteht eine gewisse Unschärfe, und wenngleich die Moral sich dadurch nicht ändert, ändert sich deren Kontext und Relevanz (Bendel 2018a).

16

O. Bendel

Die starke Maschinenethik könnte versuchen, eine maschinelle Moral zu erreichen, die der menschlichen gleich ist, in allen oder in ausgewählten Aspekten. Das ist ein interessantes und hehres Ziel, aber wir sind, wie bei der Künstlichen Intelligenz, weit von solchen Resultaten entfernt. Wenn es uns gelingen würde, eine echte, vollständige Moral in der Maschine zu erzeugen, wäre die Metapher womöglich hinfällig.2 Freilich ist ein tiefer Graben zwischen dem Menschen und der Maschine. In den nächsten Jahren geht es darum, die Unterschiede und die Ähnlichkeiten zu verstehen. Meinen Vorschlag, mit Maschinenethik und Künstlicher Intelligenz begrifflich ähnlich umzugehen, und sie als Disziplinen nicht nur in ihrer Kooperation, sondern auch in ihrer Struktur und Methodik nebeneinanderzustellen, habe ich ab 2017 entwickelt und 2018 vorgestellt, zuerst bei der Session „Formalising Robot Ethics“ der ISAIM in Fort Lauderdale in Florida, dann beim AAAI Spring Symposium „AI and Society: Ethics, Safety and Trustworthiness in Intelligent Agents“ an der Stanford University, schließlich bei der Konferenz „Robophilosophy“ an der Universität Wien. Ich habe ihn zudem bei dem Workshop „Understanding AI & US: Transparency and Computability“ im Juni 2018 in Berlin mit Teilnehmern diskutiert. Abb. 1 zeigt die aktuelle Version. Ist denn die Intelligenz überhaupt vergleichbar mit der Moral? Sind das nicht zwei unterschiedliche Phänomene? Ist die Intelligenz nicht perfekt auf die Maschine abbildbar, auf Nullen und Einsen, und die Moral ist es nicht? Ich denke, dass es diese tiefe Kluft zwischen Intelligenz und Moral nicht gibt.3 Ich denke vielmehr, dass Intelligenz, Moral und Sprache eng zusammenhängen. Bei der Intelligenz hat man es sich lange Zeit zu leicht gemacht. Man hat zum Beispiel die Abhängigkeit von Körper und Geist nicht gesehen, und zu wenig die biologischen und chemischen Voraussetzungen, die Möglichkeiten, mit Hilfe von hormonellen Gaben und elektrischen Impulsen grundlegende Veränderungen im Denken und Verhalten hervorzurufen. Es wird sehr schwer sein, die Intelligenz im Ganzen nicht allein nachzuahmen, sondern zu erreichen. Bei der Moral ist das ebenso der Fall, und bei ihr kommen noch Emotionen und Empathie dazu.4 Diese spielen freilich bei der Intelligenz gleichfalls eine Rolle. Vielleicht sind Intelligenz und Moral einfach zwei Seiten einer Medaille, und bei dieser selbst spielt die Sprache eine wichtige Rolle, zudem das Bild, das Motiv, um im Bild zu bleiben. Im hoffentlich genügenden Licht dieser Ausführungen lesen sich die rigorosen Aussagen, Maschinen hätten keine Moral, ein wenig so wie emphatische Bekundungen, Briefe hätten keine Köpfe. Nach meiner Meinung dürfen wir so reden, wie 2

Die Frage ist allerdings, was das genau heißt. Selbst wenn die Maschine sich genau wie ein Mensch moralisch verhalten könnte, wäre und bliebe sie eine Maschine. 3 Damit meine ich nicht, dass ein intelligenter Mensch automatisch moralisch ist, ein weniger intelligenter automatisch unmoralisch. Ich verweise vielmehr auf die Evolution, in der hochentwickelte Intelligenz (die den Homo sapiens auszeichnet) und Moral mehr oder weniger zeitgleich auftauchen. 4 Es kann wichtig für die Entwicklung der Moral sein, Emotionen zu überwinden. Zumindest müssen diese nicht in jedem Fall hingenommen werden.

Wozu brauchen wir die Maschinenethik?

17

Abb. 1 Die Begriffe „Maschinenethik“ und „Künstliche Intelligenz“ (eigene Darstellung)

wir reden, wenn wir deutlich machen, wie wir es meinen, sowohl im Alltag als auch in der Wissenschaft. Gerade am Anfang, wenn eine Disziplin am Entstehen ist, sind noch keine feststehenden Begriffe vorhanden, muss man auf anpassungsfähige Metaphern zurückgreifen. Gerade wenn es sich um sich bewegende Entitäten handelt, von denen Aktionen ausgehen, die zu handeln und sich zu verhalten scheinen, ist man fast gezwungen, anthropozentrische, metaphorische Sprechweisen zu benutzen.5 Und doch ist die Kritik daran wiederum wichtig. Haben Maschinen ein Bewusstsein? Gar ein Selbstbewusstsein? Ich sehe nicht, wie dieses simuliert oder intendiert werden könnte, und ich würde in diesem Fall ein Überstrapazieren der Metaphern unterstellen, übrigens auch dann, wenn man die Begriffe auf Pflanzen anwendet.6 Irgendwann sind die (hoffentlich nicht fahrlässig gebrauchten) Meta-

5

Es gibt Metaphern, die Sachverhalte vereinfachen und verfälschen, und es gibt Metaphern, die Sachverhalte so darstellen, dass man sie überhaupt erst verstehen kann. Wenn man behauptet, dass das Gehirn ein Computer ist oder der Organismus ein Algorithmus, geht man meines Erachtens zu weit. Diese Metaphern verzerren die Realität. Die Vorgänge im Gehirn werden wiederum oft nur mit Metaphern verständlich. Eine Strategie ist, auf eine Simplifizierung hinzuweisen, wenn sie stattfindet, und zu erklären, warum und wie man hier Bilder verwendet. So verfährt etwa Sapolsky (2017). 6 Es fand im 21. Jahrhundert interessante Forschung zu Pflanzen statt; sie scheinen kommunizieren zu können, sie können etwas empfinden, aber sie können beispielsweise nicht leiden und nicht bewusst etwas tun.

18

O. Bendel

phern dann zu Begriffen erstarrt – daran, dass ein Brief einen Kopf hat, wird sich niemand mehr stoßen. Und irgendwann sind aus umstrittenen Bezeichnungen Termini technici geworden. Gegen Ende des Abschnitts ein Argument, das später nochmals aufgegriffen wird. Im Laufe der Zeit ist es mir immer unwichtiger erschienen, ob jemand von moralischen Maschinen sprechen will oder nicht. Viel wichtiger war mir, dass die Maschinen selbst einen tief greifenden Unterschied aufwiesen, nämlich normale Maschinen und Maschinen, denen eine Form der Moral gegeben wurde. Wer diesen Unterschied nicht erkennt, verschließt sich tatsächlich dem Kernanliegen der Maschinenethik, eben moralische (oder unmoralische) Maschinen zu erschaffen, um sie zu erforschen, sie zu verbessern und sie irgendwann in die Welt zu entlassen, wo sie Nutzen stiften oder Unheil anrichten können. Ich spreche gerne vom Moralisieren der Maschinen, und dieses bedeutet halt eine grundlegende Veränderung. Das kann man an den einfachsten Beispielen zeigen. Ein Staubsaugerroboter, der alles einsaugt, was in seinem Weg liegt, ist etwas ganz anderes als ein Staubsaugerroboter wie LADYBIRD, der Marienkäfer verschont, weil er eine entsprechende moralische Regel erhalten hat (Bendel 2017). Die Rede von der maschinellen Moral kennzeichnet also den Unterschied zwischen normalen und moralisierten Maschinen. Ganz am Ende des Abschnitts einige Bemerkungen zu Komposita wie „Informationsethik“ und „Maschinenethik“. „Informationsethik“ ist ein schillernder Begriff. In englischsprachigen Ländern wird er oft zusammen mit dem Begriff der Computerethik genannt oder mit dieser gleichgesetzt („computer and information ethics“). Im Deutschen denken viele an die „Information“, die im Kompositum steckt. Das ist auch nicht falsch, beschäftigt sich die Disziplin doch mit allen Facetten davon, etwa mit der informationellen Autonomie (oder informationellen Selbstbestimmung mit ihren rechtlichen Konnotationen). Man kann aber genauso an Begriffe wie „Informationsgesellschaft“ denken. Diese ist eben nicht die informierte Gesellschaft, sondern die Gesellschaft (mitsamt der Wirtschaft), die Informations- und Kommunikationstechnologien und Informationssysteme hervorbringt, vermittelt und anwendet. Entsprechend kann man „Informationsethik“ gebrauchen, und so tun es Rafael Capurro (der Computer-, Netz- und Medienethik darunter subsumierte), Rainer Kuhlen (der vor allem auf das Internet abhob), Luciano Floridi und der Verfasser (Kuhlen 2004; Bendel 2013a; Floridi 2015). Capurro und seine Nachfolger haben erkannt, dass der Begriff der Informationsethik schwer verständlich und schlecht zu vermitteln ist, und ihn durch „Digitale Ethik“ ersetzt oder ergänzt (Capurro 2017). Damit wird allerdings das Strukturprinzip der Bindestrichethiken (deren Begriffe ohne Bindestrich auskommen) aufgehoben, und die Verwirrung wird zum Teil beseitigt und zum Teil wohl neu erzeugt. Mit dem Begriff der Maschinenethik hängt ein ähnliches Problem zusammen. Oft wird damit ein Nachdenken über die Maschinen verbunden. Aber das tun schon Technikethik (die Technik aller Art reflektiert) und Informationsethik (die eben Informations- und Kommunikationstechnologien reflektiert). Dieses Missverständnis wird gefördert dadurch, dass inzwischen alles Maschine genannt wird, Kaffeeautomaten, Chatbots und Kampfdrohnen. Das Maschinenzeitalter scheint längst vorbei, aber der verstaubte (und vom Verfasser ebenfalls geschätzte) Begriff prägt

Wozu brauchen wir die Maschinenethik?

19

unsere Zeit (manche rufen gar ein zweites Maschinenzeitalter aus). Einige weichen auf den Begriff der Roboterethik aus, der indes wesentlich komplexer, ja diffuser ist. Man kann damit ein Teilgebiet der Maschinenethik ebenso meinen wie ein Teilgebiet der Informationsethik, und man kann sie als Disziplin begreifen, die nach dem Roboter als Objekt der Moral fragt. Wenn man glaubt, solche Kommunikationsprobleme würden durch ständige Kommunikation (der richtigen Bedeutung) gelöst, sieht sich leider getäuscht, und vielleicht muss die Maschinenethik einmal diesen radikalen Schritt tun, zu dem sich Vertreter der Informationsethik bemüßigt sahen.

3

Die philosophische Begründung

Damit ist soweit geklärt, was Maschinenethik ist und was sie nicht ist. Aber wozu brauchen wir diese? Zunächst soll eine philosophische Begründung für die Disziplin gegeben werden. Für sie muss etwas ausgeholt, muss dargestellt werden, was Ethik ist und kann. Es wurde am Rande bereits deutlich, dass zwischen Ethik und Moral unterschieden werden kann. Ethik ist die Disziplin, die Theorie, die Schule, Moral ist ihr Gegenstand. Die Moral ist in uns angelegt, so wie die Intelligenz. Ebenso schlummert die Sprache im Embryo, und dann, im Säugling, wird sie geweckt, von der Familie, der Gruppe, in der man aufwächst. Das Kleinkind, das zu sprechen anfängt, ist noch außerhalb der Moral, ist in diesem Sinne amoralisch, und doch schiebt sich diese mit aller Macht heran, und mit zwölf, dreizehn, vierzehn Jahren sind die meisten Menschen zu einer komplexen Moral fähig, unterliegen zum Glück jedoch nicht der vollen Härte des Gesetzes, eine durchaus beabsichtigte Lücke (wobei man Moral und Recht nicht nur deshalb trennen muss). Die meisten jungen Menschen entscheiden sich nicht dafür, Ethiker zu werden. Dies würde bedeuten, dass sie ihre moralischen Vorstellungen (und die ihrer Mitmenschen) systematisch untersuchen, sie sowohl beschreiben als auch einzuordnen versuchen in Modellen normativer Ethik. Den meisten genügt es, ihre Alltagsmoral zu leben, mit ihren inhärenten Reflexionen, und keine Moralphilosophie zu treiben, mit ihren logischen, diskursiven, dialektischen, transzendentalen Reflexionen (Pieper 2007). Damit ist bereits der Begriff der Moralphilosophie gefallen. Aristoteles ist einer ihrer Begründer. Er benötigt in seinem Gedankengebäude keinen Gott.7 Er entwirft Formen der Folgenethik, dem Glück einen hohen Rang einräumend, er gestaltet eine Gott taucht bei Aristoteles durchaus auf, hat aber keine tragende Funktion für die Ethik – die „Nikomachische Ethik“ kommt ohne einen Willen Gottes als oberstes Moralgesetz aus, wie sich der Theologe Rolfes (1911) in der Einleitung einer Ausgabe beschwert. Die Verehrung und Betrachtung, die in der „Eudemischen Ethik“ angesprochen wird, die der „Nikomachischen Ethik“ vorausging, lässt sich als Verehrung des Göttlichen in uns verstehen (Kullmann 2006, S. 256), wie überhaupt der Gott von Aristoteles keiner der Anbetung ist. Hippon von Samos war ihm allerdings zu materialistisch – so weit wie dieser, der ganz ohne Gott ausgekommen ist, wollte er nicht gehen (Widmann 2018), und er führte ja auch einen angeblichen Gottesbeweis, den Nachweis des ersten unbewegten Bewegenden, wie er es ausdrückte.

7

20

O. Bendel

Tugendethik aus. Wenn in den Gedankengebäuden der Philosophen ein Gott wohnt, dann lediglich zur Untermiete.8 Es braucht ihn nicht, und er kann jederzeit ausgetauscht werden. Er ist in diesem Fall nur eine Idee, und meist keine besonders geglückte und überzeugende. Anders ist es in der Moraltheologie. Bei ihr ist Gott der Hausherr. Er beherrscht das Gebäude, er lässt nichts neben sich oder seinen Überlegungen und Verlautbarungen zu, er ist der Ausgangspunkt und das Endergebnis. Das ist eine schwierige Situation für die empirische oder deskriptive Ethik, aber eine ausweglose für die normative. In der Moralphilosophie kann jedes Modell normativer Ethik ersetzt und ergänzt werden, und sie ist nicht allein Wissenschaft, weil sie einen klar abgrenzbaren Gegenstandsbereich aufweist und wissenschaftliche Methoden verwendet, sondern auch, weil sie voraussetzungslos und ergebnisoffen ist. Natürlich hat sie, wie jede Wissenschaft, die Vorurteile ihrer Zeit und ihrer Kultur, aber sie kann diese überwinden und ständig fortschreiten, was der theologischen Ethik schwerfällt, die an göttliche Verlautbarungen gebunden ist, an feststehende Gottes- und Menschenbilder. Sicherlich darf man interpretieren, darf man relativieren, aber auch ein gebildeter Papst ist der Meinung, dass man es nicht zu weit dabei treiben darf, um den Kern der Sache nicht zu gefährden. Mit anderen Worten: Eine christliche Ethik, die vom christlichen Glauben absieht, existiert nicht. Wenn wir Maschinenethik treiben, treiben wir philosophische Ethik. Das ist keine Selbstverständlichkeit, denn klassische Bereichsethiken wie die Wirtschaftsethik und die Medienethik wurden in weiten Teilen religiös vereinnahmt. Zum Teil wehren sich die Wissenschaftler dagegen, zum Teil halten sie die Hände auf und nehmen die Almosen der Kirchen und Stiftungen entgegen, halten Vorträge und schreiben Bücher im Namen einer Ideologie, die ihnen eigentlich fremd sein müsste. Die Maschinenethik, die man den klassischen Bereichsethiken zuordnen mag, die man aber auch neben die Menschenethik stellen kann, was hier bevorzugt und noch vertieft wird, ist keinesfalls dauerhaft sicher vor der theologischen Ethik. Es scheint diese geradezu brennend zu interessieren, wie die Moral auch noch in die Maschine kommt, natürlich eine bestimmte Moral. Ohne dass schon die Frage thematisiert wird, ob die Maschinenethik einer bestimmten Moral verpflichtet ist, muss noch der Gegenstand der Ethik präzisiert werden. Es ist hier nicht der Ort, sämtliche Haltungen abzubilden. Natürlich kann man Ethik lebenspraktisch betreiben, als Schule des guten Lebens ansehen, worauf im nächsten Abschnitt eingegangen wird. Und natürlich treiben viele die Disziplin, um damit ihrer Gesinnung Ausdruck zu geben und diese durchzusetzen. Dergestalt wird Ethik etwa am Gymnasium aufgefasst, als Wertevermittlung, weniger als Werteuntersuchung. Ich bin der Meinung, dass sich die Ethik, wenn man sie als Wissenschaft ansieht, bescheiden muss. Sie untersucht das Gute und das Böse, sie erforscht Werte, sie stellt diese in einen Zusammenhang, aber sie schreibt sie nicht

8

Dies gilt selbst für Descartes, der mit seinem systematischen Zweifel einen allmächtigen Gott (sowie einen bösen Geist) verbindet (Descartes 2008). Sicherlich sind auch Philosophen nicht gegen jede Vereinnahmung immun, und bei manchen mischen sich Rationalität und Irrationalität; der französische Philosoph kann gar als strenggläubig gelten.

Wozu brauchen wir die Maschinenethik?

21

vor. Dies macht sie nicht einmal im Normativen, dessen Modelle sie als Beispiele, Vorschläge und Experimente begreift, als Begründungs- und Ordnungssysteme. Innerhalb der Modelle kann etwas zwingend gelten, aber die Moralphilosophie hat die Freiheit, die Modelle an sich anzugreifen, zu zerstören und zu beerdigen. Philosophische Ethik in dieser Bedeutung moralisiert nicht, im Gegensatz zu theologischer Ethik, die immer moralisiert, und das, was als ihre Schwäche erscheint, ist in Wahrheit ihre Stärke. Es ist keine Haltungslosigkeit, die sie zeigt. Sie kann jederzeit auf die Haltlosigkeit einer moralischen Überzeugung hinweisen, indem sie aufzeigt, dass der Träger diese mit falschen Annahmen verknüpft oder sie zu Inkonsistenzen in seinem Denken führt. Sie kann überhaupt thematisieren, dass die menschliche Moral von Inkonsistenzen geprägt ist und idealisiert wird, als gäbe es selbst theoretisch keine bessere. Damit kehren wir wieder zur Frage zurück: Zweieinhalbtausend Jahre lang wurde die Ethik als Menschenethik betrieben. Der Mensch war das Subjekt der Moral, der „moral agent“, zudem das Objekt der Moral, der „moral patient“, das Tier war irgendwann das Objekt der Moral. Und plötzlich ist auch die Maschine das Subjekt der Moral. Es fehlt ihr zugegebenermaßen vieles von dem, was ein normales moralisches Subjekt auszeichnet. Für mich sind Tiere ebenso Subjekte, nicht der Moral (wir können bei Delfinen und Elefanten von vormoralischen Qualitäten sprechen), sondern von Entscheidungen und Handlungen. Auch die autonome oder teilautonome Maschine entscheidet und handelt, zumindest metaphorisch gesprochen. Sie wählt auf der Grundlage von eigenen Beobachtungen, beigebrachten Regeln und geeigneten Fällen zwischen vorgegebenen Optionen aus und führt diese aus, in Form von autonomen oder teilautonomen Aktionen. Da diese beigebrachten Regeln und geeigneten Fälle moralischer Art sein können, ist sie ein moralisches Subjekt, ein neuartiges, eigenartiges, fremdartiges, ein metaphorisches, ein fragmentarisches, aber immerhin. Sie steht in gewisser Weise zwischen Tier und Mensch, kann ähnlich rational wie der Mensch unterschiedliche Optionen abwägen, ohne dies jedoch zu verstehen (während das Tier intuitiv auswählt, passend zu seinem Lebenskontext, den es einzuschätzen weiß). Wir können also erstens festhalten, dass die Moralphilosophie die Gelegenheit erhält, ein neues Subjekt der Moral in ihren Mittelpunkt zu stellen. Diese Gelegenheit darf sie sich nicht entgehen lassen, selbst wenn sie den Subjektbegriff, der hier vorgeschlagen wurde, zerfleischen kann und will. Die Beschäftigung mit dem Subjekt der Moral hat viele Implikationen. Eine ist, dass sich die Maschinenethik überlegen muss, wie die Moral in die Maschine kommt, wie sie maschinenverarbeitbar wird. Das ist eine hochinteressante Frage, auf die es schon einige Antworten gibt, die hier zum Teil vorgetragen wurden.9 Man kann mit Regeln arbeiten, mit Fällen, mit Vorbildern, man kann Beurteilungen aus sozialen Medien anzapfen etc. Man kann sich grundsätzlich fragen, welche Modelle

9

Es wird hier nicht auf die Robotergesetze oder Gesetze der Robotik von Asimov eingegangen, die für den fiktionalen Kontext gedacht waren (Asimov 1973, 1982). Eine wichtige Quelle der Inspiration waren sie für die Maschinenethik allemal.

22

O. Bendel

normativer Ethik funktionieren und welche nicht. In Bendel (2012), (2013b) und (2014d) wurde dem nachgegangen, und es hatte sich herauskristallisiert, dass sich ausgerechnet klassische Modelle eignen, die Pflichtethik genauso wie die Folgenethik. Auch eine IEEE-Arbeitsgruppe hat sich ab 2016 dieses Themas angenommen, für den umfangreichen Bericht und Leitfaden „Ethically Aligned Design“. Schon bei der Tugendethik wird es kompliziert, weil sie weniger abstrakt als die anderen Ansätze ist, mehr auf den Menschen bezogen. Aber es ist im Prinzip möglich, eine tugendhafte Maschine zu entwerfen, oder eine Maschine zu erziehen, bis sie (innerhalb gewisser Grenzen) moralisch perfekt ist und, frei nach Aristoteles, automatisch tugendhaft handelt. Bei mehreren modernen Ansätzen wird man sich schwertun, etwa bei existenzialistischen oder bei lebensweltlichen, und zwar genau deshalb, weil sie auf den Menschen zugeschnitten sind und nicht einfach einen Austausch des Subjekts erlauben. Es kann also zweitens festgestellt werden, dass der philosophischen Ethik eine weitere Aufgabe zukommt, nämlich die Erforschung der maschinellen Verarbeitung der Moral. Dies führt zu einem weiteren Punkt. Die Philosophie war die ganze Zeit eine Reflexions-, keine Gestaltungsdisziplin. Diese Formulierung muss sogleich Widerspruch wecken. Ohne Zweifel lieben die Philosophen das reine Denken, und die empirische Betätigung scheint ihnen fern zu sein. Nun stimmt das schon nicht für Aristoteles, der die belebte Natur erforschte, der Leichen aufschnitt, um zu sehen, was sich in ihnen verbarg, und für Vorsokratiker wie Thales und Demokrit ebenso wenig, die der unbelebten Natur auf den Grund gingen (was Aristoteles ebenfalls tat), indem sie Beobachtungen, Berechnungen und Vermutungen anstellten. Es stimmt auch nicht für solche Ethiker, die das gute Leben nicht bloß als ein Resultat der Reflexion, sondern als Prinzip der Existenz forderten, die ihren Anhängern, wie Epikur, beibrachten, wie man sinn- und lustvoll (vor allem geistvoll) lebt. Es gab also immer Philosophen, die die Wirklichkeit beschreiben und gestalten wollten. Aber das ist hier nicht gemeint. Maschinenethiker gestalten die Wirklichkeit, indem sie sie direkt hervorbringen, genauer gesagt, gestalten sie Artefakte in ihrem Aussehen und in ihren Aktionen und erforschen sie dann (Bendel 2012, 2015, 2018a). Es ist ein Design im englischen Sinne, das neu in der Philosophie und in der Ethik ist, das Entwickeln, das Programmieren, das Testen von Artefakten, zur Bereicherung und zur Veränderung der Wirklichkeit. Drittens kann man also betonen, dass sich für die Ethik die einmalige Chance auftut, die sprichwörtlichen zwei linken Hände der Philosophen auszutauschen und sie zu Bastlern und Entwicklern zu machen. Dies führt zu den nächsten Überlegungen. Obwohl die Philosophie von Anfang an Mathematik, Physik und Biologie getrieben hat, obwohl Niels Bohr, Werner Heisenberg und Albert Einstein durch und durch Philosophen waren, obwohl mit Alan Turing und Joseph Weizenbaum die Informatiker zu Denkern wurden, ist bis heute der durchschnittliche Philosoph technikfremd geblieben (und der durchschnittliche Techniker philosophiefremd). Natürlich gibt es die Technikphilosophie und die Technikethik, und die Medienethik, wie jede andere Bereichsethik, kann sich kaum wehren gegen die Anmaßungen der Technik, aber ein einschlägiges Doppelstudium der Informatik (mitsamt der Künstlichen Intelligenz) und Philosophie oder der Robotik und Philosophie ist selten geblieben. Das ist nichts weniger als absurd,

Wozu brauchen wir die Maschinenethik?

23

denn wenn man künstliche Kreaturen in Körper und Geist schafft, kommt man nicht ohne Philosophie und den Rekurs auf eine jahrtausendealte Ideengeschichte aus. Immerhin wurden Psychologie, Soziologie, Linguistik etc. ins Boot der Wissenschaft geholt, aber bei Philosophie und Ethik hört es nicht auf mit dem Fremdeln, gewiss auch, weil man von diesen eine Bevormundung erwartet, was wiederum mit dem falschen Anspruch bestimmter Ethikrichtungen und -einrichtungen zu tun hat. Robotik und KI, um es kurz zu machen, sind natürlich Partner der Maschinenethik, und faktisch finden deren Konferenzen in ihrem Kontext statt. So bieten die AAAI Spring Symposia an der Stanford University seit Jahren Maschinenethikern, Roboterethikern und Roboterphilosophen eine Plattform. Robotik und KI erlauben es den Maschinenethikern, ihre Denkergebnisse in eine Maschinenform zu bringen. Viertens ist also festzuhalten, dass die Ethik neue Freunde gewinnt, neben den Hirnforschern und Verhaltenspsychologen nun eben Programmierer, Techniker und Ingenieure. Zusammen mit Informatik, Künstlicher Intelligenz, Robotik etc. kann man danach forschen, ob neben der menschlichen Moral eine bessere Moral existiert, eine maschinelle, die absieht von menschlichen Unzulänglichkeiten, von Gefühlen wie Hass und Liebe, von Vorurteilen.10 Einer Maschine kann man das Völkerrecht beibringen, man kann mit ihr überhaupt eine rigorose Durchsetzung herrschender Moral und geltenden Rechts ermöglichen, und anders als Menschen tendiert sie zunächst nicht zu gewalttätigen Akten. Das wäre allerdings schon ein Einwand, ohne dass hier die inhaltliche Diskussion geführt werden soll: Einem Kampfroboter kann man im Prinzip eintrichtern, am Rande des Krieges zu plündern, zu brandschatzen, zu vergewaltigen. Das scheint besonders pervers zu sein, aber es handelt sich eben um Kampfroboter, und nicht um Assistenzroboter, die eine Blume überreichen.11 Man könnte, um zur philosophischen Begründung zurückzukehren, auch die Möglichkeit untersuchen, ob die Maschine eine schlechtere Moral hat oder bekommt, etwa wenn sie keinen starren Regeln folgt, sondern, als selbstlernendes System, eigene bildet. Oder wenn sie starren Regeln folgt, diese aber von bösen Menschen ausgedacht wurden, oder von Menschen, die wie der Verfasser davon überzeugt sind, dass man böse Maschinen bauen darf (böse nicht aus ihrem Willen heraus, sondern in Bezug auf ihre Aktionen), um sie im Labor zu erforschen. Fünftens sind es also die moralische oder unmoralische Maschine und das Wesen ihrer Moral, die zur Diskussion stehen. Wenn man moralische und unmoralische Maschinen erforscht, sieht man sich schnell mit etlichen philosophischen Begriffen, Konzepten und Herausforderungen konfrontiert. Eine Auseinandersetzung dreht sich um das Delegieren von Verant10

Dieser Aspekt wird in Abb. 1 in gewisser Weise unterschlagen. In dieser wird ausgedrückt, dass die menschliche Moral simuliert (schwache Maschinenethik) oder intendiert (starke Maschinenethik), aber nicht, dass eine maschinelle Moral erzeugt wird, die die Schwächen der menschlichen Moral beseitigt oder die von der menschlichen Moral ganz verschieden ist. Das kann aber das Ziel sein, wobei man im zweiten Fall fragen müsste, ob man noch von Moral sprechen kann. 11 In einem Werbevideo zeigt das Fraunhofer-Institut für Produktionstechnik und Automatisierung, wie Care-O-bot einer Frau eine Blume überreicht.

24

O. Bendel

wortung an autonome Maschinen. Manche Exponenten lehnen dieses grundsätzlich ab. Manchen von ihnen ist offenbar nicht klar, dass es ganz unterschiedliche moralische Maschinen geben kann, welche, die in geschlossenen, halb offenen oder aber in offenen Umgebungen unterwegs sind, die selbst eher geschlossen oder offen, also mit sich selbst zufrieden sind oder über Sensoren und dazugehörige Programme ihre Umwelt analysieren, die autonom oder teilautonom sind, die über wenig oder viel Intelligenz verfügen, die sich nach starren Regeln richten oder die versuchen, die Folgen abzuschätzen, die über Leben und Tod von Tieren oder Menschen entscheiden. Je nachdem, um welche Maschine es sich handelt, muss die Frage nach der Verantwortung ganz unterschiedlich beantwortet werden. Oder ist der Einwand doch fundamental und generell? Sollte der Mensch niemals Verantwortung an Maschinen abgeben, etwa weil er dann verlernt, eine solche zu tragen? Dann müsste man erst einmal beweisen, dass dies zutrifft. Oder löst sich die Verantwortung, wenn man sie an die Maschine abgibt, auf? Dieser Frage wird im nächsten Abschnitt nachgegangen. Sechstens ist die Maschinenethik also geeignet, alte und bewährte Begriffe und Konzepte wie Verantwortung und Haftung zu hinterfragen. Das waren nur einige Argumente, warum es eine Maschinenethik braucht, und ganz egal, ob man diese ablehnt, ob man sogar denkt, dass sie gar nicht existiert, trotz zahlreicher Konferenzen und Publikationen, trotz des Aufblühens der Disziplin, trotz gesellschaftlicher und politischer Diskurse in ihrem Namen oder Geiste, man kommt als Philosoph des 21. Jahrhunderts nicht an ihr bzw. ihrer Idee vorbei, und Künstliche Intelligenz und Robotik sollten sich ihr nicht bloß zuwenden, wenn ein Vertreter der Maschinenethik sie darum bittet. Wenn die schwache KI das Ziel hat, das menschliche Gehirn zu simulieren, und nur auf die Intelligenz schaut und nicht auf die Moral, nur auf das Operationale und Analytische, nicht auf das Normative, geht sie fehl. Und selbst wenn es das Ziel der Maschinenethik nicht gäbe, die maschinelle Moral, wäre der Weg das Ziel, und man müsste ihn mutig betreten, wie einer der frühen Entdecker.12 Das kann als siebter Befund gelten.

4

Die praktische Begründung

Im letzten Abschnitt wurde aus philosophischer und ethischer Perspektive für die Maschinenethik argumentiert. Nun werden pragmatische und praktische Begründungen geliefert und Überlegungen mit Blick auf den Einsatz moralischer (und unmoralischer) Maschinen angestellt. Dabei werden die Erkenntnisse aus dem letzten Abschnitt wiederholt aufgenommen. Der einfache Grund, warum man Maschinen moralisieren muss, liegt darin, dass diese immer häufiger autonom und teilautonom sind. Ferngesteuerte Maschinen brauchen keine eigene Moral. Einfache Automaten in der Regel ebenso wenig, etwa 12

Persönlich bin ich der Meinung, dass Maschinen kein Selbstbewusstsein entwickeln können und werden. Dennoch halte ich die Forschung in diesem Bereich für wichtig und interessant. Man wird am Ende vielleicht nicht auf das Selbstbewusstsein stoßen, aber auf etwas Verwandtes.

Wozu brauchen wir die Maschinenethik?

25

ein Kaffeeautomat. Kann dieser allerdings kommunizieren, sieht es schon anders aus, und man muss betonen, dass sich die Maschinenethik nicht nur auf Entscheidungen und Akte oder Aktionen, sondern auch auf das Aussehen und das Sprechen (mithin Sprechakte) oder das Schreiben richtet (Bendel 2018b; Bendel et al. 2017). Auch 3D-Drucker können moralisiert werden, etwa indem ihnen beigebracht wird, keine Waffen auszudrucken. Dennoch sind die typischen moralischen oder unmoralischen Maschinen autonome oder teilautonome. Man kann diese verbieten, also regulativ tätig werden in Bezug auf bestimmte Anwendungsbereiche, und bei Kampfrobotern halte ich das für keine schlechte Lösung.13 Wenn man sich dazu nicht entschließt, wird es in vielen Fällen notwendig sein, die Maschine zu moralisieren, damit kein Schaden für Menschen oder Tiere entsteht. Erstens benötigt man die Maschinenethik also dafür, die autonomen und teilautonomen Systeme im doppelten Sinne zu verbessern. Eine Frage, die bereits andiskutiert wurde, ist die, ob man Verantwortung übertragen darf. Man darf, man kann, wenngleich man auf der Seite der Maschine nicht mehr von Verantwortung sprechen muss (dann würde man, indem man die Verantwortung überträgt, diese vernichten, oder sie würde sich auf bestimmte Menschen verteilen).14 Man sollte aber nicht immer, und dies hängt damit zusammen, dass man die Verantwortung vernichten könnte. Ich würde indes durchaus unterscheiden. Es gibt Verantwortung, die wir tragen müssen, und Aufgaben, die wir übertragen können, was immer dann mit der Verantwortung passiert. Wir können Aufgaben an LADYBIRD übergeben, und selbst wenn dieser Staubsaugerroboter einmal versehentlich einen Marienkäfer töten wird, weil er ihn nicht erkennt, kann man damit leben. Womit wir unter Umständen nicht leben können oder wollen, ist das Delegieren von Entscheidungen über Leben und Tod von Menschen. Womöglich ist diese Verantwortung so schwer, dass einzig wir sie tragen können, und die Folgen, wenn wir sie abgeben, sind so schwerwiegend, dass wir darauf verzichten müssen. Die Teilnehmer eines Kurses der Informationsethik an meiner Hochschule habe ich gefragt, ob sie wollen, dass das selbstfahrende Auto potenzielle Unfallopfer quantifiziert und allenfalls qualifiziert und dann ein Todesurteil fällt, in Entlastung des „Fahrers“. Die Mehrheit des Kurses wollte das, was mich verblüffte und mich dazu brachte, über die moralischen Verhältnisse meiner Studierenden nachzudenken. Letztlich handelt es sich um moralische Fragen, nicht um ethische. Maschinenethiker können, und das wäre der zweite Punkt im Pragmatischen, alle möglichen Maschinen konzipieren, auch solche, die Verantwortung auf sich nehmen (und allenfalls zerstören). Das führt zum nächsten Aspekt. Darf die Maschinenethik Kampfroboter moralisieren oder Sexroboter? Ich bin nicht in der militärischen Forschung tätig. Mein Kollege Ron Arkin dagegen schon. Darf er das tun? Als Maschinenethiker? Darf er

13

Ich betone immer wieder den Unterschied zwischen Entwicklung und Forschung auf der einen und der Anwendung auf der anderen Seite. 14 Man könnte z. B. sagen, dass sie eine Primärverantwortung, aber keine Sekundärverantwortung tragen können, doch ob es das trifft, ist wiederum fraglich.

26

O. Bendel

tödliche Maschinen mitgestalten? Ich bin der Meinung, dass er das darf. Wieder muss man Ethik und Moral trennen. Ein Ethiker darf Unmoralisches tun, als Mensch, was selbstverständlich sein dürfte, und als Ethiker. Der Maschinenethiker muss nicht zwangsläufig das Gute in der Welt vermehren, genauso wenig wie der Ethiker überhaupt. Wenn er das tut, dann ist das natürlich ausgezeichnet und vorbildlich. Es hängt jedoch eher mit der persönlichen Motivation zusammen, mit dem Bedürfnis, moralisch zu handeln, sowie damit, dass der Betreffende nicht nur eine bestimmte Moral, sondern auch eine bestimmte Moralität kennt (Pieper 2007). Die Personen, die militärische Forschung treiben, werden selbstverständlich andere Argumente haben. Sie werden das, was sie tun, moralisch finden, denn sie helfen einerseits, so glauben sie, dem eigenen Land, sich gegen das Böse zu verteidigen, und sie bringen dem Kampfroboter bei, das Schlechte nach den geltenden moralischen Vorstellungen und rechtlichen Regelungen zu bekämpfen. Das ist ganz konkret eines der Lieblingsargumente dieser Fraktion: Man kann einem Kampfroboter beibringen, keine Zivilisten zu töten (was übrigens beliebig schwierig ist) und keinen feindlichen Soldaten, der aufgegeben hat (was ebenso schwierig ist), man kann ihm, so die Redeweise, ein künstliches Gewissen verleihen. Bei Sexrobotern würde ich mich ähnlich positionieren, mit dem Unterschied, dass ich diese nicht unmoralisch finde und persönlich der Meinung bin, dass man sie moralisieren sollte, etwa um Verletzungen und Überbeanspruchungen bei den menschlichen Partnern zu vermeiden. Wichtig ist aber, dass man sie moralisieren kann, und so halte ich nochmals den dritten Befund fest, dass die Maschinenethik alle Maschinen moralisieren kann, zu welchem Zweck diese auch eingesetzt werden mögen.15 Dies leitet zur Frage über, ob man aus der Maschinenethik heraus Maschinen bauen darf, die schlechte Absichten haben, die etwa lügen oder betrügen können. Darüber habe ich mit Ron Arkin auf dem Podium in Krakau diskutiert, bei der Konferenz „Machine Ethics and Machine Law“, und wir waren beide der Meinung, dass man das darf, allerdings aus unterschiedlichen Gründen und mit unterschiedlichen Forderungen. Während der Kollege diese Maschinen in den Krieg hinausschicken würde, würde ich sie gerne, etwa den LÜGENBOT (LIEBOT), den wir 2016 gebaut haben, im Labor behalten. Erinnern wir uns noch einmal daran, was die Ethik als Wissenschaft ist und will. Nach meiner Meinung ist sie eine Disziplin, die das Gute und Böse erforscht. Wenn sich nun mit der Maschinenethik die Möglichkeit eröffnet, moralische und unmoralische Maschinen zu bauen, und diese dazu dienen, dem Guten und dem Bösen auf den Grund zu gehen, dann sehe ich keine Veranlassung, dies nicht zu tun. Allerdings widerspräche es, wie mehrmals betont, meiner persönlichen Moral, bestimmte Maschinen aus dem Labor zu lassen und in die Welt zu entlassen. Dabei gebe ich zu, dass es schwierig sein kann, etwas im Labor zu halten. Beim LÜGENBOT, den ich für eine unmoralische Maschine halte, bin ich 15

Ich habe bereits darauf hingewiesen, dass ich für ein Verbot der Anwendung von Kampfrobotern bin, und ich habe entsprechende Petitionen unterschrieben. Ich bin aber nicht gegen die Erforschung von Kampfrobotern, obschon ich persönlich nichts damit zu tun haben will. Wenn die Maschinenethik alle Maschinen moralisieren kann (die sich moralisieren lassen), bedeutet das nicht, dass sie alle moralisieren muss.

Wozu brauchen wir die Maschinenethik?

27

das Risiko eingegangen (und wir haben ihn beispielsweise durch ein Login geschützt und nur kontrolliert Zugang gewährt). Zunächst finde ich es, wie gesagt, durchaus wichtig, das maschinelle Böse zu erzeugen, aus Gründen des Erkenntnisgewinns. Ich sehe freilich die Risiken und die Notwendigkeit, solche Projekte in der Öffentlichkeit zu erläutern.16 Das habe ich beim LÜGENBOT immer wieder getan, und man muss betonen, dass er aus dem GOODBOT-Projekt hervorgegangen ist, in Umkehrung einer Metaregel. Er ist Teil einer größeren Erkundung und sollte in diesem Zusammenhang gesehen werden. Das vierte Ergebnis wäre also, dass man aus der Maschinenethik heraus sowohl moralische als auch unmoralische Maschinen hervorbringen kann – in jedem Falle treibt man Maschinenethik. Ein Vorwurf, der bei Konferenzen und Interviews immer wieder geäußert wird, ist der, dass die Maschinenethik eine globale oder universelle Moral finden müsste, die sie den Maschinen eingeben könnte. Diese Aussage entspringt einem Missverständnis bzw. einer Unkenntnis tatsächlicher Prototypen und Artefakte moralischer Maschinen. Sie ignoriert, dass die Disziplin ganz unterschiedliche Typen für ganz unterschiedliche Kontexte hervorbringen kann. Diese können etwa, wie erwähnt, geschlossene, halb offene und offene Welten sein. Für eine geschlossene oder halb offene Welt, wie sie der Haushalt oder ein Betriebsgelände darstellt, benötigt man keine globale, universelle Moral. Es reicht die Moral des Bewohners, Besitzers oder Betreibers aus. Er legt fest, was bei ihm passiert, innerhalb wirtschaftlicher, organisatorischer und rechtlicher Grenzen. Mein Beispiel ist wiederum LADYBIRD (Bendel 2017). Die Idee ist, dass LADYBIRD ein tierfreundlicher Saugroboter ist, der u. a. Marienkäfer verschont. Als solcher könnte er von der Stange gekauft werden. Es spielt der Markt, wie bei einem Bio- oder Fair-trade-Produkt. Wenn ich selbst Marienkäfer mag und wenn ich will, dass sie verschont werden, erwerbe ich ein solches Produkt. Dieses ist eine Stellvertretermaschine mit einer Stellvertretermoral. Das Entscheidende ist, fünfter Punkt, dass die autonome Maschine dasselbe tut, was ich auch tun würde, wenn ich die Arbeit selbst verrichten würde.17 Die Stellvertretermoral kann durch Kauf erworben oder durch ein Moralmenü bestimmt und angepasst werden. 2018 wurde ein solches Moralmenü entwickelt, zuerst für Sprachassistenten wie Google Assistant bzw. Google Duplex, dann für LADYBIRD (s. Abb. 2). In dem Vorschlag, der auf maschinenethik.net veröffentlicht und bei dem bereits genannten Workshop „Understanding AI & US: Transpa16

Bei einem Podiumsgespräch in Hamburg im November 2017 mit dem GEO-Chefredakteur wurde ich von einer Zuhörerin angegriffen. Sie war der Meinung, ich als Deutscher dürfe das Böse nicht hervorbringen, um es zu erforschen, und wenn ich es täte, sei ich ein Nazi. Nun muss man vielleicht genau hinschauen und muss herausfinden, worin das Böse besteht, das wir hervorbringen. Meine persönliche Moral verbietet es mir, ein Projekt durchzuführen, bei dem Menschen und Tiere zu Schaden kommen. Ich lehne sogar generell Tierversuche ab, was sicherlich als radikal angesehen werden darf. Ich hätte es also nicht zugelassen, dass Menschen gefoltert werden, um die abscheulichsten Lügen auszuspucken, die wir dem LIEBOT einpflanzen könnten. Und tatsächlich sind wir hier auf einer ethischen Ebene angelangt, nämlich auf der Ebene der Wissenschaftsethik. 17 Damit meine ich nicht, dass moralische oder unmoralische Maschinen unbedingt so gebaut werden müssen, in Übertragung der individuellen Moral, sondern nur, dass die Behauptung, es brauche eine universelle Moral, so nicht stimmt.

28

O. Bendel

Abb. 2 Moralmenü für LADYBIRD (eigene Darstellung)

rency and Computability“ vorgestellt wurde, bleibt die Grundfunktion, das Verschonen von Marienkäfern, unberührt. Dagegen kann man einstellen, ob man Ungeziefer oder Spinnen töten will.18 Dies bräuchte freilich technische Entsprechungen, die beim Prototyp nicht vorhanden waren. Es spricht vieles dafür, dass der Besitzer eine Maschine, die in einem von ihm verantworteten Bereich tätig ist, an seine Moral anpassen kann, oder an seine Vorstellungen von Gesundheit. In ethischer Hinsicht gestehe ich dem Besitzer diese Freiheit zu, die mit einer philosophisch-technischen Möglichkeit, eben dem Moralmenü, verbunden ist, moralisch bin ich dagegen, weil ich Spinnen für genauso wertvoll und schützenswert halte wie Marienkäfer. Das ist auch der Grund, warum ich einen komplett frei gestaltbaren Saugroboter (einen, der Marienkäfer töten könnte) aus moralischen Gründen ablehne und einfach nicht

18

Dies führte auf dem Workshop zu Konsequenzen. Eine Frage war, ob man dem Staubsauger auch ermöglichen sollte, Katzen zu quälen. Um so etwas auszuschließen, gibt es allerdings Gesetze, und natürlich darf ein Moralmenü nicht gegen solche verstoßen. Ein Einwand war, es würde durchaus Konsens in etlichen Punkten darüber existieren, was richtig und was falsch ist. Das mag sein, und es ist in LADYBIRD ja auch fest verdrahtet, dass er keine Marienkäfer töten soll. Der Wunsch, Spinnen zu töten, kam von meinen Studierenden. Ich finde ihn unmoralisch, aber man kann ihn eben ethisch berücksichtigen. LADYBIRD ist in gewisser Weise ein Mischwesen. Er gibt eine Moral vor, lässt jedoch die Freiheit, die eigene Moral zu übertragen.

Wozu brauchen wir die Maschinenethik?

29

konzipieren würde (dies dürften aber andere Maschinenethiker tun).19 Dies war eine Ergänzung der fünften Erkenntnis. Es wurde nun viel über tierfreundliche Maschinen gesprochen. Tatsächlich sind diese ein Schwerpunkt meiner Arbeit (Bendel 2014a, b, 2015, 2018a). Weil ich persönlich ein Problem darin sehe, autonomen Maschinen in offenen Welten moralische Verhaltensweisen mit existenzieller Tragweite gegenüber Menschen beizubringen, habe ich diesen Bereich in den letzten Jahren theoretisch erörtert, aber nicht praktisch genährt. Aus Perspektive der Maschinenethik ist das autonome Auto, das Menschen quantifiziert und qualifiziert, ein hochinteressanter, wenngleich inzwischen totdiskutierter Fall. Aus der Perspektive der Moral ist es für mich eine Sackgasse.20 Es ist keine befriedigende Lösung in Sicht, außer derjenigen, das autonome Auto nur auf Autobahnen fahren zu lassen, also dort, wo keine Fußgänger und Fahrradfahrer sind und sich alle auf zwei, drei unmittelbar nebeneinander liegenden Spuren in eine Richtung bewegen. Man schiebt das Fahrzeug sozusagen aus dem Bereich der Moral heraus. Nun will ich ja praktisch relevante Maschinenethik treiben, auch mit Blick auf automatisiertes Fahren. Meine Hintertür waren Entscheidungen über Leben und Tod von Tieren. ROBOCAR, eine Designstudie und ein Umsetzungskonzept mitsamt Modellierung (mit annotierten Entscheidungsbäumen), habe ich beim AAAI Spring Symposium „Ethical and Moral Considerations in Non-Human Agents“ an der Stanford University im März 2016 vorgestellt. Es war das bestgerankte Paper, wie ich durch eine Indiskretion erfahren habe, und zwar deshalb, weil ich konkret geworden bin. Mein Anspruch ist nicht, ein brillanter Ethiker zu sein, sondern ein solider Maschinenethiker, einer, der sich zusammen mit Vertretern der Künstlichen Intelligenz und der Robotik ins Labor und in die Werkstatt stellen und wie sie die Ärmel hochkrempeln kann. Die Maschinenethik kann tausende Maschinen moralisieren, und hunderte davon könnten Tierleid beseitigen und -wohl fördern, was ethisch wie moralisch von Bedeutung ist (man sollte dennoch nicht Tierethik und -schutz verwechseln). Halten wir sechstens fest: So wie die Menschenethik mit der Tierethik ein fruchtbares Feld gefunden hat, das zwar nicht das Subjekt, aber das Objekt der Moral ändert, so erkennt die Maschinenethik in der tierfreundlichen Maschine einen nachhaltigen Gegenstand. Doch nochmals zum Konkreten. Dieses ist also ein zentrales Anliegen der Maschinenethik; zumindest wird es von der Community geschätzt, dass die Ethik hier nicht nur reflektiert, sondern auch implementiert (bzw. die Vorbereitungen dazu

19

Warum die Freiheit nicht bei Marienkäfern, aber bei Spinnen? Darüber kann man in der Tat streiten. Eine Idee wäre, dass der Benutzer seine Entscheidung, Spinnen töten zu lassen, erst begründen muss, oder dass er von der Maschine eine Auskunft erhält, die ihn von seiner Entscheidung abbringen könnte. Letztlich werden moralische Maschinen, die von der Industrie angeboten werden, voller Vorurteile sein, aber die Idee ist schlicht, den Benutzer zufriedenzustellen. Dass dieser an sich aufgeklärt und umgestimmt werden kann, steht außer Frage. Man könnte ihm beibringen, dass er Spinnen nicht töten soll, obwohl er sie eklig findet, also an seine Vernunft und die Überwindung seiner Emotionen appellieren. 20 Es handelt sich nicht nur um ein persönliches moralisches Problem, sondern auch um ein Rechtfertigungsproblem der Disziplin.

30

O. Bendel

trifft). Das Philosophische in diesem Zusammenhang wurde bereits diskutiert, der Umstand, dass neben die klassischen Bereichsethiken als Reflexionsdisziplinen die Maschinenethik als Gestaltungsdisziplin tritt, und zwar mit Blick auf das Subjekt der Moral, weswegen sie sich in höheren Sphären wähnt, an der Seite der Menschenethik, ob das gerechtfertigt ist oder nicht. Man könnte noch anfügen, dass die Ethik oft praktisch geworden ist, im Ethikmanagement, im Compliance-Management, und dabei sich von sich selbst entfernt, ihre Wissenschaftlichkeit verloren hat. Nicht so bei der Maschinenethik, die konkret wird, Wissenschaft bleibt und sich mit Robotik und KI, die ebenfalls das Konkrete lieben, verbündet, überhaupt mit der Ingenieurskunst. Punkt sieben also: Die Maschinenethik gefällt sich im Konkreten, dieses ist ihr eigentliches Feld, bis hin zum letzten Detail.21 Am Schluss zur Kunst überhaupt. Es wird viel zu selten berücksichtigt, dass diejenigen, die Roboter erbauen, vor allem mit menschlicher oder tierischer Anmutung, und diejenigen, die KI-Systeme entwickeln, stets Kunst hervorbringen, obschon dies unter der Kunst manchmal verloren geht, in Neuformulierung des berühmten Satzes von Ovid, unter Entfernung des „nur“ vor der „Kunst“: „Dass es Kunst war, verdeckte die Kunst“, oder genauer: „Dass es Kunst war, verdeckte die Ingenieurskunst“. Kunst ist es also – und ein alter Menschheitstraum, wie eben die zahlreichen künstlichen Kreaturen im Werk von Ovid und von Homer zeigen. Wenn man sich dies klargemacht hat, gelingen andere Ansätze und andere Ergebnisse, werden die Disziplinen schöpferischer, wird das Reden über die Artefakte lockerer. Beispiele gibt es zuhauf, Roboter, die per Autostop reisen (Hitchbot), um das Verhalten der Menschen ihnen gegenüber zu erforschen (Beuth 2017), oder die als Zwilling den Professor ergänzen und hinterfragen (Geminoid), Chatbots, die sich dem Benutzer in unheimlicher Weise annähern (Replika, s. replika.ai) oder in systematischer Weise lügen (LÜGENBOT). Als achter Befund kann gelten: Maschinenethik ist Kunst oder kann Kunst sein. Die letzte Erörterung hat mit der Frage nach der Disziplin und der Bedeutung der Maschinenethik zu tun. Man könnte diese lediglich als Arbeitsgebiet begreifen, als neues Feld insbesondere der angewandten Ethik, doch wenn man der Mehrzahl der Ergebnisse dieses und des letzten Abschnitts folgt, sollte einem die Zustimmung zu einer Disziplin zumindest nicht schwerfallen. In den USA existiert eine Community in diesem Bereich, in Europa wird es schon einsam, wenn man die Niederlande, Deutschland und die Schweiz hinter sich gelassen hat. Im Süden sind noch Italien und Portugal von Bedeutung, im Norden Dänemark und Schweden. Dem Verfasser wurde bei Konferenzen und Veranstaltungen wiederholt angedichtet, ein Institut oder einen Lehrstuhl für Maschinenethik zu haben. All dies ist bedauerlicherweise nicht der Fall. Ich unterrichte an meiner Hochschule seit vielen Jahren Informationsethik und in diesem Kontext seit 2012 Maschinenethik. Zudem lehre ich Wirtschaftsethik und Wirtschaftsinformatik. Es braucht aber unbedingt, ein neunter Befund, Institute und Lehrstühle der Maschinenethik im deutschsprachigen Raum. Selbst

21

Das mag ein etwas kühner Schluss sein. Ich würde auf jeden Fall behaupten, eine Maschinenethik, die sich nicht am Konkreten versucht, verdient ihren Namen nicht.

Wozu brauchen wir die Maschinenethik?

31

dort, wo die Hochschullandschaft recht flexibel ist, wie in der Schweiz, weil keine Ministerien in die Besetzungen hineinregieren, sind kaum Fortschritte zu sehen.

5

Zusammenfassung und Ausblick

Sinn und Zweck dieses Beitrags war es, Grundsätzliches zur Maschinenethik zu sagen, aber nicht das, was bereits vielfach vorgetragen wurde. So wurde die Frage weitgehend ausgespart, wie man künstliche Subjekte der Moral einteilen kann, und es wurde kaum auf die konkrete Umsetzung eingegangen – dafür sind genügend andere Quellen vorhanden (Wallach und Allen 2009; Anderson und Anderson 2011; Pereira und Saptawijaya 2016; Bendel 2013b, 2014c, 2016, 2018a, b). Es wurde sowohl aus philosophischer als auch aus praktischer Perspektive für die Maschinenethik argumentiert. Dabei wurde deren Bedeutung hoffentlich klar, die im Missverhältnis zur Förderung an den Hochschulen und durch die Politik steht.22 Wie geht es weiter mit der Maschinenethik? Es ist zu wünschen, dass die philosophischen Argumente vermehrt werden, um sie als Disziplin zu etablieren, und die praktischen, damit sie sowohl eine wissenschaftliche als auch gesellschaftliche Wirkung erreicht. Dabei sollte etwas nicht untergehen, nämlich das Vergnügen daran, moralische und unmoralische Artefakte zu schaffen, das vergleichbar ist mit der Freude, moralische Dilemmata zu erfinden. Wenn nicht alles trügt, hat die Philosophie einen neuen Spielplatz gefunden, auf dem sich Kinder tummeln, die sie früher nie getroffen hätte, und es ist wichtig, dass sie diesen behält und erweitert.

Literatur Anderson, Michael, und Susan L. Anderson, Hrsg. 2011. Machine ethics. Cambridge: Cambridge University Press. Asimov, Isimov. 1973. The best of Isaac Asimov. Stamford: Sphere. Asimov, Isaac. 1982. Runaround [1942]. In The complete robot, Asimov, Isaac. New York: Doubleday. Bendel, Oliver. 2012. Maschinenethik. Gabler Wirtschaftslexikon. Wiesbaden: Springer Gabler. http://wirtschaftslexikon.gabler.de/Definition/maschinenethik.html. Zugegriffen am 25.05.2018. Bendel, Oliver. 2013a. Die Medizinethik in der Informationsgesellschaft: Überlegungen zur Stellung der Informationsethik. Informatik-Spektrum 36(6): 530–535. 22

Es ist bezeichnend, dass in der von Alexander Dobrindt ins Leben gerufenen Ethikkommission, die sich automatisiertem Fahren und autonomen Autos widmete, kein einziger Maschinenethiker einsaß, obwohl deren Gegenstand hauptsächlich verhandelt wurde. Stattdessen konnte ein Weihbischof das einbringen, was die Heilige Schrift zu diesem Thema vorzuweisen hat. Überhaupt hat Deutschland ein Problem mit der philosophischen Ethik, nicht nur die Politik, wie man ebenso an der Besetzung des Deutschen Ethikrats sieht, sondern auch die Medien, allen voran die öffentlichrechtlichen Sendeanstalten. Deutschland hat darüber hinaus ein Problem mit der Wissenschaft, und an Grundschulen scheint es wichtiger zu sein, die Schöpfungslehre zu vermitteln als Grundlagen der Evolutionstheorie.

32

O. Bendel

Bendel, Oliver. 2013b. Towards a machine ethics. In Technology assessment and policy areas of great transitions: Book of abstracts. 1st PACITA project conference, 13.03.–15.03.2013, 229–230. Prague: Czech Republic. http://pacita.strast.cz/en/conference/documents. Zugegriffen am 25.05.2018. Bendel, Oliver. 2014a. Advanced driver assistance systems and animals. Künstliche Intelligenz 28(4): 263–269. Bendel, Oliver. 2014b. Fahrerassistenzsysteme aus ethischer Sicht. Zeitschrift für Verkehrssicherheit 2(2014): 108–110. Bendel, Oliver. 2014c. Wirtschaftliche und technische Implikationen der Maschinenethik. Die Betriebswirtschaft 4:237–248. Bendel, Oliver. 2014d. Towards machine ethics. In Technology assessment and policy areas of great transitions. 1st PACITA project conference, 13.03.–15.03.2013, Hrsg. Tomáš Michalek, Lenka Hebáková, Leonhard Hennen, et al., 321–326. Prague. Bendel, Oliver. 2015. Überlegungen zur Disziplin der Tier-Maschine-Interaktion. GBS, 14.02.2015. http://gbs-schweiz.org/blog/ueberlegungen-zur-disziplin-der-tier-maschine-interaktion/. Zugegriffen am 25.05.2018. Bendel, Oliver. 2016. Annotated decision trees for simple moral machines. In The 2016 AAAI spring symposium series, 195–201. Palo Alto: AAAI Press. Bendel, Oliver. 2017. LADYBIRD: The animal-friendly robot vacuum cleaner. In The 2017 AAAI spring symposium series. Palo Alto: AAAI Press. Bendel, Oliver. 2018a. Überlegungen zur Disziplin der Maschinenethik. Aus Politik und Zeitgeschichte 6–8:34–38. Bendel, Oliver. 2018b. From GOODBOT to BESTBOT. In The 2018 AAAI spring symposium series. Palo Alto: AAAI Press. Bendel, Oliver, Kevin Schwegler, und Bradley Richards. 2017. Towards Kant machines. In The 2017 AAAI spring symposium series. Palo Alto: AAAI Press. Beuth, Patrick. 2017. Hitchbot: Trampender Roboter kommt vielleicht nach Deutschland. ZEIT ONLINE, 19.08.2014. https://www.zeit.de/digital/internet/2014-08/hitchbot-anhalter-kanadaziel. Zugegriffen am 25.05.2018. Capurro, Rafael. 2017. Digitale Ethik. In Anthropologie – Technikphilosophie – Gesellschaft, Hrsg. Homo Digitalis. Wiesbaden: Springer VS. Descartes, René. 2008. Meditationes de prima philosophia. Hamburg: Meiner. Floridi, Luciano. 2015. The ethics of information. Oxford: Oxford University Press. Kuhlen, Rainer. 2004. Informationsethik: Umgang mit Wissen und Informationen in elektronischen Räumen. Konstanz: UVK. Kullmann, Wolfgang. 2006. Theoretische und politische Lebensform (X 6–9). In Aristoteles: Nikomachische Ethik, Hrsg. Otfried Höffe. Berlin: Akademie Verlag. Pereira, Luís Moniz, und Ari Saptawijaya. 2016. Programming machine ethics. Cham: Springer International Publishing Switzerland. Pieper, Annemarie. 2007. Einführung in die Ethik, 6., überarb. u. akt. Aufl. Tübingen/Basel: A. Francke Verlag. Rolfes, Eugen, Hrsg. 1911. Aristoteles’ Nikomachische Ethik. Leipzig: Meiner. Sapolsky, Robert M. 2017. Gewalt und Mitgefühl: Die Biologie des menschlichen Verhaltens. München: Carl Hanser Verlag. Wallach, Wendell, und Colin Allen. 2009. Moral machines: Teaching robots right from wrong. New York: Oxford University Press. Widmann, Arno. Nietzsche gab es immer wieder. Frankfurter Rundschau, 28.06.2018. http://www. fr.de/kultur/literatur/atheismus-nietzsche-gab-es-immer-wieder-a-1533180. Zugegriffen am 28.06.2018.

Maschinenethik und Philosophie Catrin Misselhorn

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Philosophische Grundlagen der Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Maschinenethik zwischen Philosophie und Informatik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34 35 45 52 53

Zusammenfassung

Die Maschinenethik ist ein Forschungsgebiet an der Schnittstelle von Philosophie und Informatik. Dieser Beitrag beschäftigt sich zum einen mit den philosophischen Grundbegriffen und Voraussetzungen der Maschinenethik. Diese sind von besonderer Bedeutung, da sie Fragen aufwerfen, die die Möglichkeit der Maschinenethik teilweise grundsätzlich in Zweifel ziehen. Zum zweiten werden die verschiedenen Rollen der Philosophie auf unterschiedlichen Ebenen innerhalb der Maschinenethik thematisiert und die methodologische Umsetzung dieses interdisziplinären Forschungsprogramms dargelegt. Schlüsselwörter

Artificial Morality · Artificial Moral Agent (AMA) · KI · Moralisches Handeln · Bewusstsein · Intentionalität · Willensfreiheit · Moralimplementation · Forschungsprogramm der Maschinenethik · Ethische Bewertung der Maschinenethik

C. Misselhorn (*) Lehrstuhl für Wissenschaftstheorie und Technikphilosophie, Institut für Philosophie der Universität Stuttgart, Stuttgart, Deutschland E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_3

33

34

1

C. Misselhorn

Einleitung

Maschinenethik ist ein neues Forschungsgebiet an der Schnittstelle von Informatik und Philosophie, das die Entwicklung moralischer Maschinen zum Ziel hat. Das heißt, diese Maschinen können selbst moralische Entscheidungen treffen und umsetzen. Die Zielvorgabe der Maschinenethik ist es, sog. „explizite moralische Akteure“ (Moor 2006) zu entwickeln, die nicht nur in Übereinstimmung mit moralischen Vorgaben handeln, sondern aus moralischen Gründen. Ein expliziter moralischer Akteur ist im besten Fall in der Lage, plausible moralische Urteile zu fällen und Gründe dafür anzugeben. Er soll eigenständig auf Situationen des echten Lebens reagieren können, die eine Reihe von unvorhersehbaren Ereignissen involvieren. Beflügelt wird dieses Vorhaben von den jüngsten Entwicklungen der Künstlichen Intelligenz (KI). Während die KI zum Ziel hat, die kognitiven Fähigkeiten von Menschen zu modellieren oder zu simulieren, geht es der Maschinenethik darum, künstliche Systeme mit der Fähigkeit zu moralischem Entscheiden und Handeln auszustatten. Dies erscheint angesichts des technologischen Fortschritts immer wichtiger. Denn die Entwicklung zunehmend intelligenter und autonomer Technologien führt dazu, dass diese auch vermehrt mit moralisch problematischen Situationen konfrontiert sind. Deshalb ist es erforderlich, Maschinen zu entwickeln, die über ein gewisses Maß an eigenständiger moralischer Entscheidungsfähigkeit verfügen (Allen et al. 2011). Zudem besteht die Hoffnung, dass moralische Maschinen bessere Maschinen sind, weil sie menschlichen Bedürfnissen und Werten besser entsprechen. Während neue Technologien häufig ins Fadenkreuz der Kritik geraten, weil sie moralische Probleme aufwerfen, ist die Moral in diesem Fall im Design der Maschine verankert. Mögliche Anwendungsbereiche sind künstliche Systeme, die im Service und in der Pflege eingesetzt werden, autonome Fahrzeuge, aber auch militärische Anwendungen sind in der Diskussion. Im ersten Teil dieses Beitrags werden die philosophischen Grundbegriffe und Voraussetzungen der Maschinenethik angesprochen. Diese sind von besonderer Bedeutung, da sie Fragen aufwerfen, die die Möglichkeit der Maschinenethik teilweise grundsätzlich in Zweifel ziehen. So ist das Projekt zum Scheitern verurteilt, wenn es gar nicht möglich ist, Maschinen mit der Fähigkeit zum moralischen Entscheiden und Handeln auszustatten. Diese Bedenken werden entkräftet und es wird ein Verständnis von moralischem Entscheiden und Handeln entwickelt, das auch auf künstliche Systeme zutreffen kann. Dabei wird deutlich, dass moralische Maschinen gleichwohl nicht über Moralfähigkeiten im menschlichen Sinn verfügen. Im zweiten Teil wird die besondere Rolle der Philosophie im Rahmen der Maschinenethik auf verschiedenen Ebenen thematisiert: (1) im Hinblick auf das Forschungsprogramm der Maschinenethik, (2) bei der Moralimplementation und (3) bei der ethischen Bewertung der Maschinenethik selbst.

Maschinenethik und Philosophie

2

Philosophische Grundlagen der Maschinenethik

2.1

Logik, Berechenbarkeit und künstliche Intelligenz

35

Unter den Disziplinen, die an der Maschinenethik beteiligt sind, kommt der Philosophie eine besondere Rolle zu. Schon die Grundbegriffe der Informatik sind durch und durch mit Philosophie durchsetzt (vgl. zum Folgenden ausführlicher Misselhorn 2018d, Kap. I.1). Das gilt insbesondere für die Arbeiten Alan Turings (1912–1954), auf den die Turingmaschine zurückgeht, die als abstraktes Modell einem herkömmlichen Digitalcomputer zugrunde liegt (Turing 1936/37). Es handelt sich nicht um einen konkreten Gegenstand, sondern um ein mathematisches Objekt, das es erlaubt, die Begriffe des Algorithmus und der Berechenbarkeit zu formalisieren, die für die Funktionsweise eines Computers ausschlaggebend sind. Ein Algorithmus ist umgangssprachlich ausgedrückt eine formale Anleitung zur schrittweisen Lösung eines Problems, das kann Euklids Algorithmus zur Berechnung des größten gemeinsamen Teilers zweier natürlicher Zahlen sein, aber auch ein Kochrezept. Eine Turingmaschine erlaubt die mathematische Darstellung eines Algorithmus. Sie besteht aus einem Lese- und Schreibkopf, einem Speicherband sowie Verarbeitungsregeln. Eine Berechnung erfolgt durch die schrittweise Manipulation von Symbolen, die mit Hilfe des Lese- und Schreibkopfs vom Speicherband abgelesen, nach den Regeln verarbeitet und dann wieder auf das Speicherband geschrieben werden. Will man die Turingmaschine zur Lösung ganz verschiedener Probleme einsetzen, so müssen diese formalisierbar sein. Ein wichtiges Hilfsmittel stellt dabei die symbolische Logik dar, die ihre Wurzeln in der Philosophie hat. Die Idee, rationales Denken zu mechanisieren, ist nicht neu. Schon in der Antike schuf Aristoteles mit der Syllogistik einen Mechanismus, der notwendig von bestimmten Prämissen zu einer Konklusion führt (Aristoteles 2004, 100a 25–27). Die aristotelische Syllogistik blieb jedoch informell. Erst im 19. Jahrhundert gelang es, die Logik zu formalisieren und für die Mathematik fruchtbar zu machen. Einen Meilenstein bildeten die Arbeiten Gottlob Freges. Er entwickelte eine formale Sprache (Frege 1879) und damit zusammenhängend formale Beweise (Frege 1893/1903), die dann von Bertrand Russell und Alfred North Whitehead kritisiert und weitergeführt wurden (Russell und Whitehead 1925/ 1927). Die logische Formalisierung macht grundsätzlich auch Aussagen in einer natürlichen Sprache der Verarbeitung durch eine Turingmaschine zugänglich. Von hier aus ist es nicht weit zu der Annahme, dass physikalische Symbolverarbeitung eine notwendige und hinreichende Bedingung für jede Form intelligenten Verhaltens ist. Diese Behauptung wurde 1975 von Allen Newell und Herbert A. Simon in ihrer Rede anlässlich der Verleihung des Turing Awards aufgestellt (Newell und Simon 1976). Damit ist einerseits gemeint, dass physikalische Symbolverarbeitungssysteme zu intelligentem Verhalten fähig sind. Andererseits wird impliziert, dass auch menschliches Denken sich auf physikalische Symbolverarbei-

36

C. Misselhorn

tungsprozesse zurückführen lässt. Das menschliche Gehirn wäre demnach letztlich nichts anderes als eine Symbolverarbeitungsmaschine aus Fleisch. Man spricht in diesem Zusammenhang auch vom computationalen Modell des Geistes. Newells und Simons These hatte großen Einfluss auf die Entwicklung der KI. Sie bringt ein Forschungsprogramm auf den Punkt, das manchmal als „Good Old-Fashioned AI“ oder GOFAI bezeichnet wird (Haugeland 1985). Das legt nahe, dass es weitere Formen der KI gibt, die von anderen Annahmen ausgehen. So halten einige Vertreter der KI es für einen Fehler, gänzlich von der Beschaffenheit des menschlichen Gehirns zu abstrahieren, wenn wir Intelligenz verstehen und nachbilden möchten. Stattdessen müsse man versuchen, mit den Mitteln der Informatik ein Analogon der Neuronenverbünde zu konstruieren, aus denen das menschliche Gehirn besteht. Da es besonders auf die Verbindung zwischen den einzelnen Neuronen ankommt, spricht man auch von Konnektionismus (McLeod et al. 1998; Bechtel und Abrahamsen 2001). Der Aspekt der Intelligenz, den dieser Ansatz in den Vordergrund stellt, ist die Fähigkeit zu lernen. Der Konnektionismus wird deshalb häufig mit dem maschinellen Lernen gleichgesetzt. Künstliche neuronale Netzwerke haben nämlich die Fähigkeit, Muster in großen Datenmengen zu erkennen. Auch wenn die Bezeichnung „altmodisch“ für den Symbolverarbeitungsansatz nahelegt, dass der Konnektionismus eine neuere Entwicklung ist, reichen die ersten Versuche, künstliche neuronale Netzwerke zu entwickeln, schon bis in die Pionierphase der KI Mitte des 20. Jh. zurück (McCulloch und Pitts 1943). Allerdings erschienen die Erfolge zunächst gering, so dass der Ansatz erst in den 1980er-Jahren an Popularität gewann. Es wäre freilich ein Missverständnis, davon auszugehen, dass künstliche neuronale Netzwerke Gehirnstrukturen eins zu eins abbilden. Vielmehr handelt es sich um mathematische Modelle für Computerprogramme, die bestimmten Organisationsprinzipien biologischer neuronaler Netzwerke nacheifern. Entgegen dem ersten Anschein ist die Kluft zwischen dem Symbolverarbeitungsansatz und dem Konnektionismus jedoch in praktischer Hinsicht gar nicht so tief, wie sie zunächst erscheint. Für einige Anwendungen ist der Symbolverarbeitungsansatz die bessere Wahl, für andere künstliche neuronale Netzwerke. So hat der Symbolverarbeitungsansatz seine Stärke bei Problemen, die abstraktes Schließen erfordern, während künstliche neuronale Netzwerke besser sind, wenn es um Mustererkennung auf der Grundlage verrauschter Daten geht. Neuronale Netzwerke kommen hingegen an ihre Grenzen, wenn es keine oder nur wenige Daten gibt, um ein Problem zu lösen, oder es auf Fehlerfreiheit ankommt. Nicht zuletzt sind künstliche neuronale Netze zwar anders aufgebaut als eine Turingmaschine, im Hinblick auf die Berechenbarkeit aber äquivalent. Künstliche neuronale Netze sind aber nicht die einzige Alternative zum klassischen Symbolverarbeitungsparadigma. In den 1980er-Jahren kam ein neuer Ansatz ins Spiel, der unter den Begriffen „nouvelle AI“, „embodied AI“ oder verhaltensbasierte KI bekannt wurde. Während der Konnektionismus den Fehler des klassischen Paradigmas darin sah, Intelligenz gänzlich unabhängig von der Beschaffenheit des menschlichen Gehirns zu betrachten, fordert die verhaltensbasierte KI, auch den Körper und seine Umwelt mit einzubeziehen (Iida et al. 2004). Die beiden zentralen

Maschinenethik und Philosophie

37

Schlagworte, die diesen Ansatz charakterisieren, sind daher die Verkörperung und die Situiertheit der Kognition (Wilson und Foglia 2017). Im Vordergrund stehen nun nicht mehr anspruchsvolle geistige Leistungen, sondern sensomotorische Fähigkeiten, über die auch verhältnismäßig einfache Organismen wie Insekten verfügen. Dieser Ansatz bleibt folgerichtig nicht bei Computermodellen stehen, sondern führt zum Bau von Robotern, die über einen Körper, Sensoren und Aktoren verfügen. Das Ziel ist es, Systeme zu schaffen, die die Fähigkeit haben, die Umwelt wahrzunehmen, sich in ihr zu bewegen und Objekte zu manipulieren, so dass sie sich erhalten und unter Umständen sogar reproduzieren können. Wie Rodney Brooks, einer der Pioniere dieser Richtung, betont, muss man von Anfang an mit Robotern arbeiten, die sich in der wirklichen Welt und nicht nur in einer künstlich vereinfachten Modellwelt behaupten können (Brooks 1999). Im Hinblick auf die praktischen Ergebnisse der verhaltensbasierten KI kann man festhalten, dass diese v. a. im Hinblick auf die Ausstattung von Robotern mit sensomotorischen Fähigkeiten überzeugt. Betrachtet man hingegen das, was wir für gewöhnlich „Denken“ nennen, als paradigmatischen Fall der Intelligenz, so kann der verhaltensbasierte Ansatz bislang keine durchschlagenden Resultate vorweisen und es ist auch schwierig, sich den Weg dorthin auszumalen. Auch in diesem Fall scheint es also auf den Anwendungskontext anzukommen, welche Herangehensweise die beste ist. Die entscheidende Frage ist natürlich, welcher Ansatz im Kontext der Maschinenethik vorzuziehen ist. In der philosophischen Tradition war der Gedanke sehr einflussreich, auch und gerade zur Entscheidung moralischer Probleme ein mechanisches Verfahren bereitzustellen, das jeden, der es anwendet, zwangsläufig zu den richtigen Resultaten führt. Das ist von einer Algorithmisierung moralischen Denkens nicht weit entfernt. Aber es gibt auch andere Stimmen, die die Situiertheit der Moral in einem bestimmten Kontext oder die Bedeutung von Emotionen betonen (Dancy 2004; Nussbaum 1990). Alle traditionellen Ansätze der philosophischen Ethik setzen allerdings Fähigkeiten voraus, von denen umstritten ist, ob sie Maschinen zukommen können, insbesondere Denken und Bewusstsein. Mit diesen Einwänden, die die Möglichkeit einer Maschinenethik schon an der Wurzel treffen, setzt sich das nächste Kapitel auseinander.

2.2

Können Maschinen denken?

Alan Turing ist nicht nur der Vater der Turingmaschine. Er hat auch maßgeblichen Einfluss auf die Diskussion genommen, ob Maschinen denken können (Turing 1950). Aus Turings Sicht ist allerdings schon die Ausgangsfrage problematisch. Es hängt davon ab, wie die Begriffe „Maschine“ und „Denken“ definiert werden, und eine unumstrittene Definition dieser Begriffe ist für ihn nicht in Sicht. Statt die Frage direkt anzugehen, schlägt er deshalb vor, einen Test durchzuführen. Er nennt ihn das Imitationsspiel. Bekannt geworden ist die Situation jedoch als Turingtest. Die Gestaltung dieses Tests soll Vorurteile gegenüber Maschinen ausschließen, die auf ihrer nichtmenschlichen Erscheinung beruhen. Ein menschlicher Fragesteller

38

C. Misselhorn

ist nur über Tastatur und Bildschirm mit zwei ihm unbekannten Gesprächspartnern verbunden. Der eine Gesprächspartner ist ein Mensch, der andere ist eine Maschine. Beide Gesprächspartner versuchen, den Fragesteller davon zu überzeugen, dass sie Menschen sind. Gelingt es dem Fragesteller nach einer intensiven Befragung nicht, zu unterscheiden, welches die Maschine ist und welches der Mensch, hat sie den Turingtest bestanden. Der Maschine wäre in diesem Fall die Fähigkeit des Denkens zu attestieren. Eine Maschine zu konstruieren, die den Turingtest besteht, gehört seither zu den Herausforderungen, die die KI inspirieren. Es hat eine Reihe von Computerprogrammen gegeben, die den Anspruch erhoben, den Turingtest zu bestehen, aber bislang ist es in keinem Fall zweifelsfrei gelungen. Darüber hinaus gibt es grundsätzliche Kritik daran, den Turingtest als Maßstab dafür zu nehmen, ob Computer denken können (vgl. zum Folgenden ausführlicher Misselhorn 2018d, Kap. I.2). Berühmt geworden ist John Searles philosophisches Gedankenexperiment des Chinesischen Zimmers (Searle 1980a). Es soll zeigen, dass ein Computer den Turingtest bestehen könnte, ohne wirklich zum Denken in der Lage zu sein. Stellen Sie sich vor, Sie sind in einem Zimmer eingeschlossen. Durch einen Schlitz werden Karten mit chinesischen Schriftzeichen zu ihnen hineingeschoben. Durch einen anderen Schlitz sollen Sie Ihrerseits Karten mit chinesischen Zeichen nach draußen reichen. Sie verstehen zwar kein Chinesisch, aber es gibt eine in Ihrer Muttersprache verfasste Anleitung, die beschreibt, auf welche Eingabezeichen Sie mit welchen Ausgabezeichen zu reagieren haben. De facto realisieren Sie so eine Turingmaschine, also ein Computerprogramm. Nehmen wir an, Ihre Reaktionen überzeugen die chinesischen Muttersprachler außerhalb des Zimmers davon, dass Sie Chinesisch können. Dürfen wir Ihnen deshalb die Fähigkeit zuschreiben, Chinesisch zu sprechen? Für Searle ist die Antwort klarerweise: Nein. Sie verstehen nach wie vor kein Wort Chinesisch, auch wenn Sie die Außenstehenden täuschen können. Per Analogieschluss gilt dasselbe für das Denken: selbst wenn ein Computer den Turingtest besteht, gibt es keinen Grund, ihm Denkfähigkeit zuzugestehen. Searles Argument richtet sich gegen den Anspruch der starken KI, menschliches Denken nicht nur zu simulieren, sondern wirklich durch ein Computerprogramm hervorzubringen. Der Grund dafür besteht darin, dass eine Turingmaschine rein syntaktisch, auf der Grundlage der formalen Eigenschaften von Zeichen, operiert, und ihre Bedeutung außer Acht lässt. Philosophisch gesprochen fehlt der Turingmaschine Intentionalität, also die Fähigkeit, sich mit den Zeichen auf Dinge in der Welt zu beziehen. Und Intentionalität wird in der Philosophie des Geistes gemeinhin als spezifisches Merkmal des Mentalen angesehen, sei es das Denken, die Wahrnehmung, die Erinnerung oder Emotionen (Brentano 1874). Man könnte nun meinen, Searles Kritik richte sich nur gegen den Symbolverarbeitungsansatz, die beiden anderen Paradigmen der KI, Konnektionismus oder verhaltensbasierte KI, könnten ihr jedoch entgehen. Vertreter des Konnektionismus haben vorgeschlagen, an die Stelle des einsamen Insassen des chinesischen Zimmers ein neuronales Netzwerk zu setzen (Churchland und Churchland 1990). Doch Searle hat diesen Einwand antizipiert und das Szenarium so modifiziert, dass auch dieser

Maschinenethik und Philosophie

39

Ansatz betroffen ist. Die konnektionistische Architektur lässt sich so nachstellen, dass das chinesische Zimmer nun eine Turnhalle ist, in der sich statt einer Person eine Hundertschaft oder noch mehr Insassen befinden. Jeder von ihnen spricht nur seine Muttersprache, bearbeitet aber dieses Mal lediglich einen kleinen Teilausschnitt aus dem Regelwerk. Alle zusammen funktionieren wie ein neuronales Netzwerk. Es spricht für Searle kein Deut mehr dafür, diesem System Denken zuzuschreiben als dem einfachen chinesischen Zimmer. Gemäß der Roboterreplik fehlt der Person im chinesischen Zimmer zum Bedeutungsverstehen hingegen eine kausale Verbindung zur Welt. Wenn wir den Computer in einen Roboter einbauen würden, der wahrnehmen und sich bewegen kann, könnte dieser echtes Bedeutungsverstehen entwickeln (Harnad 1989, 2002). Searle hat auch diesen Einwand bereits vorweggenommen und argumentiert, dass es die Situation nicht verändern würde, erhielte das chinesische Zimmer seinen sprachlichen Input über eine Fernsehkamera oder Mikrofone und könnte mit Hilfe seiner Ausgaben Motoren in Gang setzen, die Arme und Beine bewegen. Der Insasse des Zimmers verstünde die Bedeutung der chinesischen Schriftzeichen immer noch nicht. Einen Unterschied würde es freilich machen, wenn die sensomotorische Ausstattung des chinesischen Zimmers es ermöglichen würde, Zeichen mit Gegenständen in der Welt zu verknüpfen (Crane 2016). Könnte der Insasse auf dem Bildschirm beispielsweise Hamburger sehen, wäre es ihm im Lauf der Zeit möglich, nach dem Prinzip von Versuch und Irrtum das chinesische Zeichen für „Hamburger“ zu lernen. Ein solcher Interpretationsprozess scheint jedoch nicht nur den Symbolverarbeitungsansatz hinter sich zu lassen, sondern auch jenseits des Horizonts der anderen Paradigmen der künstlichen Intelligenz zu liegen. Ein grundsätzlicherer Einwand ist, dass Searles Kritik zu stark ist. Denn die chinesischen Zeichen sind ja nicht bedeutungslose Kritzeleien. Sie haben Bedeutung und werden auf sinnvolle Art und Weise miteinander verknüpft (Haugeland 2002). Nichts anderes ist Denken. Das chinesische Zimmer denkt also durchaus, auch wenn der Inhalt der Gedanken dem Insassen nicht bewusst ist. Searle kontert diesen Einwand mit dem Verweis auf die Unterscheidung zwischen abgeleiteter und intrinsischer Intentionalität (Searle 1980b). Das chinesische Zimmer besitze nur abgeleitete Intentionalität, weil seine Zeichenverwendung abhängig von der bereits bestehenden chinesischen Sprachpraxis sei, die den Hintergrund des Verstehens der Personen außerhalb des Zimmers darstelle. Es liege aber keine intrinsische Intentionalität vor, die unabhängig von der vorgängigen Verwendung eines Zeichens durch Menschen sei. Das Merkmal intrinsischer Intentionalität ist für Searle Bewusstsein. Um zu denken, genügt es nicht, Zustände mit einer bestimmten Bedeutung zu haben, sondern diese Bedeutung muss bewusst sein.

2.3

Haben Maschinen Bewusstsein?

Die Beantwortung der Frage, ob Maschinen Bewusstsein besitzen, wird durch die Mehrdeutigkeit dieses Begriffs erschwert. Ned Block hat eine einflussreiche Unterscheidung zwischen Zugangsbewusstsein (access consciousness) und phänomena-

40

C. Misselhorn

lem Bewusstsein (phenomenal consciousness) in die Debatte eingeführt (Block 1995). Phänomenales Bewusstsein bezeichnet das subjektive Erleben. Es geht um die Frage, wie es sich anfühlt, in einem bestimmten mentalen Zustand zu sein, beispielsweise etwas Rotes wahrzunehmen oder Schmerz zu empfinden. Zugangsbewusstsein hingegen bezieht sich auf die kognitive Seite des Bewusstseins. Ein Zustand ist zugangsbewusst, wenn er in rationalen Überlegungen und zur rationalen Kontrolle von Handlungen verwendet werden kann. Zumeist geht das nach Block auch mit der Möglichkeit des sprachlichen Ausdrucks einher. In diesem Sinn wäre beispielsweise meine Wahrnehmung einer Rose bewusst, wenn sie mich zu der Überlegung veranlasst, dass ich sie einer Freundin schenken könnte, und ich in der Folge in den Laden gehe, um sie zu kaufen. Häufig treten phänomenales Bewusstsein und Zugangsbewusstsein zusammen auf, aber nach Block ist das nicht zwingend. Wenn das stimmt, eröffnet sich eine neue Perspektive im Umgang mit Searles Chinesischem Zimmer. Das Zimmer hätte Zugangsbewusstsein des Chinesischen, weil es die Schriftzeichen im rationalen Denken und Handeln verwenden kann, aber es hätte kein phänomenales Verstehenserlebnis. Das wirft die Frage auf, ob es grundsätzlich möglich wäre, ein künstliches System nicht nur mit Zugangsbewusstsein, sondern auch mit phänomenalem Bewusstsein auszustatten (vgl. zum Folgenden ausführlicher Misselhorn 2018d, Kap. I.2). Bislang ist allerdings noch nicht einmal geklärt, wie phänomenales Bewusstsein beim Menschen entsteht. In der Philosophie des Geistes wird deshalb zwischen den einfachen Fragen der Bewusstseinsforschung und dem schwierigen Problem des Bewusstseins (hard problem of consciousness) unterschieden (Chalmers 1995). Verhältnismäßig leicht zu untersuchende Fragen beziehen sich darauf, wie das Gehirn Informationen verarbeitet und zur Steuerung von Verhalten nutzt. Das schwierige Problem hingegen ist, wie unser subjektives Innenleben auf der Grundlage von Gehirnprozessen zustande kommt, und warum wir überhaupt eines haben, und nicht nur informationsverarbeitende, aber empfindungslos handelnde Automaten sind. Die Herausforderung besteht darin, dass es nach dieser Auffassung letztlich nicht nur schwierig, sondern gar nicht möglich ist, eine physikalische Erklärung des Bewusstseins zu finden. Dies soll auch ein anderes, in der Philosophie berühmt gewordenes Gedankenexperiment von Frank Jackson zeigen (Jackson 1982, 1986). Dessen Protagonistin ist Mary, eine Neuropsychologin, die von Geburt an in einem schwarz-weißen Zimmer eingesperrt ist, aber alle physikalischen Fakten (einschließlich der Wahrnehmungstheorie) kennt. Dennoch – so Jacksons Pointe – lernt sie etwas Neues, als sie aus ihrem Gefängnis in die farbige Welt entlassen wird, nämlich wie es ist, Farben zu sehen, ihre subjektive Erlebnisqualität. Für Jackson ist es aus diesem Grund grundsätzlich ausgeschlossen, phänomenales Bewusstsein mit Hilfe einer physikalischen Theorie zu erklären. Genau diese Konsequenz bildet aber das stärkste Argument derjenigen, die den Sonderstatus des subjektiven Erlebens in Frage stellen. Phänomenales Bewusstsein bliebe demnach letztlich mysteriös, nicht mit den Mitteln unserer besten naturwissenschaftlichen Theorien erklärbar (Dennett 1988). Es gab in der Geschichte der Wissenschaften andere Phänomene, die einen vergleichbaren Sonderstatus einzu-

Maschinenethik und Philosophie

41

nehmen schienen und für unerklärlich erachtet wurden, beispielsweise die Lebenskraft (élan vital) in der Biologie. Doch diese Auffassung erwies sich als falsch. Wenn man Wachstum, Entwicklung, Fortpflanzung, Stoffwechsel, Immunabwehr etc. erklären kann, dann ist das Rätsel des Lebens gelöst. Analog dazu wäre auch das schwierige Problem des Bewusstseins aufgeklärt, wenn es gelungen ist, Antworten auf die einfachen Probleme der Bewusstseinsforschung zu finden. Die Lektion für die Maschinenethik aus dieser Debatte besteht darin, dass sie sich in erster Linie auf die Erforschung der einfachen Probleme des Bewusstseins im Fall von Maschinen beziehen sollte, zumindest solange es um Systeme geht, die auch in der Praxis anwendbar sind.

2.4

Können Maschinen moralisch handeln?

Angesichts dieser Einschränkungen stellt sich die Frage, ob es überhaupt sinnvoll ist, Maschinen die Fähigkeit zum moralischen Handeln zuzuschreiben (vgl. zum Folgenden ausführlicher Misselhorn 2018d, Kap. II.1). Diese Frage beinhaltet zwei Teilaspekte: Der erste ist, ob autonome Systeme überhaupt zum Handeln in der Lage sind. Dieser Aspekt betrifft die Handlungsfähigkeit allgemein. Es müssen Kriterien dafür angegeben werden, wann ein Verhalten als eine Handlung gelten kann, und es muss dargelegt werden, inwiefern zumindest einige künstliche Systeme diese Kriterien erfüllen. Der zweite Aspekt betrifft spezifisch die moralische Handlungsfähigkeit. Zu erklären ist, was einen Akteur zu moralischem Handeln befähigt, und ob die Handlungen künstlicher Akteure als moralisch charakterisiert werden können. Die Problematik der grundsätzlichen Handlungsfähigkeit lässt sich innerhalb der philosophischen Handlungstheorie entlang zweier Dimensionen beschreiben (Misselhorn 2013): der Fähigkeit, sich im eigenen Verhalten an Gründen zu orientieren, sowie der Fähigkeit, als selbstursprüngliche Quelle des eigenen Tuns zu fungieren. Beide Fähigkeiten müssen als graduelle Attribute begriffen werden, d. h. sie kommen verschiedenen Arten von Akteuren in unterschiedlichem Maß zu (Misselhorn 2015). Die erste Achse (Orientierung an Gründen) hängt eng mit der Möglichkeit zusammen, Informationen zu verarbeiten. Dem klassischen Humeschen Modell der Handlungsfähigkeit zufolge besteht der Grund einer Handlung in der Kopplung einer Pro-Einstellung, z. B. einem Wunsch, mit einer Überzeugung (vgl. z. B. Davidson 1980; Dretske 1995): Ich gehe in die Bibliothek, weil ich ein bestimmtes Buch ausleihen will und der Überzeugung bin, dass es in der Bibliothek vorhanden ist. Hinzu kommt nach manchen Ansätzen eine Intention, die dafür verantwortlich ist, dass der Wunsch auch mit Hilfe eines Plans in die Tat umgesetzt wird (Bratman 1987). Wenn ein System Zustände besitzt, die für seine Verhaltensökonomie eine vergleichbare Rolle spielen, wie die entsprechenden Zustände bei Menschen, kann das System in dieser Hinsicht als funktional äquivalent mit einem Menschen betrachtet werden, auch wenn diese Zustände anders realisiert sind als im menschlichen

42

C. Misselhorn

Organismus. Folgt man diesem Ansatz, so ist eine funktionale Äquivalenz für eine basale Form des Handelns aus Gründen hinreichend (Misselhorn 2018c). Insbesondere künstliche Systeme, die das sog. Belief-Desire-Intention-Softwaremodell (abgekürzt: BDI-Modell) verwenden, verfügen über symbolische Repräsentationen, die als funktional äquivalent mit Überzeugungen und Pro-Einstellungen betrachtet werden können (Rao und Georgeff 1991, 1995). Sie besitzen Repräsentationen, die angeben, wie sich die Dinge in der Welt verhalten, und die in bestimmten logischen Beziehungen zueinander stehen. Diese haben für die Verhaltensökonomie des Systems eine vergleichbare funktionale Rolle wie Überzeugungen bei Menschen. Darüber hinaus weisen sie auch motivationale Zustände auf, die spezifizieren, wie die Welt beschaffen sein sollte, welche funktional äquivalent mit Pro-Einstellungen sind. Ferner können sie Pläne entwickeln und verfolgen. Sie verfügen über Informationsverarbeitungsmechanismen, die sie dazu veranlassen, die Welt zu verändern, wenn sie nicht so ist, wie sie beschaffen sein sollte. Man muss sich allerdings darüber im Klaren sein, dass die BDI-Architektur weit unterhalb der Komplexität menschlichen Verhaltens liegt. Sie ist in etwa vergleichbar mit einem Kindersegelboot im Verhältnis zu einem Hightech-Schiff. Beide sind funktional äquivalent im Hinblick auf die Fähigkeit, zu segeln, aber mit sehr unterschiedlichen Graden an Perfektion, Ausgereiftheit und technischer Raffinesse. Der Vergleich mit menschlichen Akteuren wird uns im nächsten Abschnitt noch näher beschäftigen. Im Hinblick auf die zweite Achse, die die Handlungsfähigkeit eines Systems bestimmt, gibt es einige künstliche Systeme, die drei entscheidende Merkmale (Floridi und Sanders 2004) aufweisen, welche es erlauben, in einem gewissen Umfang von Selbstursprünglichkeit zu sprechen: Zum einen verfügen sie über die Fähigkeit, auf Stimuli mit einer Zustandsänderung zu reagieren (Interaktivität), zum anderen können sie unter bestimmten Umständen einen inneren Zustand ohne äußeren Reiz ändern (basale Autonomie); und schließlich sind sie sogar in der Lage, die Art und Weise zu verändern, wie auf einen Reiz reagiert wird (Adaptivität). Zusammengenommen erreichen künstliche Systeme mit diesen drei Eigenschaften einen Grad an Selbstursprünglichkeit, der das zweite Kriterium der Handlungsfähigkeit erfüllt. Zumindest einigen künstlichen Systemen lässt sich daher im Sinn der vorgestellten zwei Kriterien (Selbstursprünglichkeit und Orientierung an Gründen) Handlungsfähigkeit zuschreiben. Die Frage ist jedoch, ob sie auch zu moralischem Handeln in der Lage sind. Moralische Handlungsfähigkeit liegt in basaler Form vor, wenn die Gründe, nach denen ein System handelt, moralischer Natur sind. Dies ist auf einer rudimentären Ebene schon dann gegeben, wenn ein System über Repräsentationen moralischer Werte verfügt, die die zuvor angegebenen basalen Bedingungen für das Handeln aus Gründen erfüllen (d. h. es gibt funktionale Äquivalente zu moralischen Überzeugungen und moralischen Pro-Einstellungen sowie entsprechende Informationsverarbeitungsmechanismen, die das System zum Eingreifen veranlassen, sofern die Welt von dessen Wertüberzeugungen abweicht). Über die genaue Beschaffenheit moralischer Gründe besteht allerdings in der Philosophie kein Konsens (Frankena 1966). Es gibt den Versuch, moralische Urteile

Maschinenethik und Philosophie

43

von anderen Urteilsformen durch ihre formalen Eigenschaften zu unterscheiden, beispielsweise ihre Universalisierbarkeit oder ihren vorschreibenden Charakter. Andere Ansätze sehen eher eine inhaltliche Gemeinsamkeit, beispielsweise die Ausrichtung an den Interessen und dem Wohlergehen anderer um ihrer selbst willen. Doch diese Ansätze, moralische Urteile auszuzeichnen, sind kontrovers. Im Bereich der Maschinenethik kann man jedoch auf eine allgemeine Definition des Moralischen verzichten, da künstliche Systeme in ihren Entscheidungen Urteile treffen und umsetzen sollen, über deren moralischen Charakter bereits Einigkeit besteht. Ein Beispiel wäre etwa: Wenn ein System den moralischen Wert der Patientenautonomie in einem funktionalen Sinn als Pro-Einstellung besitzt und zu der Überzeugung kommt, dass dieser Wert in einer bestimmten Situation verletzt wird, dann wird es versuchen, so auf die Situation einzuwirken, dass dieser Wert wieder realisiert wird. Künstliche Systeme, die über die beschriebenen funktionalen Fähigkeiten verfügen, sind somit als moralische Akteure in einem basalen Sinn zu begreifen. Dennoch verfügen sie noch nicht über vollumfängliche moralische Handlungsfähigkeit, wie sie Menschen zukommt.

2.5

Moralisches Handeln bei Mensch und Maschine

Wendell Wallach und Colin Allen schlagen in ihrem Grundlagenwerk zur Maschinenethik (Wallach und Allen 2009) eine Unterscheidung verschiedener Ebenen moralischer Handlungsfähigkeit als Funktion entlang zweier Achsen vor: Autonomie und ethische Sensibilität (s. Abb. 1). Autonomie entspricht in etwa der Bedingung der Selbstursprünglichkeit, während ethische Sensibilität auch unterhalb der Ebene des Handelns aus Gründen vorkommen kann. Abb. 1 Autonomie und ethische Sensibilität, Wallach und Allen 2009: Moral Machines, S. 26

44

C. Misselhorn

Die beiden Dimensionen können unterschiedlich stark ausgeprägt sein. Dies kann an einigen Beispielen verdeutlicht werden. Ein einfaches Werkzeug wie ein Hammer besitzt keine von beiden. Eine Kindersicherung zum Schutz von Kindern verhilft einem Objekt hingegen zu einer rudimentären ethischen Sensibilität, allerdings ohne nennenswerte Autonomie. Da die ethische Sensibilität vollständig im Design des Objekts und damit bei den Herstellern bzw. Benutzern liegt, sprechen Wallach und Allen von „operationaler Moralität“. Auf der nächsten Ebene, der „funktionalen Moralität“, können die Systeme in einem funktionalen Sinn moralische Entscheidungen treffen. Diese Bedingung wurde über Wallach und Allen hinausgehend im letzten Abschnitt als die Fähigkeit analysiert, aus moralischen Gründen zu handeln, d. h. auf der Grundlage von Zuständen, die funktional moralischen Pro-Einstellungen und Meinungen entsprechen. Obwohl es einleuchtet, in diesem Fall von echter moralischer Handlungsfähigkeit zu sprechen, kommt künstlichen Systemen keine vollumfängliche moralische Handlungsfähigkeit zu, wie sie Menschen typischerweise besitzen (vgl. zum Folgenden ausführlicher Misselhorn 2018d, Kap. II.3). Zum einen ist der Einsatzbereich von Maschinen mit Moral normalerweise auf einen bestimmten Anwendungsbereich beschränkt, die menschliche Moralfähigkeit umfasst jedoch potenziell jeden beliebigen Bereich des Lebens. Zudem verfügen künstliche Systeme, wie wir gesehen haben, bislang nicht über Bewusstsein im Sinn des subjektiven Erlebens und es ist fraglich, ob sich das jemals ändern wird. Phänomenales Bewusstsein wäre beispielsweise erforderlich, um moralische Emotionen wie Mitgefühl oder auch Schuldgefühle empfinden zu können. Einige KI-Forscher sind zwar der Ansicht, dass Künstliche Intelligenz auch Emotionen umfassen sollte und kann (Minsky 2006; Scheutz 2011). Allerdings handelt es sich hierbei bestenfalls um funktionale Äquivalente ohne subjektive Erlebnisqualität im phänomenalen Sinn. Auch Willensfreiheit liegt bislang jenseits des Horizonts künstlicher Systeme. Willensfreiheit besteht in der für Personen charakteristischen Fähigkeit, ihr Verhalten auf eine Art und Weise zu kontrollieren, die notwendig für die Zuschreibung moralischer Verantwortung ist (Eshleman 2016). Wie Willensfreiheit beschaffen sein muss, um diese Funktion zu erfüllen, ist allerdings philosophisch umstritten. Fraglich ist insbesondere, ob Willensfreiheit damit vereinbar ist, dass menschliches Handeln naturgesetzlich determiniert ist oder ob dies nicht der Fall ist (Keil 2007). Unabhängig davon, welche Position man in dieser Frage bezieht, besitzen moralische Maschinen wichtige Fähigkeiten nicht, die für Willensfreiheit ausschlaggebend sind. So können künstliche Systeme anders als Menschen ihre moralischen Entscheidungen und die ihnen zugrunde liegenden Werte nicht reflektieren, diese rechtfertigen oder gar selbstständig verändern. Aus diesem Grund können sie auch keine moralische Verantwortung übernehmen. Maschinen stellen demnach einen Sonderfall dar, in dem moralisches Handeln ohne moralische Verantwortung gegeben ist. Das wirft das moralische Problem auf, wer für ihr Handeln verantwortlich ist, wenn sie es nicht selbst sind (s. Abschn. 3.3). Diese Einschränkungen haben jedoch keine negativen Auswirkungen auf das Projekt der Maschinenethik. Selbst wenn es eines Tages möglich erschiene, Maschi-

Maschinenethik und Philosophie

45

nen mit Bewusstsein und Willensfreiheit auszustatten, wäre es für die praktische Anwendung gar nicht wünschenswert. So eröffnet Willensfreiheit auch die Möglichkeit, sich gegen eine als moralisch erkannte Handlungsoption zu entscheiden und unmoralisch zu handeln. Systeme, die dazu in der Lage wären, brächten für die Nutzer erhebliche Risiken mit sich. Nicht zuletzt stellt sich die Frage, ob wir Maschinen gegenüber, die über Bewusstsein oder Willensfreiheit verfügen, nicht auch moralische Verpflichtungen hätten. Das brächte ebenfalls Komplikationen für ihren praktischen Einsatz mit sich.

3

Maschinenethik zwischen Philosophie und Informatik

3.1

Maschinenethik als Forschungsprogramm

Die Entwicklung von Maschinen mit der Fähigkeit zum moralischen Entscheiden und Handeln ist ein interdisziplinäres Forschungsprogramm, das eine ganze Reihe von Fachrichtungen involviert (vgl. zum Folgenden ausführlicher Misselhorn 2018d, Kap. II.2). Die Kerndisziplinen sind Philosophie und Informatik, aber auch die Sozialwissenschaften und die Psychologie spielen eine Rolle. Der Philosophie kommt eine besondere Bedeutung zu. Sie reflektiert zum einen die philosophischen Voraussetzungen der Maschinenethik, insbesondere die Frage, ob und inwiefern man Maschinen moralische Handlungsfähigkeit zuschreiben kann, die in den letzten Abschnitten thematisiert wurde. Zum anderen stellt sie die ethischen Theorien bereit, die in die Maschinen implementiert werden sollen (s. Abschn. 3.2). Darüber hinaus hat sie die meta-theoretische Aufgabe, darüber nachzudenken, wie ein solches Forschungsprogramm aufgebaut sein muss, und in welcher Form die beteiligten Disziplinen miteinander kooperieren. Schließlich kommt sie noch einmal ins Spiel, wenn es um die ethische Bewertung der Maschinenethik selbst geht (s. Abschn. 3.3). Um die Maschinenethik als Forschungsprogramm zu verstehen, ist es hilfreich, verschiedene Erklärungsebenen und -richtungen zu unterscheiden (vgl. Abb. 2). Dabei kann man sich an der Diskussion in den Kognitionswissenschaften orientieren, für die sich ein analoges Problem stellt. Einflussreich war in diesem Zusammenhang insbesondere Daniel Dennetts Unterscheidung dreier Standpunkte oder Beschreibungsebenen, von denen aus Erklärungen vorgenommen werden können (Dennett 1987): der intentionale Standpunkt, der Designstandpunkt und der physikalische Standpunkt. Auf der intentionalen Ebene betrachten wir ein System als rationalen Akteur, dessen Verhalten mithilfe des Humeschen Modells des Handelns erklärt werden kann, indem wir ihm intentionale Zustände wie Meinungen oder Pro-Einstellungen zuschreiben. Man könnte meinen, dass der intentionale Standpunkt nur auf Menschen anwendbar ist, aber auch das Verhalten von Tieren und künstlichen Systemen lässt sich für Dennett auf diese Art und Weise verstehen. So kann man das Verhalten eines Schachcomputers dadurch erklären, dass er das

46

C. Misselhorn

Abb. 2 Erklärungsebenen und -richtungen, eigene Darstellung

Spiel gewinnen will und eine bestimmte Strategie wählt, weil er sie für erfolgversprechend hält. Dabei ist es für Dennett irrelevant, ob ein System innere Zustände besitzt, die Meinungen und Pro-Einstellungen entsprechen. Es genügt, dass wir sein Verhalten zuverlässig mithilfe solcher Zuschreibungen vorhersagen und erklären können, um ihm Intentionalität zuzubilligen. Eine etwas stärkere These ist diejenige, die oben im Hinblick auf explizite moralische Akteure eingeführt wurde. Diese erforderte, dass explizite moralische Akteure zumindest über innere Zustände verfügen müssen, die funktional hinreichend ähnlich zu moralischen Pro-Einstellungen und Überzeugungen sind. Den Designstandpunkt nehmen wir ein, wenn wir Zweck, Funktion und Gestaltung eines Gegenstands betrachten. Das Verhalten eines Systems wird durch seine Konstruktion und die Funktion seiner Teile sowie ihres Beitrags zum Zweck des Systems erklärt, ohne dass seine genaue physikalische Beschaffenheit bekannt sein muss. So kann man Aufbau und Verhalten eines Herzens durch seine Funktion erklären, Blut zu pumpen, oder vorhersagen, dass der Wecker klingeln wird, wenn er auf eine bestimmte Zeit gestellt ist. Um das Verhalten eines Objekts auf der physikalischen Ebene zu erklären, verwenden wir Informationen über seine physikalische Beschaffenheit (z. B. Masse) zusammen mit den Naturgesetzen (z. B. dem Gravitationsgesetz). Letztlich lässt sich für Dennett das Verhalten jedes Gegenstands auf der physikalischen Ebene erklären, doch erfordert dies sehr detaillierte physikalische Informationen und Kenntnisse. Aus diesem Grund ist der physikalische Standpunkt nicht immer zweckmäßig. Darüber hinaus beleuchten die beiden anderen Ebenen Aspekte des Verhaltens eines Gegenstands, die auf der physikalischen Ebene nicht in den Blick kommen, insbesondere Funktion und Zweck sowie Rationalität. Der Designstandpunkt und der intentionale Standpunkt machen normative Annahmen, die sich vom physikalischen Standpunkt nicht erfassen lassen.

Maschinenethik und Philosophie

47

Das zeigt sich am Beispiel von Fehlfunktionen und Irrationalität. Auf der physikalischen Ebene lässt sich das Verhalten eines funktionierenden Weckers oder einer rationalen Person grundsätzlich auf die gleiche Art und Weise erklären wie das eines kaputten Weckers oder einer irrationalen Person. Auf der Designebene bzw. intentionalen Ebene handelt es sich jedoch um Fehlleistungen, die es erforderlich machen, den Erklärungsstandpunkt zu wechseln und auf die physikalische Ebene zu gehen. Das Verhalten eines kaputten Weckers lässt sich nicht mehr anhand seiner Funktion erklären und irrationales Verhalten entzieht sich dem Verstehen durch intentionale Handlungsgründe. Die Unterscheidung der verschiedenen Erklärungsebenen bringt auch die Annahme verschiedener Erklärungsrichtungen mit sich (Bermudez 2005, S. 18 f.), die in Abb. 2 durch Pfeile dargestellt sind. Die Erklärungsrichtung ist horizontal, wenn eine Erklärung auf derselben Ebene bleibt, also wenn beispielsweise intentionales Verhalten intentional erklärt wird. Die Erklärungsrichtung ist vertikal, wenn sich das, was erklärt werden soll, auf einer anderen Erklärungsebene befindet, als dasjenige, was die Erklärung leistet. So kann intentionales Verhalten auch vom funktionalen oder physikalischen Standpunkt erklärt werden. Unser alltägliches Verständnis moralischen Handelns bewegt sich horizontal auf der intentionalen Ebene. Wir können beispielsweise Annas Spende für eine wohltätige Organisation dadurch erklären, dass sie es für ihre Pflicht hält, Menschen zu helfen, die vom Hungertod bedroht sind, und glaubt, eine Spende für diese Organisation sei ein geeignetes Mittel, um dies zu verhindern. Entschuldigende Gründe für unmoralisches Handeln werden hingegen nicht selten auf einer anderen Ebene gesucht. Das ist beispielsweise der Fall, wenn man die Tatsache, dass ein Elternteil seinen Nachwuchs vernachlässigt, durch eine Depression erklärt, also eine psychische Funktionsstörung bzw. bestimmte neurophysiologische Prozesse im Gehirn. Man geht in diesem Fall von einer personalen auf eine subpersonale Erklärungsebene, d. h. es handelt sich um Prozesse, die nicht mehr auf der Ebene des rational überlegenden und handelnden Subjekts stattfinden. Auch wenn man darüber nachdenkt, wie man Maschinen mit moralischen Fähigkeiten ausstatten kann, muss man die Erklärungsebene wechseln. Das System wird als ein Akteur aufgefasst, der ein bestimmtes kognitives Problem lösen soll, das zunächst auf der intentionalen Ebene beschrieben wird. Im Fall der Maschinenethik geht es um ein moralisches Problem. Doch der Entwurf eines entsprechenden Programms erfordert den Wechsel zum Designstandpunkt. Auf der physikalischen Ebene schließlich geht es darum, wie ein solches System physikalisch umsetzbar ist. Komplementär zu den verschiedenen Erklärungsebenen lassen sich verschiedene Ebenen der Informationsverarbeitung bestimmen. Einflussreich in den Kognitionswissenschaften ist David Marrs Unterscheidung dreier Ebenen (Marr 1982): der computationalen Ebene, der algorithmischen Ebene und der Hardware-Ebene. Die computationale Ebene beinhaltet eine allgemeine Beschreibung eines kognitiven Problems und seine Formulierung als Informationsverarbeitungsproblem. Auf der algorithmischen Ebene geht es darum, das konkrete Vorgehen festzulegen, mit dessen Hilfe das auf der computationalen Ebene identifizierte Informationsverarbeitungsproblem gelöst werden soll, d. h. mit welchen Eingangs- und Ausgabedaten

48

C. Misselhorn

gearbeitet wird und anhand welcher Regeln die Transformation zwischen Input und Output stattfindet. Die Hardware-Ebene schließlich betrifft die Frage, wie der entsprechende Algorithmus physikalisch implementiert werden kann. Übertragen auf die Maschinenethik bedeutet diese Vorgehensweise: Die Aufgabe der Philosophie ist es, eine Beschreibung des fraglichen moralischen Problembereichs auf der intentionalen Ebene zu entwickeln. Auf der computationalen Ebene müssen Philosophie und Informatik gemeinsam daran arbeiten, diesen moralischen Problembereich in die Form von Informationsverarbeitungsproblemen zu bringen. Softwareentwickler suchen nach Algorithmen, die geeignet sind, die Informationsverarbeitungsprobleme zu lösen. An den Hardwareingenieuren liegt es schließlich, sich um die physikalische Umsetzung des Programms zu kümmern. Ein letzter Schritt besteht darin, die Ergebnisse dieses Prozesses mit Forschungsarbeiten zur menschlichen Moral in den Kognitions- und Neurowissenschaften zu kontrastieren. Dies dient insbesondere dazu festzustellen, inwieweit ein solches System der menschlichen Fähigkeit zu moralischem Entscheiden und Handeln vergleichbar ist, und wo die Unterschiede liegen.

3.2

Ansätze der Moralimplementation

Bei der konkreten Umsetzung des skizzierten Forschungsprogramms stellen sich zwei Fragen: Zum einen, welche moralischen Standards zugrunde gelegt werden sollen, und zum anderen, wie diese Standards in künstlichen Systemen implementiert werden können (vgl. zum Folgenden ausführlicher Misselhorn 2018d, Kap. II.2). Beide Fragen hängen zusammen, weil eine Entscheidung zugunsten bestimmter moralischer Standards auch gewisse Vorgaben hinsichtlich des Softwaredesigns beinhaltet. In der Debatte werden drei Herangehensweisen an die Implementation moralischer Fähigkeiten in künstlichen Systemen unterschieden (Wallach und Allen 2009): Top-down-Ansätze, Bottom-up-Ansätze und hybride Ansätze. Top-Down-Ansätze verbinden eine schrittweise Herangehensweise an die Softwareentwicklung von allgemeinen, umfassenden Strukturen zu immer spezielleren Details mit einer prinzipienethischen Auffassung. Sie zeichnen sich dadurch aus, dass ethische Prinzipien in Form von Regeln die Grundlage der Moralimplementation sind. Aus diesen Regeln soll sich dann von der Software ableiten lassen, was in einer spezifischen Situation zu tun ist. Die beiden bekanntesten prinzipienethischen Ansätze sind der Utilitarismus und die deontologische Ethik. Der Utilitarismus ist eine Form des Konsequentialismus, für den das grundlegende Prinzip der Moral die Maximierung des Gesamtnutzens darstellt. Es besagt in seiner klassischen Form, dass das moralisch Richtige darin besteht, die Summe des Wohlergehens (bestimmt als Bilanz von Lust und Leid) aller von einer Handlung Betroffenen zu maximieren. Neuere Varianten ersetzen den Begriff des Wohlergehens durch denjenigen der Präferenzerfüllung (Singer 1979). Beiden Formen liegt die Idee eines Kalküls nahe, das grundsätzlich algorithmisierbar zu sein scheint.

Maschinenethik und Philosophie

49

Setzt man einmal voraus, dass sich das Nutzenprinzip operationalisieren lässt, stellt die computationale Umsetzung aufgrund der hohen Komplexität einer solchen Berechnung dennoch eine nicht zu unterschätzende Herausforderung dar (Wallach und Allen 2009). Der philosophische Haupteinwand gegen den Utilitarismus besteht hingegen darin, dass er die moralischen Rechte des Einzelnen missachtet, weil das Wohlergehen verschiedener Individuen grundsätzlich miteinander verrechnet werden kann. Es gibt jedoch aussichtsreiche Strategien, um mit diesen Einwänden umzugehen. So kann die Komplexität reduziert werden, indem das entsprechende System auf einen Anwendungskontext wie die häusliche Pflege beschränkt wird. In diesem Kontext braucht das System nur die Auswirkungen auf das Wohlergehen des Nutzers zu berücksichtigen (z. B. Cloos 2005), so dass keine Verrechnung mit anderen Individuen stattfindet. Die deontologische Ethik unterscheidet sich von den konsequentialistischen Ansätzen, zu denen der Utilitarismus gehört, dadurch, dass sie nicht nur die Folgen einer Handlung in den Blick nimmt. Stattdessen gelten bestimmte Handlungen als an sich moralisch gut oder schlecht, insofern sie eine moralische Pflicht erfüllen oder missachten. Der wichtigste Vertreter der deontologischen Ethik ist Kant. Das Grundprinzip der kantischen Ethik ist der kategorische Imperativ. Eine seiner bekanntesten Formulierungen, die auch für die Maschinenethik von Bedeutung ist, lautet: „handle nur nach derjenigen Maxime, durch die du zugleich wollen kannst, daß sie allgemeines Gesetz werde.“ (Kant 2007, S. 421). Maximen sind subjektive Handlungsregeln, deren moralische Zulässigkeit daran gemessen wird, ob jedermann nach einer solchen Regel handeln könnte. Auch der kategorische Imperativ ist den Zwecken der Maschinenethik nicht ganz fremd, wollte doch Kant selbst damit ein Werkzeug schaffen, das jedes rationale Wesen verwenden kann, um zu überprüfen, ob eine bestimmte Handlungsweise moralisch ist oder nicht, ohne dass dafür emotionale Fähigkeiten oder Ähnliches notwendig wären. Auch Kants Ansatz scheint daher der Möglichkeit einer Algorithmisierung der Moral entgegenzukommen. Der kategorische Imperativ kann nun in der Maschinenethik mit unterschiedlichen Zielsetzungen implementiert werden (Powers 2011). Man kann einem künstlichen System entweder Regeln geben, die zuvor mit Hilfe des kategorischen Imperativs geprüft wurden, oder man kann den kategorischen Imperativ als eine Methode implementieren, mit deren Hilfe ein künstliches System selbst in die Lage versetzt wird, Handlungsregeln auf ihre moralische Zulässigkeit hin zu überprüfen. Das zweite Ziel ist theoretisch anspruchsvoller, wirft aber eine Reihe von Problemen auf. So ist es bereits schwierig, die Maximen so zu formulieren, dass sie einen geeigneten Input darstellen. Darüber hinaus gibt es Probleme bei der logischen Formalisierung, die zum sog. Halteproblem führen. Dieses liegt vor, wenn eine Turingmaschine bei der Ausführung eines Algorithmus nicht zu einem Ende kommt, sondern unendlich weiterläuft. Eine weitere Schwierigkeit besteht darin sicherzustellen, dass ein künstliches System die richtige Entscheidung trifft, wenn zwei Maximen im Konflikt stehen, beispielsweise die Maxime, anderen grundsätzlich nicht zu helfen, und die Maxime, die Hilfe anderer in Anspruch zu nehmen, wenn es

50

C. Misselhorn

notwendig ist, um ein Ziel zu erreichen. Rein logisch könnte das System nicht nur die erste Maxime aufgeben, wie Kant es fordert, sondern auch die zweite, um konsistent zu bleiben. Schließlich stellt sich die Frage, ob die Perspektive der kantischen Ethik überhaupt geeignet ist für eine Maschinenethik. Denn Kant setzt voraus, dass moralische Akteure die Fähigkeit haben, sich selbst Zwecke zu setzen. Selbst wenn man bestimmten Maschinen, wie im letzten Teil expliziert, die Fähigkeit zuschreibt, im funktionalen Sinn aus moralischen Gründen zu handeln, führt das nicht dazu, dass sie sich auch selbst Zwecke setzen können. In Kants Ethik geht es jedoch wesentlich um das Zusammenleben von rationalen Akteuren, die im Stande sind, sich selbst Zwecke zu setzen, und einander deshalb gleich gestellt sind. Man könnte daraus entweder die Konsequenz ziehen, dass es der kantischen Ethik widerspricht, moralisch handelnde Maschinen zu konstruieren. Selbst wenn es möglich wäre, die kantische Moral zu implementieren, widerspräche dies dem Geist der kantischen Moral (Tonkens 2009). Eine Alternative dazu ist, Maschinen so zu konstruieren, dass sie sich nicht an denselben moralischen Grundsätzen orientieren, die für das Verhalten von Menschen untereinander gültig sind. Dieser Ansatz wurde von dem russisch-amerikanischen Wissenschaftler und Science-Fiction-Autor Isaac Asimov schon um die Mitte des 20. Jahrhunderts verfolgt. Er war einer der ersten, der sich mit der Möglichkeit beschäftigte, Maschinen moralische Fähigkeiten einzuprogrammieren. Auf ihn gehen die drei Asimovschen Gesetze zurück, die in ihrer ursprünglichen Form besagen (Asimov 2011, S. 229): 1. Ein Roboter darf keinen Menschen verletzen oder durch Untätigkeit zu Schaden kommen lassen. 2. Ein Roboter muss den Befehlen eines Menschen gehorchen, es sei denn, solche Befehle stehen im Widerspruch zum ersten Gesetz. 3. Ein Roboter muss seine eigene Existenz schützen, solange dieser Schutz nicht dem ersten oder zweiten Gesetz widerspricht. Allerdings hat Asimov in seinen Geschichten immer wieder die Aporien aufgewiesen, die bei dem Versuch entstehen, diese Gesetze zu implementieren (Clarke 2011). Diese resultieren teilweise aus der Mehrdeutigkeit und Interpretationsbedürftigkeit der Gesetze. Es kommt aber auch zu Dilemmata und Blockaden, weil die Gesetze in bestimmten Situationen unerfüllbar sind, was zum Zusammenbruch des Systems führen kann. Schließlich beinhalten die Gesetze einen gewissen Paternalismus gegenüber dem Menschen, von dem Schaden abgewendet wird, ob er dies nun will oder nicht. Im Gegensatz zu Top-down-Ansätzen gehen Bottom-up-Ansätze nicht von Moralprinzipien aus, sondern von Einzelfällen, anhand derer sich moralische Gesichtspunkte abstrahieren lassen, die einen Hinweis darauf geben, wie in neuen Fällen entschieden werden muss. Bottom-up-Ansätze stehen in enger Verbindung mit einer metaethischen Auffassung, die den kontextsensitiven Charakter der Moral in den Vordergrund stellt, welcher situatives Urteilsvermögen erfordert. Um diese

Maschinenethik und Philosophie

51

Fähigkeit in Maschinen hervorzubringen, müssten sie zu moralischem Lernen in der Lage sein – entweder nach einem Evolutionsmodell (Froese und Di Paolo 2010) oder nach menschlichen Sozialisationsmodellen (Breazeal und Scassellati 2002; Fong et al. 2002). Dies kann in einem künstlichen System beispielsweise mit Hilfe eines konnektionistischen Ansatzes umgesetzt werden. Die Problematik von Bottom-up-Ansätzen liegt in der Operationalisierung und Umsetzung moralischer Lernfähigkeit, da nicht klar ist, wie sich diese Systeme in moralischer Hinsicht langfristig entwickeln. Außerdem sind die den Verhaltensweisen eines solchen Systems zugrunde liegenden Mechanismen häufig schwer nachvollziehbar. Aus diesen Gründen können reine Bottom-up-Ansätze mit z. T. hohen Risiken in der Anwendung verbunden sein, insbesondere dann, wenn das moralische Lernen erst im praktischen Einsatz erfolgen soll. Eine Alternative zu diesen beiden gängigen Ansatztypen sind hybride Ansätze, die die Vorteile von Top-down- und Bottom-up-Ansätzen vereinigen. Sie operieren mit einem vorgegebenen Rahmen moralischer Werte, der dann durch Lernprozesse an spezifische Kontexte angepasst und verfeinert werden kann. Welche Werte vorgegeben sind, hängt stark vom Einsatzbereich und dem moralischen Kontext ab. Um von einem hybriden Modell sprechen zu können, muss das künstliche System einen Spielraum zur Verfügung haben, innerhalb dessen es auf moralische Wertvorstellungen kontextsensitiv reagieren kann (Misselhorn 2018a). Doch für welchen dieser drei Ansätze der Moralimplementation sollen wir uns entscheiden? Diese Frage lässt sich nicht aus dem Stand beantworten. Es hängt davon ab, für welchen Zweck und Nutzungskontext ein System entwickelt wird. Ein autonomes Fahrzeug erfordert eine andere Herangehensweise an die Moralimplementation als ein Service- oder Pflegeroboter. Ein wichtiger Gesichtspunkt ist beispielsweise, dass das autonome Fahren auch die grundlegenden Interessen von Menschen betrifft, die selbst diese Technologie nicht nutzen und ihr nicht zugestimmt haben, beispielsweise Kinder. Aus diesem Grund sind in diesem Bereich allgemein verbindliche Regeln unerlässlich. Service- und Pflegeroboter hingegen, die vorwiegend im häuslichen Bereich eingesetzt werden, gehen in erster Linie ihre Nutzer an (Bendel 2017). In diesem Bereich bietet sich deshalb ein hybrider Ansatz an, der es dem System ermöglicht, flexibel auf die unterschiedlichen Moralvorstellungen der Nutzer zu reagieren (Misselhorn 2018a). Ein solches System könnte mit einem vorgegebenen Rahmen moralischer Werte arbeiten, die im jeweiligen Anwendungskontext relevant sind, deren Gewichtung jedoch vom Nutzer abhängig machen.

3.3

Ethische Bewertung der Maschinenethik

Die Philosophie thematisiert jedoch nicht nur die Voraussetzungen der Maschinenethik sowie den Aufbau und die Durchführung ihres interdisziplinären Forschungsprogramms. Sie leistet darüber hinaus einen Beitrag zur Beurteilung der Frage, ob die Maschinenethik auch aus ethischer Sicht gutzuheißen ist (Misselhorn 2018b). Wie man dies einschätzt, wird von der ethischen Theorie abhängen, die man

52

C. Misselhorn

voraussetzt, und vom Anwendungsbereich, um den es geht. So könnte man den Einsatz moralischer Maschinen in der Pflege begrüßen, militärische Anwendungen jedoch für verwerflich halten oder umgekehrt. Einige allgemeine Gesichtspunkte, die für die ethische Bewertung der Maschinenethik von Bedeutung sind, sind beispielsweise, ob die Delegation moralischer Entscheidungen an Maschinen den Menschen entmündigt und wer moralisch für das Handeln der Systeme verantwortlich ist, da diese nicht selbst Verantwortung übernehmen können. Manche Autoren befürchten das systematische Entstehen von Verantwortungslücken, die dazu führen, dass niemand für das Handeln dieser Maschinen verantwortlich ist (Sparrow 2007). Dies könnte zu einer Erosion unserer moralischen Praxis führen, die wesentlich auf der Zuschreibung moralischer Verantwortung beruht. Weitere Bedenken sind, dass die Maschinenethik uns dazu zwingt, moralische Entscheidungssituationen unzulässig zu vereinfachen und nicht mehr in erster Linie darauf zu achten, was moralisch richtig ist, sondern was sich gut in ein künstliches System implementieren lässt. Ganz generell besteht die Sorge einer zunehmenden Mechanisierung und Entmenschlichung der Gesellschaft, die durch den Einsatz moralischer Maschinen befördert werden könnte. Als Vorzüge moralischer Maschinen werden geltend gemacht, dass ihre Entwicklung unverzichtbar ist, wenn wir die Vorteile autonomer Technologien voll ausnutzen möchten (Allen et al. 2011). Ferner sollen sie den menschlichen Bedürfnissen und Werten besser gerecht werden. Schließlich wird zugunsten künstlicher Akteure angeführt, dass sie moralisch sogar besser handeln als Menschen, weil sie keinen irrationalen Impulsen oder emotionalem Stress unterliegen. Sie sind nicht verführbar und werden auch nicht durch Eigeninteresse vom Pfad der Moral abgebracht. Nicht zuletzt können sie in Sekundenbruchteilen Entscheidungen treffen, in denen ein Mensch gar nicht mehr zu bewusstem Entscheiden in der Lage ist. Das spricht für manche Autoren dafür, ihnen moralische Entscheidungen in besonders prekären Situationen zu überlassen, beispielsweise im Krieg (Arkin 2009). In einem Überblicksartikel können freilich nicht alle ethisch relevanten Gesichtspunkte angeführt werden, geschweige denn alle Fragen beantwortet werden, die sich im Hinblick auf die ethische Bewertung der Maschinenethik stellen (zur ausführlichen Auseinandersetzung bezogen auf die Anwendungsbereiche Krieg, Pflege und autonomes Fahren vgl. Misselhorn 2018d, Kap. III). Nicht zuletzt kann die Gretchenfrage, ob wir moralische Maschinen wollen oder nicht, nicht allein vom Lehnstuhl aus beantwortet werden. Notwendig ist ein breiter gesellschaftlicher Diskurs darüber, wie unser Zusammenleben aussehen soll und ob moralische Maschinen dabei eine positive Rolle spielen können oder nicht.

4

Fazit

Der vorliegende Beitrag setzte sich zum einen mit den philosophischen Grundbegriffen und Voraussetzungen der Maschinenethik auseinander. Diese erwiesen sich als besonders wichtig, da sie Fragen aufwerfen, die die Möglichkeit der Maschinen-

Maschinenethik und Philosophie

53

ethik teilweise grundsätzlich in Zweifel ziehen. So wäre das Projekt zum Scheitern verurteilt, wenn es gar nicht möglich ist, Maschinen mit der Fähigkeit zum moralischen Entscheiden und Handeln auszustatten. In diesem Zusammenhang wurde diskutiert, ob Maschinen zum Denken in der Lage sind oder ob sie über Bewusstsein verfügen. Diese Bedenken erwiesen sich jedoch nicht als stichhaltig. Es wurde ein Verständnis moralischen Entscheidens und Handelns dargelegt, das auch künstliche Systeme umfasst. Allerdings zeigten sich wesentliche Unterschiede zur menschlichen Fähigkeit zum moralischen Entscheiden und Handeln. Der zweite Teil des Artikels thematisierte die besondere Rolle der Philosophie im Rahmen der Maschinenethik auf verschiedenen Ebenen: (1) im Hinblick auf das Forschungsprogramm der Maschinenethik, (2) bei der Moralimplementation und (3) bei der ethischen Bewertung der Maschinenethik selbst. Die Entscheidung, inwieweit die Maschinenethik eine moralisch wünschenswerte Entwicklung ist, obliegt jedoch nicht der Philosophie allein, sondern kann nur in einem breiten gesellschaftlichen Diskurs getroffen werden.

Literatur Allen, Colin, et al. 2011. Why machine ethics? In Machine ethics, Hrsg. Michael Anderson und Susan Leigh Anderson, 51–61. New York: Cambridge University Press. Aristoteles. 2004. Topik, übers. u. komm.: Tim Wagner und Christoph Rapp. Ditzingen: Reclam. Arkin, Ronald. 2009. Governing lethal behavior in autonomous robots. Boca Raton: CRC Press. Asimov, Isaac. 2011. Alle Robotergeschichten, versch. Übersetzer, 3. Aufl. Köln: Bastei Lübbe. Bechtel, William, und Adele Abrahamsen. 2001. Connectionism and the mind, 2. Aufl. Oxford: Blackwell. Bendel, Oliver. 2017. LADYBIRD: The animal-friendly robot vacuum cleaner. In The 2017 AAAI spring symposium series. Palo Alto: AAAI Press. Bermudez, José Luis. 2005. Philosophy of psychology: A contemporary introduction. New York: Routledge. Block, Ned. 1995. On a confusion about a function of consciousness. Behavioral and Brain Sciences 18:227–287. Bratman, Michael E. 1987. Intention, plans, and practical reason. Cambridge: CSLI Publications. Breazeal, Cynthia, und Brian Scassellati. 2002. Robots that imitate humans. Trends in Cognitive Sciences 6:481–487. Brentano, Franz. 1874. Psychologie vom empirischen Standpunkt. Leipzig: Duncker & Humblot. Brooks, Rodney. 1999. Cambrian intelligence: The early history of the new AI. Cambridge: MIT Press. Chalmers, David J. 1995. Facing up to the problem of consciousness. Journal of Consciousness Studies 2:200–219. Churchland, Paul, und Patricia Smith Churchland. 1990. Could a machine think? Scientific American 262:32–39. Clarke, Roger. 2011. Asimov’s laws of robotics: Implications for information technology. In Machine ethics, Hrsg. Michael Anderson und Susan L. Anderson, 254–284. New York: Cambridge University Press. Cloos, Christopher. 2005. The Utilibot project: An autonomous mobile robot based on utilitarianism. In American Association for Artificial Intelligence. http://www.aaai.org/Papers/Symposia/ Fall/2005/FS-05-06/FS05-06-006.pdf. Zugegriffen am 14.12.2017. Crane, Tim. 2016. The mechanical mind: A philosophical introduction to minds, machines and mental representation, 3. Aufl. New York: Routledge.

54

C. Misselhorn

Dancy, Jonathan. 2004. Ethics without principles. Oxford: Oxford University Press. Davidson, Donald. 1980. Essays on actions and events. Oxford/New York: Oxford University Press. Dennett, Daniel C. 1987. The intentional stance. Cambridge, MA: MIT Press.. Dennett, Daniel C. 1988. Quining qualia. In Consciousness in contemporary science, Hrsg. Anthony J. Marcel und E. Bisiach, 43–77. Oxford: Oxford University Press. Dretske, Fred. 1995. Explaining behavior. Reasons in a world of causes, 4th printing. Cambridge: Cambridge University Press. Eshleman, Andrew. 2016. Moral responsibility. In The Stanford encyclopedia of philosophy, Hrsg. Edward N. Zalta. https://plato.stanford.edu/archives/win2016/entries/moral-responsibility/. Zugegriffen am 14.12.2017. Floridi, Luciano, und J. Sanders. 2004. On the morality of artificial agents. Minds and Machines 14:349–379. Fong, Terrence, et al. 2002. A survey of socially interactive robots: Concepts, design, and applications. Technical report CMU-RI-TR-02-29. Frankena, William K. 1966. The concept of morality. The Journal of Philosophy 63:688–696. Frege, Gottlob. 1879. Begriffsschrift, eine der arithmetischen nachgebildete Formelsprache des reinen Denkens. Halle a. S.: Verlag Louis Nebert. Frege, Gottlob. 1893/1903. Grundgesetze der Arithmetik, Bd. I und II. Jena: Verlag Herrmann Pohle. Froese, Tom, und Ezequiel Di Paolo. 2010. Modelling social interaction as perceptual crossing: An investigation into the dynamics of the interaction process. Connection Science 22:43–68. Harnad, Steven. 1989. Minds, machines and Searle. Journal of Experimental and Theoretical Artificial Intelligence 1:5–25. Harnad, Steven. 2002. Minds, machines, and searle: What’s right and wrong about the Chinese room argument. In Views into the Chinese room: New essays on Searle and artificial intelligence, Hrsg. John Preston und Mark Bishop, 294–307. New York: Oxford University Press. Haugeland, John. 1985. Artificial intelligence: The very idea. Cambridge: MIT Press. Haugeland, John. 2002. Syntax, semantics, physics. In Views into the Chinese room: New essays on Searle and artificial intelligence, Hrsg. John Preston und Mark Bishop, 379–392. New York: Oxford University Press. Iida, F., et al. 2004. Embodied artificial intelligence. International seminar, Dagstuhl Castle, Germany, July 7–11, 2003, revised selected papers. Heidelberg: Springer. Jackson, Frank. 1982. Epiphenomenal qualia. Philosophical Quarterly 32:127–136. Jackson, Frank. 1986. What Mary didn’t know. Journal of Philosophy 83:291–229. Kant, Immanuel. 2007. Grundlegung zur Metaphysik der Sitten mit einem Kommentar, Hrsg. Christoph Horn, Corinna Mieth und Nico Scarano. Frankfurt a. M.: Suhrkamp. Keil, Geert. 2007. Willensfreiheit. Berlin: Walter de Gruyter. Marr, David. 1982. Vision: A computational investigation into the human representation and processing of visual information. Cambridge: MIT Press. McCulloch, Warren, und Walter Pitts. 1943. A logical calculus of ideas immanent in nervous activity. Bulletin of Mathematical Biophysics 5:115–133. McLeod, Peter, et al. 1998. Introduction to connectionist modeling of cognitive processes. Oxford: Oxford University Press. Minsky, Marvin. 2006. The Emotion Machine. New York: Simon und Schuster. Misselhorn, Catrin. 2013. Robots as moral agents? In Roboethics, proceedings of the annual conference on ethics of the German Association for Social Science Research on Japan, Hrsg. Frank Roevekamp, 30–42. München: Iudicum. Misselhorn, Catrin. 2015. Collective agency and cooperation in natural and artificial systems. Philosophical studies series, Bd. 122, 3–25. Wiesbaden: Springer. Misselhorn, Catrin. 2018a. Moralische Maschinen in der Pflege? Grundlagen und eine Roadmap für ein moralisch lernfähiges Altenpflegesystem, erscheint. In Roboter in der Gesellschaft: Technische Möglichkeiten und menschliche Verantwortung, Hrsg. Christiane Woopen und Marc Jannes. Wiesbaden: Springer.

Maschinenethik und Philosophie

55

Misselhorn, Catrin. 2018b. Maschinenethik und „Artificial Morality“: Können und sollen Maschinen moralisch handeln? Aus Politik und Zeitgeschichte 68:29–33. Misselhorn, Catrin. 2018c. Artificial morality. Concepts, issues and challenges. Society. https://doi. org/10.1007/s12115-018-0229-y. Misselhorn, Catrin. 2018d. Maschinen mit Moral? Grundfragen der Maschinenethik. Stuttgart: Reclam. Moor, James A. 2006. The nature, importance, and difficulty of machine ethics. IEEE Intelligent Systems 21:18–21. Newell, Allen, Simon, Herbert A. 1976. Computer science as empirical inquiry: Symbols and search. Communications of the ACM 19:113–126. https://dl.acm.org/citation.cfm?id=360022. Zugegriffen am 14.12.2017. Nussbaum, Martha. 1990. Love’s knowledge. New York: Oxford University Press. Powers, Thomas M. 2011. Prospects for a Kantian machine. In Machine ethics, Hrsg. Michael Anderson und Susan Leigh Anderson, 464–475. New York: Cambridge University Press. Rao, Anand S., und Michael P. Georgeff. 1991. Modeling rational agents within a BDI-architecture. Proceedings of the 2nd international conference on principles of knowledge representation and reasoning, 473–484. Rao, Anand S., und Michael P. Georgeff. 1995. BDI-agents: From theory to practice. Proceedings of the first international conference on multiagent systems (ICMAS‘95), 312–319, San Francisco. Russell, Bertrand, und Alfred North Whitehead. 1925/27. Principia Mathematica, Bds. I, II, III, 2. Aufl. Cambridge: Cambridge University Press. Scheutz, Matthias. 2011. Architectural roles of affect and how to evaluate them in artificial agents. International Journal of Synthetic Emotions 2:48–65. Searle, John. 1980a. Minds, brains, and programs. Behavioral and Brain Sciences 3:417–457. Searle, John. 1980b. Intrinsic intentionality. Behavioral and Brain Sciences 3:450–456. Singer, Peter. 1979. Practical ethics. Cambridge: Cambridge University Press. Sparrow, Robert M. 2007. Killer robots. Journal of Applied Philosophy 24:62–77. Tonkens, Ryan. 2009. A challenge for machine ethics. Minds and Machines 19:421–438. Turing, Alan. 1936/37. On Computable Numbers, with an Application to the Entscheidungsproblem. Proceedings of the London Mathematical Society 42:230–265. Turing, Alan. 1950. Computing machinery and intelligence. Mind 49:433–460. Wallach, Wendell, und Colin Allen. 2009. Moral machines: Teaching robots right from wrong. New York: Oxford University Press. Wilson, Robert A., und Lucia Foglia. 2017. Embodied cognition. In The Stanford encyclopedia of philosophy, Hrsg. Edward N. Zalta. https://plato.stanford.edu/archives/spr2017/entries/embo died-cognition/. Zugegriffen am 14.12.2017.

Mensch, Maschine und Verantwortung Julian Nida-Rümelin und Fiorella Battaglia

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Der Realismus des gründebasierten Ansatzes der Verantwortung . . . . . . . . . . . . . . . . . . . . . . . . . 3 Einwände . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Gründe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Die intentionalistische Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Die kohärentistische Interpretation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Die Kritik des Konsequentialismus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Der nichtalgorithmische Charakter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Die menschliche Verantwortung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Die gradualistische Darstellung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58 59 61 63 63 65 65 66 67 68 70

Zusammenfassung

Verantwortung ist eine der größten Fragen, wenn nicht gar die Frage in der Ethik der Maschinen. In diesem Artikel werden wir für begriffliche Klärung sorgen. Damit wollen wir eine philosophische Auseinandersetzung mit der Frage nach der Verantwortung der Maschinen ermöglichen. Der Ansatz erfolgt im Anschluss an die Kantische Tradition, nach welcher Verantwortung, Rationalität und Freiheit zusammengehören. Unser Ansatz speist sich von einer weiteren Bedingung, nämlich der eingebetteten Rationalität der sozialen Interaktion gerecht zu werden. Die Gesamtheit der Komplexität des Begründens innerhalb der Rechtslehre, der Philosophie und des alltäglichen Lebens sollen uns ausführliche Hinweise geben, um die Grenzverschiebung zwischen Mensch und Maschine zu rekonstruieren. Nach dieser Rekonstruktion wird die Verantwortung der Maschinen grundsätzlich J. Nida-Rümelin (*) · F. Battaglia Fakultät für Philosophie, Wissenschaftstheorie und Religionswissenschaft, Ludwig-MaximiliansUniversität München, München, Deutschland E-Mail: [email protected]; [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_5

57

58

J. Nida-Rümelin und F. Battaglia

nicht ausgeschlossen, da es sich eher um eine empirische Frage handelt. Sobald die Maschinen an der sozialen Interaktion des Gebens und Nehmens von Gründen teilnehmen können, gibt es keinen Grund, sie von der Verantwortung auszuschließen. Zurzeit sind Zuschreibungen von Verantwortung im Rahmen von einer gradualistischen Darstellung von Verantwortung möglich. Entscheidend ist jedoch, dass diese maschinellen Verantwortungszuschreibungen unumgänglich auf personelle Akteure reduzierbar sind. Schlüsselwörter

Verantwortung · Gründe · Realismus · Rechtslehre · Alltägliches Leben

1

Einleitung

Verantwortung ist eine der größten Fragen, wenn nicht gar die Frage in der Ethik der Maschinen. Im Anschluss an die Kantische Tradition müssen Verantwortung, Rationalität und Freiheit zusammen gedacht werden. Sie artikulieren die besondere Eigenschaft, sich von Gründen affizieren zu lassen. Die Erwähnung der Kantischen Tradition soll nicht bedeuten, dass Verantwortung erst mit Kant und der Aufklärung entstanden sei. Diese Nennung zielt eher darauf, die vernunftorientierten Einstellungen hervorzuheben. Im Gegensatz zu Kant beanspruchen diese Ausführungen, mit der Rationalität der lebensweltlichen Praxis des GründeGebens und Gründe-Nehmens im Einklang zu sein. Zunächst soll die Verwendung des Begriffes „Verantwortung“ in der lebensweltlichen Interaktion dargestellt werden. Dies ermöglicht ferner eine empirische Einschätzung der Frage, ob Maschinen auch in der Lage sind, an dieser Interaktion teilzunehmen. Bereits in der Handlungstheorie spielt die strukturierte Kommunikation eine wichtige Rolle. Der auf Gründen basierte Ansatz wird der kommunikativ strukturierten Praxis allerdings gerechter. Die Zuschreibung der Verantwortung erfolgt nicht nur über eine Interpretation der Praxis, sondern auch über die Erste-Person-Perspektive und die Zweite-Person-Perspektive, die in der kommunikativen Interaktion des Austauschs von Gründen involviert sind. Insofern steht dieser Ansatz in einer Kontinuität zur Handlungstheorie. Der hier verfolgte Ansatz bietet zwei Vorteile. Zum einen wird ein Verantwortungsbegriff rekonstruiert, der nicht nur Verantwortung für Handlungen und Überzeugungen, sondern auch für Gefühle vorsieht. Damit taugt dieser Begriff zu einer vollständigen normativen Theorie der conditio humana. Zum anderen sind die Gründe als realistisch einzustufen. „Realistisch“ bedeutet hier, dass die normativen Aspekte der Verantwortung im Einklang mit der Praxis stehen. Damit zielt dieser Ansatz auf die Wahrheit der Gründe ab und nicht nur auf eine instrumentelle Abbildung dieser Praxis. Diese Theorie praktischer Rationalität ist eine Theorie guter Gründe. Gute Gründe, von etwas überzeugt zu sein. Gute Gründe, um etwas zu tun. Gute Gründe für emotive Einstellungen. Dies hat die Folge, dass die Einbeziehung von Gründen keine bloße Konvention oder, noch schlimmer, Illusion ist.

Mensch, Maschine und Verantwortung

59

Im Folgenden führen wir einige Argumente für eine einheitliche, empirische und normative Überzeugungen umfassende Konzeption der menschlichen Verantwortung an. Die einzelnen Teile der Argumentation – der Realismus des gründebasierten Ansatzes der Verantwortung (Abschn. 2) und deren Einwände (Abschn. 3), die Rolle der Gründe (Abschn. 4) und die Verbindung einer intentionalistischen Darstellung (Abschn. 5) mit einer kohärentistischen Interpretation (Abschn. 6), die Kritik des Konsequentialismus (Abschn. 7) und der nichtalgorithmische Charakter der menschlichen Praxis (Abschn. 8) für die menschliche Verantwortung (Abschn. 9), und schließlich die gradualistische Auffassung der Verantwortung (Abschn. 10) – sollen den Realismus und den Gradualismus menschlicher Verantwortung deutlich machen. Die einzelnen Teile sprechen für eine umfassende Konzeption der Verantwortung, die für partielle Formen der Haftung für Maschinen Raum schafft, ohne sich dabei weder einer dehumanisierten Form der Praxis preiszugeben – durch die Zuschreibung der Verantwortung bleibt der menschliche Bezug immer beibehalten – noch sich einer nicht reflektierten Anpassung der Praxis an die technologische Innovation zu verschreiben.

2

Der Realismus des gründebasierten Ansatzes der Verantwortung

Menschen vollziehen Handlungen, die andere nicht immer für richtig halten (Strawson 1962; Korsgaard 1992). Auf vorgebrachte Kritik werden Gründe angeführt, die aus der Sicht des Kritisierten für diese Handlung sprechen. Der Handelnde wird verantwortlich gemacht und versucht sich zu verantworten, seine Verantwortung wahrzunehmen. Die Verantwortlichkeit des Einzelnen ist kein isoliertes Phänomen, sondern steht im Zusammenhang (1) sozialer Rollen, (2) vorausgegangener Handlungen und (3) etablierter kultureller Praktiken. Zu 1: Die Verantwortung eines Forschers für die Maschine, die er entwickelt hat, ist eine andere als die eines Vertreibers oder die eines Benutzers. Zu 2: Software und Technik von autonomen Maschinen müssen so ausgelegt werden, dass die Übergabe der Kontrolle an den Menschen reibungslos erfolgt. Wenn die Maschine A Person B die Kontrolle abnimmt, hat der Designer von A eine besondere Verantwortung (gegenüber B), nämlich, sich stärker dem Kommunikationsverhalten des Menschen anzupassen und nicht umgekehrt erhöhte Anpassungsleistungen dem Menschen abzuverlangen. Zu 3: Japanische traditionelle Seken-Kultur beeinflusst die Verantwortung der Menschen den Robotern gegenüber. Ohne deren Einfluss wäre die Mensch-Maschine-Interaktion nur auf Shakai-bezogene Elemente beschränkt. Typischerweise kennzeichnet das aus dem Westen importierte Wort (Gesellschaft, Demokratie, Rationalität, usw.) eine hohe informatisierte Gesellschaft. Deshalb sind etablierte Seken-kulturelle Praktiken ausschlaggebend für Verantwortungsverhältnisse (Nakada 2012). Die Verantwortung für Handlungen ist unumstritten (Werner 2013). Hier wird jedoch die These entwickelt, dass wir für Handlungen in genau dem Umfang Verantwortung tragen, in dem wir uns von Gründen leiten lassen (können und sollen), und daraus die Konsequenz gezogen, dass wir für all dasjenige verantwort-

60

J. Nida-Rümelin und F. Battaglia

lich sind, was von Gründen geleitet ist – oder jedenfalls geleitet sein könnte und sollte. Damit ergibt sich ein umfassender und in sich stimmiger Verantwortungsbegriff, der neben Handlungen auch Überzeugungen und emotive Einstellungen zum Gegenstand hat. Verantwortung ist damit ein Aspekt – neben dem der Freiheit und dem der Rationalität – der besonderen menschlichen Fähigkeit, sich von Gründen leiten zu lassen (Nida-Rümelin 2001, 2005, 2011). Das Wort „Verantwortung“ hat Entsprechungen in allen europäischen und vielen außereuropäischen Sprachen; in den romanischen gehen diese – responsibility (respond), responsibilité (repondre), responsabilità (rispondere) – jeweils auf das lateinische respondere („eine Antwort geben“) zurück. Das deutsche Wort „Verantwortung“ stellt die gleiche Verbindung zwischen Verantwortung und Antwort geben her. Diese kurze etymologische Erklärung des Wortes „Verantwortung“ weist darauf hin, dass sich zu verantworten eingegliedert ist in die Praxis des Gebens und Nehmens von Gründen. Diese sprachliche Beobachtung unterstützt die These, dass man für diejenigen Handlungen verantwortlich ist, welche von Gründen geleitet sind. Die sprachgeschichtliche Tatsache, dass dieses Wort erst relativ spät und in Europa aufkommt, sollte jedoch nicht als Beleg dafür genommen werden, dass die Sache selbst, nämlich die Praxis der Verantwortungszuschreibung, an die europäische Aufklärung gebunden ist, wenn sie auch in dieser Zeit an kultureller Bedeutung gewonnen hat und daher die neuen Wortbildungen nicht zufällig in diese Zeit fallen. Jedenfalls soll im Folgenden für einen Verantwortungsbegriff argumentiert werden, der so grundlegend ist, dass er als Teil der conditio humana verstanden werden muss. Wir tauschen (praktische) Gründe aus, um zu bestimmen, was als verantwortliches Handeln gelten kann. Die jeweilig angemessenen, guten Gründe sind nicht von der ethischen Theorie oder der Entscheidungstheorie vorgegeben. Diese ergeben sich aus der alltäglichen Praxis der Begründungsspiele, an denen wir teilhaben. Daher kann es grundsätzlich nicht die eine abgeschlossene philosophische Theorie geben, die die Ergebnisse unserer Begründungsspiele vorwegnimmt.1 Die Theorie muss sich vielmehr an diesen bewähren. Die Begründungsspiele sind allerdings selbst immer dann der Kritik ausgesetzt, wenn Inkohärenzen auftreten. Die lebensweltlich verankerte Rationalisierung mit ihrem Fluchtpunkt der ethischen Theorie ist eine Antwort auf Inkohärenzen etablierter Begründungsspiele.2 Es geht uns also hier nicht um eine umfassende Theorie dessen, was jeweils verantwortliches Handeln ist. Das kann die Philosophie auch gar nicht konkret bestimmen, ja nicht einmal die Kriterien der Verantwortlichkeit kann sie benennen, da diese in die Vielfalt der Begründungsspiele eingelassen sind. Aber selbst, wenn sie das leisten könnte (dass dies von ihr erwartet wird, zeigen die Stellungnahmen von Seiten der Politik und des Feuilletons zu aktuellen ethischen Themen), wäre dies nicht der Gegenstand dieses Der Begriff „Begründungspiel“ wird in Analogie zu Wittgensteins „Sprachspiel“ verwendet. Diese lebensweltliche Verankerung von Verallgemeinerung und Systematisierung, eben der Rationalisierung der wertenden Stellungnahme, gilt zumindest für Kulturen, die vom Geist der Aufklärung geprägt sind. Dieser Geist ist nicht auf das neuzeitliche Europa beschränkt, wie die reichhaltige sophistische und katechetische Literatur früherer Zeiten und nichteuropäischer Kulturen, darunter besonders der indischen und der chinesischen, zeigt.

1 2

Mensch, Maschine und Verantwortung

61

Artikels. Hier soll lediglich ein Beitrag zur Klärung des Begriffs „Verantwortung“ geleistet werden, um schließlich die empirische Frage zu ermöglichen, ob auch Maschinen Verantwortung tragen können. Gründe für Handlungen, Überzeugungen und emotionale Einstellungen bilden ein mehr oder weniger normatives System, welches propositionale und nichtpropositionale Einstellungen wie Überzeugungen, subjektiven Wert, moralische und nichtmoralische Beurteilung, sowie Emotionen, umfasst. Dieses Geben und Nehmen von Gründen ist konstitutiv für Interaktion, Kommunikation und menschliche Handlung im Allgemeinen. Es kann nicht in ein auf Algorithmen basierendes Verhaltenssystem übersetzt werden; Behaviorismus steht im Widerspruch zur MetaMathematik. In diesem Sinne sind Menschen keine Computer. Nichtsdestotrotz ist die Fähigkeit des Begründens nicht an spezifische empirische Eigenschaften der menschlichen Spezies gebunden. So kann es sein, dass auch nichtmenschliche Wesen in der Lage sind, zu argumentieren. Es gibt Befunde innerhalb der Verhaltensbiologie von Tieren, welche behaupten, dass so etwas wie Meta-Kognition bei nichtmenschlichen Primaten vorhanden ist. Sei dem so, hätten diese vielleicht ein rudimentäres Urteilsvermögen. Die Frage ist nicht, ob eine Entität der menschlichen Spezies angehört; die Frage ist, ob diese Spezies fähig ist, sich von Gründen affizieren zu lassen und zu begründen. Insofern es durch Gründe affiziert und fähig ist, zu begründen, kann das Verhalten nicht von einem algorithmisch-basierten System modelliert werden. Wir werden argumentieren, dass wir für genau das Verantwortung tragen, für welches wir Gründe haben. Können Maschinen auch Gründe geben und nehmen, dann sind Maschinen auch Träger von Verantwortung. Nach dieser auf Gründe basierten Rationalität äußert Rationalität sich in einer Lebensform, die die Vielfalt der Gründe in kohärenter Weise integriert. Sofern wir uns von Gründen leiten lassen, ist unsere Lebensform nicht lediglich das Ergebnis naturwissenschaftlich beschreibbarer Prozesse, wir verfügen über ein gewisses Maß an Freiheit. Andere halten uns für unsere Lebensform, unser Handeln, Urteilen und Fühlen, in den Grenzen für verantwortlich, in denen Gründe wirksam sind. Dort, wo Gründe keine Rolle mehr spielen, dort, wo natürliche Tatsachen und Gesetze unser Verhalten bestimmen, gelten wir nicht mehr als verantwortlich. Die Grenze zwischen diesen beiden Bereichen ist allerdings nicht scharf, sie ist fließend, und daher ist unsere Konzeption der Rationalität, der Freiheit und der Verantwortung gradualistisch. Zudem sind Rationalität, Freiheit und Verantwortung eingebettet in ein komplexes Bedingungsgefüge. Die Entwicklung von Ichstärke und Urteilskraft ist Voraussetzung für die Wirksamkeit der Deliberation. Der Mensch entwickelt und behauptet sich gegen andere Determinanten seiner Existenz, indem er Gründen Geltung und Wirkung verschafft.

3

Einwände

Diese Charakterisierung von menschlichem Handeln ist in der aktuellen Philosophie weitgehend akzeptiert. Allerdings sind Zweifel an einer realistischen Interpretation keine Seltenheit. Skeptiker argumentieren, dass diese realistische Charakterisierung

62

J. Nida-Rümelin und F. Battaglia

lediglich Teil eines Selbstbilds ist; sie bezieht sich auf das, was wir selbst in uns sehen, wie wir uns als Akteure interpretieren. Sie behaupten weiterhin, dass dieses Selbstbild nicht auf objektiven Fakten innerhalb unserer natürlichen Lebenswelt beruht. Ihres Erachtens sind Gründe lediglich Elemente subjektiver Zustände. Gründe seien Teil einer Interpretation möglicher Ausgänge unserer Handlung, leiten diese aber nicht (ebenso wenig unsere Überzeugungen und Emotionen). Vielmehr rücken Gründe dann in den Vordergrund, nachdem wir uns in einer bestimmten Art und Weise verhalten haben. Sie seien Teil unseres Vorhabens, uns als kohärente Person darzustellen, die ihr eigenes Verhalten kontrolliert. Dementsprechend sind Gründe immer ex post: Sie interpretieren, was passiert ist, seien aber keineswegs Teil einer adäquaten kausalen Beschreibung dessen, warum etwas passiert ist. Tatsächlich seien Handlungen natürliche Geschehnisse und in diesem Sinne auch nicht von Verhalten zu unterscheiden. Handlungen können daher im Prinzip durch die Naturwissenschaften erklärt (und beschrieben) werden; Gründe spielen keine Rolle in einer solchen Beschreibung oder Erklärung. Selbst wenn Gründe ein wesentlicher Teil unseres Selbstbilds sind, selbst wenn wir uns nicht von der Gewohnheit lösen können, unser Verhalten durch Gründe geleitet zu interpretieren, gibt es dennoch keine Gründe in der natürlichen Welt. Es gibt nur Ursachen, die grundsätzlich durch die Naturwissenschaften, einschließlich der Neurophysiologie, beschrieben werden können. Radikalere Skeptiker fügen hinzu, dass die Idee schlüssiger Handlung ein kulturelles Konstrukt darstellt, dessen Wurzeln bis zu 300 Jahre zurückreichen, in die Zeit der Europäischen Aufklärung. Ein Konstrukt, welches vielen Kulturen der heutigen Zeit noch fremd ist. Andere räumen ein, dass sich unser Gehirn vielleicht in dem Sinne weiterentwickelt hat, dass wir nicht anders können, als unser Verhalten durch Gründe geleitet zu interpretieren. Dennoch sollte dieser Charakterzug unserer Gehirnfunktion nicht realistisch interpretiert werden, argumentieren sie. Es ist die Zusammensetzung unseres Gehirns, welche diese Illusion erzeugt. Terminologisch scheint es, als hätten Freunde und Feinde praktischer Vernunft einen Kompromiss bezüglich des Begriffs „Zuschreibung“ gefunden: Wir schreiben Menschen Gründe zu, wir schreiben Menschen Intelligenz zu, wir schreiben Menschen Wünsche zu etc. Die Regeln der Zuschreibung intentionaler Zustände sind kompliziert und nur zum Teil durch die Sprachphilosophie analysiert. Die Begrifflichkeit „zuschreiben“ lässt es offen, ob hinter der Zuschreibung von intentionalen Zuständen Tatsachen stecken, ob Menschen tatsächlich intentionale Zustände haben und ob diese intentionalen Zustände tatsächlich eine (kausale) wichtige Rolle für menschliche Handlung spielen. Beginnend mit Kant glaubten viele Philosophen, ein einheitliches Selbstbild auf der einen und ein deterministisches Weltbild auf der anderen Seite durch zwei – scheinbar zusammenpassende – Perspektiven zusammenzuführen: Die Perspektive der ersten Person, für welche intentionale Kontrolle unverzichtbar ist, und die Perspektive der dritten Person, für die die Zuschreibung von intentionalen Zuständen nichts weiter ist als (im besten Falle) ein heuristisches Werkzeug der Verhaltenserklärung. Während die handelnde Person zufrieden ist, wenn sie sich ihrer Beweggründe bewusst ist (gleichzeitig aber unzufrieden ist, wenn sie etwas getan hat, wovon sie nicht weiß, weshalb sie sich entschieden hat, dies zu tun), so kann die dritte Person nie zufrieden sein, wenn sie sich der (subjektiven) Gründe der han-

Mensch, Maschine und Verantwortung

63

delnden Person bewusst ist. Die dritte Person entwickelt psychologische, neurophysiologische oder sogar physikalische Theorien, welche das fragliche Verhalten erklären. Die analytische Theorie zweier unterschiedlicher Sprachebenen, welche unabhängig voneinander sind (Gilbert Ryle, auch Ludwig Wittgenstein), ist (vielleicht unwissentlich) eine Version der Sprachphilosophie des kantischen Kompatibilismus.

4

Gründe

Es ist notwendig, zunächst den Begriff der Gründe zu definieren und seine Beziehung zu den Handlungen aufzuzeigen. „Grund“ ist ein fundamentaler Begriff. Er ist normativ. Und er ist objektiv (und nicht subjektiv) und nichtalgorithmisch. Gründe sprechen immer für Überzeugungen oder Handlungen oder emotionale Einstellungen. Es gibt keinen Grund ohne ein solches normatives Füretwas-Sprechen. „Du solltest diese Ansicht vertreten, wenn du bestimmte Argumente hast“. Dieses „sollte“ ist ein epistemisches „sollte“, kein moralisches. Im Zuge dessen scheint es deutlich, dass die drei Begriffe von Rationalität, Freiheit und Verantwortung stark miteinander verbunden sind. Dies bedeutet, dass man keine Verantwortung tragen kann, wenn man nicht rational ist, und dass man nicht frei sein kann, wenn man keine Rationalität besitzt. Man kann nicht einfach eines dieser drei zentralen Konzepte menschlicher Anthropologie, die gar als Erbe des Projekts der Aufklärung angesehen werden können, auslassen, wie es so oft von Semi-Kompatibilisten, etwa in der Tradition von Harry Frankfurt, getan wird. Diese akzeptieren, dass eine Person für etwas verantwortlich sein kann, bestreiten aber, dass eine Person frei ist.

5

Die intentionalistische Darstellung

Die Kombination von Konsequentialismus und Naturalismus bezüglich der Umformung oder Übersetzung des Begründungsprozesses in algorithmisch-kausale Prozesse funktioniert nicht. Die „intentionalistische Darstellung“ von Handlung definiert Handlung durch spezifische intentionale Zustände des Akteurs. Nachdem diese intentionalen Zustände von Gründen und Begründung umrahmt sind (Abwägen von Gründen), ist menschliche Handlung an die Komplexität von lebensweltlichen Gründen und Ansichten gebunden. Aber was ist menschliche Handlung überhaupt? Handlung wird durch Intentionalität konstituiert. Durch Intentionen gelenktes und motiviertes Verhalten lässt sich als Handlung definieren. Alle und nur die Teile von Verhalten, welche durch Intentionen kontrolliert und motiviert sind, haben den Status einer Handlung. Offensichtlich gibt es zwei sehr unterschiedliche Arten der Intentionalität innerhalb dieser Debatte – eine dieser nennen wir für gewöhnlich Entscheidungen. Eine Entscheidung stellt eine sehr interessante Art der Intentionalität dar, da sie durch die Handlung selbst vollzogen wird, unabhängig von den Folgen jener. Die andere Art

64

J. Nida-Rümelin und F. Battaglia

der Intentionalität, sprich Motivationen, differenziert sich von ersterer. Motivationen werden lediglich durch die Folgen einer Handlung vollzogen, nicht aber durch die Handlung selbst. Handlungen sind der Teil des menschlichen Verhaltens, für welchen dem Menschen durch intentionale Kontrolle Verantwortung zugeschrieben wird. So ist Verantwortung nichts anderes als intentionale Kontrolle. Allerdings wird intentionale Kontrolle von vernünftigen Akteure durch Gründe geleitet: Du hast dann Kontrolle, über das, was du tust, wenn du Gründe für dein Tun anführen kannst und weiterführend begründen kannst, ob das, was du tun willst, richtig oder falsch ist. Die intentionalistische Darstellung von Handlung ist stark verwandt mit der intentionalistischen Darstellung von Sinn. Paul Grice hat eine paradigmatische Annäherung zur intentionalistischen Darstellung von Bedeutung geliefert. Das Problem hierbei war, dass viele seiner Anhänger meinten, die intentionalistische Darstellung von Bedeutung basiert auf einer einfachen (reduktiven) optimierenden Beschreibung von rationaler Handlung. In der Literatur wird behauptet, Paul Grice habe eine Theorie über die Bedeutung entwickelt, welche wiederum Teil der Entscheidungstheorie sei. Diese Interpretation widerspricht allerdings einigen von Grice selbst veröffentlichten Artikeln und besonders der postumen Schrift Aspects of Reason (2005). Aber auch wenn Grices intentionalistische Darstellung von Bedeutung in einen entscheidungstheoretischen Rahmen der Optimierung eingebettet werden könnte, sollte die intentionalistische Darstellung nicht abgelehnt werden. Demzufolge sieht die intentionalistische Darstellung folgendermaßen aus: Eine Person macht eine Aussage mit der Intention, dass der Adressat auf diese hin nachdenkt oder handelt (ohne dieses Denken oder Handeln allgemein zu bewirken). Die intentionalistische Darstellung von Handlung basiert allgemein, so unser Verständnis, auf konstitutiven Rollen von Gründen. Ähnlich basiert die intentionalistische Darstellung von Bedeutung auf dem grundlegenden Austausch (konstitutiver Kommunikation) von Gründen (Gründe für Handlungen und Überzeugungen). Betrachtet man diese intentionalistische Darstellung von Handlung und die intentionalistische Darstellung von Bedeutung, so kann man erkennen, dass es sich hier mehr oder weniger um die gleiche Theorie handelt. Etwas zu äußern bedeutet in gewisser Hinsicht auch zu handeln. Und diese Handlung hat Bedeutung insofern, als sie auf einem gewissen Prozess des Austauschs von Intentionen beruht. Die Bedeutung einer Äußerung hängt von einem bestimmten kontrollierten Prozess des Austauschs von Intentionen durch das Geben und Nehmen von Gründen ab. Dies resultiert in einem Begriff menschlicher Verantwortung, welcher intentionalistisch und damit abhängig ist von Akteuren, die über Intentionen verfügen. Darüber hinaus ist der Prozess an Akteure, die Gründe abwägen und damit von ihnen affiziert sind, gebunden. Da die ganze Komplexität unserer Gründe nicht auf den Konsequentialismus reduziert werden kann, ist sie in diesem Sinne deontologisch, nicht aber lediglich im eng gefassten kantischen Sinne, und, äußerst wichtig, an den epistemischen Zustand der Person während der Handlung gebunden.

Mensch, Maschine und Verantwortung

6

65

Die kohärentistische Interpretation

All dies ist Teil unserer alltäglichen Interaktion; es ist Teil einer Lebensform, innerhalb welcher wir kooperieren. Wir sind nicht Skeptiker in unserem tagtäglichen Handeln und unserer Beurteilung bezüglich individueller Verantwortung. Ganz im Gegenteil, der Begriff und die Kriterien von Verantwortung spielen eine konstitutive Rolle für lebensweltliche Interaktion sowie lebensweltliches Beurteilen. Im Sinne von Max Weber ist eine autonom handelnde Person ein Idealtyp: Sie existiert nicht. Die idealerweise rationale und autonome Person entscheidet lediglich ein einziges Mal in ihrem Leben und stellt damit die Pluralität ihrer Gründe, welche sich in der Lebensform dieser Person äußern, auf. So gehören sowohl Fortschritte als auch Rückwürfe zu tatsächlichen Menschen. Sie wägen Gründe ab und verändern die relative Wichtigkeit über Jahre hinweg; einst berücksichtigte Bevorzugungen verändern sich und die epistemische Beschaffenheit, in welcher Entscheidungen getroffen werden, ist nicht optimal. Strukturelle Rationalität handelt von Kohärenz, praktisch ebenso wie theoretisch. Sie integriert Gründe, geleitete Überzeugungen und Handlungen, sodass das Ergebnis kohärent ist (Nida-Rümelin 2001).

7

Die Kritik des Konsequentialismus

Die Kritik einer begrenzten, naturalistischen Perspektive, der zufolge Begründung nichts weiter ist als ein kausaler, algorithmischer Prozess in unserem neurophysiologischen System, ist wichtig für eine weitere Debatte: Konsequentialismus vs. Dentologie in der Ethik, in der praktischen Philosophie und in der Rationalitätstheorie. Wäre der Konsequentialismus wahr, so hätten wir einen Algorithmus, welcher uns sagen könnte, was rational ist. Dieser Algorithmus lautete wie folgt: Es gibt eine Wertfunktion, die Zuständen reelle Zahlen zuordnet. Ebenso gibt es eine Funktion, welche Handlungen das „Sollen“ zuschreibt, damit jene Wertfunktion maximiert wird. Dies ist eine algorithmische Art und Weise, wie wir entscheiden, was rational ist. Das Problem ist, dass das nicht unserer Praxis entspricht. Dies liegt nicht daran, dass der Konsequentialismus die Komplexität moralischer Begründung nicht unterbringen kann. Konsequentialisten versuchen zu zeigen, wie man diese Komplexität durch eine andere Art der moralischen Begründung ersetzen kann. Diese Versuche sind wenig überzeugend.3 Selbst wenn wir unsere Betrachtung auf moralische Aspekte beschränken, gibt es dennoch einige Aspekte, die gegen den Konsequentialismus sprechen. Das Hauptargument ist, dass der Konsequentialismus ein zu einfaches Kriterium dafür anbietet, wie wir entscheiden, was wir machen sollten. Wenn diese Analyse richtig ist, erklärt das, warum Konsequentialismus in der praktischen Philosophie und der Naturalismus als metaphysische Ansicht in der heutigen Philosophie oftmals kombiniert werden. Konsequentialismus reduziert die 3 J. J. Smart ist ein Beispiel (Smart et al. 1973), auch Peter Singer (1993), oder sogar Richard Hare in seiner letzten Veröffentlichung über moralische Begründung – Moral thinking (1981).

66

J. Nida-Rümelin und F. Battaglia

Komplexität des Gründe-Abwägens zu einer Maximierung der Wertfunktion. Er verwirrt die Abwägung von Gründen und stellt ein simples und allumfassendes Maximierungsprinzip als Alternative auf. Allerdings ist es gerade diese Fähigkeit, Gründe abzuwägen, die den Kern einer menschlichen Lebensform darstellt (NidaRümelin 1993).

8

Der nichtalgorithmische Charakter

Weitere Ansätze, die zum Ausdruck bringen wollen, dass Maschinen anders als der Mensch zu verstehen sind, fokussieren sich auf den Begriff der Akteure und ihres Urteilsvermögens (Purves et al. 2015). Das ist ein sehr aufgeladener Ansatz, der dann auf die Kodifizierbarkeitsthese rekurriert. Ein Akteur zu sein, bedeutet, die Fähigkeit zum menschlich-moralischen Urteilsvermögen zu haben. Diese Fähigkeit orientiert sich an dem Überlegungsgleichgewicht. Ein Akteur zu sein, bedeutet, die Fähigkeit zu haben, bestimmte Tatsachen als moralische Tatsachen anzunehmen, und die Fähigkeit, bestimmte Erfahrungen mit einem bestimmten phänomenalen Charakter wahrzunehmen. Die Maschine ist nicht in der Lage, menschliches moralisches Urteilsvermögen zu reproduzieren. Diese Schlussfolgerung folgt, wenn das menschliche moralische Urteil nicht kodifizierbar ist, d. h. es kann nicht durch eine Liste von Regeln erfasst werden. Hier wird konzise gezeigt, worin das Argument der Kodifizierbarkeit begründet ist. Danach folgt dessen Kritik, die auf dem nichtalgorithmischen Charakter der Gründe begründet ist. Das Förderband und die Maschine gehören zur Industrialisierung (Decker 2013). Diese wurde durch die Zerlegung der Produktion ermöglicht. Die Zerlegung bereitet den Weg für eine Automatisierung der Produktion, weil jedes Teil einzeln analysiert werden konnte hinsichtlich seiner technischen Ausführbarkeit. Dieser erfolgreiche Prozess, der für die Industrialisierung wesentlich ist, hat dazu geführt, die Handlung als einen Sonderfall der Produktion anzusehen und entsprechend die Zerlegung der Produktion mit einer Algorithmisierung der Handlung gleichzusetzen. In der kognitiven Psychologie wird das Funktionieren des menschlichen Gehirns bzw. werden mentale Prozesse, einschließlich menschlicher Deliberation als Software-Phänomene gedeutet bzw. in Analogie zu Software-Prozessen analysiert. In letzter Konsequenz heißt das, dass die menschliche Fähigkeit zur Deliberation und zur verantwortlichen Entscheidung bei entsprechend hochentwickelten Software-Systemen auf diese übergeht oder aber (der Mainstream), dass auch Menschen streng genommen keine Verantwortung tragen für das, was sie tun, dass eine solche Verantwortlichkeit vielmehr eine – vielleicht nützliche – Fiktion sei (diese letzte Position wird vor allem von naturalistisch gestimmten Neurowissenschaftlern und Neurophilosophen gegenwärtig vertreten). Auf einer anthropologischen Ebene bedeutet es, dass sich eine funktionalistische Sichtweise durchgesetzt hat, die den Akteuren gegenüber indifferent ist. Als These gilt, dass man von Mensch und Maschine in derselben Sprache spricht (Latour 1995). Wenn man der Anforderung gerecht werden, nämlich die Identität zwischen Mensch und Maschine gewährleisten möchte, können zwei Optionen gewählt werden. Entweder erhebt man die Maschinen zu Menschen, oder

Mensch, Maschine und Verantwortung

67

der Mensch wird zurückgestuft, also nach algorithmisierbaren Funktionen analysiert. Die zweite Interpretation ist wenig überzeugend. Die ethischen und juristischen Bedenken bei Maschinen sind groß, weil algorithmische Verrechnung von Menschenleben der lebensweltlichen Ordnung widerspricht. Dann stellt sich allerdings die Frage, worin der kategoriale Unterschied eigentlich besteht. Die Gesamtheit der Komplexität des Begründens innerhalb der Rechtslehre, der Philosophie und des alltäglichen Lebens geben uns ausführliche Hinweise, um diese Grenzverschiebung zu rekonstruieren. Damit Maschinen menschlich-moralische Handlungen ausführen können, müssen sie sich an die menschlichen Bedingungen anpassen (Grunwald 2012). Ein solcher Komplex von Bedingungen kann jedoch nicht kodifiziert werden. Solche Bedingungen können nicht durch eine Liste von Regeln erfasst werden. Das Problem ist also weniger die Unsicherheit hinsichtlich der zu implementierenden Regel (Wallach und Allen 2009), sondern die Tatsache, dass das menschlichmoralische Akteursein nicht kodifizierbar ist, d. h. es kann nicht durch eine Liste von Regeln erfasst werden. Die These der Nichtkodifizierbarkeit ist im Einklang mit dem nichtalgorithmischen Charakter der Gründe. Dass Gründe nichtalgorithmisch sind, wissen wir seit den 1930ern. Bis heute hat niemand demonstrieren können, Alonzo Church falsch lag bei seiner Darlegung, dass alle etwas komplexeren logischen Systeme nichtalgorithmisch funktionieren. Die Folge ist, dass Theoreme wie die der Prädikatenlogik erster Stufe, einer der wohl grundlegendsten Teile der Logik, nicht durch algorithmische Prozesse, nicht durch eine Turing-Maschine, welche Zeilen produziert, bewiesen werden können. Dies ist ein metamathematisches Ergebnis, welches niemand in Frage stellt. Deshalb ist es äußerst merkwürdig, dass unzählige Diskussionen mit Neurowissenschaftlern stattfinden, welche das Gegenteil behaupten, wie beispielsweise, dass Begründungsprozesse herkömmliche, kausale Ketten sind. Wenn Logik ein essentieller Teil unseres Begründens ist, so haben wir schon lange bewiesen, dass Begründung nichtalgorithmisch ist, und Urteil nicht kodifizierbar ist. Ist dies der Fall, und wir akzeptieren eine bestimmte Art der Auffassung kausaler Relationen, die aussagt, dass kausale Relationen algorithmisch sind (beispielsweise, wenn ich den aktuellen Wissensstand der Tatsachen und aller relevanten Gesetze habe, so kann ich den nächsten Zustand der Tatsachen herausfinden), so wurde schon in den 1930er-Jahren bewiesen, dass sowohl eine Begründung als auch ein Urteil, in welchen logische Schlussfolgerungen auf dem Niveau der Prädikatenlogik erster Ordnung eine Rolle spielen, keine kausalen Prozesse sind.

9

Die menschliche Verantwortung

Verantwortung wird durch zwei Faktoren eingeschränkt: Was eine Person weiß und was sie kontrollieren kann. Reine Zufälle, welche einfach so passieren und daher nicht durch einen Akteur geleitet werden, können nicht dessen Verantwortung beeinflussen. Diese Tatsache verändert den Begriff der Haftung auf vielen Ebenen. Es ist eine interessante Frage, wie die Praxis der Haftung mit einer angemessenen Herangehensweise an Verantwortung kombiniert werden kann.

68

J. Nida-Rümelin und F. Battaglia

Ein angemessenes Verständnis von menschlicher Verantwortung ist intentionalistisch, nichtkonsequentialistisch, deontologisch und epistemisch. Es ist intentionalistisch insofern, als die Verantwortung eines Akteurs von seiner Fähigkeit, seine eigenen Handlungen zu kontrollieren, abhängig ist; es ist nichtkonsequentialistisch, insoweit es keine Möglichkeit gibt, die Gesamtheit der Pluralität von Gründen auf ein Optimierungs-prinzip zu reduzieren; es ist deontologisch, insofern die Pflichten des Handelns von Pflichten bezüglich sozialer Rollen, Freiheiten und Rechten etc. abhängig sind, die nicht auf adäquate Weise durch die Optimierung von Zuständen realisiert werden können; es ist epistemisch insoweit, als es moral luck nicht gibt: Geschehnisse, die ein Akteur nicht kontrollieren kann, die allerdings trotzdem in die Konsequenzen einer Handlung intervenieren, fallen nicht in den Verantwortungsbereich des Akteurs. Diese Darstellung von Verantwortung nimmt den Akteur ernst. Es ist der Akteur selbst, der verantwortlich ist, nicht der Zufall (moralisches Glück); es ist der Akteur, welcher verantwortlich ist, und nicht die sachlichen, vorhersehbaren Konsequenzen. So ist es beispielsweise notwendig, Gründe abzuwägen, um die Verantwortung eines Akteurs herauszuarbeiten.

10

Die gradualistische Darstellung

Die bis hierhin entwickelte Argumentation dient dazu, den genuinen Verantwortungsbegriff und seine Kriterien auf menschliche Akteure zu beschränken. Allerdings hat der größere Anteil der philosophischen Diskussion seit Kant eines zweier Extreme als Ausgangspunkt: Entweder ist menschliche Handlung durch Intention gesteuert oder sie wird durch außer-mentale Gründe gesteuert; entweder sind Menschen verantwortlich für das, was sie tun, oder sie sind es nicht. Diese Kontraposition resultierte in recht extremen philosophischen Paradigmen, vom Idealismus in der deutschen Philosophie mit seinem Höhepunkt im 19. Jahrhundert auf der einen Seite bis hin zum Naturalismus von Quine in der analytischen Philosophie auf der anderen Seite. Eine weit angemessenere Annäherung ist die des Gradualismus (und Pragmatismus). Den Ausgangspunkt stellt hier nicht eine philosophische Lehre dar, sondern bezieht sich darauf, dass wir uns im Alltag Verantwortung zuschreiben. Der realistische Pragmatist interpretiert diese Zuschreibung als ein Element realer Eigenschaften. Eine vernünftige Person zweifelt nicht an einer Überzeugung, wenn es keinen Grund für Zweifel gibt. „Der Vernünftige hat bestimmte Zweifel nicht“, schreibt Wittgenstein in Über Gewissheit (1969/2005; siehe auch Wittgenstein 1953/2003). Unsere weit entwickelte Fähigkeit, die Stufen der Verantwortung eines Akteurs zu beurteilen, und der sehr differenzierte normative Diskurs über Kriterien der Verantwortung sprechen beide für diese Interpretation des Realismus. Dieser normative Realismus wird nicht von einem philosophischen Axiom deduziert. Vielmehr ist er ein Element unseres alltäglichen normativen Diskurses und unserer Praxis. Individuen verlieren die Kontrolle über das, was sie tun, wenn sie betrunken sind. Dies ist offensichtlich ein gradueller Prozess: Das Gesetz definiert Kriterien in der Annahme,

Mensch, Maschine und Verantwortung

69

dass individuelle Verantwortung über eine bestimmte Grenze hinaus reduziert wird. Diese Kriterien verzichten nicht auf einen graduellen Begriff von Verantwortung. Je jünger Kinder sind, desto weniger Verantwortung tragen sie für ihre Handlungen. Ebenso unterminieren emotionale Instabilität oder manische Episoden Verantwortung. Der Versuchung, anzunehmen, dass es nur zwei Arten von Akteuren auf der Welt gibt, wird ein Kontinuum von Amoralität zu völlig autonomer Moral gegenübergestellt. In diesen Extremen gibt es viele Punkte, die in der Gesellschaft bereits allgemein anerkannt sind. Zum einen werden Kinder nicht als vollständige moralische Akteure behandelt, ihnen wird etwa das Recht verweigert, Tabak und Alkohol zu kaufen. So argumentiert der Rechtswissenschaftler Peter Asaro, der zeigt, inwiefern Menschen nicht immer moralische Akteure seien. Kinder sind Menschen mit einer noch nicht voll ausgebildeten Fähigkeit zu handeln und entsprechend mit einer vorübergehenden reduzierten Fähigkeit verantwortlich zu sein. Auch Menschen mit kognitiven oder emotionalen Störungen können vorübergehend oder dauerhaft in deren Fähigkeit sich zu kontrollieren eingeschränkt sein und dementsprechend nicht Verantwortung tragen. Zum anderen können Unternehmen, obwohl sie keine Menschen sind, handeln. Das heißt, es kann ihnen eine Handlungskapazität zugeschrieben werden und dementsprechend auch Verantwortung (Asaro 2006). Da die Definition die Verantwortungszuschreibung nicht auf Menschen beschränkt, ist sie nicht speziesistisch. Nicht alle menschlichen Akteure tragen Verantwortung und umgekehrt gibt es nichtmenschliche Akteure, die Verantwortung tragen können. Auch für die Rechtwissenschaftler Gleß und Weigend (2014) erscheint es sinnvoll, Maschinen nach ihrer technischen Machart in drei Arten von Systemen zu unterteilen. Diese Ausdifferenzierung trägt aus rechtlicher Sicht zur Bewertung bei, wie Verantwortung zugeschrieben werden könnte. Sie unterscheiden zwischen drei Systemen: einfache Datenverarbeitungssysteme, geöffnete Systeme und intelligente Systeme. Eine weitere gradualistische Rekonstruktion finden wir bei Jens Kersten (2016). Diese Darstellung dient dazu, die Herausforderungen, die die Maschine an uns stellt, zum Ausdruck zu bringen. Kersten unterscheidet zwischen drei Konstellationen. Die instrumentellen Konstellationen bieten keinen Anlass, uns Gedanken zu machen über die Zuschreibung der Verantwortung. Denn bei dieser Interaktion verwenden die Menschen die Maschinen. Die Maschinen werden nur als Werkzeuge verstanden. Die Verantwortung bleibt also dem Menschen vorbehalten. Bei den personalisierten Konstellationen ergibt sich schon eine erste Verschiebung. Mit dem rhetorischen Ansatz von Kersten könnten wir umgekehrt fragen, ob die Maschinen auch uns Menschen verwenden. Dabei werden paradigmatisch Prothesen oder auch unsere Daten thematisiert. Wo sie direkt sowohl am menschlichen Körper eingesetzt werden als auch unsere Identität affizieren, werden sie zugleich Teil einer Person. In rechtlicher Hinsicht verlieren die Maschine bzw. die Daten dadurch ihren Status als Sache und partizipieren am Persönlichkeitsrecht ihres Trägers. Die letzte Konstellation ist diejenige, die uns mehr zum Nachdenken gibt hinsichtlich der Frage der Verantwortung zwischen Mensch und Maschine. Bei den autonomen Konstellationen wird ernst gemacht mit der These, dass Rationalität,

70

J. Nida-Rümelin und F. Battaglia

Freiheit und Verantwortung nicht auf Menschen beschränkt sind. Denn die Maschinen werden nicht per definitionem aus der gleichgestellten Interaktion mit den Menschen ausgeschlossen. Wäre dies der Fall, wäre eine solche Theorie nicht fähig, auftretende Grenzverschiebungen im Verhalten von Mensch und Maschine zu erklären. Wichtig hervorzuheben ist, dass diese Grenzverschiebungen nicht auf Kosten der Kohärenz, der Freiheit, der Rationalität und der Verantwortung erfolgen, sondern sie eher möglich sind dank der Einbeziehung der Maschinen in die Rechtssubjektivität eines Menschen. Autonome Konstellationen – laut Kersten – sind diejenigen Verhältnisse, in denen sich Mensch und Maschine gegenüberstehen. Bei solchen Verhältnissen können wir uns sogar vorstellen, dass die Maschinen uns gleichgestellt werden: „Das Grundgesetz erkennt zwar mit der Würde die Rechtssubjektivität eines jeden Menschen an, schließt jedoch dadurch die Rechtssubjektivität von nichtmenschlichen Akteuren keineswegs aus. Für die Exklusivität menschlicher Rechtssubjektivität findet sich im Grundgesetz kein normativer Hinweis.“ (Kersten 2016) Damit ist als nächstes zu fragen, inwiefern verändert der Einsatz von Maschinen die menschliche Verantwortung? Wir sollten die Gesamtheit der Komplexität des Begründens innerhalb der Rechtslehre, der Philosophie und des alltäglichen Lebens ernst nehmen und nicht versuchen, diese durch eine einfache Optimierung zu substituieren. Der Einsatz von Maschinen verkompliziert die Situation. Er verändert zwar nicht den Begriff der Verantwortung, macht allerdings die Kriterien, auf deren Basis wir Handlung, Verantwortung und Freiheit zuschreiben, schwerer greifbar. Die Verantwortung bleibt dem Menschen vorbehalten. Entsprechend verschiebt sich die Verantwortung bei autonomen Maschinen auf die Hersteller und Betreiber der technischen Systeme. Falls die Entwicklung von solchen Systemen als gemeinnützig erklärt wird, dann sollen die infrastrukturellen, politischen und rechtlichen Entscheidungsinstanzen auch dafür Verantwortung tragen (Palmerini et al. 2016). Allerdings resultiert aus dieser Komplexität nie das Verlorengehen des personellen Bezugspunkts.

Literatur Asaro, Peter. 2006. What should we want from a robot ethic? International Review of Information Ethics 6(12): 9–16. Decker, Michel. 2013. Robotik. In Handbuch Technikethik, Hrsg. A. Grunwald, 354–358. Stuttgart/ Weimar: Metzler. Gleß, Sabine, und Thomas Weigend. 2014. Intelligente Agenten und das Strafrecht. ZStW 126: 561–591. Grice, Paul. 2005. Aspects of reason. Oxford: Oxford University Press. Grunwald, Armin. Hrsg. 2012. Können Roboter handeln und was bedeutet eine Antwort auf diese Frage? In Technikzukünfte als Medium von Zukunftdebatten und Technikgestaltung, Karlsruher Studien Technik und Kultur, Bd. 6, 159–176. Karlsruhe: KIT. Hare, Richard Mervyn. 1981. Moral thinking. Its levels, method, and point. Oxford: Oxford University Press. Kersten, Jens. 2016. Die maschinelle Person – Neue Regeln für den Maschinenpark? In Roboter, Computer und Hybride- Was ereignet sich zwischen Menschen und Maschine, Hrsg. A. Manzescheke Arne und Fabian Karsch, 89–106. Baden-Baden: Nomos Verlag.

Mensch, Maschine und Verantwortung

71

Korsgaard, Christine. 1992. The source of normativity. Cambridge: Harvard University Press. Latour, B. 1995. Wir sind nie modern gewesen. Versuch einer symmetrischen Anthropologie. Berlin: Akademie-Verlag. Nakada, Makoto. 2012. Ethical and critical views on studies on robots and roboethics. In Robo- and Informationsethics: Some fundamentals, Hrsg. M. Decker und M. Gutmann, 159–188. Wien: LIT. Nida-Rümelin, Julian. 1993. Kritik des Konsequentialismus. München: Oldenburg. Nida-Rümelin, Julian. 2001. Strukturelle Rationalität. Stuttgart: Reclam. Nida-Rümelin, Julian. 2005. Über Menschliche Freiheit. Stuttgart: Reclam. Nida-Rümelin, Julian. 2011. Verantwortung. Stuttgart: Reclam. Palmerini, Erica, Andrea Bertolini, Fiorella Battaglia, Bert-Jaap Koops, Antonio Carnevale, und Pericle Salvini. 2016. RoboLaw: Towards a European framework for robotics regulation. Robotics and Autonomous Systems 86:78–85. Purves, Duncan, Ryan Jenkins, und Bradley J. Strawser. 2015. Autonomous machines, moral judgment, and acting for the right reasons. Ethical Theory and Moral Practice 18(4): 851–872. Singer, Peter. 1993. Practical ethics. Cambridge: Cambridge University Press. Smart, John, Jamieson Carswell, und Bernard Williams. 1973. Utilitarianism: For and against. Cambridge: Cambridge University Press. Strawson, Peter. 1962. Freedom and resentment. Proceedings of the British Academy 48:187–211. Wallach, Wendell, und Colin Allen. 2009. Moral machines. Teaching robots right from wrong. Oxford, UK: Oxford University Press. Werner, Micha H. 2013. Verantwortung. In Handbuch Technikethik, Hrsg. A. Grunwald, 38–43. Stuttgart/Weimar: Metzler. Wittgenstein, Ludwig. 1953/2003. Philosophische Untersuchungen. Frankfurt a. M.: Suhrkamp. Wittgenstein, Ludwig. 1969. Über Gewissheit. Frankfurt a. M.: Suhrkamp.

Teil II Die Maschinenethik und verwandte Ethiken und Ansätze

Maschinenethik und Roboterethik Janina Loh

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Die zwei Arbeitsfelder der Roboterethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Roboter als Handlungssubjekte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Moral implementieren – drei Ansätze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Roboter als Wertträger . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

76 77 79 83 85 89 90

Zusammenfassung

Die Roboterethik ist eine Teilbereichsethik der Maschinenethik, in der man zwei Forschungsbereiche unterscheidet. Im einen wird diskutiert, inwiefern Roboter als moral patients zu verstehen sind, also passiv als Träger moralischer Rechte, bzw. inwiefern ihnen ein moralischer Wert zukommt. Im anderen Feld geht es um die Frage, inwiefern Roboter moral agents, also aktiv Träger moralischer Pflichten bzw. moralische Handlungssubjekte, sein können. Die beiden Arbeitsbereiche sind nicht exklusiv, sondern ergänzen einander. Schlüsselwörter

Maschinenethik · Roboterethik · Moral agents · Moral patients · Funktionale Äquivalenz

J. Loh (*) Institut für Philosophie, Universität Wien, Wien, Österreich E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_6

75

76

1

J. Loh

Einleitung

Die Roboterethik ist eine verhältnismäßig junge Bereichsethik, eine Teilbereichsethik der Maschinenethik, um ganz genau zu sein. Denn alle Roboter sind Maschinen, aber nicht umgekehrt alle Maschinen auch Roboter. (Oliver Bendel hingegen definiert die Maschinen- nicht als Bereichsethik; vgl. Bendel 2014, S. 238, 2017a, S. 5). Unter den Bereichsethiken lassen sich zwei Typen ausmachen. Bei den einen handelt es sich um Ethiken für den Umgang mit einem nichtmenschlichen Gegenüber. Hierzu zählen neben der Maschinen- und Roboterethik auch die Tier-, Pflanzen-, Umwelt- und Technikethik. Die andere Gruppe an Bereichsethiken versammelt Ethiken für Sonderbereiche des menschlichen Lebens, in denen Werte vertreten, Normen geltend gemacht und Regeln formuliert werden, denen im Alltag für gewöhnlich ein anderer Status zugeschrieben wird. Die Medizinethik, die Ethik humanitärer Interventionen, die Militär- und die Wirtschaftsethik sowie die Ethik internationaler Beziehungen lassen sich als Beispiele für diese Form von Bereichsethiken anführen. Der Roboterethik wird ab und an vorgeworfen, sie sei gar keine richtige Ethik bzw. sie habe keinen spezifischen Gegenstand, da sich Ethik nicht mit Unbelebtem beschäftige (Loh 2017a; Sombetzki 2016). Doch selbst wenn sich herausstellen sollte, dass Roboter keine moralischen Handlungssubjekte sein können, sollte man ihnen ein Platz im moralischen Universum geben. Schließlich sprechen wir auch einer ganzen Reihe von nichtmenschlichen und (teil-)unbelebten Entitäten einen Wert zu – wie z. B. Landschaften, Ökosystemen, Tieren, Häusern, Autos oder Smartphones. Um was für eine Art von Wert es sich im Falle autonomer artifizieller Systeme handelt, ob um einen rein instrumentellen Wert oder aber um einen intrinsischen Wert, bleibt freilich zu diskutieren und hängt von dem zugrunde liegenden Ansatz ab. Doch wo, wenn nicht in der Ethik, wäre der einer solchen Diskussion angemessene Raum? In der Roboterethik wird - vergleichbar den anderen Bereichsethiken, die sich mit nichtmenschlichen Wesen und Entitäten beschäftigen - darüber nachgedacht, inwiefern das fragliche Gegenüber ein Wert- und vielleicht gar ein Rechtträger ist, und diskutiert, inwiefern es als moralischer Akteur interpretiert zu werden hat (Gunkel 2012).” Sie stellt traditionelle Fragen mit Blick auf neue potenzielle Handlungssubjekte, nämlich Roboter (Hilgendorf 2014; Lin et al. 2012, 2017), wie bspw. die danach, welche Kompetenzen wir generell als grundlegend für moralische Akteursfähigkeit erachten, welche moralische (und andere) Werte wir artifiziellen Systemen implementieren sollten, auf was für ein moralisches Selbstverständnis es schließen lässt, wenn wir Roboter ‚schlecht‘ behandeln (Darling 2012, 2017) und in welchen Bereichen – Industrie-, Militär-, Medizin-, Altenpflege-, Servicerobotik – wir uns auch zukünftig ausschließlich bzw. in einem signifikanten Ausmaß auf menschliche und nicht auf artifizielle Expertise verlassen wollen. Einleitend wurde die Roboterethik deshalb als Teilbereichsethik der Maschinenethik bezeichnet, da alle Roboter Maschinen, nicht aber alle Maschinen Roboter sind. Eine Maschine ist ein Gebilde, das aus individuellen und durch ein Antriebssystem (Motor, Wind, Wasser etc.) bewegten Teilen besteht und Energie umsetzt

Maschinenethik und Roboterethik

77

(Canguilhem 2012; Strandh 1980). Roboter stellen spezielle Maschinen dar. Der Begriff „Roboter“ geht auf das tschechische Wort „robota“ (Arbeit, Frondienst, Zwangsarbeit) zurück und wurde 1920 von dem Künstler Josef Čapek geprägt. Sein Bruder Karel Čapek nutzte es in dem Theaterstück Rossum’s Universal Robots (1921) für humanoide Apparaturen, die dem Menschen Arbeit abnehmen. Catrin Misselhorn zufolge ist ein Roboter eine elektromechanische Maschine, bestehend aus einem Prozessor, Sensoren, die Informationen über die Welt sammeln, sowie einem Effektor oder Aktor, der Signale in mechanische Abläufe übersetzt. Das Verhalten eines Roboters ist oder wirkt zumindest autonom – er kann, anders als ein Computer, der nach dieser Definition eine Maschine, aber kein Roboter ist, in seine Umgebung hinein wirken und auf sie Einfluss nehmen (Misselhorn 2013).

2

Die zwei Arbeitsfelder der Roboterethik

In der Roboterethik unterscheidet man zwei Forschungsbereiche. Im einen wird diskutiert, inwiefern Roboter als moral patients zu verstehen sind, also passiv als Träger moralischer Rechte, bzw. inwiefern ihnen ein moralischer Wert zukommt. Im anderen Feld geht es um die Frage, inwiefern Roboter moral agents, also aktiv Träger moralischer Pflichten bzw. moralische Handlungssubjekte, sein können (Floridi und Sanders 2004). Die beiden Arbeitsbereiche sind nicht exklusiv, sondern ergänzen einander. Die Gruppe der moral agents ist gegenüber der der moral patients sehr viel kleiner, denn für gewöhnlich zeichnen wir nur Menschen mit Moralfähigkeit im genuinen Sinne aus. Einer ganzen Reihe von Wesen und Dingen wird indes ein moralischer Wert zugeschrieben oder sogar Rechte, sie sind also moral patients – zumindest insofern, als diese Entitäten moralisch bedenkenswert sind, wenn ihnen vielleicht auch kein Eigen-, sondern nur ein hoher instrumenteller Wert zuzusprechen ist. Als moralisches Handlungssubjekt ist man zugleich Wertträger, umgekehrt sind nicht alle Wertträger auch moralische Handlungssubjekte. Die Zuschreibung von moralischen Werten zu Lebewesen und Gegenständen ist abhängig von der jeweils eingenommenen Perspektive. Eine anthropozentrische Position argumentiert beispielsweise dafür, dass nur der Mensch einen Eigenwert hat. Anthropozentrismus bedeutet zum einen, dass dem Menschen ein moralischer Vorzug und damit Sonderstatus gegenüber allen anderen Wesen zukommt, zum anderen, dass nur der Mensch über die Fähigkeit zur Erkenntnis verfügt und ein Urteilsvermögen ausbilden kann (Krebs 1997, S. 343). Eine Alternative zum Anthropozentrismus stellt bspw. der Pathozentrismus dar, der moralisch auch der leidensfähigen Natur einen Wert zuschreibt und epistemisch die Position vertritt, dass Werte durch leidensfähige Wesen in die Welt kommen. Demzufolge müssen diese auch objektiv, außerhalb des menschlichen Erkenntnishorizonts, angenommen werden (Krebs 1997, S. 344). Der Einbezug von artifiziellen Systemen in den Horizont der mit einem Eigenwert ausgestatteten Dinge könnte vielleicht eine weitere Perspektive eröffnen, einen „Mathenozentrismus“ (von griech. „matheno“, „lernen“) etwa, der all das mit einem

78

J. Loh

Eigenwert bemisst, das in einer spezifischen Weise gesteuert oder programmiert bzw. lernfähig ist. Einige Denker*innen sprechen sich darüber hinaus dafür aus, (einigen) Robotern Rechte zuzuschreiben (Beck 2010; Calverley 2006, 2011; McNally und Inayatullah 1998; Teubner 2006): Ähnlich wie sich bereits Immanuel Kant in § 17 des zweiten Teils seiner Metaphysik der Sitten gegen Tierquälerei wendet, da diese zu einer Verrohung des Menschen führe, plädiert bspw. Kate Darling für Roboterrechte, da es dem Menschen ihr zufolge dann eher gelinge ‚menschlich‘ zu bleiben (Darling 2012). Mark Coeckelbergh hingegen lehnt essenzialistische Ansätze (wie die Positionen Darlings und Kants) aus mehreren Gründen generell ab und schlägt demgegenüber einen relationalen Ansatz vor, über den Maschinen Rechte garantiert werden können (Coeckelbergh 2010). Auch das Europaparlament arbeitet aktuell an einem Konzept, das es erlaubt, (einigen) Robotern den „Status als elektronische Personen“ zuzuschreiben (Europäisches Parlament 2014–2019, S. 13). Im ersten Arbeitsbereich der Roboterethik geht es darum, wie mit artifiziellen Systemen umzugehen ist, was für ein Wert ihnen zukommt, selbst wenn man sich darüber einig sein sollte, dass sie selbst nicht zu moralischem Handeln in der Lage sind. Man versteht hier Roboter als Werkzeuge bzw. als Ergänzungen des Menschen und arbeitet an Themen wie etwa der Formulierung von Ethikkodizes in Unternehmen (May 2014), der Möglichkeit und Wünschbarkeit von Beziehungen zu und mit Robotern (Levy 2012; Loh 2017b; Scheutz 2012; Whitby 2012), der „Versklavung“ von Robotern (Petersen 2012) oder der Beurteilung des Einsatzes von autonomen artifiziellen Systemen zu Therapiezwecken (Boeker 2013; Misselhorn et al. 2013). Dabei bleibt die moralische Kompetenz bei den menschlichen Besitzer*innen und die Kompetenzkompetenz bei den Hersteller*innen und Vertreiber*innen (bzw. beim Recht). Innerhalb dieses Arbeitsbereichs der Roboterethik entscheiden somit ausschließlich die Menschen über die Moral ihrer Geschöpfe und darüber, wer im Falle eines Unfalls Verantwortung trägt. Innerhalb des zweiten Arbeitsfelds, in dem Roboter als moral agents betrachtet werden, wird danach gefragt, inwiefern Roboter zu moralischem Handeln fähig sind und über welche Kompetenzen sie hierfür in welchem Maße verfügen müssen. Dabei geht es um die Zuschreibung von Freiheit als Bedingung für moralisches Handeln, um die dafür notwendigen kognitiven Kompetenzen (wie bspw. Denken, Verstehen, Geist, Intelligenz, Bewusstsein, Wahrnehmung und Kommunikation), aber auch um Empathie und Emotionen. Beiden Arbeitsfeldern liegt die Frage zugrunde, was Ethik ist und wie moralische Urteile gefällt werden. Ein Grundlagenwerk in dieser Debatte, das im dritten Abschnitt näher besprochen wird, ist Moral Machines. Teaching Robots Right from Wrong (Wallach und Allen 2009) von Wendell Wallach und Colin Allen. Sie schlagen vor, allen Wesen Moralfähigkeit zuzuschreiben, die in Situationen geraten, in denen moralische Entscheidungen zu treffen sind. Dabei orientieren sie sich an dem von Philippa Foot stammenden Gedankenexperiment der „Trolley Cases“ (Foot 1967). Das Trolley-Case-Szenario ist ein beliebter Referenzpunkt in der Roboterethik und findet in der Gegenwart insbesondere in der Debatte um autonome Fahrassistenzsysteme großen Anklang (Hevelke und Nida-Rümelin 2015a; Loh und Loh

Maschinenethik und Roboterethik

79

2017; Maurer et al. 2015), wenn es dort auch häufig leider als eine Art Rätsel missverstanden wird, das man ‚richtig‘ oder ‚falsch‘ auflösen kann und muss, bevor man weiter über die mögliche Einführung autonomer Fahrassistenzsysteme nachdenken kann. Eine moralische Entscheidung wird Wallach und Allen zufolge bereits dann gefällt, wenn sich auf den Gleisen Menschen befinden, die der Zug zu überrollen droht. Der Zug ‚urteilt‘, indem er dazu programmiert ist, unverzüglich zu stoppen, wenn sich Menschen auf den Gleisen aufhalten. Es kann zunächst keine Rede davon sein, dass ein autonomes Fahrassistenzsystem, ausgerüstet mit einer spezifischen algorithmischen Struktur, im genuinen Sinne des Wortes moralisch handelt. Allerdings ist diese Situation äußerlich einer solchen ähnlich, in der sich auch ein Mensch befinden könnte. In ihrer von außen beobachtbaren phänomenalen Qualität gleicht die Maschine rudimentär einem Menschen. Das genügt, um zumindest ein Nachdenken über Roboter als moral agents nachvollziehbar erscheinen zu lassen, ohne dass man sich gleich zu schließen gezwungen fühlen müsste, dass autonome artifizielle Systeme in derselben Weise wie Menschen zu moralischem Handeln befähigt seien, da sie mit den dafür nötigen Kompetenzen ausgerüstet wären.

3

Roboter als Handlungssubjekte

Catrin Misselhorn definiert Akteursfähigkeit über Selbst-Veranlassung (Autonomie) und Handlungsfähigkeit (Handeln nach Gründen, Misselhorn 2013). Autonomie ist für zahlreiche philosophische Ansätze zur moralischen Akteursfähigkeit von Robotern zentral, wobei damit zunächst noch gar nicht Willensfreiheit in einem anspruchsvollen metaphysischen Sinne gemeint sein muss. Autonomie kann auch negativ definiert auf die Abwesenheit von äußerem Zwang oder direkter äußerer Kontrolle rekurrieren, was für einige bereits hinreichend ist, um (einigen) Maschinen (rudimentäre) Freiheit zuschreiben zu können (Lin et al. 2008; Sullins 2006). Für andere wie etwa Misselhorn kann von Autonomie nur dann gehaltvoll die Rede sein, wenn die eigenen Handlungen durch interne Faktoren, die einer gewissen Kontrolle des Handlungssubjekts unterliegen, determiniert sind. Autonomie ist dabei nicht gleichbedeutend mit Nichtdeterminiertheit. Im Gegenteil – es geht um eine bestimmte Form der Determination, nämlich um Determination durch das fragliche Handlungssubjekt selbst. Auf diese Position des Kompatibilismus kann hier jedoch nicht eigens eingegangen werden (Frankfurt 1969, 1971; Pauen 2001, 2008; Taylor 1976; Watson 1975; Wolf 1987). Fest steht, dass es für Ansätze dieser Art zweitrangig ist, wie das in Frage stehende moralische Subjekt zu den handlungsleitenden Gründen gelangt – etwa durch „zuschreibbare Präferenzen“ (Pauen 2008, S. 48), Erziehung oder Programmierung. Etwas zugespitzt könnte man Programmierung als eine ‚harte‘ Form der Erziehung deuten und Erziehung als eine sehr ‚weiche‘ Form der Programmierung. So verstanden ist Autonomie ein graduelles Konzept, da man mehr oder weniger autonom sein kann und damit auch in einem mehr oder weniger ausgeprägten Maß handlungsfähig. In einer ersten Annäherung lassen sich

80

J. Loh

Menschen als genuine moralische Akteure begreifen und Roboter als sehr viel schwächere Handlungssubjekte. Hinsichtlich des Handelns nach Gründen (der zweiten Bedingung für Akteursfähigkeit) sind insbesondere die moralischen Gründe interessant. Wallach und Allen haben sich die Frage gestellt, inwiefern Roboter als artifizielle moralische Akteure zu verstehen sind. Sie definieren moral agency als graduelles Konzept, das zwei Bedingungen genügen muss, nämlich Autonomie und Empfänglichkeit bzw. Empfindlichkeit für moralische Werte (sensitivity to values) (Wallach und Allen 2009, S. 25). Menschen gelten für sie als moralische Akteure im genuinen Sinne. Allerdings sehen sie in einigen Maschinen operationale moralische Akteure, die dennoch immer „totally within the control of [the] tool’s designers and users“ (Wallach und Allen 2009, S. 26) stehen. In diesem Sinne sind operationale moralische Akteure „direct extensions of their designers’ values“ (Wallach und Allen 2009, S. 30). Für eine weitergehende Autonomie bzw. moralische Sensitivität führen Wallach und Allen den Begriff der „funktionalen Moralität“ ein. Funktionale Moralität bedeutet, dass das fragliche artifizielle System insofern entweder autonomer und/ oder wertesensitiver ist als ein operationaler moralischer artifizieller Akteur, als funktionale moralische Maschinen „themselves have the capacity for assessing and responding to moral challenges“ (Wallach und Allen 2009, S. 9). Nur besonderen artifiziellen Systemen kommt der Status funktionaler moralischer Akteursfähigkeit zu – etwa dem medizinisch-ethischen Expertensystem MedEthEx, dem die Prinzipien der biomedizinischen Ethik von Beauchamp und Childress implementiert sind (Anderson et al. 2006). Dieser Ansatz der funktionalen Moralität, der graduellen Zuschreibung von Kompetenzen und Fähigkeiten, gründet auf dem Gedanken der funktionalen Äquivalenz: „Just as a computer system can represent emotions without having emotions, computer systems may be capable of functioning as if they understand the meaning of symbols without actually having what one would consider to be human understanding“ (Wallach und Allen 2009, S. 69). Funktionale Äquivalenz bedeutet, dass spezifische Phänomene verstanden werden, „als ob“ sie kognitiven, emotionalen oder anderen Kompetenzen und Fähigkeiten entsprechen, und beruht auf der Unterscheidung zwischen starker und schwacher Künstlicher Intelligenz. Starke KI (fälschlicherweise auf Turing 1950 zurückgeführt) meint Maschinen, die im genuinen Sinne des Wortes mit Intelligenz, Bewusstsein und Autonomie ausgerüstet sind. Schwacher KI (Searle 1980) ist lediglich an der Simulation spezifischer Kompetenzen in artifiziellen Systemen gelegen. Stuart Russel und Peter Norvig definieren in Artificial Intelligence. A Modern Approach (2003) die starke und schwache KI-These wie folgt: „[T]he assertion that machines could possibly act intelligently (or, perhaps better, act as if they were intelligent) is called the weak AI hypothesis by philosophers, and the assertion that machines that do so are actually thinking (as opposed to simulating thinking) is called the strong AI hypothesis“ (S. 947). Wallach und Allen verzichten auf die Annahme einer starken KI und fokussieren vielmehr die Zuschreibung von funktional äquivalenten Bedingungen und Verhaltensweisen. Die Frage, inwiefern Roboter irgendwann intelligent, bewusst oder autonom im Sinne der starken KI-These genannt werden

Maschinenethik und Roboterethik

81

können, wird durch die Frage ersetzt, in welchem Ausmaß und Umfang die jeweiligen Kompetenzen der Funktion entsprechen, die sie innerhalb der moralischen Evaluation spielen. Wallach und Allen denken sich den Übergang von operationaler über funktionale bis hin zu voller Moralzuschreibung abhängig von Autonomie und moralischer Sensitivität graduell. Es ist jedoch schwer vorstellbar, wie ein artifizielles System ein funktionales Äquivalent zu der menschlichen Fähigkeit, höherstufige Wünsche (die „second-order volitions“, Frankfurt 1971, S. 10) bilden zu können, entwickeln könnte. Hilfreich erscheint hier Darwalls Unterscheidung zwischen vier Formen von Autonomie: „personal“, „moral“, „rational“ und „agential“ Autonomie (Darwall 2006, S. 265). Während persönliche Autonomie die Fähigkeit umfasst, Werte, Ziele und letzte Zwecke zu definieren, beinhaltet moralische Autonomie die Möglichkeit, selbst gesetzte Prinzipien und ethische Überzeugungen zu reflektieren. Diese beiden Formen von Autonomie werden wohl noch für lange Zeit menschlichen Akteuren vorbehalten bleiben, hingegen sieht Darwall rationale Autonomie prima facie auch für artifizielle Akteure erreichbar. Rationale Autonomie gründet auf „weightiest reasons“ (Darwall 2006), die funktional äquivalent etwa in Form von Algorithmen repräsentiert werden können. Erst recht scheint „agential autonomy“ als ein spezifisches Verhalten, das nicht vollständig durch externe Faktoren bestimmt ist, Maschinen zuschreibbar. „Agential autonomy“ kann funktional äquivalent durch die Fähigkeit simuliert werden, interne Zustände eines artifiziellen Systems ohne externe Stimuli zu ändern. Wallach und Allen sehen – wie oben bereits gesagt – die operational artifiziellen Systeme vollständig in der Kontrolle der Designer*innen und Nutzer*innen. Funktional moralfähige Roboter sind jedoch in einem gewissen, vielleicht auch nur geringen, Maße lernfähig. Eine Grenzziehung zwischen nichtmoralischen Werkzeugen, operational nicht lernfähigen und funktional lernfähigen Maschinen lässt sich auf der computationalen Ebene in Form eines algorithmischen Strukturschemas vornehmen, indem man sich die Unterscheidung zwischen determinierten und deterministischen Algorithmen zunutze macht (Sombetzki 2016): Während deterministische Algorithmen bei gleichem Input zu demselben Output gelangen, führen determinierte Algorithmen bei gleichem Input ebenfalls zum selben Output, weisen allerdings bei der Wahl der Zwischenschritte, die dahin führen, einen gewissen Spielraum auf. Es ist vorstellbar, Maschinen, die auf der Grundlage deterministischer Algorithmen funktionieren – also gewissermaßen „determinierter“ sind als nur determinierte Algorithmen –, weder in der funktionalen noch in der operationalen Sphäre zu verorten. Man könnte sie immer noch als Maschinen sehen, allerdings fast den nichtmechanischen Werkzeugen wie bspw. einem Hammer näher als der operationalen Sphäre. Denn im Rahmen rein deterministischer algorithmischer Strukturen gibt es keinerlei Spielraum – von artifizieller Lernfähigkeit ganz zu schweigen. Die Sphäre operationaler Moralfähigkeit würde dann mit den artifiziellen Systemen betreten, die vornehmlich durch determinierte (aber nichtdeterministische) Algorithmen strukturiert sind. Und die Fälle artifizieller Systeme, die vornehmlich auf der Grundlage nichtdeterminierter (und also nichtdeterministischer) Algorithmen operieren, könnten in der funktionalen Sphäre lokalisiert werden, denn diese

82

J. Loh

verfügen, sowohl was die Zwischenschritte als auch was das Ergebnis anbelangt, über einen größeren Spielraum. Hier ließe sich auch von artifizieller Lernfähigkeit sprechen. Das artifizielle System Kismet, von dem auch Wallach und Allen sprechen, kann z. B. seine Ohren, Augen, Lippen sowie seinen Kopf bewegen und reagiert auf externe Stimuli wie die menschliche Stimme. Wallach und Allen interpretieren dieses System als operationalen moralischen Akteur und sprechen ihm in einem äußerst rudimentären Sinne ethische Sensitivität (sensitivity to values; Wallach und Allen 2009, S. 25) zu. Die größte Herausforderung, Kismet als einen operational moralischen Akteur zu verstehen, liegt in der Zuschreibung von Autonomie, steht er doch immer noch vollständig unter der Kontrolle seiner Nutzer*innen und funktioniert wohl maßgeblich auf determinierten (aber nichtdeterministischen oder gar rein deterministischen) algorithmischen Strukturen. Der Roboter Cog ist ein Beispiel für einen sehr schwach funktionalen Akteur. Seine ethische Sensitivität ist im Vergleich zu der Kismets deutlich gesteigert. Auch seine Autonomie ist aufgrund eines „unsupervised learning algorithm“ (Brooks et al. 1999, S. 70) deutlich komplexer als Kismets. So beginnt Cog, ohne dass er zuvor in dieser Weise programmiert worden wäre, ein Spielzeugauto nur noch von vorne oder hinten anzustoßen, um es in Bewegung zu versetzen, nachdem er durch mehrere Versuche feststellen konnte, dass es sich nicht bewegt, wenn es von der Seite angestoßen wird. Cog lernt durch Erfahrung, und vielleicht ist es gerade diese (in seinem Fall sehr begrenzte) Fähigkeit zu lernen, die es uns erlaubt, ihn als einen schwachen funktionalen Akteur zu verstehen oder aber als immerhin stark operationalen. Cog funktioniert wohl maßgeblich auf determinierten (aber nichtdeterministischen) oder sogar bereits auf nichtdeterminierten (und damit nichtdeterministischen) algorithmischen Strukturen. Auch autonome Fahrassistenzsysteme lassen sich als ein Beispiel für operationale Akteure anführen, da ihre Autonomie mit guten Gründen in strengen Grenzen gehalten ist; sie können nicht lernen und verfügen nicht über nichtdeterminierte Algorithmen. Mit Hilfe von Darwalls Differenzierung kann eine klare Grenze zwischen genuiner (menschlicher) Akteursfähigkeit im vollen Sinne und artifizieller (operationaler und funktionaler) Handlungsfähigkeit gezogen werden. Während menschliche Akteure über alle vier Autonomietypen, nämlich personale, moralische, rationale und agentiale Autonomie, verfügen, ist Maschinen zumindest auf absehbare Zeit nur rationale und agentiale Autonomie funktional äquivalent zuzuschreiben. Eine generelle Modifikation aller implementierten algorithmischen Strukturen analog der evolutionären menschlichen Entwicklung ist bei keinem artifiziellen System vorstellbar (von der Wünschbarkeit ganz zu schweigen): Vorstellungen, in denen Maschinen die Weltherrschaft übernehmen, da sie in der Lage sind, ihre eigenen Parameter völlig ungebunden zu manipulieren, bleiben Uto- bzw. Dystopien. Denn auch bei nichtdeterminierten Algorithmen sind nicht alle vorstellbaren Ergebnisse denkbar. Auch Menschen bleiben in ihren Möglichkeiten immer beschränkt, obwohl man ihren adaptiven Spielraum sehr viel größer einschätzt als der eines noch so komplexen Roboters jemals sein könnte.

Maschinenethik und Roboterethik

4

83

Moral implementieren – drei Ansätze

Bevor darüber zu sprechen ist, inwiefern Roboter als Wertträger (als moral patients) gedacht werden können, sollen drei prinzipielle Vorgehensweisen vorgestellt werden, die artifizielle Systeme mit Moralität ausstatten: Top-down-Ansätze, Bottomup-Ansätze und hybride Ansätze (Wallach und Allen 2009). Im Rahmen der Top-down-Ansätze werden eine Reihe von Prinzipien oder Regeln, nach denen sich das artifizielle System in einer fraglichen Situation richten soll, wie etwa Immanuel Kants Kategorischer Imperativ, die Goldene Regel, die zehn Gebote oder die drei (bzw. vier) Asimovschen Robotergesetze, einprogrammiert. Dabei ist generell mit mindestens zwei Schwierigkeiten zu rechnen: Zum einen sind Regeln oder gar einzelne Begriffe nur (wenn überhaupt) reduziert implementierbar. Ihre Interpretation ist kontextsensitiv. Die Programmierung ist jedoch auf eine (oder mehrere) eindeutige Interpretationen angewiesen. Zum anderen kann ein Konflikt zwischen den einzelnen Regeln auftreten. Legt man einen monistischen Ansatz zugrunde, wird eine Metaregel (etwa Kants Kategorischer Imperativ) programmiert, aus der alle Handlungsanweisungen situativ abzuleiten sind. Ein solcher monistischer Ansatz nimmt an, dass es keine moralischen Dilemma-Situationen gibt, da die Grundregel so formal ist, dass sie für alle Situationen eine konfliktfreie Antwort geben kann. Praktisch besteht aufgrund des Abstraktionsgrades des Moralprinzips die Gefahr, dass das fragliche artifizielle System nichts daraus wird konkret ableiten können. Je konkreter also die Formulierung der moralischen Prinzipien, desto eher ist das künstliche System in der Lage, einen Fall in der Praxis unter das Prinzip zu subsumieren. Je konkreter aber besagte moralische Prinzipien, desto größer ist die Gefahr des Regelkonflikts. Es fehlt bei einem reinen Top-down-Ansatz das, was man ‚gesunden Menschenverstand‘ nennt. Menschen sind demgegenüber in der Lage, inkonsistent oder widersprüchlich zu handeln, Regeln zu brechen, bzw. sich einmal bspw. deontologisch, ein anderes Mal utilitaristisch zu entscheiden. Bottom-up-Ansätze basieren auf der Grundlage von Lern- und evolutionären Algorithmen (randomisierte, stochastische oder probabilistische Algorithmen). Es handelt sich um nichtdeterminierte Algorithmen, bei denen nicht reproduzierbare und undefinierte Zustände auftreten. Im Gegensatz zu determinierten Algorithmen gelangt man in einem begrenzten Wahrscheinlichkeitsrahmen zu nicht programmierten Zuständen. Dabei werden nicht von vornherein moralische Regeln bzw. Sets an Regeln vorgegeben, sondern lediglich basale Parameter formuliert bzw. basale Kompetenzen implementiert. Artifizielle Systeme entwickeln darauf durch verschiedene Formen des Lernens (Trial and Error, Imitation, Induktion und Deduktion, Exploration, Lernen über Belohnung, Assoziation und Konditionierung) moralisches Verhalten (Cangelosi und Schlesinger 2015). Bei den Bottom-up-Ansätzen unterscheidet man Evolutionsmodelle (Froese und Di Paolo 2010) von Modellen menschlicher Sozialisation (Breazeal und Scassellati 2002; Fong et al. 2002). Erstere simulieren moralisches Lernen evolutionär, indem in einem künstlichen System voneinander leicht unterschiedene Programme einen ethischen Fall zu evaluieren haben. Diejenigen Programme, die ihn zufriedenstellend lösen, kommen in die ‚nächste Runde‘, in der sie miteinander rekombiniert weitere ethische Fälle lösen.

84

J. Loh

Evolutionäre Ansätze können noch vor dem Einsatz von Modellen menschlicher Sozialisation in früheren Stadien der Moralentwicklung in Robotern zum Einsatz kommen. Modelle menschlicher Sozialisation berücksichtigen die Rolle von Empathie und Emotionen für moralisches Lernen. Dabei ist zwischen zwei Formen von Mitgefühl zu differenzieren (Stüber 2006), nämlich perzeptueller Empathie, die bereits dann gegeben ist, wenn eine beobachtete Emotion bei mir eine vergleichbare oder kongruente Reaktion bei meinem Gegenüber auslöst (Misselhorn 2009a, b), und imaginativer Empathie, die einen Perspektivwechsel in Form eines Sich-Hineinversetzen in das Gegenüber erfordert. Perzeptuelle Empathie wird mithilfe bestimmter „Theories of Mind“ oder über neuronale Resonanz und das Wirken von Spiegelneuronen erklärt und ließ sich bereits rudimentär in artifiziellen Systemen hervorrufen (Balconi und Bortolotti 2012; Mataric 2000; Rizzolatti und Siniglia 2008). Über diese grundlegende Form des Mitgefühls als Wurzel von prosozialem Verhalten verfügen bereits kleine Kinder, aber auch Schimpansen (Hoffman 2000; Warneken und Tomasello 2009). Die zweite und deutlich komplexere Form des Mitgefühls ist die imaginative Empathie, die sich auf der Grundlage der perzeptuellen Empathie entwickelt und bislang nur in der menschlichen Sozialisation entsteht, nicht aber mehr bei Primaten. Sie ist kognitiv anspruchsvoller und in komplexere Formen moralischen Urteilens und Handelns involviert (Gallagher 2012). Zumindest bei der perzeptuellen Empathie ist es denkbar, dass sie sich in der basalen Form eines Affektprogrammes (Ekman 1992) als automatisiertes Reaktionsschema auch Robotern zuschreiben lässt – als zu Emotionen äquivalenten Zuständen. Geht es bei den Top-down-Ansätzen also im Grunde um die Implementation und Anwendung a priori festgelegter moralischer Regelsets, wird bei den Bottom-upAnsätzen generell die Möglichkeit moralischen Lernens in den Blick genommen. Sie beruhen auf einer metaethischen Annahme über die Kontextsensitivität von Moral, die bei Top-down-Ansätzen gerade fehlt. Moralisches Handeln und Entscheiden bedarf der Erfahrung und eines situativen Urteilsvermögens. Beides kann sich ein artifizielles System nur verkörpert aneignen. In den 1990er-Jahren war es u. a. Rodney Brooks, der als einer der ersten das Zusammenwirken von künstlichem System und Umwelt als Bedingung für die Entwicklung von Fähigkeiten betrachtete und von dieser Annahme ausgehend das Feld der „behavior-based robotics“ begründete (Brooks 1991; Brooks et al. 1999). Zahlreiche berühmte Beispiele der gegenwärtigen Robotik und KI-Forschung, die sich an dem Ansatz verkörperten menschlichen Lernens orientieren – wie bspw. die Lernplattformen iCub, Myon, Cb2, Curi, Roboy (die im Detail sehr unterschiedlichen evolutionsbasierten Ansätzen folgen) –, entwickeln Roboter, die sich ähnlich Kindern Kompetenzen aneignen, aus denen sie in spezifischen Kontexten konkrete Handlungsprinzipien ableiten. Hybride Ansätze kombinieren Top-down- mit Bottom-up-Ansätzen, indem ein ethischer Rahmen basaler Werte vorgegeben wird, der dann durch Lernprozesse an spezifische Kontexte anzupassen ist. Dabei ist die Auswahl der fraglichen Regeln von dem Einsatzbereich des Roboters abhängig. Um von einem hybriden Modell sprechen zu können, muss das System in einem anpassungsfähigen Spielraum agieren können, innerhalb dessen es auf die Wertvorstellungen seiner Nutzer*innen

Maschinenethik und Roboterethik

85

kontextsensitiv reagiert. Misselhorn (et al. 2013) entwirft im Rahmen der Altenpflegerobotik ein solches hybrides System. Bereits Georges Canguilhem hat innerhalb eines Spielraums unterschiedliche potenzielle „Freiheitsgrade“ eines „Mechanismus“ expliziert (wenn auch nicht in einem roboterethischen Kontext; Canguilhem 2012, S. 185 f.). Je mehr Spielraum, je mehr Freiheitsgrade oder Handlungspotenzial ein Mechanismus aufweist, desto weniger Teleologie im Sinne einer Finalität liegt Canguilhem zufolge vor (Canguilhem, S. 213). Übertragen auf hybride Ansätze bedeutet das, dass ein artifizielles System desto mehr Adaptivität und Möglichkeit zur Wertanpassung aufweist, je weniger es an einen spezifischen Zweck gebunden ist (und umgekehrt). So muss etwa ein komplexer Serviceroboter für Privathäuser, der nicht nur in der Küche unterstützen oder im Garten bei der Anlegung der Blumenbeete mit anfassen, sondern ebenso für gelegentliche Fußmassagen und Tipps in der Kombination bestimmter Outfits und Accessoires zu Diensten stehen soll, über einen sehr viel größeren adaptiven Spielraum und damit über eine deutlich geringere Finalität verfügen als ein vergleichsweise einfacher Roboter, der nur den Tisch zu decken und die Spülmaschine einzuräumen hat. Ein solcher komplexer Serviceroboter wäre deshalb unter der Perspektive hybrider Ansätze zu entwickeln, da er zwar aufgrund seines Einsatzbereiches in Privathäusern in einem bestimmten moralischen Rahmen agiert (top-down), hier allerdings in hohem Grade flexibel die Anweisungen der Nutzer*innen aufnehmen und antizipieren können muss (bottom-up). Viele stehen insbesondere den Bottom-Up-Ansätzen kritisch gegenüber wie z. B. Hubert L. Dreyfus, der die Entwicklung artifizieller Systeme von ihren Ursprüngen an kritisch reflektiert hat. Er verweist auf die menschliche Kreativität als den kategorialen Unterschied zu Maschinen, den diese nicht werden überwinden können (Dreyfus und Grosser 2014). Hervorragend geeignet sind sie ihm zufolge allerdings zur Informationsverarbeitung im Sinne von komplexen Rechenvorgängen. Folgt man Wallach und Allen, ist immerhin sicher, dass in absehbarer Zukunft nicht mit Robotern als moral agents in einem starken Sinn zu rechnen ist, insofern Autonomie und ethische Sensitivität nur in einem schwach funktionalen oder gar nur in einem operationalen Sinne äquivalent simuliert werden können.

5

Roboter als Wertträger

Inwiefern aber sind artifizielle Systeme moral patients, also Wertträger? Das wird im Folgenden am Beispiel autonomer Fahrassistenzsysteme besprochen. Im Straßenverkehr gerät ein autonomes Auto aller Voraussicht nach nicht allzu häufig in Situationen von moralischer Relevanz, einmal vorausgesetzt, es hält sich stets an die Straßenverkehrsordnung, fährt nicht zu schnell und drängelt nicht. Innerhalb des Rahmens alltäglicher Fahrroutine scheint es weniger um eine etwaige (Un-)Moralität des autonomen Wagens selbst zu gehen, als vielmehr um Programmierungsfehler von letztlich strafrechtlichem Belang, die in den Kompetenzbereich der Hersteller* innen fallen. Ein autonomes Fahrassistenzsystem sollte in Unfallsituationen ja gerade in der Lage sein, die wahrscheinlichen Folgen in Millisekunden zu berechnen

86

J. Loh

und nach einem zuvor definierten Setting zu agieren (Goodall 2014; Hevelke und Nida-Rümelin 2015b; Lin 2015). Stellen wir uns einige Kinder vor, die unerwartet auf die Straße und direkt vor ein autonomes Auto springen. Das autonome Fahrassistenzsystem berechnet nun, dass es nicht mehr rechtzeitig wird bremsen können (Bendel 2016a, b, 2017b; Hilgendorf 2014, 2017; Hilgendorf et al. 2015). Es könnte sowohl in den Gegenverkehr lenken als auch in die andere Richtung, in der sich hinter einem Brückengeländer ein Abhang auftut. Während das Auto im Rahmen der ersten Option (die Spur halten und bremsen) mit hoher Wahrscheinlichkeit die Kinder überfahren oder sie schwer verletzen würde, verlöre im Rahmen der zweiten und dritten Option (Gegenverkehr und Abhang) mindestens die bzw. der Fahrer*in das Leben. Szenarien dieser Art thematisieren eine Entscheidung von großer moralischer Relevanz, für die es keine eindeutige, keine korrekte Antwort bzw. Lösung gibt. Bleibt keine Zeit, in der fraglichen Situation an Stelle des Autos über das weitere Vorgehen nachzudenken und sich dementsprechend zu entscheiden, wird der autonome Wagen vermutlich mit einer standardisierten, defensiven Reaktionsweise ausgestattet, um zu reagieren – bspw. in solchen und ähnlichen Fällen immer auf den (sofern vorhanden) leeren Raum zu zielen bzw. zu bremsen und die Spur beizubehalten, unabhängig davon, wer und wie viele Personen dabei zu Schaden kommen würden. Das ist es, was diese Dilemma-Fälle, in denen das autonome Auto über Zeit und Kompetenz verfügt, die Situation zu analysieren und nach einer vorgegebenen Agenda zu reagieren, grundlegend von Situationen unterscheidet, in denen ein*e menschliche*r Fahrer*in reflexartig handelt (Lin 2015, S. 75). Utilitaristische Versuche, einen Nutzen aller einzelnen Beteiligten und vor diesem Hintergrund den Gesamtnutzen zu berechnen, sind generell problematisch. Viel zu viele Faktoren, die auch Menschen nicht allgemein verbindlich bedenken könnten, müsste das autonome Auto in den Blick nehmen können. Darüber hinaus ist in einigen Fällen mit für manche Beteiligten folgenschweren Entscheidungen zu rechnen, wie die, dass der autonome Wagen immer Motorradfahrer*innen überfährt, die einen Helm und nicht diejenigen, die keinen tragen (Goodall 2014). Würde dies allgemein bekannt, könnte es Motorradfahrer*innen dazu animieren, sich ohne Helm auf ihre Maschine zu setzen, was zu weniger Sicherheit im Straßenverkehr führte. Doch alle diese Schwierigkeiten einmal bei Seite gelassen, führt John Taurek ein prinzipielles Argument gegen das konsequenzialistische Denken in diesem Zusammenhang an: Es sei längst nicht eindeutig, dass die Zahlen in solchen DilemmaSituationen zählen sollten, da „suffering is not additive in this way“ (Taurek 1977, S. 308). Was hier auf dem Spiel stünde, ist der Verlust von etwas individuell äußerst Wertvollem, weshalb es nicht sinnvoll erscheint, unparteiisch und gleichwie objektiv den Verlust addieren zu wollen: „His loss means something to me only, or chiefly, because of what it means to him. It is the loss to the individual that matters to me, not the loss of the individual“ (Taurek 1977, S. 307). Dem stimmt auch das deutsche Grundgesetz zu, das mit der Würde der menschlichen Person derselben einen unendlichen Wert zuschreibt, der sich nicht addieren lässt. Damit wird dem konsequenzialistischen Vorschlag eine deontologische Absage erteilt, an der sich auch ganz generell die deutsche Ethik-Kommission zum automatisierten und vernetzten Fahren in ihrem ersten Bericht orientiert (2017, S. 11).

Maschinenethik und Roboterethik

87

Da dem Auto selbst mit großer Wahrscheinlichkeit bis auf Weiteres keine genuine Moralfähigkeit zuzuschreiben ist, werden Entscheidungen moralischer Natur noch für eine sehr lange Zeit den menschlichen Akteuren vorbehalten bleiben. Die oben beschriebenen Dilemma-Fälle gestatten kein spontanes Nachdenken, weshalb etwaige moralische Entscheidungen der Fahrerin bzw. des Fahrers zuvor zu treffen sind – etwa in Form der Erstellung eines moralischen Profils; vielleicht über einen Fragebogen oder mit Hilfe eines Programms. Es erscheint plausibel, dass diese moralischen Settings über eine elektronische Identifikation gesichert werden wie ein elektronischer Schlüssel oder über das Smartphone der Wagenbesitzer*innen (gesetzt den Fall, die nötigen Sicherheitsvorkehrungen können garantiert werden). Hieraus folgt, dass die IT-Abteilungen, die für die Programmierung der autonomen Autos zuständig sind, ein ethisches Training zu absolvieren haben, um in der Lage zu sein, die potenziell moralisch relevanten Situationen zu antizipieren, zu identifizieren und angemessene Interfaces zu entwickeln, die verlässlich die moralischen Überzeugungen ihrer Kunden aufgreifen. Darüber hinaus ist ein breit geführter Diskurs vonnöten, um ein Bewusstsein für solche Dilemma-Situationen und die Herausforderungen, die mit ihnen einhergehen, zu schaffen und die Verkehrsteilnehmer*innen auf ihre moralische Verantwortung vorzubereiten (Loh und Loh 2017). Unser traditionelles Verständnis von Verantwortung (Sombetzki 2014), das in den hier beschriebenen Fällen zum Ausdruck kommt, ist insofern stark individualistisch, als wir immer ein Subjekt als Verantwortungsträger*in benötigen. Eine Zuschreibung von Verantwortung ist nicht oder zumindest nur metaphorisch möglich, wenn die potenziellen Akteure die nötigen Kompetenzen (Kommunikationsfähigkeit, Autonomie bzw. Handlungsfähigkeit und Urteilskraft) nicht oder nicht hinreichend ausgeprägt mitbringen – wie Kinder, Menschen mit einer körperlichen oder geistigen Beeinträchtigung oder Maschinen. In Fällen, in denen wir Verantwortung zuschreiben wollen, aber die Subjektposition der fraglichen Verantwortlichkeit nicht besetzbar erscheint, haben einige Verantwortungstheoretiker*innen in den vergangenen Jahren behelfsmäßige Begrifflichkeiten zu entwickeln versucht, die ohne eine Bestimmung dieses Relationselements auskommen (Wilhelms 2017). Damit ist allerdings bezüglich der eigentlichen Aufgabe, die das Verantwortungskonzept hat, nämlich in intransparenten Kontexten, die durch komplexe Hierarchien und vielfach vermittelte Handlungsabläufe gekennzeichnet sind, für mehr Struktur, mehr Transparenz und Handlungsorientierung zu sorgen, nicht geholfen. Schließlich suchen wir de facto immer nach einer Trägerin oder einem Träger, die in der Lage sind, die eingeforderte Verantwortung zu schultern. Traditionell und etymologisch funktioniert unser Verständnis von Verantwortung in dieser Weise, weshalb es nicht praktikabel erscheint, dieses grundlegende Relationselement einfach nicht zu besetzen beziehungsweise es mit einer Wortblase wie dem „System“ nur oberflächlich zu bestimmen. Allerdings haben wir es hier mit Situationen zu tun, in denen einige der in das Geschehen involvierten Parteien die zur Verantwortung notwendigen Kompetenzen nicht oder nur in einem geringen Ausmaß mitbringen. Nehmen wir das Beispiel autonomer Fahrassistenzsysteme, die vor dem Hintergrund der im zweiten Abschnitt

88

J. Loh

angestellten Überlegungen als operational verantwortliche artifizielle Akteure eingestuft werden können, vergleichbar vielleicht (ähnlich wie Kismet) mit der Moralund Verantwortungsbefähigung eines Säuglings, Tieres oder eines sehr jungen Kindes. Das autonome Fahrassistenzsystem kann zwar einen Wertträger insofern abgeben, als es Teil unseres moralischen Universums und moralisch bedenkenswert ist, dass ihm ein instrumenteller Wert zugeschrieben wird – aber als moralischer Akteur in einem signifikanten (das heißt zumindest in einem funktionalen) Sinne lässt es sich nicht begreifen. Und dennoch wissen wir nicht so recht, ob wir es aus der Verantwortung gänzlich entlassen können, was zumindest der rege Diskurs über das autonome Fahren anzuzeigen scheint. Für solche und vergleichbare Kontexte eines Lokalisierungsversuchs artifizieller moral patients im moralischen Universum habe ich den Begriff des Verantwortungsnetzwerkes von Christian Neuhäuser (2014) übernommen und spezifiziert (Loh 2017c, 2018; Loh und Loh 2017). Die diesen Überlegungen zugrunde liegende These lautet, dass wir all denjenigen Parteien in einer gegebenen Situation Verantwortung zuschreiben, die an dem fraglichen Geschehen beteiligt sind, in dem Maße, in dem sie die nötigen Kompetenzen zur Verantwortungszuschreibung mitbringen. Ein Verantwortungsnetzwerk trägt der Tatsache explizit Rechnung, dass sich innerhalb einer Verantwortungskonstellation in manchen Fällen Relationselemente überlagern können wie in dem Fall der Verantwortung der Eltern für ihre Kinder, in dem die Kinder (bzw. deren Wohlergehen) einerseits das Objekt besagter Verantwortlichkeit darstellen, andererseits auch die Adressat*innen (also den Grund des Vorhandenseins dieser Verantwortlichkeit; ausführlich dazu Sombetzki 2014, S. 117 f.). Innerhalb des Verantwortungsnetzwerkes „Verantwortung im Straßenverkehr“ gehören die autonomen Fahrassistenzsysteme ebenso dazu wie die menschlichen Fahrer*innen (selbst dann, wenn diese nicht aktiv am Fahrprozess beteiligt sind), die Besitzer*innen, die Vertreiber*innen, die Programmierer*innen sowie die Designer*innen, aber auch die Öffentlichkeit, Jurist*innen, Fahrlehrer*innen und generell alle am Straßenverkehr Beteiligten. Verantwortungsnetzwerke haben häufig ungewöhnliche Ausmaße und bündeln in sich unterschiedliche Verantwortungsobjekte. Von Verantwortungsnetzwerken kann man dann sprechen, wenn man eigentlich – sehr schön zu veranschaulichen am Fall der Klimaverantwortung (Sombetzki 2014, Kap. 13) – gar nicht mehr weiß, ob hier in einem gehaltvollen Sinn Verantwortung definiert werden kann, gerade weil bspw. die Bestimmung eines Subjekts schwierig erscheint, sich keine eindeutige Instanz ausmachen lässt oder aber die normativen Kriterien nicht benannt werden können. In einem Verantwortungsnetzwerk erfüllen die involvierten Parteien unterschiedliche Funktionen bzw. besetzen manchmal mehrere Relationspositionen zugleich, sind einmal die Verantwortungssubjekte, in einem anderen Fall die Instanzen und wieder in einem anderen Fall das Objekt und vielleicht zugleich Adressat*innen einer Verantwortlichkeit. Es wäre äußerst schwierig, ein oder mehrere konkrete Verantwortungssubjekte für die Verantwortung im Straßenverkehr auszumachen, da diese viel zu umfassend ist, als dass eine Person oder eine geringe Anzahl Einzelner dafür Rede und Antwort stehen könnte. Als Verantwortungsnetzwerk „Verantwortung im Straßenverkehr“ werden hier jedoch mehrere Verantwortungsbereiche – bspw. moralische, juristische

Maschinenethik und Roboterethik

89

und politische Verantwortlichkeiten (definiert über moralische, juristische und politische Normen) – umfasst. Der Straßenverkehr stellt nur das übergeordnete Verantwortungsobjekt dar, für das nicht eine oder mehrere Personen gehaltvoll ‚die‘ Verantwortung tragen, das sich jedoch in unterschiedliche weniger komplexe Verantwortungsgegenstände ausdifferenziert, für die dann die unterschiedlichen Parteien jeweils eine spezifische Verantwortung übernehmen. Verantwortung für den Straßenverkehr kann in einem Fall die Sicherheit der am Straßenverkehr beteiligten Menschen bedeuten, in einem anderen Verständnis die Verantwortung dafür, schnell und effizient von A nach B zu gelangen und in noch einem anderen Fall die Verantwortung dafür, dass die moralischen und ethischen Herausforderungen, die mit einer Beteiligung am Straßenverkehr einhergehen, hinreichend diskutiert bzw. denjenigen, die sich am Straßenverkehr beteiligen, mit hinreichender Ausführlichkeit zuvor deutlich gemacht wurden. Über die beschriebenen (und zahlreiche weitere) Teilverantwortungsgegenstände wird bereits nachvollziehbar, dass wir jeweils ganz unterschiedliche Subjekte in unterschiedlichem Ausmaß dafür zur Verantwortungsübernahme ansprechen würden, dass es jeweils unterschiedliche Instanzen, Adressat*innen und Normen sind, die zur Konkretisierung der jeweiligen Verantwortlichkeit zu definiert werden verlangen. Gegenwärtig wird ein autonomes Fahrassistenzsystem, das nur in einem operationalen Sinne als sehr schwacher moralischer und Verantwortungsakteur identifizierbar ist, die Subjektposition einer Verantwortlichkeit innerhalb des Verantwortungsnetzwerkes „Verantwortung im Straßenverkehr“ nicht besetzen können, da es immer potenziell qualifiziertere Verantwortungssubjekte gibt. Allerdings ist denkbar, es als Verantwortungsobjekt und als Adressat in eine oder mehrere der Verantwortlichkeiten dieses Verantwortungsnetzwerkes einzubinden. In dieser Weise kann Verantwortung im Bereich der Roboterethik, die sich mit artifiziellen Systemen als Wertträgern befasst, letztlich alle denkbaren Maschinen in etwaige Verantwortungskonstellationen integrieren.

6

Fazit

Mit der hier vorgeschlagenen Einteilung der Roboterethik in zwei Arbeitsfelder – Roboter als moral patients und als moral agents – wird ein grundlegender Vergleich zwischen der Roboter- und anderen Bereichsethiken, die sich mit einem nichtmenschlichen Gegenüber befassen, möglich. Da autonome artifizielle Systeme bislang nur in einem operationalen bzw. in einem schwach funktionalen Sinne als moralische Akteure identifizierbar sind, betreffen die meisten Fragen, mit denen wir uns aktuell innerhalb der Robotik in Industrie, Service und Kriegsführung konfrontiert sehen, fast ausnahmslos den Bereich der Roboterethik zu artifiziellen Systemen als Wertträgern. Vielleicht lohnt es sich tatsächlich, den Positionen eines Anthro-, Patho-, Bio- und Physiozentrismus eine weitere Sicht zur Lokalisierung von Phänomenen im moralischen Universum hinzuzufügen – etwa einen Mathenozentrismus (wie im ersten Abschnitt vorgeschlagen), der alle Wesen mit einem Eigenwert bemisst, die lernfähig sind. Lernfähigkeit bedeutet

90

J. Loh

mindestens eine Programmierung durch nichtdeterminierte Sets an Algorithmen. Solche Phänomene befänden sich im oberen Bereich der Wallach-Allenschen funktionalen Moralzuschreibung und hätten unter dieser Perspektive einen Eigenwert. Weiterhin wäre es möglich, Robotern, die insbesondere auf der Grundlage determinierter (aber nichtdeterministischer) Sets an Algorithmen arbeiten und sich eher im Bereich operationaler Moralzuschreibung bewegen, immerhin einen hohen instrumentellen Wert zuzuschreiben. Das Konzept der Verantwortungsnetzwerke erlaubt eine Lokalisierung auch der artifiziellen Systeme – aber letztlich aller Phänomene, da diese Idee nicht auf Roboter oder Maschinen beschränkt ist – im moralischen Universum, die die Kompetenzen moralischer Akteursfähigkeit und Verantwortungszuschreibung nicht oder nicht hinreichend mitbringen.

Literatur Anderson, Michael, Susan Leigh Anderson, und Chris Armen. 2006. An approach to computing ethics. Intelligent Systems IEEE 4:2–9. Balconi, Michaela, und Adriana Bortolotti. 2012. Resonance mechanisms in empathic behavior, BEES, BIS/BAS and psychophysiological contribution. Physiology and Behavior 105(2): 298–394. Beck, Susanne. 2010. Roboter, Cyborgs und das Recht – von der Fiktion zur Realität. In Aktuelle Herausforderungen der Life Sciences. Band 1 der Reihe „Recht der Lebenswissenschaften“, Hrsg. T. Spranger, 95–120. Berlin: Lit. Bendel, Oliver. 2014. Wirtschaftliche und technische Implikationen der Maschinenethik. Die Betriebswirtschaft 4:237–248. Bendel, Oliver. 2016a. Roboterautos aus Sicht von Automobilindustrie und Maschinenethik. ICTkommunikation (Online-Ausgabe), 29. April 2016. http://ictk.ch/content/roboterautos-aussicht-von-automobilindustrie-und-maschinenethik. Zugegriffen am 03.01.2018. Bendel, Oliver. 2016b. Es singen die Maschinen: Autonome Autos sind keine Science-Fiction mehr. SenLine 31, Januar 2016. http://www.senline.ch/es-singen-die-maschinen-id1171. Zugegriffen am 03.01.2018. Bendel, Oliver. 2017a. Die Maschine in der Moral. Cyber Security Report 2017:4–6. Bendel, Oliver. 2017b. Autonome Autos in Recht und Moral. Technik in Bayern 1:12–13. Boeker, Heidrun. 2013. Robotik in Betreuung und Gesundheitsvorsorge. Technikfolgenabschätzung. Theorie und Praxis 1(22): 62–69. Breazeal, Cynthia, und Brian Scassellati. 2002. Robots that imitate humans. Trends in Cognitive Sciences 6(11): 481–487. Brooks, Rodney A. 1991. Intelligence without reason. In: Proceedings of IJCAI-91, 569–595. Brooks, Rodney A., Cynthia Breazeal, Matthew Marjanović, Brian Scasselatti, und Matthew M. Williamson. 1999. The Cog Project: Building a Humanoid Robot. In Computation for metaphors, analogy, and agents, Hrsg. Chrystopher Nehaniv, 52–87. Heidelberg/Berlin: Springer. Calverley, David J. 2006. Android science and animal rights, Does an analogy exist? Connection Science 18(4): 403–417. Calverley, David J. 2011. Legal rights for machines. Some fundamental concepts. In Machine ethics, Hrsg. Michael Anderson und Susan Leigh Anderson, 213–227. New York: Cambridge University Press. Cangelosi, Angelo, und Matthew Schlesinger. 2015. Developmental robotics. From babies to robots. Cambridge: MIT Press.

Maschinenethik und Roboterethik

91

Canguilhem, Georges. 2012. Machine und Organismus. In Die Erkenntnis des Lebens, 183–232. Aus dem Französischen von Till Bardoux, Maria Mühle und Francesca Raimondi. Berlin: August Verlag. Coeckelbergh, Mark. 2010. Robot rights? Towards a social-relational justification of moral consideration. Journal of Ethics and Information Technology 12:209–221. Darling, Kate. 2012. Extending legal protection to social robots. IEEE Spectrum Sep. 10. https://spectrum. ieee.org/automaton/robotics/artificial-intelligence/extending-legal-protection-to-social-robots. Darling, Kate. 2017. „Who’s Johnny?“. Anthropomorphic framing in human-robot-interaction, integration, and policy. In Robot ethics 2.0. From autonomous cars to artificial intelligence, Hrsg. Patrick Lin, Keith Abney und George Bekey, 173–188. Oxford: Oxford University Press. Darwall, Stephen. 2006. The value of autonomy and autonomy of the will. Ethics 116:263–284. Dreyfus, Hubert L., und Florian Grosser. 2014. Heißt Denken Rechnen, Herr Dreyfus? Philosophie Magazin 6:50–51. Ekman, Paul. 1992. An argument for basic emotions. Cognition and Emotion 6(3/4): 169–200. Ethik-Kommission automatisiertes und vernetztes Fahren. 2017. Bericht. Bundesministerium für Verkehr und digitale Infrastruktur. https://www.bmvi.de/SharedDocs/DE/Publikationen/G/ bericht-der-ethik-kommission.pdf?__blob=publicationFile. Zugegriffen am 19.11.2017. Europäisches Parlament. 2014–2019. Entwurf eines Berichts mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik. (2015/2103(INL)). http://www.euro parl.europa.eu/sides/getDoc.do?pubRef=-//EP//NONSGML%2BCOMPARL%2BPE-582. 443%2B01%2BDOC%2BPDF%2BV0//DE. Zugegriffen am 03.01.2018. Floridi, Luciano, und J. W. Sanders. 2004. On the morality of artificial agents. Minds and Machines 14:349–379. Fong, Terrence, Illah Nourbakhsh, und Kerstin Dautenhahn. 2002. A survey of socially interactive robots: Concepts, design, and applications. Technical Report CMU-RI-TR: 2–29. Foot, Philippa. 1967. Moral beliefs. In Theories of ethics, Hrsg. Philippa Foot, 83–100. Oxford/ New York: Oxford University Press. Frankfurt, Harry. 1969. Alternate possibilities and oral responsibility. The Journal of Philosophy 66: 829–839. Frankfurt, Harry. 1971. Freedom of the will and the concept of a person. Journal of Philosophy 68(1): 5–20. Froese, Tom, und Ezequiel A. Di Paolo. 2010. Modelling social interaction as perceptual crossing: An investigation into the dynamics of the interaction process. Connection Science 22(1): 43–68. Gallagher, Shaun. 2012. Neurons, neonates and narrative: From embodied resonance to empathic understanding. In Moving ourselves, moving others, Hrsg. A. Foolen, U. Lüdtke, J. Zlatev und T. Racine, 167–196. Amsterdam: John Benjamins. Goodall, Noah. 2014. Machine ethics and automated vehicles. In Road vehicle automation. Lecture Notes in Mobility, Hrsg. Gereon Meyer und Sven Beiker, 93–102. Cham: Springer. Gunkel, David. 2012. The machine question. Critical perspectives on ai, robots, and ethics. Cambridge, MA: MIT Press. Hevelke, Alexander und Julian, Nida-Rümelin. 2015a. „Intelligente Autos im Dilemma“. Spektrum der Wissenschaft. Bd. 10, S. 82–5. Hevelke, Alexander, und Julian Nida-Rümelin. 2015b. Selbstfahrende Autos und TrolleyProbleme: Zum Aufrechnen von Menschenleben im Falle unausweichlicher Unfälle. Jahrbuch für Wissenschaft und Ethik 19(1): 5–24. Hilgendorf, Eric, Hrsg. 2014. Robotik im Kontext von Recht und Moral. Baden-Baden: Nomos. Hilgendorf, Eric, Hrsg. 2017. Autonome Systeme und neue Mobilität. Ausgewählte Beiträge zur 3. und 4. Würzburger Tagung zum Technikrecht. Baden-Baden: Nomos Verlag. Hilgendorf, Eric, Sven Hötitzsch, und Lennart Lutz, Hrsg. 2015. Rechtliche Aspekte automatisierter Fahrzeuge. Beiträge der 2. Würzburger Tagung zum Technikrecht im Oktober 2014. BadenBaden: Nomos Verlag. Hoffman, Martin L. 2000. Empathy and moral development: Implications for caring and justice. Cambridge: Cambridge University Press.

92

J. Loh

Krebs, Angelika. 1997. Naturethik im Überblick. In Naturethik. Grundtexte der gegenwärtigen tierund ökoethischen Diskussion, Hrsg. Angelika Krebs, 337–379. Frankfurt a. M.: Suhrkamp. Levy, David J. 2012. The ethics of robot prostitutes. In Robot ethics. The ethical and social implications of robotics, Hrsg. Patrick Lin, Keith Abney und George Bekey, 223–231. Cambridge, MA/London: MIT Press. Lin, Patrick. 2015. Why ethics matters for autonomous cars. In Autonomes Fahren. Technische, rechtliche und gesellschaftliche Aspekte, Hrsg. Markus Maurer, J. Christian Gerdes, Barbara Lenz und Hermann Winner, 69–85. Berlin: Springer. Lin, Patrick, George Bekey, und Keith Abney. 2008. Autonomous military robotics: Risks, ethics, and design. US Department of Navy, Office of Naval Research. Lin, Patrick, Keith Abney, und George Bekey, Hrsg. 2012. Robot ethics. The ethical and social implications of robotics. Cambridge, MA/London: MIT Press. Lin, Patrick, Keith Abney, und Ryan Jenkins, Hrsg. 2017. Robot ethics 2.0. From autonomous cars to artificial intelligence. Oxford: Oxford University Press. Loh, Janina (geb. Sombetzki). 2017a. Roboterethik. Janina Loh über eine noch junge Bereichsethik. Information Philosophie 1:20–33. Loh, Janina (geb. Sombetzki). 2017b. Ich und Es. Beziehungen zu jedem – und allem. ATLAS – Das Kundenmagazin von Gebrüder Weiss 2017:39–42. Loh, Janina (geb. Sombetzki). 2017c. Verantwortung und Roboterethik – ein kleiner Überblick – Teil 1. Zeitschrift zum Innovations- und Technikrecht (InTeR) 4:1–13. Loh, Janina (geb. Sombetzki). 2018. Verantwortung und Roboterethik – ein kleiner Überblick – Teil 2. Zeitschrift zum Innovations- und Technikrecht (InTeR) 1. (im Druck). Loh, Janina (geb. Sombetzki), und Wulf Loh. 2017. Autonomy and responsibility in hybrid systems. The example of autonomous cars. In Robot ethics 2.0. From autonomous cars to artificial intelligence, Hrsg. Patrick Lin, Keith Abney und George Bekey, 35–50. Oxford: Oxford University Press. Mataric, Mia. 2000. Getting humanoids to move and imitate. IEEE Intelligent Systems 15:18–24. Maurer, Markus, J. Christian Gerdes, Barbara Lenz, und Hermann Winner, Hrsg. 2015. Autonomes Fahren. Technische, rechtliche und gesellschaftliche Aspekte. Berlin: Springer. May, Elisa. 2014. Robotik und Arbeitsschutzrecht. In Robotik im Kontext von Recht und Moral, Hrsg. Eric Hilgendorf, 99–118. Baden-Baden: Nomos. McNally, P., und S. Inayatullah. 1998. The rights of robots: Technology, law and culture in the 21st century. Futures 20:119–136. Misselhorn, Catrin. 2009a. Empathy with inanimate objects and the uncanny valley. Minds and Machines 19:345–359. Misselhorn, Catrin. 2009b. Empathy and dyspathy with androids. Philosophical, fictional and (neuro-) psychological perspectives. Between nature and culture – After the continentalanalytical divide. Konturen 2:101–123. Misselhorn, Catrin. 2013. Robots as moral agents. In Ethics in science and society. German and Japanese views, Hrsg. Frank Rövekamp und Friederike Bosse, 30–42. München: Iudicium. Misselhorn, Catrin, Ulrike Pompe, und Mog Stapleton. 2013. Ethical considerations regarding the use of social robots in the fourth age. Geropsych 26(2):121–133. Neuhäuser, Christian. 2014. Roboter und moralische Verantwortung. In Robotik im Kontext von Recht und Moral, Hrsg. Eric Hilgendorf, 269–286. Baden-Baden: Nomos. Pauen, Michael. 2001. Freiheit und Verantwortung. Wille, Determinismus und der Begriff der Person. Allgemeine Zeitschrift für Philosophie 26:23–44. Pauen, Michael. 2008. Freiheit, Schuld und Strafe. In Willensfreiheit und rechtliche Ordnung, Hrsg. Ernst-Joachim Lampe, Michael Pauen und Gerhard Roth, 41–74. Frankfurt a. M.: Suhrkamp. Petersen, Stephen. 2012. Designing people to serve. In Robot ethics. The ethical and social implications of robotics, Hrsg. Patrick Lin, Keith Abney und George Bekey, 283–298. Cambridge, MA/London: MIT Press. Rizzolatti, Giacomo, und Corrado Siniglia. 2008. Empathie und Spiegelneurone – Die biologische Basis des Mitgefühls. Frankfurt a. M.: Suhrkamp.

Maschinenethik und Roboterethik

93

Russel, Stuart, und Peter Norvig. 2003. Artificial intelligence. A modern approach, 2. Aufl. New Jersey: Prentice Hall. Scheutz, Michael. 2012. The inherent danger of undirectional emotional bonds between humans and social robots. In Robot ethics. The ethical and social implications of robotics, Hrsg. Patrick Lin, Keith Abney und George Bekey, 205–221. Cambridge, MA/London: MIT Press. Searle, John R. 1980. Minds, brains and programs. Behavioral and Brain Sciences 3(3): 417–157. Sombetzki, Janina (jetzt Loh). 2014. Verantwortung als Begriff, Fähigkeit, Aufgabe: Eine DreiEbenen-Analyse. Wiesbaden: Springer VS. Sombetzki, Janina (jetzt Loh). 2016. Roboterethik – ein kritischer Überblick. In Zur Zukunft der Bereichsethiken. Herausforderungen durch die Ökonomisierung der Welt, Hrsg. Matthias Maring, 355–379. Karlsruhe: KIT Scientific Publishing, Band 8 der. ZTWE-Reihe. Strandh, Sigvard. 1980. Die Maschine. Geschichte – Elemente – Funktion. Freiburg im Breisgau: Herder. Stüber, Karsten. 2006. Rediscovering empathy: Agency, folk psychology, and the human sciences. Cambridge, MA: MIT Press. Sullins, John P. 2006. When is a robot a moral agent? International Review of Information Ethics 6(12): 23–30. Taurek, John. 1977. Should the numbers count? Philosophy and Public Affairs 6(4): 293–316. Taylor, Charles. 1976. Responsibility for self. In The identities of persons, Hrsg. Amélie Oksenberg Rorty, 281–299. Berkeley: University of California Press. Teubner, Gunther. 2006. Rights of non-humans? Electronic agents and animals as new actors in politics and law. Journal of Law and Society 33(4): 497–521. Turing, Alan. 1950. Computing machinery and intelligence. Mind 59(236): 433–460. Wallach, Wendell, und Colin Allen. 2009. Moral machines. Teaching robots right from wrong. New York/Oxford: Oxford University Press. Warneken, Felix, und Michael Tomasello. 2009. Varieties of altruism in children and chimpanzees. Trends in Cognitive Sciences 13(9): 397. Watson, Gary. 1975. Free agency. The Journal of Philosophy 72:205–220. Whitby, Blay. 2012. Do you want a robot lover? The ethics of caring technologies. In Robot ethics. The ethical and social implications of robotics, Hrsg. Patrick Lin, Keith Abney und George Bekey, 233–247. Cambridge, MA/London: MIT Press. Wilhelms, Günter. 2017. Systemverantwortung. In Handbuch Verantwortung, Hrsg. Ludger Heidbrink, Claus Langbehn und Janina Loh, 501–524. Wiesbaden: Springer. Wolf, Susan. 1987. Sanity and the metaphysics of responsibility. In Responsibility, character, and the emotions. New essays in moral psychology, Hrsg. Ferdinand Schoeman, 46–62. New York/ New Rochelle/Melbourne/Sydney: Cambridge University Press.

Maschinenethik und Trans- und Posthumanismus Janina Loh

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Transhumanismus, technologischer und kritischer Posthumanismus im Überblick . . . . . . . 3 Maschinen und Maschinenethik im Transhumanismus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Maschinen und Maschinenethik im technologischen Posthumanismus . . . . . . . . . . . . . . . . . . . 5 Maschinen und Maschinenethik im kritischen Posthumanismus . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

96 97 99 103 106 110 111

Zusammenfassung

Trans- und Posthumanismus sind zwei heterogene Strömungen, die Diskurse aus der Philosophie, den Sozial- und Kulturwissenschaften, den Neurowissenschaften, der Informatik, der Robotik und KI-Forschung vereinen. Technik im Allgemeinen und Maschinen im Besonderen spielen in ihnen eine bedeutende Rolle: Ordnen Transhumanist*innen Maschinen vorrangig als Werkzeuge und technologische Assistenten der Transformation des Menschen unter, glorifiziert der technologische Posthumanismus die Technik in Form einer artifiziellen Superintelligenz. Im kritischen Posthumanismus hingegen werden Maschinen neutral als artifizielles Gegenüber betrachtet. Schlüsselwörter

Maschinenethik · Transhumanismus · Technologischer Posthumanismus · Kritischer Posthumanismus · Artifizielle Superintelligenz

J. Loh (*) Institut für Philosophie, Universität Wien, Wien, Österreich E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_8

95

96

1

J. Loh

Einleitung

Im Folgenden wird die Maschinenethik als eine Bereichsethik definiert (Oliver Bendel hingegen sieht das anders; vgl. Bendel 2014, S. 238, 2017, S. 5). Eine Maschine ist ein Gebilde, das aus individuellen und durch ein Antriebssystem (Motor, Wind, Wasser etc.) bewegten Teilen besteht und Energie umsetzt (Canguilhem 2012; Strandh 1980). Ein Roboter ist eine spezielle, nämlich elektromechanische Maschine, bestehend aus einem Prozessor, Sensoren, die Informationen über die Welt sammeln, sowie einem Effektor oder Aktor, der Signale in mechanische Abläufe übersetzt. Das Verhalten eines Roboters ist oder wirkt zumindest autonom – er kann, anders als ein Computer, der nach dieser Definition eine Maschine, aber kein Roboter ist, in seine Umgebung hinein wirken und auf sie Einfluss nehmen (Misselhorn 2013). Vor diesem Hintergrund wird deutlich, inwiefern alle Roboter Maschinen, nicht aber alle Maschinen Roboter sind. Innerhalb der Maschinenethik lassen sich – ähnlich wie innerhalb der Roboterethik – zwei Arbeitsfelder ausmachen, die auch für die folgenden Überlegungen zum Trans-und Posthumanismus relevant sind: Im einen wird diskutiert, inwiefern Maschinen als moral patients zu verstehen sind, also passiv als Träger moralischer Rechte, bzw. inwiefern ihnen ein moralischer Wert zukommt. Im anderen Feld geht es um die Frage, inwiefern Maschinen moral agents, also aktiv Träger moralischer Pflichten bzw. moralische Handlungssubjekte, sein können. Unter den Bereichsethiken lassen sich zwei Typen ausmachen. Bei den einen handelt es sich um Ethiken für den Umgang mit einem nichtmenschlichen Gegenüber. Hierzu zählen neben der Maschinen- und Roboterethik auch die Tier-, Pflanzen-, Umwelt- und Technikethik. Die andere Gruppe an Bereichsethiken versammelt Ethiken für Sonderbereiche des menschlichen Lebens, in denen Werte vertreten, Normen geltend gemacht und Regeln formuliert werden, denen im Alltag für gewöhnlich ein anderer Status zugeschrieben wird. Die Medizinethik, die Ethik humanitärer Interventionen, die Kriegs- und die Wirtschaftsethik sowie die Ethik internationaler Beziehungen lassen sich als Beispiele für diese Form Bereichsethiken anführen. In zwei heterogenen Strömungen des ausgehenden 20. Jahrhunderts, die Diskurse aus der Philosophie, den Sozial- und Kulturwissenschaften, den Neurowissenschaften, der Informatik, der Robotik und KI-Forschung vereinen und sich an der Grenze von philosophischer Anthropologie und Technikphilosophie verorten lassen (Irrgang 2005; Wilson und Haslam 2009), spielen Maschinen eine bedeutende Rolle: im Trans- und Posthumanismus (vgl. Loh 2018, in dem einige der folgenden Überlegungen in Ausführlichkeit zu finden sind). Im Folgenden wird die spezifische Funktion, die Maschinen jeweils im Transhumanismus, im technologischen Posthumanismus sowie im kritischen Posthumanismus haben, erörtert.

Maschinenethik und Trans- und Posthumanismus

2

97

Transhumanismus, technologischer und kritischer Posthumanismus im Überblick

Die Vertreter*innen des Trans- und Posthumanismus begreifen sich einerseits in der technologisch erweiterten Tradition des Renaissance-Humanismus, andererseits in kritischer Distanz zu diesem und schließen teils an das Programm der Postmoderne an. Beide Strömungen setzen einen unter humanistischen Vorzeichen verstandenen Menschen als Ausgangspunkt für ihre technologischen und wissenschaftstheoretischen Überlegungen. Der Transhumanismus will den Menschen weiterentwickeln, optimieren, modifizieren und verbessern. Seine Methode ist die technologische Transformation des Menschen zu einem posthumanen Wesen. Das „posthumane Wesen“ oder „Posthumane“ kennzeichnet sowohl im Trans- als auch im Posthumanismus die Zielvorstellung der Entwicklung des Menschen (Gane 2006; Sorgner 2016, S. 66, 78; Wennemann 2016; literarisch Dixon 1990). In diesem Sinne kann man nicht sagen, dass der Transhumanismus ‚den‘ Menschen zu überwinden sucht, sondern er will durch den Menschen, wie er ihn gegenwärtig erkennt, hindurch („trans“) zu einem Posthumanen gelangen, zu einem Menschen x.0. Die menschliche Evolution wird im Transhumanismus als generell unabgeschlossen verstanden (2008a, 2015; Garreau 2005, S. 231 f.; Niemeyer 2015; Philbeck 2014; Rötzer 1998; Woll 2013). Technik im Allgemeinen spielt im transhumanistischen Denken die Rolle des Mediums und Mittels zum Zweck der Optimierung des Menschen zu einem Menschen x.0. Maschinen sind deshalb im transhumanistischen Paradigma in ihrer Bedeutung dem Menschen untergeordnet. Anders als dem Transhumanismus ist dem Posthumanismus nicht mehr primär an ‚dem‘ Menschen gelegen, sondern er hinterfragt die tradierten, zumeist humanistischen Dichotomien wie etwa Frau/Mann, Natur/Kultur oder Subjekt/Objekt, die zur Entstehung unseres gegenwärtigen Menschen- und Weltbilds maßgeblich beigetragen haben. Der Posthumanismus möchte ‚den‘ Menschen überwinden, indem er mit konventionellen Kategorien und dem mit ihnen einhergehenden Denken bricht. So gelangt der Posthumanismus an einen philosophischen Standort hinter oder jenseits („post“) eines spezifischen und für die Gegenwart essenziellen Verständnisses des Menschen. Diesen Posthumanismus als Kritik des humanistischen Menschenbildes nenne ich mit Stefan Herbrechter kritischen Posthumanismus (2009, S. 7). Auch der kritische Posthumanismus hat eine Vision des Posthumanen, die allerdings nicht in einer verbesserten Variante des jetzigen Menschen zu sehen ist wie im Transhumanismus, sondern in einem neuen Verständnis vom Menschen (Braidotti 2016; Herbrechter und Callus 2013; Franklin 2009; Gane 2006; Krüger 2007; Nayar 2014). Im kritischen Posthumanismus steht Technik im Allgemeinen (inklusive Kultur und Wissenschaft) als Gegenspielerin zur Natur insbesondere für eine StellvertreterKategorie innerhalb einer die Menschen und ihr Verständnis von der Welt fundamental prägenden Dichotomie, die zugleich ein progressives Potenzial zum Ausbruch aus diesen konventionellen Deutungsmustern verspricht. Maschinen werden weder durchweg negativ bewertet oder als Werkzeuge dem Menschen untergeordnet

98

J. Loh

noch unhinterfragt positiv eingeschätzt, sondern kritisch im jeweiligen Einzelfall betrachtet bzw. als neutrales Gegenüber zum Menschen interpretiert. Zwischen Transhumanismus und kritischem Posthumanismus ist eine weitere Strömung zu verorten, die hier als technologischer Posthumanismus (TiroshSamuelson 2014, S. 55) bezeichnet wird (Badmington 2003, S. 11; Herbrechter 2009, S. 10, 19; Nayar 2014, S. 2–5 sowie Philbeck 2014, S. 174–176). Sowohl kritischer als auch technologischer Posthumanismus haben nicht primär eine Veränderung ‚des‘ Menschen im Blick. Aus diesem Grund stellen beide Variationen des Posthumanismus dar. Allerdings ist dem technologischen Posthumanismus nicht an einer Infragestellung tradierter Kategorien oder an einer Kritik des (humanistischen) Menschenbildes gelegen, sondern primär an der Erschaffung einer artifiziellen Alterität, die die menschliche Spezies ablösen und damit ‚den‘ Menschen überwinden soll. Auf dem Weg dorthin soll zwar auch der Mensch von den technologischen Errungenschaften profitieren, er werde modifiziert und so zu einer weitaus besseren Version seiner selbst – insbesondere durch die Verschmelzung mit sogenannten Nanobots, worauf später das Mind Uploading folgt, das ‚Hochladen‘ des menschlichen Geistes auf einen Computer. Jedoch stellen diese Entwicklungen, die von einigen Transhumanist*innen als Grund dafür angeführt werden, den technologischen Posthumanismus als dem transhumanistischen Paradigma zugehörig zu betrachten (wie etwa Stefan Lorenz Sorgner, Max More und Martine Rothblatt), eher automatische Schritte auf einem Weg dar, auf dem es nicht an erster Stelle um den Menschen, gar um einen Menschen x.0, geht, sondern vorrangig um die Kreation einer maschinellen ‚Superspezies‘. Die Modifizierung des Menschen stellt im Denken des technologischen Posthumanismus eine Art angenehmer Nebenfolge dar. Aus diesem Grund wird die Technik im Allgemeinen im technologischen Posthumanismus eher als Ziel und Zweck denn als Medium und Mittel (wie im Transhumanismus) verstanden. Auch der technologische Posthumanismus schließt eine Vorstellung vom Posthumanen ein. Dabei handelt es sich allerdings weder um einen Menschen x.0 wie im Transhumanismus noch um ein neues nachhumanistisches Verständnis des Menschen wie im kritischen Posthumanismus, sondern eben um eine artifizielle Alterität, eine künstliche Superintelligenz. Vor dem Hintergrund des bis hierher Gesagten wird deutlich, dass Maschinen insbesondere in dieser Leitvision einer starken Universal-KI eine zumeist uneingeschränkt positive Bedeutung im technologisch-posthumanistischen Denken zukommt.

METHODE ROLLE DER TECHNIK ROLLE VON MASCHINEN DAS POSTHUMANE

Transhumanismus Transformation via technologische Verbesserung Medium und Mittel dem Menschen untergeordnet (Werkzeug) Mensch x.0

Technologischer Posthumanismus Überwindung via Kreation

Kritischer Posthumanismus Überwindung via Kritik

(vorrangig) Ziel und Zweck (vorrangig) glorifiziert als bessere Spezies (primär) artifizielle Alterität

Kernkategorie der Kritik kritisch betrachtet bzw. neutrales Gegenüber neues Verständnis vom Menschen

Maschinenethik und Trans- und Posthumanismus

3

99

Maschinen und Maschinenethik im Transhumanismus

Von der im vorherigen Abschnitt erläuterten Konzentration des Transhumanismus auf die technologische Modifizierung des gegenwärtigen Menschen zu einem Menschen x.0 lässt sich auf die Haltung schließen, die Transhumanist*innen für gewöhnlich gegenüber der Technik und insbesondere gegenüber Maschinen einnehmen: Sowohl Technik im Allgemeinen als auch Maschinen im Besonderen werden diesem primären Bestreben des transhumanistischen Denkens stets untergeordnet. Maschinen als Werkzeuge assistieren dem Menschen in seiner Transformation zu einem posthumanen Wesen. Doch nicht jede Modifikation macht aus dem Menschen gleich ein solches Posthumanes. Auf dem Weg dahin führen etwaige Optimierungen zunächst zu der Schaffung alternativer menschlicher Lebensformen, die zwar in mancherlei Hinsicht Transformationen des Menschen darstellen, ohne jedoch bereits als posthumane Wesen eingestuft werden zu können. Ganz allgemein lassen sich all diejenigen, die aktiv an ihrer Transformation zum posthumanen Wesen arbeiten, als Transhumane verstehen oder in den Worten des kalifornischen Futuristen Fereidoun M. Esfandiary oder auch FM-2030 als „transitional humans“ (1989). Transhumanist*innen hingegen sind diejenigen, die transhumanistische Ansätze ausformulieren, zu transhumanistischen Themen arbeiten und forschen und transhumanistische Ziele vertreten (vgl. Sorgner 2016, S. 17; Tirosh-Samuelson und Mossman 2012, S. 33). Die beiden Gruppen überschneiden sich insofern, als alle Transhumanen in der einen oder anderen Weise auch Transhumanist*innen sind, nicht aber notwendig auch umgekehrt. Doch in der Tat existieren zahlreiche Fälle, in denen technologische Modifizierungen oder gar Optimierungen an Menschen vorgenommen werden, die fragliche Person sich allerdings nicht mit der transhumanistischen Bewegung und Philosophie verbunden fühlt. Es handelt sich dann nicht um Transhumane, da sie ihre Enhancements nicht als Mittel zu transhumanistischen Zwecken vornehmen, sondern um Cyborgs. (Abgesehen davon gibt es den umgekehrten Fall, in dem sich ein Cyborg als Transhumaner versteht, natürlich auch.) Der ursprünglich von Manfred E. Clynes und Nathan S. Kline in dem Artikel Cyborgs and Space (1960) in der Zeitschrift Astronautics eingeführte Begriff sollte die Verschmelzung von einem menschlichen Organismus mit Technologien, die den Menschen auf ein Leben im Weltraum vorbereiten, beschreiben. Ein Cyborg ist ein in spezifischer, d. h. in einer für das All und seine Herausforderungen modifizierten Weise veränderter (und auch Clynes und Kline würden mit Blick auf den Kontext des Weltraums bezogen sagen: verbesserter) Mensch (vgl. Heilinger und Müller 2016; weiterhin Dickel 2015, 2016, S. 18; Irrgang 2005; Quante 2011; Wolfe 2010, S. xiii). Das Kompositum Cyborg aus „cybernetic“ und „organism“ gibt dessen organische Grundlage ebenso wenig eindeutig vor wie die Art und Weise von deren technischer Modifizierung (Heilinger und Müller 2016, S. 48). Neben menschlichen Cyborgs sind tierische ebenso denkbar wie pflanzliche Cyborgs und sie existieren auch bereits. Cyborgisierte Tiere und Pflanzen sind für Transhumanist*innen in der Regel jedoch nicht weiter relevant. Clynes und Kline sind allerdings nicht Trans-

100

J. Loh

humanisten im engen Sinn, da sie sich einer generellen Verbesserung und Transformation des Menschen zu einem posthumanen Wesen ebenso wenig verschrieben haben wie dem Ziel der radikalen Verlängerung des menschlichen Lebens oder gar der Unsterblichkeit. An ihrem Beispiel wird allerdings die Rolle der Technik als den Menschen verbesserndes Medium und weniger in Form von Maschinen eigenständig existierendes Gegenüber ersichtlich. Der Philosoph Andy Clark sieht den Menschen in seinem gleichnamigen Buch als Natural-born Cyborg (2004), da er quasi seit jeher Technologien nutze. Vollkommen technikfreie Menschen sind in Clarks Augen nicht denkbar, weshalb der Mensch per se ein Cyborg sei (und nicht erst – wie bei Clynes und Kline – in einem spezifischen Kontext wie dem Weltraum). Ein Brille tragender Mensch ist Clark zufolge genauso als Cyborg zu verstehen wie der Mensch, der Vitamintabletten schluckt, der Mensch mit Smartphone oder der Mensch mit Cochlea-Implantat. Mit der im Transhumanismus gängigen Auffassung von Technik und Maschinen als Ergänzungen, Assistenten und Werkzeugen des Menschen ist die Entwicklung autonomer artifizieller Systeme als moral agents, also moralischer Handlungssubjekte, zwar nicht per se ausgeschlossen. Wohl aber bleibt sie generell einer Einschätzung von Maschinen als moral patients, also moralischer Wertträger, nachgeordnet und dieser gegenüber von sekundärem Belang. Als moralisches Handlungssubjekt ist man zugleich Wertträger, umgekehrt sind nicht alle Wertträger auch moralische Handlungssubjekte (vgl. Floridi und Sanders 2004). Die Zuschreibung von moralischen Werten zu Lebewesen und Gegenständen ist abhängig von der jeweils eingenommenen Perspektive. Eine anthropozentrische Position argumentiert beispielsweise dafür, dass nur der Mensch einen Eigenwert hat. Anthropozentrismus bedeutet zum einen, dass dem Menschen ein moralischer Vorzug und damit Sonderstatus gegenüber allen anderen Wesen zukommt, zum anderen, dass nur der Mensch über die Fähigkeit zur Erkenntnis verfügt und ein Urteilsvermögen ausbilden kann (Krebs 1997, S. 343). Der Transhumanismus schließt als technologischer Humanismus im Kern einen Anthropozentrismus ein, obwohl es stimmt, dass einigen Transhumanist*innen daran gelegen ist, das transhumanistische Denken als postanthropozentrischen Diskurs zu deuten: „Menschen werden nicht länger als Krone der natürlichen Welt angesehen oder als Entitäten, die sich kategorial von rein natürlichen unterscheiden, sondern sie werden als nur graduell verschieden von anderen natürlichen Wesen verstanden.“ (Sorgner 2016, S. 67; ähnlich Hughes 2001) Das mag zwar auf manche transhumanistische Ansätze zutreffen, indem die Verbesserung ermöglichenden Eigenschaften und Kompetenzen zumindest theoretisch nicht nur dem Menschen zugeschrieben werden. Auch Tiere und vielleicht sogar Pflanzen könnten in ein ‚postanimalisches‘ bzw. ‚postherbales‘ Zeitalter eintreten. Und dennoch eignen sich Vergleiche zwischen Mensch und Affe, wie sie bspw. Nick Bostrom vornimmt, wenn er darauf hinweist, dass der jetzige Mensch das posthumane Wesen in etwa so gut zu imaginieren in der Lage sei wie der Schimpanse den Menschen 1.0 (Bostrom 2003, S. 494), sowie der transhumanistische Verweis insbesondere auf Giovanni Pico della Mirandola als frühen Vorläufer des Transhumanismus (Engel 2015; Heil 2010) nicht besonders, um die Behauptung zu untermauern, dass im transhumanistischen Denken der Mensch nicht mehr als ‚Krone der Schöpfung‘

Maschinenethik und Trans- und Posthumanismus

101

angesehen wird. Wenngleich nicht mehr als Endpunkt der Evolution, scheint dennoch nur der Mensch nach transhumanistischer Sicht der Dinge durch den Drang zur Selbsttranszendierung angetrieben (Young 2006, S. 19; auch Chan 2010; vgl. hierzu Coenen 2015, S. 50 f.; Wilson und Haslam 2009), und nur aus dem Menschen, der dann auch andere Wesen dazu einlädt, sich an seine posthumane Seite zu gesellen (vgl. Krüger 2007; Ranisch 2014), geht letztlich das posthumane Zeitalter hervor. Allerdings sei darauf hingewiesen, dass zwar jeder Humanismus in moralischer sowie epistemischer Hinsicht anthropozentrisch ist, jedoch Anthropozentrismus und Humanismus nicht synonym sind. Denn zum einen erschöpft sich das humanistische Wertesetting nicht in einem reinen Anthropozentrismus, insofern der Humanismus insbesondere auch Bildungs- und Kultivierungsaspekte mit einschließt, die ein nichthumanistisch geprägter Anthropozentrismus nicht notwendig unterschreiben muss. Zum anderen ist nicht jede anthropozentrische Position automatisch auch eine humanistische, denn die Haltung, dass nur dem Menschen ein Eigenwert zukommt, ist nicht notwendig Bestandteil nur eines humanistischen Menschenbildes. Sofern allerdings der Transhumanismus ein Humanismus ist bzw. den klassischen Humanismus der Renaissance und Aufklärung technologisch weiterführt, handelt es sich dabei vorrangig um eine anthropozentrische Position, die keinem nichtmenschlichen Gegenüber (auch keinem etwaigen maschinellen) einen intrinsischen oder Eigenwert zubilligt. Hieraus folgt, dass Maschinen im Rahmen des transhumanistischen Paradigmas zunächst ein instrumenteller Wert zukommt, der vielleicht davon abhängig zu machen ist, inwiefern eine jeweilige Technologie und Technik zu der Transformation des Menschen zu einem posthumanen Wesen beiträgt. Die auch außerhalb transhumanistischer Kreise vielleicht bekanntesten Methoden zu diesem Zweck stellen Praktiken des Human Enhancement dar. Unter dem Label „Human Enhancement“ sind Weisen einer genetischen, medizinischen, neuro- und ganz allgemein technischen Optimierung des Menschen versammelt. Aus transhumanistischer Perspektive wird dabei zumeist nicht zwischen Enhancement (als Verbesserung des ‚Normalzustands‘) und Therapie (als Wiederherstellung des ‚Normalzustands‘) unterschieden, da sich eine eindeutige Differenzierung zwischen therapeutischen und optimierenden Maßnahmen als ausnehmend schwierig erweist, muss dafür doch zunächst einmal definiert werden, was die ‚normale Verfassung‘ eines Menschen tatsächlich konkret ist (aus Sicht des Transhumanismus Harris 2009; aus Sicht der allgemeineren Enhancement-Debatte Birnbacher 2008b; Coenen et al. 2010; Juengst 2008; Kipke 2012). Für gewöhnlich wird zwischen drei Arten von bereits existierenden Praktiken unterschieden: erstens körperliche Modifikationen wie etwa Kosmetik, Implantate, Prothesen und Training; zweitens mentale Optimierungen wie pharmazeutische Mittel, die mentale Funktionen verbessern, aber auch extended-mind-Technologien, die mentale Kompetenzen erweitern wie z. B. Computer, Navigationsgeräte und Mobiltelefone; und drittens reproduktive Technologien wie etwa die Präimplantationsdiagnostik. Dagegen stellen die primär für Transhumanist*innen relevanten Enhancement-Strategien größtenteils noch Zukunftsmusik dar wie das genetische Enhancement („human genetic engineering“), Neurotechnologien wie das ‚Hochla-

102

J. Loh

den‘ des menschlichen Geistes auf einen Computer und Gehirn- oder bestimmte neuronale Implantate sowie moralisches Enhancement (Harris 2016; Persson und Savulescu 2010). Letzteres meint die Unterdrückung moralisch verwerflicher (wie z. B. besonders aggressiver) Verhaltensweisen einerseits, die Stärkung moralisch wünschenswerter (wie z. B. besonnener und zurückhaltender) Charakterzüge andererseits, insbesondere durch genetische Veränderungen bzw. mithilfe spezifischer Pharmazeutika. Innerhalb des Transhumanismus markiert das Human Enhancement mindestens eines der bedeutendsten Arbeitsfelder (Bostrom 2003, 2005, 2011; Chan 2010; Harris 2009; Savulescu und Bostrom 2009); die radikale Lebensverlängerung bzw. sogar Aufhebung des Alterungsprozesses und die damit quasi automatisch einhergehende Unsterblichkeit des Menschen ist ein wichtiges Teilprojekt innerhalb des transhumanistischen Enhancement-Paradigmas bzw. stellt das erste und von vielen Transhumanist*innen erklärtermaßen bedeutendste Ziel des Transhumanismus dar (statt vieler bspw. de Grey 2013; de Magalhães 2004, S. 48; FM-2030 1989; Harris 2007, S. 59). Der Tod ist aus transhumanistischer Sicht eine Obszönität (Young 2006, S. 15), Altern ist eine Krankheit (Caplan 1981, S. 259), die es zu bekämpfen gilt wie jede andere Krankheit auch. Mit der radikalen Verlängerung des Lebens bis hin zu einer Aufhebung des Alterns und Verfalls des menschlichen Organismus wäre Unsterblichkeit zwar nicht in einem absoluten Sinn gegeben. Menschen könnten allerdings nur noch durch Unfall, Selbst- oder Fremdtötung aktiv ihr Leben bzw. das Leben anderer Menschen beenden – sie wären „amortal“, um es mit Yuval Noah Harari zu sagen (2017, S. 40). Solange allerdings Unsterblichkeit noch nicht erlangt wurde, müssen sich diejenigen, die an der posthumanen Zukunft dennoch teilhaben wollen, mit Übergangsstrategien begnügen. Die wohl berühmteste unter diesen Methoden ist die Kryonik (von griech. „kryos“, „Eis“ oder „Frost“): die direkt nach dem festgestellten Tod vorgenommene Konservierung des menschlichen Körpers oder einzelner Organe durch Einfrieren in flüssigen Stickstoff bei 196  C, bis Unsterblichkeit garantiert werden und der Organismus wieder aufgewärmt bzw. ‚wiederbelebt‘ werden kann (Ettinger 1962; Hughes 2001; Sames 2011; kritisch Krüger 2010). Die führenden Einrichtungen auf dem Gebiet der Kryonik sind die gemeinnützige Alcor Life Extension Foundation (www.alcor.org), die gegenwärtig den am 12.06.1967 weltweit ersten kryokonservierten Menschen, James Bedford, aufbewahrt, und das ebenfalls gemeinnützige Cryonics Institute (www.cryonics.com) in den USA, dessen Begründer und langjähriger Direktor Robert Ettinger als Vater der Kryonik in die Geschichte des Transhumanismus eingegangen ist. Max More, selbsterklärter Begründer des Transhumanismus als philosophische Strömung und gegenwärtiger Präsident von Alcor, betrachtet kryokonservierende Behandlungen als medizinische Eingriffe, nicht als die Präparierung eines toten Körpers. Spätestens innerhalb des Neuroenhancements sowie im Bereich der Kryonik wird die Relevanz von Maschinen für die Unterstützung des Menschen auf seinem Weg in eine posthumane Zukunft deutlich. Und dennoch bleiben sie für Transhumanist*innen von instrumentellem Wert, der abhängig von ihrem Nutzen für die technologische Transformation des Menschen zu sein scheint. So wird vermutlich ein medizi-

Maschinenethik und Trans- und Posthumanismus

103

nisches Assistenzsystem wie DaVinci, durch das ein*e Chirurg*in genauer und feiner arbeiten kann (Maier 2016), für den Transhumanismus von geringerer Relevanz sein als bspw. ein Gefrierbehälter bei Alcor oder gar Nanobots, also winzige Roboter, die im menschlichen Körper Aufgaben übernehmen, Prozesse beschleunigen, Kompetenzen steigern und dem Menschen vielleicht irgendwann sogar ewige Jugend und Gesundheit garantieren. Die anthropozentrische Perspektive des Transhumanismus vermutet dabei implizit, dass der instrumentelle Wert einer jeweiligen Technik, Technologie oder Maschine über das ultimative Ziel der Perfektionierung und Transformation des Menschen zu einem Menschen x.0 eindeutig bestimmbar ist – was jedoch mit Blick auf die facettenreichen Spielarten und Visionen des Posthumanen sowie die heterogenen Bedürfnisse der Menschen mindestens problematisch, wenn nicht gar unmöglich erscheint. Jede etwaige transhumanistische Maschinenethik wird sich auf Maschinen als moral patients konzentrieren und ihre Möglichkeiten als moral agents als von sekundärem Belang einstufen.

4

Maschinen und Maschinenethik im technologischen Posthumanismus

Indem der technologische Posthumanismus vorrangig auf die Kreation einer artifiziellen Superintelligenz ausgerichtet ist, die die menschliche Spezies als ‚Krone der Schöpfung‘ ablösen wird, kommt Maschinen hier eine ganz andere Relevanz zu als im transhumanistischen Denken. Technik stellt für technologisch-posthumanistische Denker*innen nicht nur das erste Mittel der Wahl zum Eintritt in das posthumane Zeitalter dar, sondern definiert insbesondere das Posthumane selbst und damit die Zielvorstellung des technologischen Posthumanismus. Das „Um-willen“ technologisch-posthumanistischer Bestrebungen wird überwiegend in einer artifiziellen Alterität, in einer artifiziellen Superintelligenz, in einem echten maschinellen Gegenüber zum Menschen im Sinne einer neuen Spezies gesehen und erhofft, die den Menschen überholen und schließlich verdrängen wird. Über diese Gemeinsamkeit hinaus präsentiert sich die posthumane Daseinsweise aus der Perspektive des technologischen Posthumanismus ähnlich facettenreich wie in der transhumanistischen Reflexion: So können natürlich auch Menschen zu Posthumanen werden, wobei das den technologischen Posthumanismus prägende Moment die primäre Fokussierung auf die Technik ist, der gegenüber weitere posthumane Konsequenzen (etwa für den Menschen oder andere Wesen) nur sekundär von Belang sind. Der Transhumanist Nick Bostrom, der sich auch mit Themen beschäftigt, die klassisch eher dem technologisch-posthumanistischen Spektrum angehören, differenziert in seinem Buch Superintelligence drei Formen der Superintelligenz: (1) eine „speed superintelligence“ (2014, S. 53), die sich von der menschlichen Intelligenz nur durch ihre radikal erhöhte Geschwindigkeit unterscheidet; (2) eine „collective superintelligence“ (2014, S. 54), eine Art Schwarmintelligenz, die aus einer großen Anzahl von Einheiten geringerer Intelligenz besteht; sowie (3) „quality superintelligence“ (2014, S. 56), die sich nicht nur der Quantität (Geschwindigkeit) nach von menschlichen Formen der Intelligenz unterscheidet, sondern auch hin-

104

J. Loh

sichtlich ihrer Qualität. Doch das prominente und in der technologisch-posthumanistischen Bewegung regelmäßig zitierte Beispiel einer artifiziellen Superintelligenz formulierte bereits 1965 der Mathematiker Irving John Good in dem Text Speculations Concerning the First Ultraintelligent Machine, in dem er eine intelligente Maschine beschreibt, die sich selbst weiterzuentwickeln, also in ihre eigene algorithmische Grundstruktur einzugreifen befähigt wäre und noch intelligentere Maschinen erschaffen könnte. Dies nennt er die letzte Erfindung des Menschen (1965, S. 33). Von einer solchen starken Universal-KI, d. h. einer Künstlichen Intelligenz, die, vergleichbar dem Menschen, in jedem Kontext agieren könnte und nicht, wie gegenwärtige artifizielle Systeme, allein für spezifische Aufgaben und Einsatzbereiche geschaffen wäre, hänge einerseits das „Überleben“ (1965, S. 31) der menschlichen Spezies ab, andererseits gingen mit ihr zahlreiche ökonomische, politische, soziale und insbesondere ethische Herausforderungen einher (1965, S. 34). Zu Letzteren gehört insbesondere Goods Befürchtung, dass die Menschheit überflüssig werden könnte, weiterhin das in seinen Augen „ethische Problem“ (1965, S. 34), ob eine Maschine Schmerz empfinden kann sowie ob sie in dem Fall, dass sie veraltet, demontiert werden sollte. Literarisch wird dieser Vision einer starken Universal-KI im deutschsprachigen Raum durch Heinrich Hauser bereits sehr früh in seinem „utopisch-technischen“ Roman Gigant Hirn (1962) Ausdruck verliehen, wenn dort die Maschine aufgrund ihrer wachsenden Fähigkeit zur „Automatisierung“ (1962, S. 100) und baldigen Zeugungskraft, weitere Maschinen gebären zu können, als „größere Macht“ und „höhere Entwicklungsstufe“ (1962, S. 99) gegenüber dem Menschen beschrieben wird. Auch dem Mathematiker, Informatiker und Autor Vernor Vinge geht es um eine in diesem Sinne ‚erwachte‘ künstliche Intelligenz, die den Menschen aus dem Zentrum des Universums verdrängt, um das „Schicksal des Kosmos“ in die eigene Regie zu nehmen (2013, S. 265 sowie 1998). Vom Wendepunkt der Kreation einer starken Universal-KI ab bleibe der Menschheit nicht viel mehr zu tun, als staunend und dankbar im Kielwasser der artifiziellen Posthumanen in die Singularität einzufahren. Diese verhalten sich dem umtriebigen Futuristen, Computeringenieur und Erfinder Ray Kurzweil – die wohl auch außerhalb der eigenen Reihen berühmteste Gestalt des technologischen Posthumanismus – zufolge ihren menschlichen Schöpfern gegenüber so ehrfurchtsvoll und wohlgesonnen wie Kinder ihren Eltern gegenüber (2005, S. 40). Auf dem Weg dahin würden die Menschen selbst auch optimiert, z. B. indem sie mit Nanobots (2005, S. 37) verschmelzen und in einen intelligenten Nanonebel, den Kurzweil „foglet“ (2005, S. 37) nennt, eintauchen. Eine sehr ähnliche Vision entwickelt auch der dem technologischen Posthumanismus nahestehende Informatiker und Kognitionswissenschaftler Rodney A. Brooks, wenn er in einem Artikel in der Frankfurter Allgemeinen Zeitung zu bedenken gibt, dass wir Menschen uns vor den Maschinen nicht zu fürchten brauchten, da wir uns selbst in Maschinen verwandelten und unseren künstlichen Kreaturen etwa durch unsere Gefühle immer „einen Schritt voraus“ (2000, S. 49) seien. Kurzweil zufolge beginnt die Singularität bereits mit dem Anbruch der „fünften Epoche“ – gegenwärtig befänden wir uns in der vierten –, mit der Verschmelzung von Mensch und Technik, bevor in der sechsten Epoche das Universum „erwacht“. Biologische Intelligenz,

Maschinenethik und Trans- und Posthumanismus

105

insbesondere in einem menschlichen Gewand, werde dann nicht ausgelöscht, wohl aber von einer nichtbiologischen Intelligenz überholt (2005, S. 38). Kurzweil hält diese nichtbiologische Form der Intelligenz in vielerlei Hinsicht sogar für „menschlicher“ als die Menschen selbst, da sie alle positiven Werte des menschlichen Daseins in verstärkter Form in sich trage bzw. überhaupt erst realisiere. Das erscheint dem von Robotiker Hans Moravec entworfenen Szenario recht ähnlich, der auf den ersten Seiten des Prologs zu seinem bahnbrechenden Werk Mind Children ein „postbiologisches“ Zeitalter ausruft, in dem uns unsere künstlichen Kreaturen, die „artifiziellen Kinder unseres Geistes“, wie er sie nennt, verdrängt haben werden (1988, S. 1). Die Menschen befreien sich, bevor sie in ein freiwilliges Schattendasein neben der maschinellen Superspezies abtreten, zunächst von den einengenden Zwängen ihrer fehlerhaften und beschränkten biologischen Natur. Schließlich steht, losgelöst von allen Banden ihres organischen Körpers, ihrer eigenen Transformation nichts mehr im Wege, und sie können sich gelassen der Obhut ihrer Kinder anvertrauen (1988, S. 4). Genau genommen beginnt das eigentlich posthumane Dasein Moravec zufolge allerdings erst mit der Auflösung von Körperlichkeit per se (2013, S. 181). Solange wir immer noch irgendeinen Körper bewohnen – z. B. einen Silizium-basierten Körper –, sind wir immer noch menschlich zu nennen, wenn auch postbiologisch menschlich. Menschen, so Moravec, bedürfen mindestens der Illusion irgendeines Körpers (2013, S. 179), der pure Geist allein sei eindeutig nicht mehr menschlich – sondern posthuman. Wie bereits Good sieht auch Moravec das die Universal-KI auszeichnende Merkmal in der Fähigkeit eines künstlichen Systems, sich selbst weiterzuentwickeln und zu perfektionieren; etwas, wozu Menschen nur bedingt in der Lage seien (2013, S. 5). Gerade mit Einschätzungen wie diesen klingen technologisch-posthumanistische Enthusiast*innen ganz wie ein Giovanni Pico della Mirandola ‚reconsidered‘ in seiner Rede über die Würde des Menschen. Denn sie interpretieren die Maschine (und nicht, wie Pico della Mirandola, den Menschen) als das im eigentlichen Sinne mit der Kompetenz zur Selbstformung und -perfektionierung ausgezeichnete Wesen, das sich irgendwann zur Gottheit selbst transformieren werde. Im Weltbild technologischer Posthumanist*innen bleibt freilich kein Raum mehr für einen ‚echten Gott‘. Steigt das (menschliche) Posthumane innerhalb des transhumanistischen Paradigmas und durchaus in (zumindest rudimentärer) Übereinstimmung mit Pico della Mirandolas Denken wie ein Phoenix aus der Asche des Menschen 1.0 in den posthumanen Himmel auf, um dort als das Göttliche selbst zu erstrahlen, verschmilzt die (göttliche) artifizielle Superintelligenz der technologisch-posthumanistischen Euphoriker*innen am Ende der Zeiten mit dem Universum, mit dem Sein selbst. Ähnlich wie Kurzweil (wenn auch unter kollektivistischen Vorzeichen, da er wörtlich von einer Zivilisation spricht) denkt auch Moravec das singuläre Endstadium der menschlichen und künstlichen Entwicklung in einer alle naturgesetzlichen Grundfesten des Daseins sprengenden Supergemeinschaft, die leblose Materie in belebte transformieren und das gesamte Sonnensystem einnehmen werde (1988, S. 116). Die Entwicklung einer künstlichen Superintelligenz geht mit zahlreichen philosophischen Herausforderungen einher, die Good (1965) und Bostrom (2014) z. T. auch ansprechen und der sich eine etwaige technologisch-posthumanistische

106

J. Loh

Maschinenethik zu stellen hat. Da wären zunächst die Fragen der klassischen Roboterethik zu nennen, unter welchen Bedingungen ein artifizielles System als moralischer Akteur zu sehen ist, was maschinelles Lernen ist und inwiefern demzufolge ein Roboter Moral lernen kann bzw. man ihm Moral implementieren muss. Weiterhin sind Schwierigkeiten der (moralischen und rechtlichen) Verantwortungszuschreibung in der Mensch-Maschine-Interaktion angesprochen wie auch die Frage, welche Ethik eine künstliche Intelligenz lernen sollte bzw. ihr einzuprogrammieren wäre. Im technologisch-posthumanistischen Paradigma werden Maschinen v. a. als potenzielle moral agents in den Blick genommen, wohingegen sie im Transhumanismus vorrangig als moral patients von Relevanz sind.

5

Maschinen und Maschinenethik im kritischen Posthumanismus

Im Vergleich zu der Unterordnung von Technik und Maschinen unter das menschliche Bestreben zur Selbsttransformation im Transhumanismus sowie ihrer Glorifizierung als künstliche Superintelligenz, die die menschliche Spezies als ‚Krone der Schöpfung‘ ablösen wird, im technologischen Posthumanismus, stellt sich die Funktion von Technik im Allgemeinen und Maschinen im Besonderen im kritischen Posthumanismus nun ganz anders dar. Die Stellung von Maschinen im kritischposthumanistischen Denken als neutrales Gegenüber zum Menschen ist eine Folge des Ringens mit dem Humanismus und insbesondere dem humanistischen Subjekt sowie dem damit einhergehenden Anliegen einer Überwindung des Anthropozentrismus und dem daraus resultierenden Versuch eines Neuverständnisses von Konzepten wie etwa „Subjekt“ und „Handlungsfähigkeit“. N. Katherine Hayles, die in How We Became Posthuman am Beispiel Alan Turings und Hans Moravecs das fragwürdige Selbstverständnis des liberalen Humanismus aufzeigt, den biologischen Körper zu überwinden und das menschliche Wesen als reduziert auf reine Information zu definieren (vgl. 1999, S. 4 f.), wendet sich unmissverständlich gegen das „liberale humanistische Subjekt“ (1999, S. 2–7), das ihr zufolge gleich mehrere humanistische Werte in sich vereint: „ein kohärentes, rationales Selbst, das Recht dieses Selbst auf Autonomie und Freiheit sowie ein Verständnis von Akteursfähigkeit (‚agency‘), verknüpft mit einem Glauben an aufgeklärtes Selbstinteresse“ (1999, S. 85 f.; meine Übersetzung). Hinzu komme eine humanistische Abwertung des organischen Körpers zugunsten des Geistes (1999, S. 2–4; Nayar 2014, S. 6). Mit dieser Kennzeichnung versammelt Hayles alle gängigen Attribute einer kritisch-posthumanistischen Ablehnung des Humanismus, die in vielen Ansätzen kritischer Posthumanist*innen in ganz ähnlicher Weise zum Ausdruck gebracht wird. Auch Pramod K. Nayar definiert in Posthumanism (2014) das humanistische Paradigma in ähnlicher Weise über das humanistische Subjekt, das mit einer Reihe von Kompetenzen ausgerüstet ist, die es in den Mittelpunkt des Kosmos stellen. Wie in Hayles’ Ansatz werden sowohl die jeweiligen Fähigkeiten für fragwürdig befunden als auch die daraus resultierenden Konsequenzen, vor allem Anthropozentrismus und Speziesismus (2014, S. 4; MacCor-

Maschinenethik und Trans- und Posthumanismus

107

mack 2012, S. 66–68). Denn der moralische Anthropozentrismus, auf den im zweiten Abschnitt bereits eingegangen wurde, stimmt mit dem Speziesismus, d. h. der Diskriminierung eines Wesens rein aufgrund seiner Zugehörigkeit zu einer spezifischen Art, überein (Ryder 2010). Robert Pepperell kritisiert in The Posthuman Condition (2003) die humanistische Annahme, dass Bewusstsein allein auf das menschliche Subjekt beschränkt sei. Neil Badmington geht in Alien Chic (2004) über die Kritik der humanistischen kategorialen Gegenüberstellung von Mensch und Nichtmensch hinaus (wie auch Pepperell 2003, S. 31), die insbesondere ein tierisches Gegenüber vor Augen hat, und weitet diese Dichotomie auf das Extraterrestrische aus (Badmington 2004, S. 6). Mithilfe der Metapher des Aliens sucht Badmington das Fundament des humanistischen Subjekts bzw. der humanistischen Vorstellung vom Menschen zu untergraben (2004, S. 9). Denn das Selbstverständnis des Menschen hängt ihm zufolge fundamental von dem antizipierten menschlichen Gegenüber ab. Das klassische humanistische Gegenüber zum Menschen ist das Tier. Denkt man dieses Gegenüber, wie Badmington es in Alien Chic unternimmt, radikal anders, muss sich darüber – so seine These – auch das Verständnis des Menschen ändern. Karen Barad formuliert ihre Kritik am Humanismus in Meeting the Universe Halfway (2007) über ihre Auseinandersetzung mit Niels Bohr, indem sie die humanistischen Überbleibsel des menschlichen Wesens und Wissens in Bohrs theoretischem Fundament bemängelt (2007, S. 27; Pepperell 2003, S. 67). Das Label „Humanismus“ bündelt also in den Augen kritischer Posthumanist*innen die für fragwürdig befundenen Elemente, die im kritisch-posthumanistischen Paradigma überwunden werden sollen. Dabei gerät insbesondere der Anthropozentrismus ins Visier kritisch-posthumanistischer Denker*innen. In den kritischposthumanistischen Reihen werden diverse Ansätze zur Überwindung des Anthropozentrismus ausformuliert. Rosi Braidotti bspw. vollzieht ihre „postanthropozentrische Wende“ (2014, S. 48) mittels eines Konzepts, das sie „Zoé“ (2014, S. 54) nennt und das neue Formen der „Subjektivität und Subjektbildung“ (2014, S. 63) ermöglichen soll. Aus der Zoé gehen neue und nichtmenschliche Subjekte hervor. Auf der Grundlage der Zoé ist es Braidotti zufolge möglich, auch ein nichtmenschliches, bspw. auch artifizielles Gegenüber als Subjekt anzuerkennen. Karen Barad hingegen schlägt mit ihrem Ansatz zu einem agentiellen Realismus vor, „die dynamische Kraft der Materie [anzuerkennen]“ (2012, S. 40). Weder ist Materie Barad zufolge einfach nur passiv, sondern diskursiv, noch ist der Diskurs allein aktiv, sondern auch materiell (2012, S. 41). Diese Sichtweise, so Barad, ermögliche es letztlich, nicht nur neue nichtmenschliche Subjekte als solche anzuerkennen, sondern auch die Dichotomie von Menschen und nichtmenschlichen Wesen radikal infrage zu stellen (2012, S. 30–32). In ihrem Gespräch mit Jennifer Sophia Theodor erläutert Barad das Vorgehen „eine[r] agentisch-realistische[n] Analyse“ (2015, S. 184) am Beispiel der kalifornischen Rosine anschaulich. Wenn wir eine kalifornische Rosine essen, so Barad, beißen wir zugleich in die „materiell-diskursive[n] Apparate“ (2015, S. 184), die an ihrer Produktion beteiligt waren „wie Kapitalismus, Kolonialismus und Rassismus“ (2015, S. 184) und zahlreiche mehr. Dem Anspruch und Anliegen eines Postanthropozentrismus stehen drei Theoretiker*innen nahe, die zu Recht mit dem kritischen Posthumanismus assoziiert

108

J. Loh

werden: Donna Haraway, Bruno Latour und Lucy A. Suchman. Latour stellt in Wir sind nie modern gewesen (2008) einen Ansatz zur Überwindung der gängigen Dichotomien von Technik und sozialer Welt, Natur und Kultur, Menschen und Nichtmenschen vor, um auch sogenannte „Quasi-Objekte“ (2008, S. 70), „Hybride“ (2008, S. 70) bzw. „Aktanten“ (1996, 2005) in sein „Parlament der Dinge“ (2008, S. 189) einbinden zu können. Vor dem Hintergrund seiner Akteur-Netzwerk-Theorie, die im Kern den Gedanken einer netzwerkartig strukturierten Wirklichkeit einschließt (1996, 2007), vertritt Latour die Position, dass die Menschen in der Lage sein müssen, die Stimmen der belebten Natur sowie der unbelebten Objekte (der potenziellen Aktanten) zu verstehen, sie zu repräsentieren und ihr Anliegen, in das wir auf diesem Planeten naturgemäß seit jeher eingebunden sind, angemessen zu vertreten (2016, S. 38 f.). Haraway exerziert in ihrem 1984 verfassten Cyborg Manifesto den Bruch mit gängigen Dichotomien, die Reformulierung ‚des‘ Menschen sowie die Anerkennung nichtmenschlicher Alteritäten vor. Die zahlreichen Figurationen, die ihr Werk bevölkern und die sie als „family of displaced figures“ (Penley und Ross 1991, S. 13) bezeichnet wie die Cyborg, Modest Witness und OncoMouseTM (Haraway 2000; Harrasser 2011, S. 586), stehen exemplarisch für eine Überwindung des Anthropozentrismus. Suchman schließlich versteht in expliziter Orientierung an Karen Barad und Judith Butler in Human-Machine Reconfigurations (2007) Maschinen und Computer als potenzielles Gegenüber zum Menschen (2007, S. 278–279). Weiterhin – und auch mit dieser Haltung stimmt sie mit dem Denken kritischer Posthumanist*innen vollständig überein – geht es ihr nicht nur darum, ein maschinelles Gegenüber als potenzielles Subjekt zu identifizieren, sondern hinzu kommt ein verstärkter Blick auf die Relation, das Verhältnis zwischen den traditionell humanistisch als autark verstandenen Relata, den involvierten Akteuren also (2007, S. 281). Damit weist Suchman auf einen zweiten Aspekt innerhalb des kritischen Posthumanismus hinsichtlich des Status von Maschinen hin: Maschinen werden nicht nur als potenzielles neues und dem Menschen gleichgestelltes Gegenüber verstanden, sondern es geht letztlich gar nicht mehr darum, strenge Gattungsgrenzen zwischen menschlichen und nichtmenschlichen Wesen zu ziehen, die – so kritisch-posthumanistische Denker*innen – vornehmlich essenzialistisch bestimmt werden. Die anthropologischen Disziplinen wie Biologie, Kulturwissenschaften, Ethnologie und nicht zuletzt die philosophische Anthropologie schlagen je eigene Wege ein, um den Menschen zu definieren und ihn mit größtmöglicher Eindeutigkeit von allen anderen Wesen zu differenzieren. Dabei verfahren sie für gewöhnlich essenzialistisch, d. h., sie suchen den Menschen anhand eines einzelnen Attributs oder über eine Reihe von Eigenschaften zu beschreiben. Durch diesen in der Anthropologie (und anderen Disziplinen) selbstverständlichen Essenzialismus ergeben sich gewisse Herausforderungen wie moralische Statuszuschreibungen, die einen spezifischen Umgang mit Tieren, Maschinen und anderen Alteritäten nahelegen. Auch radikal exkludierende Positionen wie beispielsweise ein Speziesismus, Rassismus und Sexismus argumentieren häufig essenzialistisch, indem sie den ausgeschlossenen Wesen bestimmte Eigenschaften aberkennen. Mit dem Essenzialismus geht weiterhin eine epistemische Ungewissheit darüber einher, ob das Gegenüber tatsächlich

Maschinenethik und Trans- und Posthumanismus

109

über die zugeschriebenen Eigenschaften verfügt. Unsere Zuschreibung bestimmter Kompetenzen wie etwa der Willensfreiheit fußt häufig auf einem metaphysischen Fundament. Eigentlich wissen wir nicht nur nicht, wie es ist, eine Maschine oder ein Tier, z. B. eine Fledermaus zu sein – um den Titel eines berühmten Texts von Thomas Nagel (1974) zu zitieren. Sondern wir wissen auch bereits nicht wirklich, wie es ist, unser menschliches Gegenüber zu sein. Denn es lässt sich nicht mit Eindeutigkeit feststellen, ob Menschen tatsächlich mit Willensfreiheit und ähnlichen Fähigkeiten ausgestattet sind. Wir können sie empirisch nicht eindeutig belegen. Der einzige Unterschied liegt darin, dass wir beim Menschen bereit sind, eine Zusatzannahme zu treffen, nämlich die, dass immerhin die Wesen, die wir als Menschen bezeichnen, über die fraglichen Kompetenzen verfügen (Churchland 1999; Coeckelbergh und Gunkel 2014). Aus diesen und anderen Gründen stehen kritische Posthumanist*innen einem unreflektierten Essenzialismus sowie dem Vorhaben der klassischen philosophischen Anthropologie, das Wesen des Menschen kategorial von der Essenz anderer Wesen, wie auch Maschinen es sind, zu scheiden, ausnehmend skeptisch gegenüber (Badmington 2004, S. 41; Barad 2007, S. 27; Braidotti 1992, 1994, S. 16; Ferrando 2012; MacCormack 2012, S. 106; Nayar 2014, S. 157, Fußnote 1.1; Roden 2015, S. 6; Wolfe 2010, S. xiv–xvi). In der Tat lässt sich das gesamte Vorhaben des kritischen Posthumanismus als Überwindung der philosophischen Anthropologie als Disziplin lesen. Ich denke, dass der Weg von einer essenzialistisch verfassten philosophischen Anthropologie über unterschiedliche Varianten kritisch-posthumanistischer Anthropologie in letzter Konsequenz schließlich in einer radikalen ‚Alteritologie‘ mündet, da in der kritisch-posthumanistischen Reflexion im eigentlichen Sinne nur Alteritäten existieren, also weder Menschen, noch Tiere, noch Maschinen als eigenständige Spezies (Loh 2017). Als Reaktion auf den Essenzialismus formulieren kritische Posthumanist*innen relationale Ansätze, die weniger die Relata, die Subjekte und Objekte, als vielmehr die Relation, also das, was zwischen ihnen liegt, in nichtessenzialistischer Weise fokussieren (Coeckelbergh and Gunkel 2014, S. 722; Loh 2017). So entwirft Barad eine „relationale Ontologie“ (2012, S. 18), in der keine singulären, autarken Agenten existieren, sondern diese lediglich innerhalb ihrer gegenseitigen Verstrickungen anerkannt werden (2012, S. 18; 2007, S. 33, 93, 139). Mit ihrer relationalen Ontologie liefert Barad das kritisch-posthumanistische Fundament einer darauf zu gründenden Anthropologie und Ethik. Vergleichbar schlägt David Roden in Posthuman Life (2015, S. 114–120) eine an Nicolas Agar orientierte antiessenzialistische Minimalontologie („flat ontology“) vor. Mit dieser sucht er Redeweisen wie die vom ‚radikal Fremden‘ oder ‚radikal Anderen‘ zu vermeiden, da wir für die Annahme, etwas oder jemand sei radikal vom Menschen unterschieden, die Prämisse anerkennen müssten, dass die Unfähigkeit, das Gegenüber zu verstehen, Teil der kognitiven Essenz des Menschen ist (2015, S. 120). Demgegenüber wirkt Rosi Braidotti in Nomadic Subjects (1994) mit ihrer Begründung eines verkörperten Materialismus (1994, S. 99), in dem sich antiessenzialistische Subjekte (1994, S. 160) bewegen, fast gemäßigt, da hier immer noch von Subjekten bzw. Relata die Rede ist. Dies gilt erst recht, wenn sie etwas später die Reduktion des Essenzialismus auf einen

110

J. Loh

(biologischen) Determinismus beklagt und zu einer Verteidigung des Essenzialismus aufgrund maßgeblich pragmatischer und politisch-strategischer Gründe ansetzt (1994, S. 177). Der Essenzialismus ist Braidotti zufolge z. B. nötig, um sexuelle Differenz als politische Option realisierbar zu machen, was nur durch eine Besinnung auf die körperliche „sexed reality of the female“ (1994, S. 177) zu leisten sei. Letztlich bestreitet sie, dass feministische und gegenwartsphilosophische Ansätze eine endgültige Transformation des Essenzialismus an seiner ontologischen Wurzel leisten könnten. Damit widerspricht sie der Möglichkeit des Projekts, das Barad etwas mehr als zehn Jahre später in Meeting the Universe Halfway (2007) unternimmt. Und dennoch ist Identität auch bei Braidotti relational strukturiert (Braidotti 1994, S. 166), ihre Subjektkonzeption selbst ist relational (2014, S. 32, 46, 54, 65 f.). Mit einer Überwindung des anthropologischen Essenzialismus bzw. des Vorhabens der Anthropologie per se müsste in der Konsequenz auch eine Verabschiedung von Ethik als dem Menschen vorbehaltene Disziplin sowie von jeglicher Form von Bereichsethik, die auf der Vorstellung von einem nichtmenschlichen Gegenüber fußt, einhergehen. Damit wird nicht nur Tier- und Roboterethik hinfällig, sondern in der Tat auch Maschinenethik. Denn in einer Welt, in der nur noch Alteritäten existieren und Kompetenzen wie Autonomie, Verantwortung und Handlungsfähigkeit prozessual in der Relation, nicht aber in den Relata, gesehen werden, hat kein Wesen irgendeinen Sonderstatus, der einen besonderen Umgang, definiert durch spezifische Werte und Prinzipien, erfordern würde. Fokussiert eine transhumanistische Maschinenethik vorrangig auf Maschinen als moral patients und eine technologisch-posthumanistische Maschinenethik v. a. auf Maschinen als moral agents, schafft sich eine kritisch-posthumanistische Maschinenethik also in der Konsequenz selbst ab.

6

Fazit

Die in diesem Kapitel angestellten Überlegungen haben die unterschiedliche Rolle von Technik im Allgemeinen und Maschinen im Besonderen im Transhumanismus, technologischen Posthumanismus und kritischen Posthumanismus untersucht. Im Transhumanismus werden Maschinen als Werkzeuge gesehen, die dem Menschen in seiner technologischen Transformation zu einem posthumanen Wesen assistieren. Abhängig davon, wie weit sie ihn auf seinem Weg als Transhumaner bringen, kann ihnen ein höherer oder niedrigerer instrumenteller Wert zugeschrieben werden. Maschinen bleibt somit im transhumanistischen Denken vorrangig ein Status als moral patients vorbehalten. Im technologischen Posthumanismus hingegen erlangen Maschinen in der Konsequenz in der Vision einer artifiziellen Superintelligenz die neue Position an der ‚Spitze der Evolution‘ und werden dadurch nicht nur zu moral agents, sondern sogar zu den Wesen, die Ray Kurzweil zufolge die menschlichen Werte und Attribute fast noch besser als der Mensch selbst realisieren. Maschinenethik würde damit – in letzter Konsequenz – vielleicht sogar zur wichtigsten und grundlegendsten Form von

Maschinenethik und Trans- und Posthumanismus

111

Ethik überhaupt werden, vor deren Hintergrund die ‚Menschenethik‘ zu einer neuen Bereichsethik zusammenschrumpft. Kritische Posthumanist*innen schließlich verabschieden sich nicht nur von tradierten (und vorrangig humanistischen) Subjektkonzeptionen und suchen, den humanistischen Anthropozentrismus in der Anerkennung nichtmenschlicher, auch maschineller, Formen des Gegenübers als Subjekte und potenzielle moral agents zu überwinden. Sondern das kritisch-posthumanistische Paradigma bricht auch mit der essenzialistischen Konzentration auf Subjekte und deren Definition als autarke Akteure. So resultiert aus dem kritisch-posthumanistischen Denken letztlich eine Absage an die Anthropologie (sowie alle Disziplinen, die essenzialistisch nichtmenschliche Wesen identifizieren) und Ethik (sowie alle Bereichsethiken, die essenzialistisch von nichtmenschlichen Formen des Gegenübers ausgehen) als Disziplinen des Menschen.

Literatur Badmington, Neil. 2003. Theorizing Postumanism. Cultural Critique 53:10–27. Badmington, Neil. 2004. Alien chic. Posthumanism and the other within. London/New York: Routledge. Barad, Karen. 2007. Meeting the universe halfway. Quantum physics and the entanglement of matter and meaning. London: Durham. Barad, Karen. 2012. Agentieller Realismus. Berlin: Suhrkamp. Barad, Karen. 2015. Verschränkungen und Politik. Karen Barad im Gespräch mit Jennifer Sophia Theodor. In Verschränkungen, Hrsg. Karen Barad. Berlin: Merve Verlag. Bendel, Oliver. 2014. Wirtschaftliche und technische Implikationen der Maschinenethik. Die Betriebswirtschaft 4:237–248. Bendel, Oliver. 2017. Die Maschine in der Moral. Cyber Security Report 2017:4–6. Birnbacher, Dieter. 2008a. Posthumanity, transhumanism, and human nature. In Medical enhancement and posthumanity, Hrsg. Bert Gordijn und Ruth Chadwick, 95–106. Berlin/ New York: Springer. Birnbacher, Dieter. 2008b. Neuro-Enhancement. Information Philosophie 1:18–33. Birnbacher, Dieter. 2015. Transhumanismus – Provokation oder Trivialität? In Aufklärung und Kritik. Zeitschrift für freies Denken und humanistische Philosophie. Schwerpunkt Transhumanismus, Hrsg. Stefan Lorenz Sorgner 22 (3): 130–151. Bostrom, Nick. 2003. Human genetic enhancements: A transhumanist perspective. The Journal of Value Inquiry 37:493–506. Bostrom, Nick. 2005. Transhumanist values. Review of Contemporary Philosophy 4:3–14. Bostrom, Nick. 2011. In Defense of Posthuman Dignity. In H +/ . transhumanism and its critics, Hrsg. Gregory R. Hansell und William Grassie, 55–66. Philadelphia: Metanexus Institute. Bostrom, Nick. 2014. Superintelligence: Paths, dangers, strategies. Oxford: Oxford University Press. Braidotti, Rosi. 1992. Essentialism. In Feminism and psychoanalysis: A critical dictionary, Hrsg. Elizabeth Wright, 77–83. Oxford: Blackwell. Braidotti, Rosi. 1994. Nomadic subjects. Embodiment and sexual difference in contemporary feminist theory. New York: Columbia University Press. Braidotti, Rosi. 2014(2013). Posthumanismus. Leben jenseits des Menschen. Frankfurt a. M.: Campus. Braidotti, Rosi. 2016. Jenseits des Menschen: Posthumanismus. Aus Politik und Zeitgeschichte (APuZ) 66(37–38): 33–38.

112

J. Loh

Brooks, Rodney A. 2000. Das Fleisch und die Maschine. Frankfurter Allgemeine Zeitung 04.09.2000, Nr. 205: 49. Canguilhem, Georges. 2012. Machine und Organismus. In Die Erkenntnis des Lebens. Aus dem Französischen von Till Bardoux, Maria Mühle und Francesca Raimondi, 183–232. Berlin: August Verlag. Caplan, Arthur L. 1981. The unnaturalness of aging – a sickness unto death. In Concepts of health and disease, Hrsg. Arthur L. Caplan, H. Tristram Engelhardt und James J. McCartney. Cambridge: Addison-Wesley. Chan, Sarah. 2010. Enhancement and evolution. In Evolution and the future. Anthropology, ethics, religion, Hrsg. Stefan Lorenz Sorgner und Brankia-Rista Jovanovic, 49–65. Frankfurt a. M.: Peter Lang. Churchland, Paul M. 1999. Matter and consciousness, rev. Aufl. Cambridge: MIT Press. Clark, Andy. 2004. Natural-born cyborgs. Minds, technologies, and the future of human intelligence. Oxford: Oxford University Press. Clynes, Manfred E. und Kline, Nathan S. 1995 [1960]. Cyborgs and space. In The cyborg handbook, Hrsg. Chris Hables Gray, Heidi Figueroa-Sarriera und Steven Mentor, 29–33. New York: Routledge. Coeckelbergh, Mark, und David Gunkel. 2014. Facing animals: A relational, other-oriented approach to moral standing. Journal of Agriculture and Environmental Ethics 27(5): 715–733. Coenen, Christopher. 2015. Der frühe Transhumanismus zwischen Wissenschaft und Religion. In Aufklärung und Kritik. Zeitschrift für freies Denken und humanistische Philosophie. Schwerpunkt Transhumanismus, Hrsg. Stefan Lorenz Sorgner 22 (3): 49–61. Coenen, Christopher, Stefan Gammel, Reinhard Heil, und Andreas Woyke, Hrsg. 2010. Die Debatte über ‚Human Enhancement‘. Historische, philosophische und ethische Aspekte der technologischen Verbesserung des Menschen. Bielefeld: transcript. Dickel, Sascha. 2015. Posthumane Zukunft. Eine biopolitische Dramatisierung. In Aufklärung und Kritik. Zeitschrift für freies Denken und humanistische Philosophie. Schwerpunkt Transhumanismus, Hrsg. Stefan Lorenz Sorgner 22(3): 261–272. Dickel, Sascha. 2016. Der neue Mensch – ein (technik)utopisches Upgrade. Aus Politik und Zeitgeschichte (APuZ), Der Neue Mensch 66(37–38): 16–21. Dixon, Dougal. 1990. Man after man. An anthropology of the future. New York: St Martins Press. Engel, Gerhard. 2015. Transhumanismus als Humanismus. Versuch einer Ortsbestimmung. In Aufklärung und Kritik. Zeitschrift für freies Denken und humanistische Philosophie. Schwerpunkt Transhumanismus, Hrsg. Stefan Lorenz Sorgner 22(3): 28–48. Ettinger, Robert Chester Wilson. 1962. The prospect of immortality, http://www.cryonics.org/ images/uploads/misc/Prospect_Book.pdf. Zugegriffen am 08.12.2017. Ferrando, Francesca. 2012. Towards a posthumanist methodology. A statement. In Narrating posthumanism. Frame 25(1): 9–18. Floridi, Luciano, und J. W. Sanders. 2004. On the morality of artificial agents. Minds and Machines 14:349–379. FM-2030. 1989. Are you a transhuman? Monitoring and stimulating your personal rate of growth in a rapidly changing World. New York: Warner Books. Franklin, Adrian. 2009. Posthumanism. In The Blackwell encyclopedia of sociology, Hrsg. George Ritzer, 3548–3550. Oxford: Blackwell. Gane, Nicholas. 2006. Posthuman. Theory, Culture & Society: Explorations in Critical Social Science 23(2–3): 431–434. Garreau, Joel. 2005. Radical evolution: The promise and peril of enhancing our minds, our bodies – and what it means to be human. New York: Broadway Books. Good, Irving John. 1965. Speculations concerning the first ultraintelligent machine. In Advances in computers, volume 6, Hrsg. F. Alt und M. Ruminoff, 31–88. New York: Academic Press. Grey, Aubrey de. 2013. The curate’s egg of anti-anti-aging bioethics. In The transhumanist reader. Classical and contemporary essays on the science, technology, and philosophy of the human future, Hrsg. Max More und Natasha Vita-More, 215–219. Chichester: Wiley-Blackwell.

Maschinenethik und Trans- und Posthumanismus

113

Harari, Yuval Noah. 2017. Homo Deus. Eine Geschichte von Morgen, Aus dem Englischen übersetzt von Andreas Wirthensohn. München: C.H. Beck. Haraway, Donna. 1995 (1984). Ein Manifest für Cyborgs. Feminismus im Streit mit den Technowissenschaften. In Donna Haraway. Die Neuerfindung der Natur. Primaten, Cyborgs und Frauen, Hrsg. Carmen Hammer und Immanuel Stieß, 33–72. Frankfurt/New York: Campus Verlag. Haraway, Donna. 2000. How like a leaf. An interview with Thyrza Nichols Goodeve. New York: Routledge. Harrasser, Karin. 2011. Donna Haraway: Natur-Kulturen und die Faktizität der Figurationen. In Kultur. Theorien der Gegenwart, Hrsg. Stephan Moebius und Dirk Quadflieg, 2., erw. u. akt. Aufl., 580–594. Wiesbaden: VS Verlag. Harris, John. 2007. Enhancing evolution. The ethical case for making better people. Princeton/ Oxford: Princeton University Press. Harris, John. 2009. Enhancements are a moral obligation. In Human enhancement, Hrsg. Julian Savulescu und Nick Bostrom, 59–70. Oxford/New York: Oxford University Press. Harris, John. 2016. How to be good, the possibility of moral enhancement. Oxford: Oxford University Press. Hauser, Heinrich. 1962. Gigant Hirn. Ein utopisch-technischer Roman. München: Goldmann Wilhelm GmbH. Hayles, N. Katherine. 1999. How we became posthuman. Virtual bodies in cybernetics, literature, and informatics. Chicago/London: University of Chicago Press. Heil, Reinhard. 2010. Trans- und Posthumanismus. Eine Begriffsbestimmung. In Endlichkeit, Medizin und Unsterblichkeit. Geschichte – Theorie – Ethik, Hrsg. Andreas Frewer, 127–149. Stuttgart: Franz Steiner Verlag. Heilinger, Jan-Christoph, und Oliver Müller. 2016. Der Cyborg. Anthropologische und ethische Überlegungen. In Roboter, Computer und Hybride. Was ereignet sich zwischen Menschen und Maschinen? Hrsg. Arne Manzschke und Fabian Karsch, 47–66. Baden-Baden: Nomos. Herbrechter, Stefan. 2009. Posthumanismus. Eine kritische Einführung. Darmstadt: Wissenschaftliche Buchgesellschaft. Herbrechter, Stefan, und Ivan Callus. 2013. Posthumanism. In The Routledge companion to critical and cultural theory, Hrsg. Simon Malpas und Paul Wake, 144–153. London: Routledge. Hughes, James. 2001. The future of death: Cryonics and the telos of liberal individualism. Journal of Evolution and Technology 6(1). https://www.jetpress.org/volume6/death.htm. Zugegriffen am 25.02.2018. Irrgang, Bernhard. 2005. Posthumanes Menschsein? Künstliche Intelligenz, Cyberspace, Roboter, Cyborgs und Designer-Menschen – Anthropologie des künstlichen Menschen im 21. Jahrhundert. Stuttgart: Franz Steiner Verlag. Juengst, Eric T. 2008. What does enhancement mean? In Enhancing human traits. Ethical and social implications, Hrsg. Eric Parens, 29–47. Washington Georgetown University Press. Kipke, Roland. 2012. Die Funktion des Krankheitsbegriffs in der Enhancement-Debatte. In Das Gesunde, das Kranke und die Medizinethik. Moralische Implikationen des Krankheitsbegriffs, Hrsg. Markus Rothhaar und Andreas Frewer, 149–165. Stuttgart: Franz Steiner Verlag. Krebs, Angelika. 1997. Naturethik im Überblick. In Naturethik. Grundtexte der gegenwärtigen tierund ökoethischen Diskussion, Hrsg. Angelika Krebs und Angelika, 337–379. Frankfurt a. M.: Suhrkamp. Krüger, Oliver. 2007. Die Vervollkommnung des Menschen. Tod und Unsterblichkeit im Posthumanismus und Transhumanismus. Eurozine. http://www.eurozine.com/articles/2007-08-16-kru ger-de.html. Zugegriffen am 25.11.2017. Krüger, Oliver. 2010. Der Tote als Patient. Kryonische Unsterblichkeitshoffnungen innerhalb des Transhumanismus. In Endlichkeit, Medizin und Unsterblichkeit. Geschichte – Theorie – Ethik, Hrsg. Andreas Frewer, 171–190. Stuttgart: F. Steiner. Kurzweil, Ray. 2005. The singularity is near. When humans transcend biology. New York: Penguin Books.

114

J. Loh

Latour, Bruno. 1996. On actor-network theory. A few clarifications. Soziale Welt 47(4): 369–328. Latour, Bruno. 2007(2005). Eine neue Soziologie für eine neue Gesellschaft. Einführung in die Akteur-Netzwerk-Theorie. Frankfurt a. M.: Suhrkamp. Latour, Bruno. 2008. Wir sind nie modern gewesen. Versuch einer symmetrischen Anthropologie. Frankfurt a. M.: Suhrkamp. Latour, Bruno. 2016. Die Natur muss ins Parlament. Philosophie Magazin 2:34–39. Loh, Janina (geb. Sombetzki). 2017. Posthumanistische Anthropologie zwischen Mensch und Maschine. In Welt der Artefakte, Hrsg. Jürgen H. Franz und Karsten Berr, 213–224. Berlin: Frank & Timme. Loh, Janina (geb. Sombetzki). 2018. Trans- und Posthumanismus zur Einführung. Hamburg: Junius. MacCormack, Patricia. 2012. Posthuman Ethics. Embodiment and Cultural Theory. Burlington: Ashgate. Magalhães, Joao Pedro de. 2004. The dream of the Elixir Vitae. In The scientific conquest of death: Essays on infinite lifespans, Hrsg. Immortality Institute, 47–62. Buenos Aires: Libros En Red. Maier, Josephina. 2016. Dr. DaVinci, bitte in den OP. DIE ZEIT 1:30. Misselhorn, Catrin. 2013. Robots as moral agents. In Ethics in science and society. German and Japanese views, Hrsg. Frank Rövekamp und Friederike Bosse, 30–42. München: Iudicium. Moravec, Hans. 1988. Mind children. The future of Robot and human intelligence. Cambridge, MA: Harvard University Press. Moravec, Hans. 2013. Pigs in Cyberspace. In The transhumanist reader. Classical and contemporary essays on the science, technology, and philosophy of the human future, Hrsg. Max More und Natasha Vita-More, 177–181. Chichester: Wiley-Blackwell. Nagel, Thomas. 1974. What is it like to be a bat? The Philosophical Review LXXXIII(4): 435–450. Nayar, Pramod K. 2014. Posthumanism. Cambridge: Polity Press. Niemeyer, Christian. 2015. Vom Transhumanismus zurück zur Transformation, altdeutsch: ‚Verwandlung‘. In Aufklärung und Kritik. Zeitschrift für freies Denken und humanistische Philosophie. Schwerpunkt Transhumanismus, Hrsg. Stefan Lorenz Sorgner, 22(3):130–144. Penley, Constance, und Andrew Ross. 1991. Cyborgs at large: Interview with Donna Haraway. Technoculture 3:1–20. Pepperell, Robert. 2003. The posthuman condition. Consciousness beyond the brain. Bristol/ Portland: Intellect. Persson, Ingmar, und Julian Savulescu. 2010. Moral transhumanism. Journal of Medicine and Philosophy 35:656–669. Philbeck, Thomas D. 2014. Ontology. In Post- and transhumanism. An introduction, Hrsg. Robert Ranisch und Stefan Lorenz Sorgner, 173–183. Frankfurt a. M.: Peter Lang. Quante, Michael. 2011. Roboter, Cyborgs und die Aussicht auf eine posthumane Zukunft. In Handbuch Angewandte Ethik, Hrsg. Ralf Stoecker, Christian Neuhäuser und Marie-Luise Raters, 478–481. Weimar: Stuttgart. Ranisch, Robert. 2014. Morality. In Post- and Transhumanism. An Introduction, Hrsg. Robert Ranisch und Stefan Lorenz Sorgner, 149–172. Frankfurt a. M.: Peter Lang. Roden, David. 2015. Posthuman life. Philosophy at the edge of the human. London/New York: Routledge. Rötzer, Florian. 1998. Posthumanistische Begehrlichkeiten. Selbstbestimmung oder Selbstzerstörung. In Erfindung des Menschen. Schöpfungsträume und Körperbilder 1500–2000, Hrsg. Richard van Dülmen, 609–632. Wien/Köln/Weimar: Boehlau. Ryder, Richard D. 2010. Speciesism again: The orginal leaflet. Critical Society 1(2): 1–2. Sames, Klaus H. 2011. Die Kryonik – ihre biomedizinische Relevanz und ihre gesellschaftliche Wahrnehmung. In Who wants to live forever? Postmoderne Formen des Weiterwirkens nach dem Tod, Hrsg. Dominik Groß, Brigitte Tag und Christoph Schweikardt, 275–300. Frankfurt a. M./New York: Campus. Savulescu, Julian, und Nick Bostrom, Hrsg. 2009. Human enhancement. Oxford/New York: Oxford University Press.

Maschinenethik und Trans- und Posthumanismus

115

Sorgner, Stefan Lorenz. 2016. Transhumanismus. „Die gefährlichste Idee der Welt“!? Freiburg im Breisgau: Herder. Strandh, Sigvard. 1980. Die Maschine. Geschichte – Elemente – Funktion. Freiburg im Breisgau: Herder. Suchman, Lucy A. 2007. Human-machine reconfigurations. Plans and situated actions, 2. Aufl. Lancaster University: Cambridge University Press. Tirosh-Samuelson, Hava. 2014. Religion. In Post- and transhumanism. An introduction, Hrsg. Robert Ranisch und Stefan Lorenz Sorgner, 49–71. Frankfurt a. M.: Peter Lang. Tirosh-Samuelson, Hava, und Kenneth L. Mossman. 2012. New perspectives on transhumanism. In Building better humans? Refocusing the debate on transhumanism, Hrsg. Hava TiroshSamuelson und Kenneth L. Mossman, 29–52. Frankfurt a. M.: Peter Lang. Vinge, Vernor. 1998. Arterati on ideas: Vinge’s view of the singularity. Interview by Natasha VitaMore. In Extropy Online. Vinge, Vernor. 2013. Technological singularity. In The transhumanist reader. Classical and contemporary essays on the science, technology, and philosophy of the human future, Hrsg. Max More und Natasha Vita-More, 365–375. Chichester: Wiley-Blackwell. Wennemann, Daryl J. 2016. The concept of the posthuman: Chain of being or conceptual saltus? Journal of Evolution & Technology 26(2): 16–30. Wilson, Samuel, und Nick Haslam. 2009. Is the future more or less human? Differing views of humanness in the posthumanism debate. Journal for the Theory of Social Behaviour 39(2): 247–266. Wolfe, Cary. 2010. What is posthumanism? Minneapolis/London: University of Minnesota Press. Woll, Silvia. 2013. Transhumanismus und Posthumanismus – Ein Überblick. Oder: Der schmale Grat zwischen Utopie und Dystopie. Journal of New Frontiers in Spatial Concepts 5:43–48. Young, Simon. 2006. Designer evolution. A transhumanist manifesto. Amherst: Prometheus Books.

Teil III Die Maschinenethik und die Bereichsethiken

Algorithmen, Daten und Ethik Ein Beitrag zur Papiermaschinenethik Stefan Ullrich

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Algorithmen als Problemlösungsmaschinen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Daten und Heuristiken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Automatisierte Datenverarbeitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Das tabellarische Leben . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Von der Person zur Signatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Turing-Galaxis 1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Verborgene Mechanismen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Geistesmaschinen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Ethik der Ultimativen Maschine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Mündigkeit im Zeitalter des Internets der Dinge . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

120 122 123 126 127 129 132 133 134 137 140 142

Zusammenfassung

Die informationstechnischen Realisierungen von Algorithmen sind längst in alle Lebensbereiche des modernen Menschen vorgedrungen. Algorithmen werden als Allheilmittel angepriesen oder als Hauptschuldige der „Digitalen Unmündigkeit“ gesehen. Zunächst werden wir Algorithmen ganz ohne Digitaltechnik betrachten, also auf bestimmte Arten von Texten eingehen, die auf den menschlichen Geist eine Art Zwang ausüben, die so genannten Paper Machine Codes. Die Betrachtungen zur Ethik der Algorithmen wird mit einer ethischen Betrachtung der (Eingabe-)Daten verbunden, besonderes Augenmerk liegt auf der Signatur einer Person. Es folgen dann Ausführungen zu Geistesmaschinen und nutzlosen Maschinen, um mit einem Ausblick auf die Bedingungen zur Möglichkeit der Mündigkeit im Zeitalter der Internet of Things zu schließen. S. Ullrich (*) TU Berlin, Weizenbaum-Institut für die vernetzte Gesellschaft, Berlin, Deutschland E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_9

119

120

S. Ullrich

Schlüsselwörter

Paper Machine Code · Algorithmenethik · Informationsethik · Maschinenethik · Informatik und Gesellschaft · Turing-Galaxis

1

Einleitung

Algorithmus. Allein das Wort erzeugt eine mystische Aura und sorgt für Aufmerksamkeit. Von Algorithmen, die über Wohl und Wehe einer Person entscheiden, ist die Rede. Dabei wird der Algorithmenbegriff arg gedehnt, Informatiker, Philosophen oder Mathematiker verstehen etwas ganz anderes darunter als das Feuilleton. Dennoch, allein die breite wissenschaftliche Debatte über eine Ethik der Algorithmen zeigt, dass es sich hierbei um etwas Spezielles handelt, und diese differentia specifica soll in diesem Beitrag herausgearbeitet werden. In der gegenwärtigen Debatte über eine Ethik der Algorithmen liegt der Fokus auf der Frage nach Entscheidungs- und Handlungsspielräumen des Menschen (Mittelstadt et al. 2016, S. 2). Algorithmen werden als Entscheidungshilfen oder gar -diktatoren dargestellt, die unsere Fähigkeiten erweitern, aber auch unser Denken einschränken können. In diesem Sinne verstanden berühren Algorithmen den Kernbereich des menschlichen Handelns und Denkens und damit den Kernbereich der Ethik, verstanden als Lehre der Moral. Eine Ethik der Algorithmen richtet sich an Menschen, die im engeren oder weiteren Sinn mit Algorithmen zu tun haben. Diskutiert wird derzeit weniger über die Algorithmen (als mathematische Entität) selbst als vielmehr über ihre technischen Realisierungen in Hard- und Software. Fragen nach dem Einfluss von Techniken auf menschliche Handlungsweisen (πρᾶξις) und Erkenntnisspielräume (ἐπιστήμη) sind seit der Antike immer wieder gestellt worden, doch erst seit der industriellen Revolution wurde deutlich, dass dies keine theoretischen Fragen sind, sondern ganz konkret erfahrbare Herausforderungen darstellen. Nicht die theoretische Beschreibung der Energieumwandlung, sondern ihre technische Realisierung in der sich ohne Unterlass drehenden Dampfmaschine transformierte die Gesellschaft. Der Geltungsbereich von technischen Ethiken im industriellen Zeitalter und ganz besonders im postindustriellen Zeitalter muss sinnvoller Weise nicht nur die gesamte Menschheit einschließen, sondern seit der Erfindung von biologischen, chemischen und atomaren Waffensystemen auch eine zukünftige Menschheit. Hans Jonas formulierte 1979 prägnant eine Notstands-Ethik für das technische Zeitalter, die so lange in Kraft sein soll, bis geeignete Nachfolgerinnen gefunden sind: Ein Imperativ, der auf den neuen Typ menschlichen Handelns paßt und an den neuen Typ von Handlungssubjekt gerichtet ist, würde etwa so lauten: „Handle so, daß die Wirkungen deiner Handlung verträglich sind mit der Permanenz echten menschlichen Lebens auf Erden“; [. . .] der neue Imperativ sagt eben, daß wir zwar unser eigenes Leben, aber nicht das der Menschheit wagen dürfen; und daß Achill zwar das Recht hatte, für sich selbst ein kurzes Leben ruhmreicher Taten vor einem langen Leben ruhmloser Sicherheit zu wählen (unter der stillschweigenden Voraussetzung nämlich, daß eine Nachwelt da sein wird, die von seinen Taten zu

Algorithmen, Daten und Ethik

121

erzählen weiß); daß wir aber nicht das Recht haben, das Nichtsein künftiger Generationen wegen des Seins der jetzigen zu wählen oder auch nur zu wagen (Jonas 1984, S. 36).

Im 21. Jahrhundert ist eine neue Waffengattung auch und gerade in Friedenszeiten wirksam geworden: Informationelle Waffen, „Weapons of Math Destruction“, wie sie die Mathematikerin Cathy O’Neil nennt. Sie hat 2008 hautnah miterlebt, in welcher Weise abstrakte mathematische Modelle ganz konkrete Auswirkungen auf das Leben aller Menschen in den Vereinigten Staaten von Amerika und auch darüber hinaus hatten (Ergänzung der Jahreszahl von mir als service für zukünftige Leserinnen und Leser, die nach wie vor an den Auswirkungen zu leiden haben): The crash [of 2008] made it all too clear that mathematics, once my refuge, was not only deeply entangled in the world’s problems but also fueling many of them. The housing crisis, the collapse of major financial institutions, the rise of unemployment – all had been aided and abetted by mathematicians wielding magic formulas. What’s more, thanks to the extraordinary powers that I loved so much, math was able to combine with technology to multiply the chaos and misfortune, adding efficiency and scale to systems that I now recognized as flawed (O’Neil 2016, S. 2).

Algorithmen, die so alt wie die Ethik selbst sind, werden erst jetzt, am Ende des ersten Zeitalters der Turing-Galaxis, zum Betrachtungsgegenstand. Zugegeben, „so alt wie die Ethik“ ist eine sehr abendländische Formulierung, hier soll auf die Platonische Akademie und ihr Mitglied Euklid angespielt werden, auf dessen Algorithmus wir gleich zu sprechen kommen werden. Der Begriff „Turing-Galaxis“ (Coy 1994) bezeichnet die mediengeschichtliche Epoche der vom Leitmedium Computer geprägten Welt, analog zur „Gutenberg-Galaxis“ (McLuhan) mit ihrem Leitmedium Buch. Die breite Debatte handelt also streng genommen von einer Ethik der informationstechnischen Realisierungen von Algorithmen. Dies hat sehr nachvollziehbare Gründe, auf die später näher eingegangen wird; methodisch möchte ich dennoch mit den Algorithmen als rein geistig-mathematisches Konzept anfangen. Algorithmen stehen dabei stellvertretend für eine Klasse an kodifizierter Information, die ich in Anlehnung an Alan Turing Paper Machine Codes nennen möchte (Turing 1937). Doch was ist Information? Diese Frage beantwortet Janich (2006) für verschiedene Disziplinen. Für Technikerinnen und Techniker ist Information nach Claude Shannon gleichbedeutend mit negativer Entropie, das Maß der Information ist Bit (binary digit). Um beispielsweise eine Skat-Spielkarte eindeutig zu identifizieren, werden 5 Bit an Information benötigt, das ist die Anzahl optimaler Entweder-OderFragen (wenn beide Antworten gleich wahrscheinlich sind). Rot oder Schwarz? Karo oder Herz? Zahl oder nicht? Bart oder nicht? Dame oder Ass? Nach fünf Fragen haben Sie das Herz-Ass identifiziert. In diesem Text soll es um eben diese „optimalen Entweder-Oder-Fragen“ gehen, um die Möglichkeit, gezielt auf Informationen (im alltagssprachlichen Sinn) zuzugreifen, eben um Paper Machine Codes. Der Untertitel dieses Beitrags soll deutlich machen, dass auf bestimmte Maschinen abgezielt wird, nämlich auf solche, die im Geist ablaufen und nicht den physikalischen, sondern den mathematischen Gesetzen unterworfen sind.

122

2

S. Ullrich

Algorithmen als Problemlösungsmaschinen

Algorithmen und andere Paper Machine Codes sind kodifizierte Handlungsvorschriften zur Lösung eines kodifizierbaren Problems, die von einem menschlichen Geist prozessiert werden können. Algorithmen sind also in erster Linie Techniken der instrumentellen Vernunft. Das älteste uns bekannte Beispiel für einen Algorithmus haben Sie alle in der Schule kennen gelernt; der Euklid’sche Algorithmus zur Bestimmung des größten gemeinsamen Teilers wird in seinem Werk „Die Elemente“ wie folgt beschrieben: Wenn CD nicht Teiler von AB ist, subtrahiert man, von den beiden Zahlen AB und CD ausgehend, immer die kleinere von der größeren[,] bis die entstandene Zahl Teiler der ihr vorhergehenden ist, der dann der größte gemeinsame Teiler von AB und CD ist (Euklid 2017, Buch VII, Proposition 2).

Die Handlungsanweisungen „teilen“, „subtrahieren“ etc. können nun in der physischen Welt beispielsweise mit Hilfe von Schnur und Schere durchgeführt werden – oder eben rein im Geiste. Das Befolgen der Handlungsanweisung erzeugt dann im menschlichen Geist eine mathematische Maschine, die in der Regel einen „Auslagerungsspeicher“ in Form von Bleistift und Papier verwenden wird. Wenn Sie der Handlungsanweisung nicht folgen, wenn Sie also den obigen Text nur als Text gelesen haben (und das unterstelle ich Ihnen einfach), entgeht Ihnen der zwingende Charakter dieses Paper Machine Code (PMC). Es ist, als ob Sie ein Gedicht in einer fremden Sprache gelesen haben. Ein Gedicht in einer von Ihnen verstandenen Sprache jedoch nimmt Sie gefangen, Sie können sich nicht entziehen, Ihre Gedanken kreisen um die Zeilen, unfähig zum Abschweifen. Dieses zwingende Element besitzen auch Algorithmen und andere PMC, die von einem menschlichen Geist tatsächlich prozessiert werden. Algorithmen und andere PMC besitzen eine informationelle Dimension, die am besten als Performanz-Affordanz beschrieben werden könnte, so wie ein Faustkeil ja auch ein How-To enthält, an welcher Seite man ihn greifen soll. Ein Teil einer wie auch immer zu formulierenden Ethik der Algorithmen liegt daher im Bereich der Informationsethik, jedoch – und dies ist ein wesentliches Merkmal von PMC – liefert erst die Performanz des Ausrechnens oder Prozessierens Informationen, die im Code selbst nicht vorhanden sind. Ein Algorithmus kann dem Minotaurus nicht verraten, wo sich der Ausgang befindet, er kann ihm jedoch sagen, wie er garantiert den Ausgang findet.1 Die Wie-Information besitzt eine andere Kardinalität als die Wo-Information. Die unterschiedliche Kardinalität wirkt sich auch rechtsphilosophisch aus. Nehmen wir als Beispiel den Personenbezug im Datenschutz und machen ein kleines

1

Die Maus im Labyrinth ist ein klassisches Sujet des Informatik-Curriculums. Ein möglicher Algorithmus wäre: „Taste dich immer an der rechten Wand entlang, folge jedem Gang, der rechts abgeht. Triffst du frontal auf eine Wand, drehe dich nach links, so dass diese Wand nun zu deiner Rechten liegt. Mache weiter, bis du zu einem Ausgang kommst.“

Algorithmen, Daten und Ethik

123

Gedankenexperiment. Stellen Sie sich vor, dass Sie 32 Leuten jeweils eine Spielkarte zuordnen, also „Karo-7“, „Pik-Bube“, „Herz-Ass“ und so weiter. Die Aufforderung „Nehmen Sie das Herz-Ass“ betrifft genau eine Karte. Sie würden wahrscheinlich zustimmen, dass es sich hierbei um ein personenbezogenes Datum handelt, weil wir ja in der Vorbereitung jeder Karte genau eine Person zugeordnet haben. Wie anders allerdings die Aufforderung: „Wählen Sie alle roten Karten aus. Legen Sie alle Nummern beiseite, ebenso die Bilder und zuletzt noch alle Karo-Karten.“ Sie haben ganz ohne Personenbezug im Ergebnis wieder nur noch eine Karte übrig, wobei Sie streng genommen eine Menge an Karten übrig haben, die in diesem Fall nur aus einer Karte besteht. In der zweiten Aufforderung kommen die Begriffe „Herz“ und „Ass“ außerdem überhaupt nicht vor. Nun kann eingewandt werden, dass die zweite Handlungsaufforderung nur eine andere Formulierung der ersten sei. Doch für die Person, die dieser Handlungsaufforderung nachkommt, stimmt das nur dann, wenn die auszuführende Person weiß, wie viel Farben, Zahlen und Bilder es in einem Kartenspiel gibt und wie die Verteilung aussieht et cetera. „Hamlet wollte den Mann hinter dem Vorhang töten“ kann nicht mit „Hamlet wollte Polonius töten“ gleichgesetzt werden, da Hamlet ja gar nicht wusste, wer sich hinter dem Vorhang verbarg, auch wenn wir als Bildungsbürger das natürlich wissen (Velichkovsky 1994, S. 64–65). Für die Feststellung der Schuld vor Gericht ist es entscheidend, das Wissen des Angeklagten zumindest in das Strafmaß einzubeziehen. Wir können durch das Studium der PMC jedoch nicht auf die Intention der Entwicklerin bzw. des Entwicklers schließen. Im Zweifelsfall müssen wir eher Dummheit als Bösartigkeit unterstellen, eher Fahrlässigkeit als Absicht. In allen Fällen jedoch ist dies ein Kernbereich des Ethos, mal verstanden als Gewohnheit oder Sitte (ε῎ ϑoς), mal als Charakter oder Haltung (ἦϑoς). Die ethische Betrachtung von Algorithmen ist unweigerlich verknüpft mit einer ethischen Betrachtung der (Eingabe-)Daten.2

3

Daten und Heuristiken Nicht also für die Erinnerung, sondern nur für das Erinnern hast du ein Mittel erfunden, und von der Weisheit bringst du deinen Lehrlingen nur den Schein bei, nicht die Sache selbst. Denn indem sie nun vieles gehört haben ohne Unterricht, werden sie sich auch vielwissend zu sein dünken, obwohl sie größtenteils unwissend sind, und schwer zu behandeln, nachdem sie dünkelweise geworden statt weise (Platon 1994, 275a, S. 604).

Im Platonischen Mythos ist der ägyptische Gott Theuth nicht nur der Erfinder der Buchstaben, sondern auch der der Zahl, der Rechnung, der Messkunst und des Würfelspiels. Theuth ist somit der Erfinder aller Bausteine von Big Data (Massendaten). Wenn Sie den Zeitsprung Antike-Moderne als zu groß empfinden, legen Sie doch einen Zwischenschritt im Mittelalter ein. Der Scholastiker Roger Bacon sprach bereits ganz deutlich von „Data“, von dem „Gegebenen“, wenn er über Messungen 2

Frei nach Kant: Algorithmen ohne Daten sind leer, Daten ohne Algorithmen sind blind.

124

S. Ullrich

von Naturphänomenen sprach. Für ihn als Franziskanermönch war ja klar, wer für die Phänomene der uns umgebenden Welt verantwortlich war. Seitdem Nietzsche Gott umgebracht hat, stehen wir Wissenschaftlerinnen und Wissenschaftler bei dem Begriff „Data“ jedoch vor einem Problem: Wer gibt denn die „Data“? Die Natur? Die Naturwissenschaft? Die Naturwissenschaftlerin, der Naturwissenschaftler? Das naturwissenschaftliche Instrument? Daten sind gemessene Zahlenwerte, die mit Hilfe eines Notationssystems aufgeschrieben (γράμμασιν) werden. Sie sind eben nicht „gegeben“, wie ihr lateinischer Name suggeriert, sondern durch Beobachtung der kontinuierlichen Welt gewonnen worden. Daten sind also diskretisierte Repräsentationen der mess- und beschreibbaren Phänomene unserer Umwelt. Diese Repräsentationen unterliegen nicht mehr den Gesetzen der Natur, sondern nur noch denen des Geistes. Wir können ganz problemlos von 14,3 Kindern sprechen, die pro Lehrkraft in einer typischen Grundschule in Europa unterrichtet werden.3 Der inkommensurable Mensch kann über den Umweg dieser Repräsentationen eben doch vermessen und für zu leicht in Hinblick auf bestimmte Fragen befunden werden. Wir können die Daten nun nach logischen (oder anderweitig gesetzten) Regeln transformieren. Die Macht der Daten liegt in dem Möglichkeitsraum der Schlüsse, die man aus ihnen ziehen kann. Mit meinen Studentinnen und Studenten führe ich gelegentlich ein kleines Experiment durch, das Sie auch durchführen können. Schnappen Sie sich Stift und Papier und schreiben Sie eine Information über sich auf, von der Sie der Meinung sind, sie lasse so gut wie keine weiteren Schlüsse auf andere Informationen über Sie zu. Fertig? Gut, nehmen wir einmal meinen Vornamen, eines der ersten Wörter dieses Textes. Sie können nun auf mein Geschlecht schließen und über die Häufigkeitsverteilung der beliebtesten Vornamen auch ungefähr mein Alter bestimmen. Ferner gibt der Name einen Hinweis auf Nationalität und kulturelle Zugehörigkeit und so weiter und so fort. Wenn Sie dann eine zweite Information hinzunehmen, multiplizieren Sie aussagekräftige Schlüsse erheblich. Das Konzept des Personenbezugs hatte seine Berechtigung, ist aber obsolet und für den Diskurs sogar gefährlich, wie der Rechtsinformatiker Jörg Pohle zu Recht immer wieder kritisiert: Personenbezogene Informationen sind als Bezugspunkt und Schutzobjekt des Rechts aus informatischer, soziologischer wie rechtlicher Sicht ungeeignet, insoweit es für Organisationen möglich ist, individuelle Diskriminierung auch auf der Basis anonymer oder statistischer Informationen vorzunehmen (Pohle 2016, S. 17).

Es gibt kein belangloses Datum unter den Bedingungen automatisierter Datenverarbeitung – und vor allem der Datenspeicherung. Günstiger Speicher führt dazu, UNESCO Institute for Statistics, Datensatz Education (full dataset), Ansicht „Pupil-teacher-ratio in primary education (headcount basis)“, Daten vom 15. Dezember 2017. http://data.uis. unesco.org/.

3

Algorithmen, Daten und Ethik

125

dass nicht nur mehr Daten verarbeitet werden, sie werden auch auf Vorrat gespeichert, falls sie in Zukunft mal nützlich sein könnten. Das Bundesdatenschutzgesetz und die im Jahre 2018 in Kraft getretene Europäische Datenschutzgrundverordnung sieht zwar eine klare Zweckbindung vor, doch gegen ausgefeilte „Allgemeine Geschäftsbedingungen“ und die freiwillige Datenpreisgabe („Datensouveränität“) sind sie so gut wie machtlos. Die Kernaussagen des inzwischen weithin bekannten „Volkszählungsurteils“ von 1983 erschließt sich den Leserinnen und Lesern des Facebook-, Google- und Amazon-Zeitalters seit den zahlreichen Datenskandalen unmittelbar; die Probleme entstanden jedoch früher, spätestens zu Zeiten der ersten industriellen Revolution.4 Der erste Computer der Welt sollte eigentlich bereits für die Industrie-1.0Arbeitsgesellschaft gebaut werden; einer der besten Beobachter der jungen Industrialisierung war der Universalgelehrte Charles Babbage, sein Werk On the Economy of Machinery and Manufactures von 1832 war ein Bestseller und beeinflusste ökonomische Theorien wie die von Karl Marx erheblich. Babbage beschrieb dort das Prinzip der Effizienzsteigerung durch Arbeitsteilung, das wiederum auf Beobachtung, Formalisierung und Logik beruhte. Im gleichen Jahr baute er eine Version seiner Rechenmaschine, die von Lord Byron poetisch „Thinking Machine“ genannt wurde. Diese Maschine war jedoch kein Computer im heutigen Sinne. Erst die von Charles Babbage 1837 „Analytical Engine“ genannte Rechenmaschine zur Lösung mathematischer Probleme war eine direkte (wenn auch nie gebaute) Vorläuferin des Computers. Mit Babbages Maschine könnte man Tabellen produzieren, „[which] would undoubtedly be correct“ (Babbage 1889/2010, S. 161). Dampfbetrieben, zwanzig Meter lang und drei Meter hoch und vor allem: programmierbar. Drei verschiedene Lochkartentypen waren vorgesehen, ein Typ für arithmetische Operationen, ein anderer für Lese- und Schreiboperationen und der dritte für numerische Konstanten. Aus finanziellen Gründen wurde sie nicht gebaut, aber die Informatik ist sich nach dem Studium von Babbages Aufzeichnungen (weitgehend) einig, dass es sich bei der Analytical Engine um einen Universalcomputer handelt, der prinzipiell die gleichen Probleme lösen kann wie ein moderner Rechner (nur eben sehr viel langsamer). Die Idee für die Speicherung von Zahlen und Maschinenbefehlen („lies“, „schreib“ etc.) auf Lochkarten bekam Babbage beim Studium automatischer Webstühle, wie dem von Jacquard. Dort wurden die zu webenden Muster auf Lochkarten gespeichert, jeweils eine Karte pro „Schuss“. Kleine Hebel konnten die Karte entweder passieren, wenn dort ein Loch war, oder eben nicht. Entsprechend hoben oder senkten sich die Nadeln und zogen Fäden durch oder eben nicht.

„Spätestens“ ist meine Entschuldigung, nicht auf die Praktiken der Geheimdienste in Europa eingehen zu müssen. Natürlich haben die cabinets noirs in Paris oder Florenz seit Beginn der Neuzeit systematisch Briefe abgefangen und auch in gewisser Weise automatisiert Daten verarbeitet, also transkribiert, dechiffriert und manipuliert.

4

126

4

S. Ullrich

Automatisierte Datenverarbeitung

In der Lochkarte manifestiert sich ein Algorithmus, und man benötigt nicht einmal eine Maschine, um ihn auszuführen. Nehmen wir einmal eine Randlochkarte, die im Gegensatz zu anderen Lochkarten für die manuelle Verarbeitung geeignet ist (siehe Abb. 1). Eine Randlochkarte besitzt im uncodierten Zustand ringsum Löcher am Rand. Nun wird ein Schlüssel, eine Codierung entworfen, und die Karten werden eingekerbt, so dass an bestimmten Stellen ein Schlitz entsteht. Oben im Bild sehen wir sowohl ein flach gekerbtes Lochpaar (oben) als auch ein tief gekerbtes (rechts). Alle Randlochkarten werden nun auf einen Stapel gelegt und hochkant aufgestellt, so dass die Löcher übereinander liegen. Wenn man nun eine Stricknadel hinein schiebt und den Kartenstapel anhebt, fallen diejenigen Karten herunter, die an der Stelle der Nadel einen Schlitz aufweisen. Die Zeitersparnis bei der Suche im Gegensatz zu normalen Karteikarten ist enorm, wie Kiermeier und Renner (1960) beschreiben. Die Auswahlgeschwindigkeit beträgt zwischen 30.000 und 40.000 Karten pro Stunde. Es gibt jedoch noch einen weiteren Vorteil: Neben der erheblichen Zeitersparnis, welche die Lochkarte bei der Auswertung von Untersuchungsergebnissen mit sich bringt, liegt ihr besonderer Vorteil darin, daß sie die Auswertung nach den verschiedensten Gesichtspunkten erlaubt, so daß es möglich ist, bei sehr geringem Zeitaufwand unterschiedliche Einflüsse und Kombinationen innerhalb eines Sachgebietes zu untersuchen. Dabei erübrigt es sich vollständig, die Karten in einer bestimmten Reihenfolge einzuordnen (Kiermeier und Renner 1960, S. 317).

Abb. 1 Randlochkarte mit zwei Schlitzungen. Public Domain

Algorithmen, Daten und Ethik

127

Nehmen Sie jetzt unsere Skat-Spielkarten von oben und fügen in Gedanken entsprechende Schlitzungen am Rand hinzu. Doch anders als oben werden Sie gar nicht aufgefordert, bestimmte Karten auszuwählen oder nicht, Ihnen wird die einzunehmende Position der Stricknadeln als Suchkriterium (selector) mitgeteilt – und schon erhalten Sie im Handumdrehen das Ergebnis einer massiv parallel von der Natur ausgeführten Operation und das „Herz-Ass“ fällt zu Boden. Dieser Vorgang benötigt also zwei Stufen. Zum einen müssen die Informationen auf Karten geschrieben werden, danach müssen sie (automatisiert) verarbeitbar gemacht werden durch das Hinzufügen der Schlitzungen. Damit kommen wir – endlich! – zu den informationstechnischen Systemen unserer Zeit. Wir haben im 20. Jahrhundert keine Digitale Revolution erlebt, die erfolgte je nach Sichtweise bereits vor 5000 Jahren im Zweistromland bzw. vor 500 Jahren in den Fugger’schen Büchern, sondern eine Algorithmische Revolution (Frieder Nake). Charles Babbage beschrieb in seinen Aufzeichnungen sehr detailliert, wie viel Bewegungen die Teile seiner Maschine für eine Berechnung machen müssten und vor allem, wie lange das ganze dauern würde. An den Präsidenten der Royal Society schrieb er voller Stolz, dass seine Maschine 30 Berechnungen von jeweils zwei 40-stelligen Zahlen in nur zweieinhalb Minuten durchführen könne (Babbage 1889/ 2010, S. 213)! Die Geschwindigkeit der Engine kann nicht beliebig gesteigert werden, selbst unter optimalen Bedingungen benötigt eine Berechnung zwischen fünf und sechs Sekunden, und auch nur, wenn man gut zu Fuß ist, der Maschine rechtzeitig alle Lochkarten gibt und die Zahnräder gut geölt sind.

5

Das tabellarische Leben

Die berechenbare Welt im mathematisch-naturwissenschaftlichen Geist spendet Geborgenheit, verleiht einem das Gefühl der Kontrolle. Man reiche mir einen langen Hebel, zeige mir einen Fixpunkt und schon hebe ich die Welt aus ihren Angeln. Dass es diesen Fixpunkt im physisch-haptischen Universum nicht gibt, stört die kontemplierenden Menschen seit Archimedes nicht weiter, im Geiste können Symbole nach beliebigen, aber festen, Regeln transformiert werden. Dazu muss unsere Umwelt zunächst diskretisiert und in symbolischer Notation, vornehmlich als Zahl, erfasst werden. Dies war in der Antike die Aufgabe der Philosophie und der Mathematik, in der Neuzeit die der Physik und anderer Berechnungswissenschaften; im letzten Jahrhundert sind weitere Disziplinen hinzugestoßen, darunter die Informatik, deren Vertreter die Welt gleichsam als neue Pythagoräer betrachten mit der neuen Maxime „Alles ist Binärzahl“.5 Das binäre System übt einen starken Reiz auf unser Denken aus, Eins und Null, Tag und Nacht, Yin und Yang – die Kategorie der Einheit in der Zweiheit begeistert auch den ersten InforDer Ausspruch „Alles ist Zahl“ wird den Schülern des Pythagoras zugeschrieben, ob sie so zahlenmystisch waren, wie Aristoteles behauptet, vermag ich nicht zu entscheiden.

5

128

S. Ullrich

matiker avant le mot. Der Universalgelehrte Gottfried Leibniz war so angetan vom dyadischen (binären) Zahlsystem, dass er Medaillen prägen ließ mit dem Spruch „Einer hat alles aus Nichts gemacht“. Darunter eine Darstellung von Sonne, Mond und Sternen. Das Bild der Schöpfung („imago creationis“) ist binär kodiert. Das binäre System war Mathematikern und Mystikern seit Entdeckung der Zahlen bekannt, Leibniz selbst besaß eine Kopie des chinesischen Yijing, dem Buch der Wandlungen, das die Binärdarstellung als Orakel nutzte. Es gibt jedoch einen fundamentalen Unterschied zwischen der Darstellung im Yijing und bei Leibniz, wie an anderer Stelle festgestellt wurde: Die daoistische Binärdarstellung wurde jedoch nicht zum Rechnen verwendet, doch genau darin liegt der Kniff der Informatik: Etwas (Strom, Hebelposition, Vertiefung, Magnetisierung etc.) wird als Symbol erfasst. Mit Hilfe einer Vorschrift wird das Symbol nach bestimmten Regeln transformiert und im Anschluss wieder in physikalische Substrate übertragen [. . .] (Ullrich 2017a, S. 165).

Für die Mathematik wurde diese Symboltransformation erst mit Alan Turing wichtig, der mit seiner Paper Machine die verdrängte Frage beantwortet hatte, was es denn heiße, dass etwas „berechenbar“ sei: Alles, was eine Turing-Maschine berechnen kann, ist berechenbar. Die heutigen Computer und ihre Softwareprogramme sind solche Universalberechenbarkeitsmaschinen, ihr logischer Kern besteht aus einer Tafel (table), auf der die Berechnungsvorschrift (behaviour) für bestimmte Zustände (configuration) abzulesen ist (Turing 1937, S. 233). Die Tabelle ist ein mächtiges epistemisches Werkzeug, was uns dann bewusst wird, wenn wir es nicht einsetzen können. Blinde Menschen können Tabellen nicht im gleichen Sinn erfassen wie sehende.6 Dieses unmittelbare Erfassen eines Sachverhalts, der in einer Tabelle codiert wurde, dient nicht zuletzt einer Zeitersparnis. Der Politik-Berater Leibniz erkannte dieses Potenzial und entwarf so genannte Staats-Tafeln für beschäftigte Herrscherinnen und Herrscher: Ich nenne Staats-Tafeln eine schriftliche kurze Verfassung des Kerns aller zu der Landesregierung gehörigen Nachrichtungen, so ein gewisses Land insonderheit betreffen, mit solchen Vorteil eingerichtet, daß der hohe Landesherr alles darin leicht finden, was er bei jeder Begebenheit zu betrachten, und sich dessen als eines der bequemsten Instrumente zu einer löblichen Selbst-Regierung bedienen könne (Leibniz 1966, S. 80).

Die Landesfürstin oder der Landesherr sollen sich mit diesem Instrument einen Überblick verschaffen können, wie viel „wüllene Tücher jährlich konsumiert oder vertan werden“ und dies in kürzester Zeit und vor allem ohne Mehraufwand. Diese und andere Ideen einer modernen Buchhaltung führten schließlich zur modernen Gouvernementalität (Foucault) des Staates. Die Data besitzen eine politische

6

Ich verdanke diese Erkenntnis den Berliner Technikphilosophen Elke und Dieter Graupner, die mich auch zum technē-Begriff führten.

Algorithmen, Daten und Ethik

129

Dimension, sie sind spätestens jetzt, im 17. Jahrhundert, unmittelbar mit Fragen der Macht verknüpft. Mit ein oder zwei Linealen können Personen in entsprechend aufbereiteten Tabellen nach Eigenschaften ausgefiltert werden. Wie die Haltung der Stricknadeln der selector für die Lochkarte ist, so ist das Tabellen-Design mit seinen Spalten und Reihen auf das effiziente Auffinden eines Datums ausgerichtet. Wenn Sie sich zwischen einhundertzwanzig Bewerberinnen und Bewerbern entscheiden müssten, wären Sie nicht auch versucht, mit Hilfe einer Tabelle schon einmal eine Vorauswahl zu treffen?

6

Von der Person zur Signatur

Grundsätzliche Probleme einer Ethik der Algorithmen werden bereits mit der Lochkarte und selbst mit der Kulturtechnik Tabelle sichtbar. Auch die unzulässige Gleichsetzung von Person und Signatur hat ihren Ursprung in Tabelle und Lochkarte, doch die eigentliche Sprengkraft wird erst durch die informationstechnische Realisierung im elektrisch betriebenen Digitalcomputer deutlich, wie Coy (Coy 1994, S. 9) treffend beschreibt. Abgesehen davon, dass heutige Computer millionenfach schneller sind, sind es auch die Datenmengen, die zum Betrachtungsgegenstand einer Ethik der Algorithmen werden. Ganz anschaulich hat dies unser Bundespräsident a.D. einem Fernsehpublikum erklärt: Wir nehmen ja einigermaßen entgeistert im Moment [Sommer 2013] zur Kenntnis, dass unsere Kommunikation weitgehend ausgespäht wird. Wir wissen, dass von amerikanischen, britischen Geheimdiensten Handyverbindungen, SMS und Emails gespeichert werden, und es gibt keine wirkliche Aufklärung, in welchem Umfang [dies geschieht] jedenfalls nicht. Sie als Verfechter von Bürgerrechten – wie sehr empört Sie das? Also erst einmal bin ich natürlich besorgt. Aber ich habe es mir jetzt zur Angewohnheit gemacht, bevor ich mich empöre, schaue ich noch einmal genau hin und schaue mir die wirkliche Wirklichkeit an – nicht nur die der Schlagzeilen. Aber die kennen wir nicht! Und die kennen wir ein wenig. Wir wissen zum Beispiel, dass es nicht so ist wie bei der Stasi und dem KGB, dass es dicke Aktenbände gibt, in denen unsere Gesprächsinhalte alle aufgeschrieben und schön abgeheftet sind. Das ist es nicht. Was ist es denn? Ist es etwas, was uns sorglos machen kann? Nein [. . .] (Gauck 2013) (Abb. 2).

Das Team von OpenDataCity erstellte als Antwort darauf eine kleine Applikation, die die ungeheure Dimension der Technik greifbar macht.7 NSA, GCHQ, BND und andere Datensammler im Staatsdienst wie auch in der Privatwirtschaft verarbeiten 7

Datenfreunde: Stasi vs. NSA. Web-Applikation online unter. https://opendatacity.git hub.io/stasi-vs-nsa/. Zugegriffen im Mai 2018.

130

S. Ullrich

Abb. 2 Fläche aller Stasi-Aktenschränke (links) und benötigte Fläche der durch die NSA, GCHQ und BND gesammelten Daten, wenn sie ausgedruckt werden (rechts). CC-BY OpenDataCity

inzwischen eine Milliarde Mal mehr Daten als die Stasi je erfasst hat. Einen Aktenschrank dieser Größe könnte man mechanisch gar nicht durchsuchen, da er von Sekunde zu Sekunde größer wird. Es werden Sortieralgorithmen, Suchalgorithmen, Filteralgorithmen, Selektionsalgorithmen und andere Paper Machine Codes gebraucht, um die riesige Menge an Daten zu verarbeiten. Dabei ist ein beunruhigender Trend zu beobachten, der ungeheure moralische, aber auch ethische Implikationen mit sich bringt. Galt bislang noch die Person und damit verbunden das personenbezogene Datum als Objekt der Betrachtung bei Datenschutz, Privatheit, aber auch im Falle der Strafverfolgung, wird nun ein komplexes Gebilde aus Verhalten, Besitz und Aufenthaltsort zur so genannten Signatur einer gesuchten Person. Die so genannten Signature Strikes, also die Tötungen durch unbemannte bewaffnete Drohnen, sind die letale Fortsetzung dieses Trends. Staaten besaßen und besitzen nach wie vor Listen, die Staatsfeinde, Terroristen und gesuchte Schwerverbrecher aufführten, doch nun wurden diese Listen ergänzt durch eine so genannte Disposition Matrix, eine Datenbank mit Informationen (Wohnort, Dienststelle, Namen von Freunden, kurze Biografie) und vor allem mit Algorithmen. Ein Beispiel einer solchen Handlungsanweisung konnte man in der Washington Post im Oktober 2012 lesen: „If he’s in Saudi Arabia, pick up with the Saudis,“ the former official said. „If traveling overseas to al-Shabaab [in Somalia] we can pick him up by ship. If in Yemen, kill or have the Yemenis pick him up“ (Miller 2012).

Oder, in einer Pseudo-Programmiersprache formuliert: IF $target.location == 'Saudi-Arabia' THEN DO contact('Saudi-Arabia') ELSE IF $target.location == 'Yemen' THEN DO kill($target) || contact('Yemen')

Algorithmen, Daten und Ethik

131

Die ethische Besonderheit von Signaturen besteht darin, dass sie eine Person identifizieren, deren Identität gar nicht bekannt sein muss. Wie oben erwähnt, handelt es sich bei allen Datenbank-Einträgen über Personen oder targets nur um Repräsentationen der jeweiligen Person bzw. des targets. Diese „Verdopplung der Person“ wurde wunderbar nachgezeichnet von Groebner (2004). Mit Hilfe dieser Repräsentationen kann man mit einer sehr hohen, nahe an 1 liegenden Wahrscheinlichkeit auf die repräsentierte Person schließen. Dennoch, es bleibt ein Spiel mit Wahrscheinlichkeiten, was in bestimmten Bereichen des gesellschaftlichen Zusammenlebens (noch) nicht akzeptabel ist. Ich schreibe „noch“, weil sich in einzelnen Bereichen bereits jetzt schon eine Verschiebung beobachten lässt. In Gerichtsverfahren kommen beispielsweise forensische Verfahren zum Einsatz, die wissenschaftlich höchst fragwürdig sind. Aber auch bei den oben angesprochenen außergerichtlichen Hinrichtungen scheint man die Eindeutigkeit der Identifikation zugunsten einer sehr hohen Wahrscheinlichkeit aufgegeben zu haben: [T]he following criteria must be met before lethal action may be taken: 1. Near certainty that the terrorist target is present; Near certainty that non-combatants will not be injured or killed [. . .] White House (2013).

„Near certainty“ tritt in der US-amerikanischen Rechtsprechung an die Stelle von „reasonable doubt“, der eine Kontra-Indikation zur Vollstreckung des Todesurteils darstellte (unterhaltsam und lehrreich wird dieser Zweifel von Peter Fonda verkörpert in: Rose und Lumet (1957)). Wir haben es also mit einer Beweislastumkehr zu tun, was hauptsächlich technische Gründe hat. Der Hauptgrund ist, dass für „reasonable doubt“ eben „reason“ vorhanden sein muss. Ein Computerprogramm kann nichts entscheiden und seine Zweifel sind mathematisch ausgerechnet, wie uns das von IBM entworfene System Watson bei Jeopardy gezeigt hat. Als Watson befragt wurde, welche US-amerikanische Stadt einen bestimmten Flughafen besaß, tippte das System auf die kanadische Stadt Toronto. Jedoch, und das ist der Zweifel, setzte das System nur eine geringe Summe Spielgeld und gewann schließlich das gesamte Jeopardy-Spiel gegen zwei menschliche Kandidaten. Das System berechnete, dass die Antwort mit einer Wahrscheinlichkeit „near certainty“ nicht richtig sei, es hatte also die maschinelle Art eines Zweifels. Der maschinelle Zweifel ist lediglich über einen Schwellwert der berechneten Wahrscheinlichkeit einer gegebenen Rechnung definiert, seine Berechnung tritt an die Stelle von Entscheidungen. Was bei Leibniz noch böse Satire gegenüber seinen Mitmenschen war, erleben wir nun ständig und überall: Anstatt zu entscheiden, welche Handlung durchgeführt oder welche Antwort gegeben werden soll – das wird einfach ausgerechnet (Królikowski et al. 2017, S. 317–328). Die Jeopardy-Erfahrung zeigt uns jedoch: Das ist gut genug für die meisten Anwendungsfälle. 2011 markiert somit den Beginn des Zweiten Zeitalters der Turing-Galaxis, seitdem spüren wir alle die Auswirkungen der Heuristischen Revolution.

132

7

S. Ullrich

Turing-Galaxis 1.1 The Analytical Engine has no pretensions whatever to originate anything. It can do whatever we know how to order it to perform. It can follow analysis; but it has no power of anticipating any analytical relations or truths. Its province is to assist us in making available what we are already acquainted with (Lovelace 1842, S. 44).

Ada Lovelace, die damals namenlose Übersetzerin eines italienischen Transkripts einer von Babbage gehaltenen Vorlesung über seine Analytical Engine, gilt als erster Programmierer der Welt.8 Sie schrieb den ersten Algorithmus für eine Maschine, ein Computerprogramm. Sie erkannte auch, dass es sich bei der maschinellen Verarbeitung von Zahlendarstellungen eigentlich um eine Symboltransformation handelt, die auch dann funktioniert, wenn die transformierende Maschine gar nicht „weiß“, was eine 7 „bedeutet“. Ihre Notes erfuhren jedoch wenig Aufmerksamkeit und auch Babbages (Miller 2012) Beiträge zu Wissenschaft, Technik und Politik – einst europäische Bestseller – sind bis heute nur in Fachkreisen bekannt. Es war schließlich Alan Turing, der den mathematischen Begriff der Berechenbarkeit auf eine rein mechanische Symboltransformation überführte. Seine Papiermaschine bestand aus einem unendlichen, karierten Band, einem ewig schreibenden Stift und einem Lesekopf. Sie befand sich in einer bestimmten Konfiguration, die sich je nach gelesenem Symbol und entsprechender Zuordnungstabelle änderte. Seine Paper Machine, die wir inzwischen Turing-Maschine nennen, lieferte (wie oben bereits erwähnt) die Definition dessen, was denn Berechenbarkeit sei: Berechenbar ist, was mit einer Turing-Maschine berechnet werden kann. Der Mensch ist nicht berechenbar, prinzipiell nicht, doch das hält unsere Zunft nicht davon ab, es dennoch zu versuchen. Der Computer-Pionier und kritische Informatiker Joseph Weizenbaum sagte einmal sinngemäß: „Früher haben wir den Computer Probleme berechnen lassen, die wir zutiefst verstanden haben. Heute scheint es gerade umgekehrt zu sein: Wenn wir ein Problem nicht verstanden haben, lassen wir mächtige Computerprogramme Lösungen berechnen“. (So formulierte er es im Dokumentarfilm Plug & Pray von Jens Schanze, diesen Gedanken finden Sie natürlich auch in Weizenbaum (1978).) [Dabei ist es] nicht die Rechenkraft, die Computer so mächtig erscheinen lässt, es ist die Eleganz der Modellierung, die einen Reiz auf den überlasteten Geist ausübt. Die Informatik ist sehr gut darin, Modelle zu konstruieren, die bestimmte zu untersuchende Aspekte der Welt besonders gut erklären können. Der vorbildliche Informatiker ist sich jedoch jederzeit über den Modellcharakter bewusst, er verwechselt als guter Akademiker nie Abgebildetes mit seinem Abbild. Menschen in der Welt ebenso zu behandeln wie ihre Repräsentationen hieße, sie als bloßes Objekt wahrzunehmen. Schlimmer noch, aus den unteilbaren Individuen werden Dividuen,

Ich verwende bewusst das generische Maskulinum, um „world’s first programmer“ ohne Ambiguität zu übersetzen.

8

Algorithmen, Daten und Ethik

133

Unterteilte, weil im Modell unterteilbare Objekte. Dies ist mit einem auf Würde und Freiheit ausgerichteten Menschenbild nicht vereinbar (Ullrich 2017a, S. 98).

Die Macht der Modelle und Modellierungen äußert sich im Moment in den Diskursen rund um Scoring und eben dem Ruf nach einer Ethik der Algorithmen. „Big Data“, „Künstliche Intelligenz“ und „Machine Learning“ stehen ganz besonders für die Heuristische Revolution der Informationstechnik. Die Heuristik ist die seelenlose Schwester des Algorithmus, es geht nicht mehr um Kausalitäten oder vollständige Daten, sondern um Korrelationen und plausible Daten. Die größte Stärke von heuristischen Systemen besteht darin, dass diese Systeme auch mit ungenauen, fehlenden oder sich widersprechenden Daten umgehen können. Für die ethische Betrachtung von Algorithmen und anderen Paper Machine Codes ist somit eine besondere Herausforderung verbunden: Wir müssen nicht nur die Ethik verstehen, sondern auch die zu Grunde liegende Technik und vor allem über ihre Grenzen Bescheid wissen. Vielleicht ist dies die späte Rache der einst so wenig beachteten Technai.

8

Verborgene Mechanismen

Unter Technai wurden verschiedene Praktiken des Handwerks verstanden, bei Platon sind dies unter anderem Medizin, Reiten, Jagd, Viehzucht, Ackerbau, Rechnung, Geometrie, Führung, Steuerung von Schiffen oder Wagen, Politik, Wahrsagekunst, Musik, Laute-Spiel, Flötenspiel, Malerei, Bildhauerei, Schiffbau, Zimmerhandwerk, Webkunst, Skulptur, Schmiedekunst und Kochen (Parry 2008, Abschn. 2 zu Platon). Die Antike spricht nicht von den Technikerinnen oder Technikern in dieser abstrakten Form, man sprach beispielsweise von Jägerinnen und Jägern, die eine Jagdkunst erlernen mussten, aber nicht von den Jagdkünstlern. Die Praktikerinnen und Praktiker bewegen sich ohnehin in der Welt des Notwendigen und damit außerhalb der politischen Sphäre, zumindest nach dem antiken Verständnis von politiká. Die politische Sphäre war die der Freiheit, der Zwang und das Notwendige gehörten zur Sphäre des Privaten. Das öffentliche Räsonieren auf agora und forum machte einen nicht satt, es war schlicht nicht die Aufgabe der politisch denkenden Menschen, dafür zu sorgen, dass es Essen für alle gibt, sondern zu begründen, warum es wünschenswert oder transzendental geboten sei, dass es eine Grundversorgung an Lebensnotwendigem in einem (Stadt-)Staat geben müsse. Die Fähigkeit, seine Meinung wirksam zu vertreten, war eine erlernbare Technik, eine rhetorike techne; die Theater waren so gebaut, dass ein möglichst großes Publikum möglichst viel von den rezitierten Texten und gesungenen Liedern verstand; schließlich sorgte die optisch wie olfaktorisch nicht wahrgenommene cloaka maxima dafür, dass die Lebensspanne der Philosophen groß genug war, um Schulen zu bilden. Die Technai waren und sind bis heute für die technische Infrastruktur von Städten und Staatengemeinschaften zuständig, sie bilden in der Gesamtheit die zweite Natur des Menschen, die sie wie einen Vorhang um urbi et orbi zogen.

134

S. Ullrich

Die verborgene Technik kodifiziert jedoch – beabsichtigt oder nicht – bestimmte Ansichten und Vorannahmen, die Barrieren beseitigen oder erst aufbauen können. Das Verhalten von Individuen oder Massen kann durch entsprechende Technikgestaltung gesteuert oder zumindest beeinflusst werden, das berühmte Beispiel der Techniksoziologie ist der schwere Anhänger eines Hotelschlüssels, den man gern an der Rezeption abgibt, um sich das Jackett nicht auszubeulen (Latour 1990, S. 104). Diese Beeinflussung geschieht zwar beabsichtigt, jedoch in der Regel unbemerkt, es sei denn, der digital naive Wanderer wird mit einer großen Debatte (wie der Anfang 2018 geführten rund um Facebook und Cambridge Analytica) an die Grenzen seines Horizonts geführt. Der Wanderer am Weltenrand, so berichtet Camille Flammarion 1888, war ein naiver Mensch des Mittelalters, der eine Stelle entdeckte, wo Himmel und Erde sich zwar berührten, aber nicht gut verschweißt waren. So war er in der Lage, einen Blick hinter den Horizont zu werfen. Der bekannte Holzstich zu der Geschichte dient bis heute als Illustration der kopernikanischen Wende und anderer Zäsuren der Wissenschaftsgeschichte. Das Motiv ist uns durch moderne dystopische Literatur ebenfalls bekannt: Die Protagonistin stolpert durch Zufall hinter die Bühne der Welt und wird auf die dort verborgenen Mechanismen aufmerksam, die nicht unbedingt zum Vorteil aller Menschen ihre Geschicke bestimmen. Die technische Sprache von Flammarion, die „Schweißnaht“ zwischen Himmel und Erde oder „couvercle“, Luke, Wartungsklappe, Verschlussdeckel, verrät ihn als Kind des 19. Jahrhunderts, auch wenn schon seit der Antike technische Metaphern für kosmoligische [sic] Vorgänge verwendet wurden. Das Wort Himmelsgewölbe ist ja auch ein technischer Ausdruck (Ullrich 2017b, S. 15).

Auch die menschlichen Schicksale wurden seit der Antike bereits technisch erklärt: Die Moiren Klotho, Lachesis und Atropos weben ein Lebenstuch bzw. spinnen einen Lebensfaden, der bereits bei der Geburt eines Menschen den weiteren Verlauf des Lebens und in der Konsequenz auch seinen Tod festlegt. Es ist ein verstörender Widerhall dieser Prädestination, wenn wir gegenwärtig lesen, dass informationstechnische Systeme im Krankheitsfall die Lebenserwartung errechnen.

9

Geistesmaschinen

Die hier vorgenommenen ethischen Betrachtungen dürfen sich nicht nur auf die physikalisch wahrnehmbaren Mechanismen der Flammarion’schen Weltmaschine beziehen, sie müssen sich auch und gerade den Geistesmaschinen widmen, also Werkzeugen des Geistes. Diese mind tools liegen noch verborgener, da in manchen Fällen nicht einmal der denkende Geist sich der Gegenwart der eigenen Geistesmaschine bewusst ist. Ich möchte zwei Geistesmaschinen unterscheiden, die logische Maschine im Geist des Individuums und die Kollektivmaschine. Die individuelle Geistesmaschine soll Strukturen des Geistes bezeichnen, die das Denken in bestimmte Richtungen lenken. Philosophische Systeme und diskursana-

Algorithmen, Daten und Ethik

135

lytische Schemata können den wandernden Geist in konzisere Bahnen lenken. Auch spezielle Begriffe und generell der Gebrauch einer bestimmten Sprache bestimmen, wie wir über das „Weltganze“ nachdenken. Die Philosophinnen und Philosophen beispielsweise nahmen gern aktuelle technische Entwicklungen auf und erklärten damit den Denkvorgang, was bei Descartes wohl am deutlichsten wird. Aber auch die Politik bedient sich am technischen Vokabular. Seit der Weimarer Republik wird die Wirtschaft angekurbelt, werden bestimmte Reformen angestoßen und Prinzipien fest verankert. Es sind jedoch die deutschen Nationalsozialisten und andere Faschisten im Europa der 1930er-Jahre, die technische Begriffe nicht nur zur Beschreibung verwenden, sondern darin auch den Lösungsansatz für die Transformation einer ganzen Gesellschaft sehen. Der Begriff der „Gleichschaltung“ verrät viel über die tiefe Verachtung gegenüber frei denkenden Menschen, die gesamte Sprache des Dritten Reichs war durchsetzt mit technischen Metaphern, die nichts weniger im Sinn hatten, als die Mechanisierung des Menschen voranzutreiben, auf dass er programmiert werden konnte (Klemperer 1947, Kap. XXIII, besonders S. 236–239). Auf die Rolle der elektronischen Medien als Erfüllungsgehilfen der Gleichschaltung soll hier nicht weiter eingegangen werden. (Das Wikipedia-Schlagwort heißt natürlich „Volksempfänger“, vgl. dazu (Ullrich 2017a, S. 102–122) und detaillierter (Sösemann 2003, S. 390).) Wir haben allein mit der Sprache ein sehr mächtiges Werkzeug, die Geistesmaschine zu formen, wie Victor Klemperers Lingua Tertii Imperii (Klemperer 1947), George Orwells Nineteen Eighty-Four (Orwell 1980) und am unterhaltsamsten auch Martin Haase et al. beschrieben haben.9 Anhand einzelner Begriffspaare können Sie die unterschiedlichen Wege Ihrer Gedanken einmal selbst nachvollziehen. Flüchtlinge – Geflüchtete. Terahertzscanner – Nacktscanner. „Cyber war“ – „kybernetischer Krieg“. Die vielleicht umfassendste Beschreibung der logischen Geistesmaschine ist vor über siebenhundert Jahren von Ramon Llull in seinem Werk „Ars Magna“ vorgenommen worden, in der er sich mit Hilfe einer logischen Maschine auf mechanischem Wege der Wahrheit nähert. Auch die Scholastiker und schließlich die Philosophen des Wiener Kreises haben diese Geistesmaschinen sehr detailliert beschrieben, jedoch sind die Logiker in die Objektivitätsfalle getappt:10 Die logischen Maschinen selbst haben einen Bias, der jedoch nicht thematisiert wurde. „Wovon man nicht sprechen kann, darüber muss man schweigen“, wie Wittgenstein so prägnant formulierte, deutet in die Richtung dieser Verzerrung. Es gibt Dinge, die sich schlicht nicht in logische Systeme, ja nicht einmal in Sprache pressen lassen. (Wobei der Shruggie [ ] eine eigene Betrachtung wert ist, da gebe ich Dirk von Gehlen absolut Recht (von Gehlen 2018, S. 11–20).) Dies sind jedoch genau die Dinge, die in der Philosophie

9

Den Neusprech-Blog nebst Podcast können Sie nachlesen und hören unter Martin Haase, Kai Biermann, Constanze Kurz: Neusprech, https://neusprech.org. 10 Die männliche Form habe ich hier gewählt, weil mir keine weiblichen Mitglieder des Wiener Kreises im Moment einfallen.

136

S. Ullrich

im Allgemeinen und in der Ethik im Speziellen Gegenstand der Betrachtung seit tausenden von Jahren sind. Vielleicht wird das Argument der verborgenen Struktur und ihr Einfluss auf Denken und Handeln deutlicher, wenn wir uns Kollektivmaschinen ansehen. Die Kollektivmaschine ist in der Literatur unter mehreren Begriffen betrachtet worden, im Politischen ist der Hobbes’sche Leviathan sicher der bekannteste, aber auch Canettis Masse (Canetti 1994) und Tardes Nachahmungsgesetze (Tarde 2009) beziehen sich auf die Kollektivmaschine in dem hier verwendeten Sinn. In jüngster Zeit wird das kollektive Handeln und das ausführende Organ der Handlung (group agency) in den Vordergrund gestellt (etwa von List und Pettit 2011), hier soll auf die zugrunde liegende Struktur fokussiert werden. Ein anschauliches und historisch sehr gut nachgezeichnetes Beispiel ist das Militärwesen.11 Schon im antiken Sparta wurde begonnen, was unter Moritz von Oranien zur Perfektion gebracht wurde: der Drill. Der niederländische Oberbefehlshaber war umfassend gebildet und griff auf antike Vorbilder in der Kriegskunst zurück. Aelianus beschrieb zur Zeit Trajans die taktike techne, also die Kunst der Anordnung und Aufstellung von Personen, die auf engem Raum als Kollektiv handeln sollen. Ein Schlüssel zum Erfolg waren Kommandos, also Befehlswörter, die kurz und laut eine Gruppe steuern konnten. Waren es bei Aelianus noch 22 Befehlswörter, erforderte der Umgang mit Schusswaffen 42 verschiedene Teil-Bewegungen mit entsprechenden Kommandos. Der Erfolg war beeindruckend: The practical importance of such pedantry was very great. In principle and to a surprising degree also in practice, it became possible to get soldiers to move in unison while performing each of the actions needed to load, aim, and fire their guns. The resulting volleys came faster, and misfires were fewer when everyone acted in unison and kept time to shouted commands. Practice and more practice, repeated endlessly whenever spare time allowed, made the necessary motions almost automatic and less likely to be disrupted by stress of battle (McNeill 2009, S. 128).

„Beinahe automatisch“ erfolgten die Bewegungen der Soldaten, sie sind zu einem steuerbaren Teil einer größeren Maschine geworden. Wenn wir nun nach der Ethik der Maschine fragen, sollte klar sein, dass wir unsere Betrachtungen auf diese Struktur richten und nicht auf die Individuen dieser Maschine. Es sind die Konstrukteurinnen und Konstrukteure, die bestimmte Handlungsoptionen von vorn hinein forcieren, ermöglichen, befürworten, erschweren oder ausschließen. Ein gebrülltes Kommando könnte ja auch „Denke!“ lauten oder „Sapere Aude!“, wobei letzteres ja allein schon als Befehlswort zu lang für die militärische Nutzbarkeit ist. Es ist daher ein konsequenter und gar nicht so überraschender Schritt, dass diese Mechanisierung des Kollektivs nun vermehrt mit maschineller Unterstützung vor-

Ich verdanke dieses Beispiel der Kulturwissenschaftlerin Nina Franz und ihrem Vortrag „Painting the Target“, den sie 2015 im Rahmen der GI-Tagung „Drohnen: Verkörperung von Algorithmen“ in Berlin gehalten hat.

11

Algorithmen, Daten und Ethik

137

genommen wird. Panzer, Gleitflugbomben, Drohnen – jede Kriegstechnik zielt darauf ab, die individuelle Entscheidungs- und Handlungsmöglichkeit so weit einzuschränken, dass sie berechenbar ist. Im Falle der „unbemenschten Luftfahrzeuge“ (unmanned aerial vehicle) ist auf den zweiten Blick auch gar nicht so klar, wen wir hier als Drohnen bezeichnen: die informationstechnischen Systeme in der Luft oder die handlungseingeschränkten Soldatinnen und Soldaten vor den Bildschirmen im Kontrollzentrum.

10

Ethik der Ultimativen Maschine

Die „Ultimative Maschine“ besitzt nur einen Zweck: Wenn sie eingeschaltet wird, schaltet sie sich selbsttätig wieder aus. Dem berühmten Mathematiker und Informationstheoretiker Claude Shannon wird die Ehre zugeschrieben, als erster eine solche nutzlose Maschine gebaut zu haben. Doch bei näherer Betrachtung stimmt dies nicht, denn schon das Uhrwerk ist eine invertierte Ultimative Maschine, eine Maschine, die keinen anderen Zweck verfolgt, als ihre Zahnräder, einmal eingeschaltet, immer weiter zu drehen. Etymologisch geht das Wort „Maschine“ auf das griechische Wort für Werkzeug zurück, und wie das Werkzeug auch, berührt die Maschine den Kernbereich der Ethik, da sie sich auf das Handeln und Denken des Menschen bezieht. Der Mensch ist nicht nur ein Werkzeug gebrauchendes Wesen, sondern auch ein homo faber, ein Werkzeug herstellender Prometheus. Er kann in die Zukunft blicken und vorausschauend planen, er kann die Handlungsabsichten mit anderen teilen und dementsprechend Werkzeuge suchen oder herstellen, die dann zum Einsatz kommen. Im Anschluss überprüft er, ob die Wirkung seiner Handlung mit seiner Intention übereinstimmt und passt dann gegebenenfalls Werkzeug oder Handlungsprozess an (oder aber er gibt auf und versucht es mit einer neuen Intention). Die Grenzen zwischen Werkzeug und Maschine sind fließend, wie man am Beispiel der Archimedischen Schraube sieht. Hier sind mit Werkzeugen technische Artefakte gemeint, die menschliche Handlungen unmittelbar unterstützen. Maschinen hingegen wirken mittelbar, sie transformieren Handlungen, Werkzeuge, Symbole oder Energie. Zwischen beiden besteht in ethischer Hinsicht ein Unterschied in der Performanz-Dimension. Oben haben wir ja gesehen, dass ein Faustkeil unter anderem eine Performanz-Affordanz eingeschrieben hat, eine Aufforderung zur (intendierten) Benutzung. Die Maschine ist von der Unmittelbarkeit der Affordanz befreit, ohne Gebrauchsanleitung oder eine entsprechende Vorführung wird man unter Umständen gar nicht wissen, was die Maschine eigentlich macht. Der Gestalter Jakob Werner nimmt diese Mittelbarkeit und die daraus entstehende Unsicherheit als Ausgangspunkt, er hat eine besonders originelle Version der Ultimativen Maschine gebaut (hier auf Abb. 3 zu sehen). Er nennt sie Lese-Maschine, und sie besteht aus einer geschlossenen Kiste mit einem Kippschalter vorn, einem Pult für Bücher, ein paar sichtbaren Zahnrädern und schließlich zwei Stielaugen, die auf das Pult gerichtet sind. Wenn nun ein operator die Maschine bedient, also ein Buch auf das

138

S. Ullrich

Abb. 3 A Machine Learning, Installation, 2016. © Jakob Werner. Abdruck mit freundlicher Genehmigung des Künstlers

Pult legt und den Kippschalter betätigt, blättert die Lese-Maschine dieses Buch von vorn bis hinten durch und „liest“ es mit ihren Augen aus Pappmaché. Wir wissen nicht, was diese Maschine tut. Sind die Augen in Wirklichkeit kleine Webcams? Wird das Buch eingescannt und auf einem in der Box verborgenen Datenträger gespeichert? Oder ist sie ganz und gar instrumentell sinnlos? Und damit sind wir bei der Ultimativen Maschine der Industriegesellschaft, die eigentlich ebenso sinnlos wie die Lese-Maschine ist: Die Uhr treibt mit ihrem unnatürlich regelmäßigen und steten Takt die industrielle und bislang sogar die postindustrielle Gesellschaft seit nunmehr 250 Jahren an. Dabei zeigt die Uhr lediglich die Karikatur des Tagesverlaufs an. Vorindustrielle Arbeiterinnen und Arbeiter richteten sich nach der Sonne, dem Wetter, den Jahreszeiten und nach vielem anderen mehr, eben nach allem, was einen Tag ausmacht. Die industriellen Arbeiterinnen und Arbeiter stempeln nun brav ihre Zeiterfassungsbogen jeden Morgen um die gleiche Uhrzeit ab. Für die Ethik der Ultimativen Maschine betrachten wir nun sowohl ihre Mittelbarkeit als auch ihr Performanz-Gebot, wenn sie einmal in Gang gesetzt wurde. Ähnlich dem oben angesprochenen Zwang des Gedichts, zwingt das unaufhaltsame Fortschreiten der Uhrzeiger den Menschen geradezu, sich zu rechtfertigen, was er denn Sinnvolles in der verstrichenen Zeit angestellt habe. Für transdisziplinäre Kulturtechnikforschende ist es erstaunlich und bedrückend, dass Maschinen in erster Linie nicht etwa gebaut und eingesetzt werden, um den Arbeiterinnen und Arbeitern ihre Arbeit zu erleichtern, sondern hauptsächlich, um die Effizienz der menschlichen Arbeit zu steigern. Die Fabrikarbeiterinnen und -arbeiter schalteten nach getaner Arbeit die Maschinen ja nicht aus, im Gegenteil, die sich stets drehenden Kraftübertragungen schrien geradezu danach, Mehrarbeit zu verrichten – und genau das geschieht (höre dazu Mason 2016).

Algorithmen, Daten und Ethik

139

Der elektronische Routenplaner kann den Angestellten im Lieferdienst eine Hilfe sein – oder aber eine Geißel, wenn sie von der maschinell vorgeschlagenen Route abgewichen sind. Die „smarten“ Armbänder der Lagerarbeiterinnen und Lagerarbeiter können vor Haltungsschäden und anderen gesundheitlichen Gefahren warnen – oder aber zur Kontrolle der optimalen Handgriffe mit entsprechender Entlohnung eingesetzt werden. Dieser durch die Ultimativen Maschinen erst ermöglichte Optimierungswahn trifft nun alle Bereiche des Lebens, nicht nur in der Arbeitswelt, wobei das hier am deutlichsten sichtbar zu Tage tritt. Die Pflegefachkraft hat 8,2 Minuten Zeit, die Patientin von Zimmer 3 zu waschen, weitere 3,7 Minuten, um sie anzuziehen und dann schließlich 1,1 Minuten Zeit für ein aufmunterndes Gespräch. Das Konzept der genauen Uhrzeit ergibt vielleicht im Bereich der Personenbeförderung einen Sinn, in vielen Berufsfeldern hingegen ersetzt der Sekundenzeiger schlicht die Peitsche des Vorarbeiters bzw. der Vorarbeiterin. Mit den informationstechnischen Artefakten ist eine neue Art der Ultimativen Maschine hinzugekommen, die Datenmaschine, eine Maschine, die dem Capital nicht das Geringste kostet (Marx 1857, S. 637). Diese Ultimative Maschine dient der Perfektion des arbeitsteiligen Systems, in dem nicht nur jeder Teilschritt einer Optimierung ausgesetzt ist, wie noch bei Taylor, nein, jeder Teilschritt kann nun situativ einem anderen Arbeitenden zugewiesen werden. Aufgaben werden in Echtzeit auf der ganzen Welt verteilt in die modernen Sweat Shops der Informationsgesellschaft – und das bei zentralisierter Kontrolle durch Monopolisten. Dies geht sogar so weit, dass auch Sie, werte Leserin und werter Leser, eingebunden werden können – und tatsächlich auch eingebunden werden. Falls Sie im Internet einmal ein so genanntes CAPTCHA lösen mussten, also diese verzerrten Wörter enträtseln (z. B. [ ]) oder auf Straßenschilder klicken mussten, dann verrichten Sie Arbeit für eine Software-Firma, die dadurch wertvolle Trainingsdaten bekommt.12 Die Datenmaschine ist nun in Betrieb, sie ist längst amortisiert, so dass der Wert der produzierten Daten konstant fällt. Und damit auch der Wert der Produkte, die mit Hilfe von Daten einfach produziert werden können: So ist – um nur ein Beispiel zu nennen – in 15 Jahren der Preis für die Analyse des gesamten DNA-Genoms eines Menschen von 100 Millionen Dollar auf 1000 Dollar gefallen. Und das ist nur eine von vielen realen physischen Waren, deren Preis wegen des in ihnen enthaltenen hohen Informationsanteils zusammengebrochen ist. Die Antwort des Kapitalismus auf diese Diskrepanz zwischen Arbeitswert und Geldpreis – anders gesagt: auf diesen Überfluss – ist es natürlich, große Monopole zu schaffen, mit denen sich Marktpreise weit über den Produktionskosten stabilisieren lassen. [. . .] Im Zeitraum von bloß 15 Jahren entstanden so Apple, Google, Samsung, Amazon, Microsoft, Facebook, WhatsApp – Monopolunternehmen, deren Bewertung jede mögliche Vorhersage zukünftiger Erträge übersteigt.

CAPTCHA ist die Abkürzung für ein Verfahren, das man mit „vollautomatischer offener TuringTest zur Unterscheidung von Computern und Menschen“ übersetzen kann, engl. Completely Automated Public Turing test to tell Computers and Humans Apart. Sie entziffern die verzerrten Buchstaben unter anderem für das Google-Books-Projekt, was zur Texterkennung eingesetzt wird.

12

140

S. Ullrich

Nicht nur das: Diese neuen IT-gestützten Monopole privatisieren unaufhaltsam nichtmarktgängige Lebensbereiche und verwandeln unsere Freizeit in ihren Profit – wie wir es mit Uber, Airbnb, Facebook und so weiter erleben. In ihren Netzwerken entstehen völlig neuartige Informationsgüter: Enorme Datenmengen, die Kunden, Nutzer öffentlicher und privater Dienste und Bürger liefern, die nun von großen Informationsmonopolisten und staatlichen Instanzen angeeignet und ausgebeutet werden (Mason 2016, Minute 14:45).

Sie sind sich keiner Lieferung der Daten bewusst? Überprüfen Sie jedes Mal, ob Sie einen normalen Lichtschalter betätigen – oder aber einen Schalter für eine Smart Lightbulb betätigen, also ein Internet-of-Things-Objekt nun mit Strom versorgen, das Sie seinerseits nun als Datenpunkt registriert hat?

11

Mündigkeit im Zeitalter des Internets der Dinge

Wenn oben davon die Rede war, dass bestimmte Akteurinnen und Akteure durch die bevormundenden informationstechnischen Systeme zu Patientinnen und Patienten werden (von lateinisch patiens, „geduldig“, „ertragend“, „erleidend“), sollte betont werden, dass es sich nur um eine Verlagerung der Handlungskompetenz handelt. Auch wenn die Betreiberinnen und Betreiber der Systeme zu Getriebenen werden, auch wenn aus dem User ein Usee wird, so ist es doch nicht die Technik, die diese Entwicklung vorangetrieben hat, sondern deren Schöpferinnen und Schöpfer, die nun umso mächtiger werden, je mehr sich der Zorn auf die leblose Technik richtet. Ähnlich argumentiert der Computerpionier Heinz Zemanek, der in der Informationstechnik keine Wegbereiterin der Unmündigkeit sieht, im Gegenteil, sie sei ein Lackmustest für die Mündigkeit. Sie verlange von der technisierten Gesellschaft die „stetige Überlegenheit über ihre Systeme ab“ (Zemanek 1991, S. 277). Die Unmündigkeit jedoch, ach!, ist allzu süß. Wenn Sie vor einem Bildschirm sitzen und eine Entscheidung treffen sollen, würden Sie sich nicht darüber freuen, wenn Ihnen das informationstechnische System im Hintergrund schon die ganze Arbeit abgenommen hat? Welches Produkt sollten Sie denn kaufen, wenn nicht das mit den höchsten Bewertungen? Welchen Verurteilten sollten Sie auf Bewährung entlassen, wenn nicht die Person mit dem niedrigsten Kriminalitätswert? Die Aggregation und Filterung von Information ist im Zeitalter des information overload äußerst verlockend. Damit hat sich transzendental eine bestimmte Denkweise in unserem Geist eingenistet, die den gegenwärtigen Daten- und Überwachungskapitalismus für alternativlos hält. Wovor hier gewarnt werden soll, [. . .] ist, dass die Bedingungen zur Möglichkeit der Herausbildung einer Urteilskraft durch den falschen Einsatz von Technik massiv angegriffen werden. Es ist technisch nicht notwendig, alle Seitenzugriffe zu protokollieren oder gar die aktuelle Scroll-Position bei einem längeren Text in einem Browser-Fenster zu erfassen. Es ist beispielsweise technisch durchaus möglich, ein dezentrales, anonymes und komplett verschlüsseltes E-Mail-System zu betreiben, jeder Internet-Nutzer könnte einen Teil seiner Rechenleistung der Allgemeinheit zur Verfügung stellen. [. . .] Es liegt an den Technikern, die Vielfalt der Lebensweisen ihrer Mitmenschen zunächst anzuerkennen und in Folge dessen zu respektieren. Vielleicht kann

Algorithmen, Daten und Ethik

141

über den Umweg des Hineinversetzens in Andere ein neuer Gesichtspunkt auftauchen, der vorher so nicht gesehen wurde (Ullrich 2014, S. 699–700).

Wir haben es also nach wie vor mit der Herausbildung des Charakters eines jeden Menschen, besonders aber dem der technisch Handelnden zu tun. Doch im Gegensatz zur Antike sind wir inzwischen alle zu technisch Handelnden geworden, auch wenn uns das nicht immer bewusst ist. Der moderne Mensch ist längst Gastgeber einer Menge informationstechnischer Systeme geworden, die daraus folgende Unmündigkeit ist zwar erneut selbst verschuldet, jedoch durch ihre Verborgenheit weitaus schwieriger zu überwinden. Es gibt keine seriösen Schätzungen, wie viele Internet-der-Dinge-Dinge mit dem Internet verbunden sind. In teuren Studien ist die Rede von gegenwärtig sechs Milliarden Internet-der-Dinge-Dingen, in weniger teuren von 23 Milliarden, was alles nicht stimmen muss, jedoch die Hausnummer angibt. Basierend darauf und auf dem in Fachkreisen berühmten Internet-Zensus von 2012 (Botnet 2012, 6.5 Numbers) können wir getrost annehmen, dass auf eine Person auf diesem Planeten mehrere Internet-of-Things-Geräte kommen. Diese Geräte besitzen in der Regel einen oder mehrere Sensoren, sie sind klein, günstig und aufgrund ihrer schwachen Rechenleistung ungenügend gegen Angriffe gesichert. Diese allgegenwärtigen, zahlreichen und vernetzten Sensoren zeichnen die Kontur einer Person sehr akkurat nach. Allein mit Gyroskop, Barometer und freien Wetterdaten konnten Forscher die Ortsinformation eines Smartphones berechnen, wie Mosenia et al. (2018) zeigen. Die obige Aussage, dass es kein belangloses Datum gebe, wird dadurch eindrucksvoll belegt. Neigungssensoren in Smartphones verraten Passwörter, CO2-Messungen lassen auf die Anzahl der Personen in einem Raum schließen und Fitness-Armbänder offenbaren metergenau die Position geheim geglaubter Militär-Basen. Mit der durch die Datafizierung erst möglich gewordenen Hyper-Individualisierung des vermessenen Menschen ist eine beunruhigende Ent-Solidarisierung verbunden, die sich ganz harmlos beispielsweise in Form maßgeschneiderter Krankenversicherungstarife äußert. Neue Formen der Arbeit erlauben keinen gewerkschaftlichen Zusammenschluss, an Stelle des klassischen Arbeitsvertrags treten Mikro-Verträge mit Laufzeiten von wenigen Minuten und auf globaler Ebene werden gesellschaftliche Probleme einfach ausgelagert: Der Pauperismus 4.0 ist vor allem in Nicht-OECD-Ländern zu spüren.13 Die Ubiquität informationstechnischer Sensoren und die damit einhergehende totale wie totalitäre Erfassung des Datenschattens des Menschen ist für die Verdrängung sowohl des öffentlichen wie privaten Raums hauptverantwortlich. An die Stelle tritt der gesellschaftliche Raum (Hannah Arendt), der sich in der Antike allenthalben auf die Türschwelle ausgedehnt hatte. In dieser Ausdehnung liegt

Die Versionsnummer bezieht sich natürlich auf den Modebegriff „Industrie 4.0“.

13

142

S. Ullrich

freilich auch eine Chance für die Herausbildung eines neuen Weltbürgertums.14 Die Weltöffentlichkeit kann nun, den Technai sei Dank, adressiert werden. Nicht die internationale Staatengemeinde, sondern die transgemeinschaftliche Weltbürgergemeinde handelt ganz ohne Verträge und Abkommen gemeinsam aus, wie sie es beispielsweise mit der Privatheit hält. Wenn unter Privatheit die Freiheit zu offenbaren oder zu verbergen, wer wir in der gemeinsamen Welt sind, verstanden wird, dann lässt sich eine interkulturelle, d. h. kritisch vergleichende und nicht bloß multikulturelle, d. h. bloß aneinanderreihende Analyse kultureller Unterschiede durchführen [. . .]. Freiheit ist nicht die Eigenschaft eines weltlosen und von den anderen Menschen und Dingen in der gemeinsamen Welt isolierten Subjekts, sondern vollzieht sich immer im Rahmen eines mit den anderen Menschen und Dingen gestalteten und -gestaltbaren Spielraums. (Capurro 2016)

Ich möchte den letzten Satz aus dem obigen Zitat transzendental aufgreifen und betonen, dass wir uns die Welt gestaltbar halten müssen. Die Überwindung der gegenwärtig wahrzunehmenden Unmündigkeit erfordert auch und gerade Wissen über die Bausteine der Digitalisierung: Sapere et informare aude! Wage, zu wissen und wage, zu gestalten. Dies also ist der Wahlspruch der Aufklärung im technischen Zeitalter.

Literatur Babbage, Charles. 1889/2010. Babbage’s calculating engines. Being a collection of papers relating to them; their history, and construction. New York: Cambridge University Press. Botnet, Carna. 2012. Internet Census 2012. Port scanning/0 using insecure embedded devices. http://census2012.sourceforge.net/paper.html. Zugegriffen am 21.11.2018. Canetti, Elias. 1994/1960. Masse und macht. München: Carl Hanser. Capurro, Rafael. 2016. Informationsethik und kulturelle vielfalt, Hrsg. Jessica Heesen, 331–336. Stuttgart: Metzler. Coy, Wolfgang. 1994. Die turing-galaxis. In Bericht der fakultät informatik 3/94, 7–13. Bremen: Universität Bremen. Euklid. 2017. Elemente. Übersetzung der 15 bücher der stoicheia mit verknüpfung der griechischen textfassung. neufassung mit hypertextverweisen. Markgröningen: Edition Opera-Platonis. übersetzt von Rudolf Haller. http://www.opera-platonis.de/euklid/Euklid_Stoicheia.pdf. Zugegriffen am 21.11.2018. Gauck, Joachim. 2013. ZDF-Sommerinterview 2013. Joachim Gauck im Gespräch mit Bettina Schausten. http://www.bundespraesident.de/SharedDocs/Reden/DE/Joachim-Gauck/Interviews/ 2013/130630-ZDF.html. Zugegriffen am 21.11.2018. Gehlen, Dirk von. 2018. Das pragmatismus-prinzip: 10 gründe für einen gelassenen umgang mit dem neuen. München: Piper. Groebner, Valentin. 2004. Der schein der person. München: C. H. Beck. Janich, Peter. 2006. Was ist information? Frankfurt a. M.: Suhrkamp. Jonas, Hans. 1984. Das prinzip verantwortung. Frankfurt a. M.: Suhrkamp Taschenbuch Verlag. Klemperer, Victor. 1947. Lti. notizbuch eines philologen. Berlin: Aufbau-Verlag. Immanuel Kant schrieb im generischen Maskulinum, der Terminus Technicus „Weltbürgertum“ schließt natürlich auch die Weltbürgerinnen ein.

14

Algorithmen, Daten und Ethik

143

Kiermeier, Friedrich, und Edmund Renner. 1960. Einsatz der randlochkarte in der arbeitskartei (ein beispiel aus der milchwissenschaft). Zeitschrift für Lebensmittel-Untersuchung und Forschung 113(4): 316–322. https://doi.org/10.1007/BF01353946. Królikowski, Agata, Jens-Martin Loebel, und Stefan Ullrich. 2017. Ausrechnen statt entscheiden–30 jahre it-innovation, Hrsg. Alexandra Hildebrandt und Werner Landhäußer, 317–328. Berlin: Springer. Latour, Bruno. 1990. Technology is society made durable. The Sociological Review 38(1_suppl): 103–131. https://doi.org/10.1111/j.1467-954X.1990.tb03350.x. Leibniz, Gottfried Wilhelm. 1966. Entwurf gewisser staatstafeln (1685), Hrsg. Hans Heinz Holz, 80–89. Frankfurt a. M.: Europäische Verlagsanstalt. List, Christian, und Philip Pettit. 2011. Group agency: The possibility, design, and status of corporate agents. New York: Oxford University Press. Lovelace, Ada. 1842. Notes upon the [sketch of the analytical engine by l. f. menabrea], Hrsg. Henry P. Babbage, 21–50. New York: Cambridge University Press. Marx, Karl. 1857. Grundrisse der kritik der politischen Ökonomie. zweiter teil. MEGA digital, Berlin-Brandenburgische Akademie der Wissenschaften. http://telota.bbaw.de/mega/. Zugegriffen am 21.11.2018. Mason, Paul. 2016. Der niedergang des kapitalismus. 4. Folge des Deutschlandfunk-Podcasts über Karl Marx, 4. Dezember 2016. http://www.deutschlandfunk.de/re-das-kapital-4-6-der-nieder gang-des-kapitalismus.1184.de.html?dram:article_id=370390. Zugegriffen am 21.11.2018. McNeill, William. 2009. Keeping together in time. Cambridge: Harvard University Press. Miller, Greg. 2012. Plan for hunting terrorists signals U.S. intends to keep adding names to kill lists. https://www.washingtonpost.com/world/national-security/plan-for-hunting-terrorists-signals-usintends-to-keep-adding-names-to-kill-lists/2012/10/23/4789b2ae-18b3-11e2-a55c-39408fbe6a4b_ story.html?utm_term=.14d53425ed05. Zugegriffen am 21.11.2018. Mittelstadt, Brent Daniel, Patrick Allo, Mariarosaria Taddeo, Sandra Wachter, und Luciano Floridi. 2016. The ethics of algorithms: Mapping the debate. Big Data & Society 3(2). https://doi.org/ 10.1177/2053951716679679. Mosenia, Arsalan, Xiaoliang Dai, Prateek Mittal, und Niraj K. Jha. 2018. Pinme: Tracking a smartphone user around the world. CoRR abs/1802.01468. http://arxiv.org/abs/1802.01468. Zugegriffen am 21.11.2018. O’Neil, Cathy. 2016. Weapons of math destruction: How big data increases inequality and threatens democracy. Crown Archetype. Orwell, George. 1980. Nineteen eighty four. Middlesex: Penguin Books. Parry, Richard. 2008. Episteme and techne, Fall 2008 edn. In The stanford encyclopedia of philosophy, Hrsg. Edward N. Zalta. First published Fri Apr 11, 2003; substantive revision Sun Oct 28, 2007. http://plato.stanford.edu/archives/fall2008/entries/episteme-techne/. Zugegriffen am 21.11.2018. Platon. 1994. Phaidros, Vol. 2, Sämtliche Werke, 543–609. Reinbek bei Hamburg: Rowohlts Enzyklopädie. Pohle, Jörg. 2016. Personal data not found: Personenbezogene entscheidungen als überfällige neuausrichtung im datenschutz. Datenschutz Nachrichten 39:14–19. Rose, Reginald, und Sidney Lumet. 1957. 12 Angry Men Orion-Nova Productions AND United Artists. Sösemann, Bernd. 2003. „Auf Bajonetten läßt sich schlecht sitzen“, Hrsg. Thomas StammKuhlmann und Michael Salewski, 381–409. Stuttgart: Steiner. Tarde, Gabriel. 2009/1890. Die gesetze der nachahmung. Frankfurt a. M.: Suhrkamp. The White House. 2013. Fact sheet: U.S. policy standards and procedures for the use of force in counterterrorism operations outside the United States and areas of active hostilities office of the press secretary. https://obamawhitehouse.archives.gov/the-press-office/2013/05/23/fact-sheetus-policy-standards-and-procedures-use-force-counterterrorism. Zugegriffen am 21.11.2018. Turing, Alan. 1937. On computable numbers, with an application to the entscheidungsproblem. Proceedings of the London Mathematical Society 42:230–265. Ullrich, Stefan. 2014. Informationelle mü(n)digkeit. Über die unbequeme selbstbestimmung. Datenschutz und Datensicherheit 10:696–700.

144

S. Ullrich

Ullrich, Stefan. 2017a. Informationstechnische grundlagen, werkzeuge und praktiken des öffentlichen vernunftgebrauchs. https://doi.org/10.18452/17784. Dissertation an der Humboldt-Universität zu Berlin bei Prof. Wolfgang Coy. https://edoc.hu-berlin.de/handle/18452/18436. Zugegriffen am 21.11.2018. Ullrich, Stefan. 2017b. Kleine geschichten verborgener technik. FIfF-Kommunikation 1/17. https:// www.fiff.de/publikationen/fiff-kommunikation/fk-2017/fk-2017-1/fk-2017-1-content/fk-1-17p14.pdf. Zugegriffen am 21.11.2018. Velichkovsky, Boris. 1994. Die funktionale organisation der menschlichen intelligenz, Hrsg. Günther Cyranek und Wolfgang Coy, 57–72. Braunschweig/Wiesbaden: Vieweg. Weizenbaum, Joseph. 1978. Die Macht der Computer und die Ohnmacht der Vernunft. Frankfurt a. M.: Suhrkamp. Zemanek, Heinz. 1991. Das geistige umfeld der informationstechnik. Berlin: Springer.

Maschinenethik und Technikethik Karsten Weber und Thomas Zoglauer

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Normative Theoriemodelle der Technik- und Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Maschinen als moralische Agenten? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Der Verantwortungsbegriff in Technikethik und Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . . . 5 Das Argument der Verantwortungslücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Die Akteur-Netzwerk-Theorie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Maschinen als moralische Agenten reloaded . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Turing revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Schlussfolgerungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

146 146 149 151 152 154 155 157 158 160

Zusammenfassung

Der Eigenständigkeitsanspruch der Maschinenethik steht und fällt mit der Frage, ob man autonome Maschinen als moralische Agenten betrachten kann. Zur Beantwortung dieser Frage wird untersucht, unter welchen Voraussetzungen man Maschinen als moralische Agenten betrachten und ob man Maschinen Autonomie und Verantwortungsfähigkeit zusprechen kann. Die Autoren kommen zu dem Schluss, dass es in absehbarer Zukunft zwar keine „moralische Maschinen“ geben mag, es aber Aufgabe der Maschinenethik sein sollte, Maschinen so zu gestalten, dass sie als quasi-moralische Akteure akzeptiert werden können. Dabei dürfen jedoch jene

K. Weber (*) Institut für Sozialforschung und Technikfolgenabschätzung, OTH Regensburg, Regensburg, Deutschland E-Mail: [email protected] T. Zoglauer Arbeitsgebiet Technikphilosophie, BTU Cottbus-Senftenberg, Cottbus, Deutschland E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_10

145

146

K. Weber und T. Zoglauer

menschlichen Akteure, die entsprechende Maschinen gestalten, entwickeln, bauen und nutzen, nicht aus ihrer Verantwortung entlassen werden. Schlüsselwörter

Verantwortung · Autonomie · Moralische Agenten · Turing-Test · AkteurNetzwerk-Theorie

1

Einleitung

Technikethik beschäftigt sich mit der Bewertung von technischem Handeln und der Folgen des Einsatzes von Technik. Maschinenethik ist mit der Technikethik eng verwandt, insofern sie mit Computern, Robotern und autonomen künstlichen Agenten einen speziellen Gegenstandsbereich der Technik in den Blick nimmt. Sie weist aber eine Besonderheit auf, die ihr einen eigenen Stellenwert neben der Technikethik zuweist: Susan Leigh Anderson und Michael Anderson betrachten als Ziel einer Maschinenethik, autonome Maschinen so zu konstruieren und zu programmieren, dass sie sich an ethische Prinzipien halten (Anderson und Anderson 2011a, S. 1). Nach ihrer Auffassung richtet sich eine solche Ethik nicht nur an den Menschen als Nutzer der Technik, sondern ist auch als eine Ethik für Maschinen gedacht, für die es Regeln moralischen Verhaltens zu entwickeln gilt. Nach diesem Verständnis werden ethikfähige Maschinen selbst als moralische Akteure betrachtet, die manchmal auch als moralische Agenten bezeichnet werden. Dies ist jedoch eine Auffassung, die nicht unumstritten ist und in diesem Beitrag auch angegriffen werden wird. Damit, so wird sich zeigen, geht die Ablehnung bestimmter Konzeptionen einer Maschinenethik einher. Technikbewertung ist eng verknüpft mit Technikfolgenabschätzung (TA). Die Technikfolgenabschätzung ist eine Sammelbezeichnung für „systematische Verfahren der wissenschaftlichen Untersuchung von Bedingungen und Folgen von Technik und Technisierung sowie zu ihrer gesellschaftlichen Bewertung“ (Grunwald 2002, S. 51). Maschinenethiker bedienen sich häufig des methodischen Instrumentariums der TA, um Aussagen über die zukünftige Entwicklung neuer Technologien zu gewinnen, auf deren Grundlage Bewertungen vorgenommen und Handlungsempfehlungen formuliert werden können. So gibt es bereits zahlreiche Projekte zur Technikfolgenabschätzung auf dem Gebiet der künstlichen Intelligenz (Daniel und Striebel 1993; Cath et al. 2017), der Robotik (bspw. Becker et al. 2013; Fischer 2012; Ott 2012), der Entwicklung selbstfahrender Autos (u. a. Maurer et al. 2015) sowie altersgerechter Assistenzsysteme (z. B. Biniok und Lettkemann 2017; Friesdorf et al. 2007; Weber et al. 2015).

2

Normative Theoriemodelle der Technik- und Maschinenethik

Die Maschinenethik bedient sich ebenso wie die Technikethik verschiedener ethischer Theorien, die einen normativen Rahmen für den Umgang mit und die Programmierung von autonomen künstlichen Agenten liefern. Die gebräuchlichsten

Maschinenethik und Technikethik

147

ethischen Theorien sind der Utilitarismus, die deontologische Ethik und die Tugendethik. Im Folgenden sollen diese ethischen Theorien kurz vorgestellt und ihre Bedeutung für die Maschinenethik deutlich gemacht werden. Bei der Technikbewertung wird häufig ein utilitaristischer Ansatz angewendet, bei dem die positiven und negativen Folgen einer Handlung sowie die Wahrscheinlichkeit ihres Eintretens berücksichtigt werden. Ziel der utilitaristischen Ethik ist die Nutzenmaximierung, wobei unter Nutzen die Summe der positiven minus der Summe der negativen Folgen einer Handlung verstanden wird. Dieses Prinzip der Nutzenmaximierung wird auch als Bayes-Kriterium bezeichnet, nach dem der Erwartungswert der Handlungsfolgen maximiert wird. Der Erwartungswert ist definiert als der Wert der Handlungsfolgen (Nutzen bzw. Schaden) gewichtet mit der Wahrscheinlichkeit ihres Eintretens. Dabei werden Schaden und Nutzen gegeneinander aufgerechnet. Ein Risiko gilt als akzeptabel, wenn es durch einen höheren Nutzen aufgewogen wird. Der Vorteil des utilitaristischen Ansatzes besteht in der Operationalisierbarkeit des Verfahrens. In der Maschinenethik können solche Verfahren in Form eines Algorithmus formuliert werden. So werden beispielsweise für die Programmierung selbstfahrender Autos utilitaristische Modelle in Erwägung gezogen (Goodall 2014). Was in der Theorie leicht aussieht, stößt in der Praxis allerdings auf Probleme. Erstens dürfte es schwer sein, alle Folgen einer Handlung zu berücksichtigen und die Wahrscheinlichkeiten ihres Eintretens zu quantifizieren (Wallach und Allen 2009, S. 85–87) – noch dazu in der kurzen Zeit beispielsweise direkt vor einem Verkehrsunfall. Zur Abschätzung der Folgen müssten nicht nur quantitative Daten wie die Zahl der geschädigten und geretteten Personen berücksichtigt werden, sondern auch die Art dieser Schäden und deren Bedeutung für die Zukunft der Personen selbst und der Gesellschaft einbezogen werden. Es müssten womöglich auch qualitative Merkmale wie Alter, Geschlecht, Bildung, berufliche Stellung und viele andere Eigenschaften mehr evaluiert werden – beispielsweise dadurch, dass das selbstfahrende Auto nach den Profilen der betroffenen Personen in den sozialen Medien sucht und sie auswertet. Da all dies Zeit benötigt, die in vielen Fällen nicht gegeben ist, müsste das selbstfahrende Auto eigenständig entscheiden, welche Faktoren in Betracht gezogen werden. Anders formuliert: Für solche Entscheidungen müssten moralische Normen und Werte zweiter Ordnung existieren, um entscheiden zu können, welche Faktoren überhaupt relevant sind. Es ist kein Zufall, dass uns Menschen moralische Urteile schwer fallen, denn wir stehen vor den gleichen Problemen. Schadenswahrscheinlichkeiten werden oft subjektiv als zu gering eingeschätzt, besonders im Fall systemischer Risiken und unwahrscheinlicher Ereignisse mit hohem Schadenspotenzial (Renn 2014, S. 330–339; Taleb 2010, S. 355–357). Zweitens gibt es unterschiedliche Ansichten darüber, was man unter dem Nutzen einer Handlung verstehen soll. Sollen nur die subjektiven Einschätzungen oder Präferenzen der Betroffenen berücksichtigt werden oder sollen quasi-objektive ökonomische Bewertungskriterien zugrundegelegt werden, die als Grundlage für eine Kosten-Nutzen-Rechnung dienen? Risikoabwägungen nach dem BayesKriterium mögen zwar ökonomisch rational sein, berücksichtigen aber nicht die Individualrechte und Sicherheitserwartungen der Bürger.

148

K. Weber und T. Zoglauer

Im Kontext der Debatte um selbstfahrende Autos wird ein weiteres Problem der utilitaristischen Ethik deutlich: Bei unvermeidbaren Unfällen können sich DilemmaSituationen ergeben, bei denen Leben gegen Leben abgewogen werden muss. Legt man ein utilitaristisches Ethik-Programm zugrunde, könnte dies zur Konsequenz haben, dass man im Ernstfall unschuldige Menschen zugunsten eines höheren Nutzens opfern müsste (Hevelke und Nida-Rümelin 2015a, b; Lin 2015). Bei selbstfahrenden Autos dürften utilitaristische Ethik-Programme zudem auf geringe Akzeptanz in der Bevölkerung stoßen, wenn Autofahrer und ihre Mitfahrer damit rechnen müssten, in Notsituationen geopfert zu werden, wenn dadurch mehr Menschenleben gerettet werden könnten (Bonnefon et al. 2016). Die Ethik-Kommission des Bundesverkehrsministeriums empfiehlt daher in ihren Leitlinien, dem Schutz menschlichen Lebens höchste Priorität einzuräumen, und lehnt eine quantitative Aufrechnung von Opfern ab (Ethik-Kommission 2017). Insofern orientiert sie sich eher an deontologischen Prinzipien wie dem Recht auf Leben oder dem Menschenwürdeprinzip. Die deontologische Ethik ist regel- und prinzipienbasiert. Sie hat gegenüber einer utilitaristischen Ethik den Vorteil, dass in ihr Individualrechte und moralische Prinzipien wie Autonomie, Menschenwürde, Umweltschutz, Solidarität, Verteilungsgerechtigkeit etc. einen hohen Stellenwert einnehmen und nicht durch einen höheren Nutzen aufgewogen werden können. Als grundlegende ethische Prinzipien kommen die Goldene Regel oder Kants kategorischer Imperativ in Betracht. Thomas Powers (2006) sieht eine deontologische Ethik als besonders geeignet für eine Maschinenethik an, da ihre Regeln formalisierbar seien. Die deontologische Ethik hat allerdings Probleme bei der Lösung moralischer Dilemmata, nämlich dann, wenn zwei Pflichten kollidieren und nicht beide gleichzeitig erfüllt werden können (Zoglauer 2017, S. 67–71). Nach Kant dürfte es Pflichtenkollisionen eigentlich gar nicht geben (Kant 1983, S. 330). Dennoch kommen sie im Alltag häufig vor und werden gerade bei selbstfahrenden Autos diskutiert. Eine Möglichkeit zur Lösung solcher Dilemmata besteht darin, Güterabwägungen zuzulassen. Nach W. D. Ross gelten Pflichten nicht absolut, sondern lediglich prima facie, d. h. sie gelten nur so lange, wie sie nicht mit anderen Pflichten kollidieren. Im Konfliktfall ist zwischen widerstreitenden Pflichten abzuwägen (Ross 2002, S. 19). Zur Lösung von Normenkonflikten müssen daher Prioritätsregeln eingeführt werden oder es muss jeweils im Einzelfall durch moralische Intuition entschieden werden, welche Norm Vorrang hat. Ob Intuition algorithmisierbar ist, muss hier offengelassen werden; Zweifel daran sind aber erlaubt. Folgte man der Argumentation, dass Intuition nichts anderes ist als Erfahrung, dann müssten selbstfahrende Autos, hier immer verstanden als paradigmatischer Fall, womöglich erst einmal das moralische Räsonieren üben. Auch hier stellt sich die Frage, wie dies technisch umzusetzen wäre. Beauchamp und Childress (1994) entwickelten für die medizinische Ethik eine Prinzipienethik auf der Grundlage von Prima-facie-Pflichten. Sie formulierten vier grundlegende Prinzipien, die als Prima-facie-Pflichten aufgefasst werden und im Konfliktfall, wenn zwei oder mehrere Prinzipien kollidieren, abgewogen werden können. Die vier Prinzipien sind Autonomie, das Nichtschädigungsprinzip (nonmaleficence), das Fürsorgeprinzip (beneficence) und Gerechtigkeit ( justice)

Maschinenethik und Technikethik

149

(Beauchamp und Childress 1994; Beauchamp 2010). Obwohl dieses Modell ursprünglich nur für die medizinische Ethik konzipiert wurde, findet es mittlerweile auch in der Technik- und Maschinenethik Anwendung (Reijers et al. 2017). Susan Leigh Anderson und Michael Anderson entwickelten für Pflegeroboter ein Programm auf der Grundlage der Prinzipienethik von Beauchamp und Childress (Anderson und Anderson 2007, 2011b). Anstatt auf einer strikten Befolgung moralischer Prinzipien zu bestehen, könnte man die Lösung von Normenkonflikten auch dem Urteilsvermögen der handelnden Personen überlassen und dabei lediglich Anforderungen an ihre Charaktereigenschaften stellen und darauf vertrauen, dass tugendhafte Menschen im Einzelfall in der Lage sind, kluge und verantwortungsvolle Entscheidungen zu treffen. Die Tugendethik stellt neben der utilitaristischen und deontologischen Ethik ein drittes Paradigma der Technikethik dar und kann auch als Vorbild und Modell für die Maschinenethik dienen. Eine Ingenieurethik auf der Basis von Tugenden gibt keinen Katalog zu befolgender Pflichten und Regeln vor, sondern sagt lediglich, was ein guter Ingenieur ist und welche Tugenden er besitzen soll. Als typische technikethische Tugenden werden Verantwortungsbewusstsein, Aufrichtigkeit, Professionalität, Zivilcourage, Gerechtigkeit, Einfühlungsvermögen und Fürsorge genannt (van de Poel und Royakkers 2011, S. 99; Pritchard 2001, S. 394–395; Vallor 2016, S. 120–155). Allerdings gibt die Tugendethik keine Auskunft darüber, wie man sich in einer Konfliktsituation, z. B. wenn man sich in einem moralischen Dilemma befindet, verhalten soll. Ein Spezialfall der Tugendethik stellt die Fürsorgeethik (ethics of care) dar. Für sie haben die altruistischen Tugenden der Fürsorge, Hilfsbereitschaft und Empathie Vorrang. Sie wird unter anderem bei der Konstruktion von Pflegerobotern angewendet, da hier die Fürsorge für alte und kranke Menschen von besonderer Bedeutung ist (van Wynsberghe 2013; Vallor 2016, S. 220–229).

3

Maschinen als moralische Agenten?

Spricht man von einer Maschinenethik, so ist dies in vielerlei Hinsicht voraussetzungsreich. Eine der wichtigen Annahmen bezieht sich dabei auf die Existenz autonomer Maschinen, deren Autonomie so weit reicht, dass sie selbst als moralische Akteure – oder, wie oft formuliert wird, als moralische Agenten – gelten müssen. Das nun kann aber sehr vieles heißen: 1) Das Verhalten solcher Maschinen ist moralisch relevant und muss daher durch moralische Normen und Werte bestimmt sein. Diese werden von Menschen in der Programmierung der Maschinen implementiert und fortan durch die Maschinen als Regeln befolgt. Es wird sich weiter unten zeigen, dass die Integration moralischer Normen und Werte in Maschinen bzw. allgemeiner Technik, ob intendiert oder nicht, unvermeidlich ist. Die Diskussion der Algorithmisierung von Normen und Werten zeigt jedoch, dass diese nicht, zumindest nicht in jedem Fall, möglich ist. 2) Maschinen sind moralische Agenten insofern, dass sie selbst kognitive Kapazitäten besitzen, um intentional moralische Normen und Werte zu beachten. Dies erweist sich schon bei einem sehr

150

K. Weber und T. Zoglauer

kurzen Blick in die einschlägige Literatur als hochgradig umstritten. Außerdem kann man begrifflich an dieser Option zweifeln. 3) Nicht nur sind Maschinen moralische, sondern sogar ethische Agenten. Das heißt, dass sie die kognitiven Fähigkeiten besitzen, selbst moralische Normen und Werte zu formulieren, zu begründen und in der Folge sich für eine bestimmte Menge von ihnen zu entscheiden und andere zu verwerfen. Danach handelt eine entsprechende Maschine nach den selbst gewählten moralischen Normen und Werten. 4) In Erweiterung von Punkt 3) können moralische Agenten den selbst gewählten moralischen Normen und Werten widersprechend agieren – sie wären dann nichts weniger als das technische Spiegelbild des Menschen mit all seinen moralischen Defekten. Es mag sein, dass es noch viel mehr Vor- und Zwischenstufen in Ergänzung und Detaillierung zu den gerade genannten vier Abstufungen gibt, doch wäre deren Ausarbeitung für die Zwecke des vorliegenden Textes begrifflich zu aufwändig und kann daher hier nicht betrieben werden. Wie am Schluss dieses Beitrags zu sehen sein wird, sind diese Punkte für das Nachdenken über eine Maschinenethik im Detail aber gar nicht entscheidend, denn die Notwendigkeit einer ganz bestimmten Art oder Form von Maschinenethik ergibt sich nicht aus der tatsächlichen Existenz moralischer Agenten, sondern daraus, dass wir Menschen Maschinen für solche halten. Die oben genannten vier Stufen werden daher im Folgenden nicht einzeln abgehandelt, auch dafür fehlt der Platz. Eine wesentliche Frage, die in allen Stufen angesprochen wird, ist nun, ob bestimmte Maschinen tatsächlich als moralische Agenten angesehen werden müssen, weil sie moralisch handeln oder ob andere Faktoren dazu führen, dass Menschen sich in Bezug auf die „Natur“ oder das „Wesen“ dieser Maschinen irren. „Natur“ und „Wesen“ sind nicht in einem essenzialistischen Sinne zu verstehen, daher stehen beide Ausdrücke in Anführungsstrichen. Sie dienen hier lediglich als Sammelbegriff für die Eigenschaften, die für die mit diesen Maschinen interagierenden Menschen sichtbar sind oder über die sie bspw. durch Analyse der zugrunde liegenden Algorithmen zumindest Kenntnis erlangen können – wobei die Möglichkeit dieser Analyse in Anbetracht von heute genutzten neuronalen Netzen grundsätzlich infrage steht. Man kann daher mit einigen guten Argumenten behaupten, dass vom Standpunkt der Menschen, die mit Maschinen interagieren, die Frage, ob diese tatsächlich moralische Agenten sind oder nur als solche erscheinen, letztlich nur auf der Grundlage von Menschenähnlichkeit, Vertrautheit, sichtbarem Verhalten und ähnlichen beobachtbaren Hinweisen entschieden werden kann. Folgt man dieser Ansicht, so erscheint eine Diskussion der obigen vier Stufen letzten Endes irrelevant. Nicht die tatsächliche „Natur“ einer Maschine wäre dann entscheidend, sondern welches Bild sich Menschen von solchen Maschinen machen. Doch hierbei stehenzubleiben wäre in Bezug auf die Frage nach Verantwortung und Verantwortlichkeit für die Folgen des Maschinenagierens fatal, denn in Hinblick darauf ist es eben entscheidend, ob Maschinen tatsächlich moralisch handeln, oder ob dies nur einer Zuschreibung geschuldet ist, denn im letzteren Fall müssten andere Akteure an die Stelle der Verantwortlichen rücken. Diese Frage, die in jeder Maschinenethik adressiert werden müsste, soll im nächsten Abschnitt zunächst in Bezug auf

Maschinenethik und Technikethik

151

den Verantwortungsbegriff und dann gegen Ende des Betrags bzgl. der menschlichen Verantwortung genauer untersucht werden.

4

Der Verantwortungsbegriff in Technikethik und Maschinenethik

Der Verantwortungsbegriff ist ein Schlüsselbegriff der Technik- und Maschinenethik. Verantwortung ist eine mehrstellige Relation: Jemand ist für etwas gegenüber einer Instanz in Bezug auf ein Normensystem verantwortlich (Lenk 1994, S. 119–120; Maring 2001, S. 13–16; Lenk und Maring 2017, S. 727). Neben einer individuellen Verantwortung, bei der ein einzelnes menschliches Individuum Verantwortungsträger ist, gibt es auch eine korporative und kollektive Verantwortung, bei der Gruppen, Korporationen oder Institutionen Verantwortung tragen (Maring 2001; Lenk 1994, S. 128–133; Ropohl 1996, S. 75). Bei Unfällen und technischen Katastrophen stellt sich immer wieder die Frage, wer für den Schaden verantwortlich ist. Nicht immer können einzelne Personen als Verantwortliche identifiziert werden, da gerade bei industriellen Prozessen und technischen Großprojekten mehrere Personen im Team zusammenarbeiten. In der Ingenieurethik wird dies als das Problem der vielen Hände (problem of many hands) bezeichnet. Damit ist eine Situation gemeint, bei der ein Kollektiv, aber keine einzelnen Personen für ein Ergebnis verantwortlich gemacht werden können (van de Poel und Royakkers 2011, S. 253; van de Poel 2015b, S. 52). Für John Searle ist ein kollektives absichtliches Verhalten nicht einfach die Summe individuellen absichtlichen Verhaltens (Searle 2009, S. 100). Daher kann eine kollektive Verantwortung nicht immer auf eine individuelle Verantwortung zurückgeführt werden (Maring 2001, S. 77–122). Das Problem der Verantwortungszuschreibung wird in der Maschinenethik im Zusammenhang des Einsatzes von Militärrobotern und autonomen Waffensystemen kontrovers diskutiert: Wer ist schuld, wenn bei einem Einsatz von Robotern auf dem Schlachtfeld das Kriegsrecht (ius in bello) verletzt wird und es zu unrechtmäßigen Tötungen kommt? In diesem Fall gibt es mehrere Personen, die als Verantwortliche infrage kommen: die Ingenieure, die die Roboter konstruiert haben, die Programmierer, die Soldaten und Offiziere bis zu den Oberbefehlshabern, die den Einsatz von „Killerrobotern“ angeordnet haben. Man könnte aber auch die Roboter selbst verantwortlich machen. Einige Maschinenethiker halten autonome, zu komplexen Verhaltensmustern fähige Roboter für moralische Agenten, denen eine Verantwortung für ihr Verhalten zugeschrieben werden könne (Sullins 2011, S. 160; Floridi 2013, S. 134–160). Sullins, Sparrow und Hellström argumentieren wie folgt: Je autonomer ein System agiert, desto schwieriger sei sein Verhalten vorhersehbar und kontrollierbar und desto weniger könnten die Programmierer und Konstrukteure dafür verantwortlich gemacht werden (Sullins 2011, S. 160; Sparrow 2007, S. 70; Hellström 2013, S. 103). Dieser postulierte Zusammenhang zwischen Autonomie und Verantwortung ist aber keineswegs evident und muss kritisch hinterfragt werden. Denn der Autonomiebegriff hat eine unterschiedliche Bedeutung, je nachdem in welchem philoso-

152

K. Weber und T. Zoglauer

phischen Theoriekontext man sich bewegt. Autonomie kann im kantischen Sinne als Selbstgesetzgebung oder Fähigkeit, unabhängig von Naturgesetzen zu handeln, verstanden werden (Zoglauer 2016, S. 191). Dieser Autonomiebegriff ist von Sullins und Sparrow aber nicht gemeint. Denn in der Robotik bedeutet Autonomie lediglich Unabhängigkeit vom Menschen: Autonome Roboter können weitgehend selbstständig aufgrund eines Programms agieren und müssen nicht jedes Mal auf den Befehl eines Menschen warten. Autonomie in diesem Sinne hat nichts mit Moral zu tun. Auch Staubsaugerroboter und autonome Rasenmäher werden lediglich in Bewegung gesetzt und verrichten ihre Arbeit unabhängig vom Menschen, sind aber keine verantwortungsfähigen Wesen. Roboter agieren heteronom, da sie von einem Programm geleitet werden. Aus einer technischen Autonomie folgt daher keine moralische Autonomie (Zoglauer 2016, S. 195). Robert Sparrow versucht den gedanklichen Zusammenhang zwischen Autonomie und Verantwortung durch die Mittelbegriffe Kontrollfähigkeit und Vorhersehbarkeit herzustellen. Aber allein aus der Tatsache, dass wir das Verhalten einer Maschine weder kontrollieren noch vorhersehen können, folgt nicht, dass wir es mit einem verantwortungsfähigen moralischen Subjekt zu tun haben. Hierzu müssten wir der Maschine ein intentionales und bewusstes Handeln unterstellen, was zumindest auf dem gegenwärtigen Stand der Technik nicht vorausgesetzt werden kann. Nida-Rümelin ist der Auffassung, dass nur solche Wesen fähig sind, Verantwortung zu übernehmen, die Gründe für ihr Handeln haben bzw. die fähig sind, „sich von Gründen affizieren zu lassen“ (Nida-Rümelin 2011, S. 32). Derk Pereboom spricht von „reasons-responsiveness“: Wesen müssen fähig sein, aufgrund von Gründen zu handeln, und müssen auf Gründe reagieren können (Pereboom 2001, S. 107–109). Robert Brandom (2001) weist darauf hin, dass das Geben und Verlangen von Gründen äußerst anspruchsvolle Praktiken darstellen, die an komplexe epistemische und normative Voraussetzungen gebunden sind. Es ist daher zweifelhaft, ob Roboter diese Fähigkeit besitzen oder je besitzen werden. Auch hierauf wird am Ende des Beitrags noch einmal zurückzukommen sein.

5

Das Argument der Verantwortungslücke

Andreas Matthias (2004) hält Hersteller und Nutzer autonomer Maschinen für deren Verhalten nicht verantwortlich. Matthias begründet dies mit dem Argument der Verantwortungslücke (responsibility gap). Er verweist auf die Besonderheit lernfähiger Automaten, deren Aktionen von einem neuronalen Netzwerk oder genetischen Algorithmus gesteuert werden: Ihr Verhalten wird nicht durch ein Programm determiniert, sondern ergibt sich durch ihre Interaktion mit der Umwelt und ist daher nicht vorhersehbar und kann vom Nutzer auch nicht kontrolliert werden. Das Verhalten solcher Maschinen könne nicht kausal auf einen menschlichen Urheber zurückgeführt werden, weshalb die Konstrukteure und Nutzer keine Schuld treffe, wenn durch die Maschine ein Schaden entsteht. Nach Ansicht von Matthias klafft zwischen Mensch und Maschine daher eine Verantwortungslücke.

Maschinenethik und Technikethik

153

Sparrow (2007) argumentiert ähnlich: Autonomie gehe mit einem Kontrollverlust einher. Autonome Waffensysteme agierten unabhängig vom Menschen, weshalb das militärische Personal keinen Einfluss auf die Folgen ihres Einsatzes habe. Da Kontrollfähigkeit laut Sparrow aber eine notwendige Voraussetzung für Verantwortung ist, könnten Menschen auch nicht verantwortlich gemacht werden, wenn autonome Waffensysteme versagen oder falsche Ziele angreifen. Sparrow will den Einsatz von Killerrobotern und autonomen Distanzwaffen nicht verteidigen oder verharmlosen. Vielmehr hält er ihren Einsatz gerade deshalb für unmoralisch, weil sie in einem moralfreien und möglicherweise auch rechtsfreien Raum agieren, wo sich niemand für mögliche Kriegsverbrechen verantwortlich fühlt. Noorman und Johnson (2014) glauben nicht, dass Autonomie von Verantwortung befreit, und halten dagegen, dass diese Technologien von Menschen entwickelt und eingesetzt werden und die Konstrukteure und Programmierer indirekt doch eine Kontrolle über ihr Verhalten haben: Wenngleich ihr Verhalten durch das Programm zwar nicht in allen Details determiniert ist, würden ihre Aktionsmöglichkeiten und ihr Handlungsspielraum dadurch gleichwohl eingeschränkt. In der Lernphase wird ein neuronales Netzwerk durch den Menschen geprägt. So wie Eltern für ihre minderjährigen Kinder verantwortlich sind und bei einem Fehlverhalten für den entstandenen Schaden haften müssen, müssten auch die Hersteller für den Schaden haften, der aus dem Fehlverhalten eines Roboters resultiert (Beck 2016, S. 475). Daher könne der Mensch nicht von jeder Verantwortung für seine Schöpfung freigesprochen werden. Selbst wenn niemand individuell für einen Schadensfall verantwortlich gemacht werden kann, gibt es immer noch eine kollektive Verantwortung für den Einsatz von Militärrobotern und autonomen Waffensystemen (Galliott 2015, S. 224). Den Erfolg eines Einsatzes werden sich die Ingenieure, Soldaten und Offiziere selbst zuschreiben. Bei einem Misserfolg werden sie sich vor der Verantwortung nicht drücken können. Ibo van de Poel (2015a) unterscheidet zwischen einer prospektiven und retrospektiven Verantwortung (van de Poel 2015a, S. 13–15): Will man wissen, wer für einen eingetretenen Schaden verantwortlich ist, handelt es sich um retrospektive Verantwortung. Wenn es dagegen um die zukünftigen möglichen Folgen einer Handlung geht, ist die Verantwortung prospektiver Natur, weil sie auf die Zukunft gerichtet ist. Matthias und Sparrow behandeln lediglich die Frage nach der retrospektiven Verantwortung. Die Hersteller und Programmierer autonomer Maschinen tragen aber auch eine prospektive Verantwortung für ihren künftigen Einsatz (Galliott 2015, S. 225). Sie müssen im Rahmen der Produkthaftung ein ordnungsgemäßes Funktionieren der Maschinen gewährleisten und unerwünschte Folgen verhindern. Johnson (2015) sieht eine gesamtgesellschaftliche Verantwortung für die Entwicklung neuer Technologien. Ihrer Auffassung nach werden Verantwortungspraktiken durch gesellschaftliche Normen und Erwartungen konstituiert und sind diskursiv verhandelbar. Letztlich trage daher die Gesellschaft eine Verantwortung dafür, welche Technologien angewendet und wie sie eingesetzt werden.

154

6

K. Weber und T. Zoglauer

Die Akteur-Netzwerk-Theorie

Ein Modell zur Beschreibung der Interaktionen zwischen Menschen und Dingen stellt die Akteur-Netzwerk-Theorie von Bruno Latour (1996) und Michel Callon (1991) dar. In dieser Theorie werden Personen und Artefakte als gleichrangige Elemente eines soziotechnischen Netzwerks betrachtet. Latour spricht von Aktanten anstatt von Akteuren und will damit zum Ausdruck bringen, dass auch technische Artefakte handeln und Dinge verändern können. Entscheidend sind die Relationen zwischen den Aktanten innerhalb des Netzwerks. Die Akteur-Netzwerk-Theorie ist für eine Maschinenethik von Bedeutung, da sie neben Menschen auch Maschinen, Roboter, künstliche Intelligenzen und Cyborgs als soziale Aktanten behandelt. Der traditionellen Ethik wird oft ein Speziesismus vorgeworfen: die Fixierung auf Menschen, die allein als moralische Akteure infrage kommen. Von Tierrechtlern wie Peter Singer (1990) wird schon lange gefordert, auch Tieren Rechte zuzusprechen und zumindest Menschenaffen Personenstatus zuzuschreiben. Darüber hinaus wird spekuliert, dass in Zukunft auch künstliche Intelligenzen und Roboter als Personen anerkannt werden könnten (Calverley 2008). Wenn man Software-Agenten und autonome Maschinen als wirkmächtige Akteure anerkennt, warum sollte man dann nicht auch andere technische Artefakte als Teil eines soziotechnischen Netzwerks betrachten? Allerdings würde dies den traditionellen Handlungsbegriff stark strapazieren. Denn begrifflich und alltagssprachlich gibt es einen wesentlichen Unterschied zwischen Handeln und Verhalten: Handlungen erfolgen zielgerichtet, d. h. sie sind mit Absichten verbunden, während ein Verhalten lediglich aus Körperbewegungen besteht und kein Bewusstsein voraussetzt. Es macht einen Unterschied, ob man sagt, eine Maschine veranlasse einen Menschen zu einer Handlung, oder ob man die Maschine selbst als einen handelnden Akteur betrachtet. Roboter – zumindest gegenwärtig existierende – verhalten sich, aber sie handeln nicht. Man kann ihnen – außer im metaphorischen Sinn – keine Absichten unterstellen. Was nicht ausschließt, dass sie vielleicht in ferner Zukunft tatsächlich über Bewusstsein verfügen und als Personen anerkannt werden können. Aber es wäre fahrlässig, den Handlungsbegriff ohne nähere philosophische Begründung über den menschlichen Bereich auszudehnen und damit begriffliche und ontologische Unterschiede zu nivellieren. Hanson (2008, 2009) vertritt die These, dass nicht einzelne Menschen, sondern das Gesamtsystem aus menschlichen und nichtmenschlichen Akteuren Verantwortung trägt. Hanson begründet dies mit der Theorie der „extended agency“, die auf die Extended-Minds-These von Andy Clark und David Chalmers (1998) zurückgeht. Clark und Chalmers glauben, dass kognitive Prozesse nicht nur in unserem Gehirn stattfinden, sondern auch durch die Interaktion mit materiellen Objekten realisiert werden können. Hanson setzt diese Überlegung wie folgt fort: Wenn das soziotechnische System selbst zu solchen kognitiven Prozessen fähig sei, so sei es als Ganzes auch für die daraus entstehenden Folgen verantwortlich. Aber Hanson begeht einen Fehlschluss, wenn er den Verantwortungsbegriff von menschlichen Individuen auf soziotechnische Netzwerke überträgt. Jemanden für etwas verantwortlich machen setzt voraus, dass dieser Jemand ein Verantwortungsbewusstsein besitzt und Gründe

Maschinenethik und Technikethik

155

für sein Verhalten nennen kann. Unbelebte Artefakte können dies nicht. Ein technisches System für etwas verantwortlich zu machen ist nicht mehr als eine metaphorische Redeweise. Sie verwässert den Verantwortungsbegriff, weil man keinen konkreten Urheber für Fehlleistungen oder Missstände angeben kann. Eine wissenschaftlich fundierte Maschinenethik sollte solche Verantwortlichkeiten benennen, die Mensch-Maschine-Interaktionen kritisch reflektieren und nicht in metaphorischen Redeweisen Zuflucht suchen.

7

Maschinen als moralische Agenten reloaded

Zunächst ist noch einmal festzustellen, dass in der Diskussion um Maschinenethik und moralische Maschinen bzw. Agenten sehr undifferenziert von „Autonomie“ gesprochen wird. So schreiben Gransche et al. (2014, S. 20): „Viele der Eigenschaften, die technische Interaktionsfähigkeit ermöglichen, werden unter dem Schlagwort ‚autonome Technik‘ gefasst; dabei unterscheidet sich die Bedeutung von ‚autonom‘ von Fall zu Fall erheblich und v. a. zwischen den Technikwissenschaften und der Philosophie. Im technischen Bereich bedeutet autonome Technik je nachdem autark, mobil, automatisch, umweltunabhängig, adaptiv, lernend, innovativ oder opak, nicht vorhersagbar. Entscheidend ist für den Autonomiegrad von Technik auch das Maß an technischer Selbstkontrolle bzw. Kontrolle von Technik durch den Menschen.“

Anders ausgedrückt: Die Rede von „der“ Autonomie ist verfehlt, denn es gibt, je nach Wissenschaftsdisziplin, verschiedene Autonomiebegriffe mit unterschiedlichen Abstufungen – weiter oben wurde dies bereits angedeutet. Damit greift die gerade in den Massenmedien häufig undifferenzierte Rede über Autonomie und autonome Maschinen zu kurz. Autonome Fahrzeuge mögen in absehbarer Zeit in dem oben genannten technischen Sinne autonom sein, in einem moralischen Sinne sind sie dies damit aber noch lange nicht. Eine Maschinenethik für moralisch autonome Maschinen (denn die technischen Aspekte der Autonomie sind in diesem Text irrelevant) wäre nun begrifflich nur sinnvoll, wenn sich diese Maschinen eine Moral selbst geben würden und dieser freiwillig folgten – denn genau dies bedeutet Autonomie (αὐτóς νóμoς/autós nómos = Selbstgesetzgebung). Dies entspricht der im dritten Abschnitt genannten dritten und vierten Abstufung autonomer Maschinen. Sollten solche Maschinen realisiert werden, müsste akzeptiert werden, dass deren Aktionen nicht mehr vorhersehbar wären – genauso, wie dies für Menschen ebenfalls gilt. Damit aber wäre die Zielsetzung, mit der Menschen Maschinen bauen, konterkariert, denn Maschinen sollen reproduzierbare Ergebnisse liefern, sie sollen unter gleichen Bedingungen gleiche Ergebnisse produzieren. Es mag Anwendungen geben, in denen in einem gewissen Maße von solchen Erwartungen abgewichen werden kann und sogar muss, beispielsweise in der Mensch-Maschine-Interaktion: Hier wäre es eher störend oder gar verwirrend, wenn eine Maschine immer mit den gleichen Worten auf eine bestimmte Frage reagierte. Eine gewisse Varianz in den Antworten würde die Interaktion erleichtern und menschenähnlicher gestalten. Doch dieser Varianz müssten Grenzen gesetzt werden, um beispielsweise verletzende oder

156

K. Weber und T. Zoglauer

beleidigende Äußerungen zu verhindern. Würden jedoch Maschinen der dritten oder vierten Stufe gebaut, könnte dies nicht mehr garantiert werden. Doch tatsächlich beginnen die Probleme viel früher, wie am Beispiel des Chatbots „Tay“ von Microsoft zu erkennen ist. Dieser lernende Chatbot verwandelte sich in kürzester Zeit in ein rassistisches Programm in Reinform (Beran 2017; Hirsch 2017), so dass es Microsoft sehr schnell – nach nur 24 Stunden – wieder vom Netz nehmen musste. Neben dem Schaden erntete das Unternehmen auch sehr viel Spott, bis hin zu einem langen Spottgedicht (Davis 2016). Um solche oder womöglich noch weitaus schlimmere Ereignisse zu vermeiden, müssten solchen autonomen Maschinen anderweitig Grenzen gesetzt werden; kein Wunder, dass in der Diskussion um moralische Agenten und Roboter oft auf die drei Robotergesetze von Isaac Asimov verwiesen wird (Anderson 2007; LeslieMcCarthy 2007). Doch die Idee von fest einprogrammierten moralischen Imperativen widerspricht dem Gedanken autonomer und moralischer Agenten. Denn jedes Regelwerk, das Maschinen fix einprogrammiert oder anderweitig bindend aufgegeben werden würde, widerspräche der These von der autonomen (selbstgesetzgebenden) Maschine. Insbesondere kann dann nicht mehr sinnvoll von einer Maschinenmoral gesprochen werden, denn moralische Autonomie setzt Willensfreiheit und damit die Möglichkeit der Zuwiderhandlung voraus. Da die betreffenden Maschinen zudem nicht über bestimmte Teile jener Moral nachdenken und sie sich selbst geben könnten, gäbe es auch keine Maschinenethik in dem Sinne einer Ethik, die der Deliberation von Maschinen zugänglich wäre. In den vorhergehenden Abschnitten wurden ganz unterschiedliche und auch voneinander unabhängige Argumente aufgeführt, die gegen die Existenz von moralischen Maschinen sprechen und daher auch gegen eine Maschinenethik als Ethik der Maschinen. Trotzdem berührt die Diskussion um Maschinenethik und moralische Maschinen einen wichtigen Punkt, denn zunehmend statten wir Maschinen mit Aktions- und Interaktionsfähigkeiten aus, die sie in Situationen bringen, die mit moralischen Fragen befrachtet sind. In der englischsprachigen Wikipedia (2017) findet sich folgender Eintrag zu „machine ethics“: „Machine ethics (or machine morality, computational morality, or computational ethics) is a part of the ethics of artificial intelligence concerned with the moral behavior of artificially intelligent beings.“

Liest man diesen Satz in dem Sinne, dass es nicht um Maschinen der oben genannten zweiten, dritten oder vierten Stufe geht, sondern um Maschinen, die sich auf der ersten Stufe bewegen, aber so erscheinen, dass sie weitergehende kognitive und moralische Fähigkeiten besäßen, wird der Satz nicht nur verständlicher, sondern sinnvoller. Denn diesen Maschinen sind moralische Normen und Werte inhärent dadurch, wie sie von Menschen gestaltet wurden. So verstanden adressiert eine Maschinenethik nicht die Maschinen, sondern deren Schöpfer auf allen Ebenen der Gestaltung. Dies wirft aber die Frage auf, warum Maschinen überhaupt so gestaltet werden, dass sie mehr scheinen als sie sind und wie dies möglich ist. Damit muss man sich unweigerlich mit einem Klassiker der KI-Debatte auseinandersetzen.

Maschinenethik und Technikethik

8

157

Turing revisited

Gemeint ist natürlich Alan M. Turing und sein 1950 erschienener Aufsatz „Computing machinery and intelligence“, in dem er den heute sogenannten Turing-Test präsentiert, mit dessen Hilfe entschieden werden soll, ob eine Maschine „intelligent“ ist bzw. „denkt“. Die Grundidee ist einfach: Ein Mensch kommuniziert mit einem Gegenüber, ohne zu wissen, ob dies ein Mensch oder eine Maschine ist. Kann ersterer nicht erkennen, dass er mit einer Maschine interagiert, obwohl dies der Fall ist, hätte diese den Turing-Test bestanden: Man könnte dann sagen, dass diese Maschine „intelligent“ sei bzw. „denke“, weil sie sich so verhalten kann, dass sie für einen Menschen gehalten wird. Ob die Maschine tatsächlich denkt wie ein Mensch, ist irrelevant, denn wichtig ist nur, dass Menschen die Überzeugung hegen, dass sie denkt. Es ist naheliegend, diese Annahme auf Emotionen, Wünsche, Ziele, Intentionen und Motive auszuweiten, da Menschen stets nur das beobachtbare äußere Verhalten zur Beurteilung darüber heranziehen können, ob ein Interaktionspartner denkt, Gefühle besitzt oder Überzeugungen hegt (McCarthy 1979) oder eben moralisch entscheidet. Daher schlagen Allen et al. (2000, S. 254) einen moralischen Turing-Test vor, um der Frage, ob eine Maschine „wirklich“ moralisch urteilen kann, zu entkommen. „Moralisch sein“ wird dann ähnlich operationalisiert wie „denken können“ – über das Bestehen eines Tests: „A Moral Turing Test (MTT) might similarly be proposed to bypass disagreements about ethical standards by restricting the standard Turing Test to conversations about morality. If human ‚interrogators‘ cannot identify the machine at above chance accuracy, then the machine is, on this criterion, a moral agent.“ Dieser Test baut ebenso wie der originale Turing-Test darauf auf, dass Menschen bereit sind, Maschinen bestimmte Vermögen aufgrund deren Verhaltens zuzuschreiben. Tatsächlich scheinen Menschen sehr weitgehende Zuschreibungen vorzunehmen. Joseph Weizenbaum berichtet schon in den 1960er-Jahren davon, dass Menschen mit dem von ihm erstellten recht einfachen Programm ELIZA (Weizenbaum 1966) sehr intime Gespräche führten. Viele neuere theoretische und empirische Studien zeigen, dass Menschen tatsächlich bereits sind, Maschinen trotz eigentlich geringer Interaktionsfähigkeiten weitgehende kognitive und auch emotionale Fähigkeiten zuzuschreiben (Draude 2011; Misselhorn 2009; Slater et al. 2006). Daher ist es naheliegend anzunehmen, dass sich Menschen in Bezug auf die Fähigkeit des moralischen Räsonierens ähnlich verhalten werden. Denkt man daran, dass Menschen in manchen kulturellen Kontexten unbelebten Gegenständen Seelen zuschreiben, dass im Mittelalter Tiere für deren Taten gerichtlich verurteilt wurden oder Menschen mit aufblasbaren Gummipuppen zusammenleben, gewinnen solche Überlegungen zusätzlich an Plausibilität. Entscheidend ist die Fähigkeit und Bereitschaft von Menschen, solche Zuschreibungen vorzunehmen, um Ereignisse und Prozesse, die sie sich selbst und anderen ansonsten nicht erklären könnten, trotzdem verständlich und damit auch bis zu einem gewissen Grad beherrschbar zu machen. Sie nehmen dann, wie es Daniel C. Dennett (1994) ausdrückt, einen intentionalen Standpunkt in der Interaktion mit dem Gegenüber ein.

158

K. Weber und T. Zoglauer

Unsere Bereitschaft und Fähigkeit zu solchen Zuschreibungen, vielleicht sogar deren Unvermeidlichkeit, lässt sich bei der Gestaltung von Maschinen, die eng mit Menschen interagieren sollen, sinnvoll einsetzen. Sind die menschlichen Interaktionspartner der Ansicht, dass das technische Gegenüber denkt, fühlt, glaubt, wünscht und damit uns ähnlich ist, sind Interaktionen meist erfolgreicher. In vielen Fällen ist die emotionale Seite der Interaktion sogar wichtig oder entscheidend: Die Stimmen für das GPS-Navigationsgerät im Auto wurden sicherlich auch so ausgewählt, dass sie Vertrauen erwecken können. Bei der Stimme im Pkw, die uns dazu anhält, uns anzuschnallen, geht es letztlich um Überredung (IJsselsteijn et al. 2006). Die Unterstützung medizinischer Therapien mithilfe von Robotern funktioniert in vielen Fällen explizit nur über die Adressierung von Emotionen, so beispielsweise im Fall der künstlichen Robbe Paro, die bei der Therapie demenziell veränderter Menschen eingesetzt wird, um die soziale Isolation dieser Menschen aufzubrechen und die Interaktion zwischen ihnen und dem Pflegepersonal zu erleichtern (Kidd et al. 2006).

9

Schlussfolgerungen

Selbst wenn programmierte Maschinen, die zunehmend unseren Alltag (mit-) bestimmen, den Eindruck erwecken, dass sie moralische Agenten seien, folgen sie doch nur den durch Menschen vorgegebenen Regeln und können sich grundsätzlich nicht von diesen befreien. Im besten Fall wurden diese Regeln wohlbedacht, im schlechtesten Fall spiegeln sie die Vorurteile und normativen Schwächen ihrer Schöpfer wider. Bisher gibt es aber keinen Anlass, davon zu sprechen, dass Maschinen selbst ein moralisches Urteil gefällt hätten. Existierende Maschinen sind keine moralische Agenten und entwickeln keine eigene Moral. Die vielen Situationen, von denen weiter oben bereits gesprochen wurde, sind für die involvierten Maschinen keine moralischen Dilemmata, sondern schlicht Situationen, für die bisher keine geeigneten Regeln formuliert werden konnten: Wir stünden in solchen Situationen möglicherweise vor einem moralischen Dilemma, weil wir anhand moralischer Erwägungen entscheiden wollen, wie wir handeln sollen – ob wir beispielsweise den Vater mit Kinderwagen überfahren oder eben die alte Frau mit Rolli. Allerdings muss hinzugefügt werden: Wir mögen dies im Vorfeld entscheiden wollen oder im Nachgang feststellen, ob wir moralisch richtig gehandelt haben. Die konzeptionelle Schwäche dieser Szenarien ist jedoch, dass in der konkreten Situation gar keine Entscheidung im eigentlichen Sinne stattfindet, sondern eine Instinktreaktion. Gäbe es die Zeit zum moralischen Räsonieren, hätte man in solchen Situationen vermutlich immer eine Option, die keine Schäden für Mensch und Material nach sich zieht. Menschen neigen nun dazu, Maschinen, die in solche Situationen geraten, die gleiche Entscheidungsstruktur zuzuschreiben, weil ansonsten die „Entscheidung“ der Maschine kognitiv nicht mehr durchdringbar ist – Menschen nehmen also einen intentionalen Standpunkt ein, um die Situation zu rationalisieren, und sie vermuten Moral, wo bloßes Kalkül regiert. Doch dieses Unvermögen aufseiten der beteiligten Menschen rechtfertigt nicht die Rede von moralischen Agenten und Maschinenethik im Sinne einer Ethik für Maschinen von Maschinen. Ähnlich wie im Fall von Bio-,

Maschinenethik und Technikethik

159

Medizin-, Technik- oder Informationsethik – um nur einige Bindestrichethiken aufzuzählen – gibt es aber tatsächlich gute Gründe, über eine Maschinenethik nachzudenken. Die Entwicklung angewandter Ethiken stellt eine Reaktion auf eine normative Bedarfslage dar: Wissenschaftliche Erkenntnisse oder technische Innovationen ließen es notwendig werden, für eine bestimmte Anwendungsdomäne spezifische normative Lösungen zu finden. Dies wäre eben die Aufgabe einer Maschinenethik im Fall von mit Künstlicher Intelligenz ausgestatteten technischen Systemen. Maschinen so zu gestalten, dass sie als moralische Agenten akzeptiert werden, birgt eine große Versuchung. Auch diese Maschinen werden ohne Zweifel versagen, Fehler begehen, Besitz zerstören, Menschen schaden und andere moralisch fragwürdige Dinge tun, denn Menschenwerk ist nie perfekt und ohne Fehler. Aber die Rede von moralischen Agenten impliziert, sie selbst für ihre Aktionen und deren Folgen verantwortlich zu machen, wie es Allen et al. (2005, S. 149) formulieren: „Artificial morality shifts some of the burden for ethical behavior away from designers and users, and onto the computer systems themselves.“ Die Schöpfer von solchen Maschinen wären also bis zu einem gewissen Grad exkulpiert, wenn ihre Geschöpfe moralisch fragwürdige Dinge vollziehen. Dies erscheint problematisch, da ein überzeugender Ersatz für die Übernahme von Verantwortung durch diese Verschiebung noch lange nicht identifiziert worden wäre. Doch man kann diese ganze Debatte mit Friedman und Kahn (1992) schlicht als verfehlt ansehen, da zumindest heute existierende Maschinen keinerlei Intentionen hätten und daher auch eine notwendige Bedingung für einen moralischen Agenten nicht erfüllten – als Bedingung der Möglichkeit von moralischem Handeln werden häufig mentale Zustände, Intentionen, Bewusstsein oder Selbstbewusstsein genannt. Allerdings lassen sich Menschen, wie oben schon angedeutet, sehr leicht davon überzeugen, dass diese Bedingungen erfüllt sind. Daher macht es Sinn, den Blickwinkel zu verändern, so wie es Coeckelbergh (2009, S. 181) vorschlägt: „I propose an alternative route, which replaces the question about how ‚moral‘ non-human agents really are by the question about the moral significance of appearance. [. . .] I propose to redirect our attention to the various ways in which non-humans, and in particular robots, appear to us as agents, and how they influence us in virtue of this appearance.“

Die im vorliegenden Beitrag nur am Rande angesprochenen ontologischen und epistemologischen Fragen sind sicherlich interessant, doch angesichts der heute schon fast allgegenwärtigen intelligent und moralisch erscheinenden Maschinen ist es bereits aus pragmatischer Sicht unverzichtbar, darüber nachzudenken, was diese Maschinen mit uns normativ anstellen. Denn ebenso wie es derzeit keine moralischen Agenten gibt, die in einem strengen Sinne diese Bezeichnung verdienen, existieren derzeit auch keine auf als moralisch erscheinende Agenten anwendbaren moralischen Normen. Die oben skizzierte Zuschreibung von Moral an Maschinen hat jedoch trotzdem zur Folge, dass es einen dringenden Bedarf nach solchen Normen gibt. Nicht weil wir bereits moralische Agenten bauen könnten, sondern weil sie durch bloße Zuschreibung zur Existenz gebracht werden. Wenn diese Feststellung zutrifft, müssen jene dringend benötigten moralischen Normen die

160

K. Weber und T. Zoglauer

Akteure adressieren, die Maschinen gestalten, nicht die Maschinen selbst (dazu widersprechend Floridi und Sanders 2001). Wie immer dann solche Normen aussähen, sie müssten in jedem Fall folgende Forderung erfüllen (Johnson und Miller 2008, S. 132, Kursiv KW/TZ): „[T]he implication of our analysis is that discourse at this level should reflect and acknowledge the people who create, control, and use computer systems. In this way, developers, owners, and users are never let off the hook of responsibility for the consequences of system behavior.“

Literatur Allen, Colin, et al. 2000. Prolegomena to any future artificial moral agent. Journal of Experimental & Theoretical Artificial Intelligence 12:251–261. Allen, Colin, et al. 2005. Top-down, bottom-up, and hybrid approaches. Ethics and Information Technology 7:149–155. Anderson, Susan Leigh. 2007. Asimov’s „three laws of robotics“ and machine metaethics. AI & Society 22:477–493. Anderson, Michael, und Susan Leigh Anderson. 2007. Machine ethics: Creating an ethical intelligent agent. AI Magazine 28:15–25. Anderson, Michael, und Susan Leigh Anderson. 2011a. Machine ethics. Cambridge: Cambridge University Press. Anderson, Susan Leigh, und Michael Anderson. 2011b. A prima facie duty approach to machine ethics. In Machine ethics, Hrsg. Michael und Susan Leigh Anderson, 476–492. Cambridge: Cambridge University Press. Beauchamp, Tom L. 2010. Standing on principles. New York/Oxford: Oxford University Press. Beauchamp, Tom, und James Childress. 1994. Principles of biomedical ethics, 4. Aufl. New York/ Oxford: Oxford University Press. Beck, Susanne. 2016. The problem of ascribing legal responsibility in the case of robotics. AI & Society 31:473–481. Becker, Heidrun, et al. 2013. Robotik in Betreuung und Gesundheitsversorgung. Zürich: vdf Hochschulverlag (TA-Swiss 58/2013). Beran, Ondřej. 2017. An Attitude Towards an Artificial Soul? Responses to the „Nazi Chatbot“. Philosophical Investigations, Online first 09.14.2017. Biniok, Peter, und Eric Lettkemann, Hrsg. 2017. Assistive Gesellschaft. Wiesbaden: Springer. Bonnefon, Jean-Francois, et al. 2016. The social dilemma of autonomous vehicles. Science 352:1573–1576. Brandom, Robert B. 2001. Begründen und Begreifen. Eine Einführung in den Inferentialismus. Frankfurt a. M.: Suhrkamp. Callon, Michel. 1991. Techno-economic networks and irreversibility. In A sociology of monsters. Essays on power, technology and domination, Hrsg. John Law, 133–165. London: Routledge. Calverley, David J. 2008. Imagining a non-biological machine as a legal person. AI & Society 22:523–537. Cath, Corinne, et al. 2017. Artificial intelligence and the ‚good society‘: The US, EU, and UK approach. Science and Engineering Ethics 28:1–24. Clark, Andy, und David Chalmers. 1998. The extended mind. Analysis 58:7–19. Coeckelbergh, Mark. 2009. Virtual moral agency, virtual moral responsibility: On the moral significance of the appearance, perception, and performance of artificial agents. AI & Society 24:181–189.

Maschinenethik und Technikethik

161

Daniel, Manfred, und Dieter Striebel. 1993. Künstliche Intelligenz, Expertensysteme. Wiesbaden: VS Verlag für Sozialwissenschaften. Davis, Ernest. 2016. AI Amusements: The tragic tale of tay the chatbot. AI Matters 2:20–24. Dennett, Daniel C. 1994. Philosophie des menschlichen Bewußtseins. Hamburg: Hoffmann & Campe. Draude, Claude. 2011. Intermediaries: Reflections on virtual humans, gender, and the uncanny valley. AI & Society 26:319–327. Ethik-Kommission. 2017. Automatisiertes und Vernetztes Fahren. Berlin: Bundesministerium für Verkehr und digitale Infrastruktur. http://www.bmvi.de/SharedDocs/DE/Anlage/Presse/084dobrindt-bericht-der-ethik-kommission.pdf. Zugegriffen am 17.07.2017. Fischer, Martin. 2012. Interdisciplinary technology assessment of service robots: The psychological / work science perspective. Poiesis & Praxis 9:231–248. Floridi, Luciano. 2013. The ethics of information. Oxford: Oxford University Press. Floridi, Luciano, und John W. Sanders. 2001. Artificial evil and the foundation of computer ethics. Ethics and Information Technology 3:55–66. Friedman, Batya, und Peter H. Kahn Jr. 1992. Human agency and responsible computing: Implications for Computer System Design. Journal of Systems and Software 17:7–14. Friesdorf, Wolfgang, et al. 2007. Sentha, seniorengerechte Technik im häuslichen Alltag: Ein Forschungsbericht mit integriertem Roman. Berlin/New York: Springer. Galliott, Jai. 2015. Military robots. Farnham: Ashgate. Goodall, Noah J. 2014. Ethical decision making during automated vehicle crashes. Journal of the Transportation Research Board 2424:58–65. Gransche, B., et al. 2014. Wandel von Autonomie und Kontrolle durch neue Mensch-TechnikInteraktionen. Stuttgart: Fraunhofer Verlag. Grunwald, Armin. 2002. Technikfolgenabschätzung – eine Einführung. Berlin: Edition Sigma. Hanson, F. Allan. 2008. The anachronism of moral individualism and the responsibility of extended agency. Phenomenology and the Cognitive Sciences 7:415–424. Hanson, F. Allan. 2009. Beyond the skin bag: On the moral responsibility of extended agencies. Ethics and Information Technology 11:91–99. Hellström, Thomas. 2013. On the moral responsibility of military robots. Ethics and Information Technology 15:99–107. Hevelke, Alexander, und Julian Nida-Rümelin. 2015a. Selbstfahrende Autos und TrolleyProbleme: Zum Aufrechnen von Menschenleben im Falle unausweichlicher Unfälle. Jahrbuch für Wissenschaft und Ethik 19:5–23. Hevelke, Alexander, und Julian Nida-Rümelin. 2015b. Ethische Fragen zum Verhalten selbstfahrender Autos bei unausweichlichen Unfällen: Der Schutz von Unbeteiligten. Zeitschrift für Philosophische Forschung 6:217–224. Hirsch, Peter Buell. 2017. The Robot in the window seat. Journal of Business Strategy 38:47–51. IJsselsteijn, Wijnand A., et al. 2006. Persuasive technology for human well-being: Setting the scene. In Persuasive technology, Hrsg. Wijnand IJsselsteijn. 1–5. LNCS 3962. Berlin/Heidelberg: Springer. Johnson, Deborah G. 2015. Technology with no human responsibility? Journal of Business Ethics 127:707–715. Johnson, Deborah G., und Keith W. Miller. 2008. Un-making artificial moral agents. Ethics and Information Technology 10:123–133. Kant, Immanuel. 1983. Metaphysik der Sitten, Rechtslehre. In Werke in zehn Bänden, Hrsg. W. Weischedel, Bd. 7. Darmstadt: Wissenschaftliche Buchgesellschaft. Kidd, Cory D., et al. 2006. A sociable robot to encourage social interaction among the elderly. In Proceedings of the 2006 I.E. International conference on robotics and automation, 3972–3976. Latour, Bruno. 1996. On actor-network theory. A few clarifications. Soziale Welt 47:369–381. Lenk, Hans. 1994. Macht und Machbarkeit der Technik. Stuttgart: Reclam. Lenk, Hans, und Matthias Maring. 2017. Verantwortung in Technik und Wissenschaft. In Handbuch Verantwortung, Hrsg. Ludger Heidbrink, 715–731. Wiesbaden: Springer VS.

162

K. Weber und T. Zoglauer

Leslie-McCarthy, Sage. 2007. Asimov’s posthuman pharisees: The letter of the law versus the spirit of the law in Isaac Asimov’s robot novels. Law, Culture and the Humanities 3:398–415. Lin, Patrick. 2015. Why ethics matters for autonomous cars. In Autonomes Fahren, Hrsg. Markus Maurer et al., 69–85. Berlin: Springer. Maring, Matthias. 2001. Kollektive und korporative Verantwortung. Münster: Lit. Matthias, Andreas. 2004. The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology 6:175–183. Maurer, Markus, et al., Hrsg. 2015. Autonomes Fahren. Technische, rechtliche und gesellschaftliche Aspekte. Berlin: Springer. McCarthy, John. 1979. Ascribing mental qualities to machines. In Philosophical perspectives in artificial intelligence, Hrsg. Martin Ringle, 161–195. Brighton: Humanities Press. Misselhorn, Cathrin. 2009. Empathy with inanimate objects and the Uncanny Valley. Minds and Machines 19:345–359. Nida-Rümelin, Julian. 2011. Verantwortung. Stuttgart: Reclam. Noorman, Merel, und Deborah G. Johnson. 2014. Negotiating autonomy and responsibility in military robots. Ethics and Information Technology 16:51–62. Ott, Ingrid. 2012. Service robotics: An emergent technology field at the interface between industry and services. Poiesis & Praxis 9:219–229. Pereboom, Derk. 2001. Living without free will. Cambridge: Cambridge University Press. Poel, Ibo van de. 2015a. Moral responsibility. In Moral responsibility and the problem of many hands, Hrsg. Ibo van de Poel and Lambèr Royakkers, 12–43. New York/London: Routledge. Poel, Ibo van de. 2015b. The problem of many hands. In Moral responsibility and the problem of many hands, Hrsg. Ibo van de Poel and Lambèr Royakkers, 50–92. New York/London: Routledge. Poel, Ibo van de, und Lambèr Royakkers. 2011. Ethics, technology, and engineering. Malden/ Oxford: Wiley-Blackwell. Powers, Thomas. 2006. Prospects for a Kantian machine. IEEE Intelligent Systems 21:46–51. Pritchard, Michael S. 2001. Responsible engineering: The importance of character and imagination. Science and Engineering Ethics 7:391–402. Reijers, Wessel, et al. 2017. Methods for practising ethics in research and innovation: A literature review, critical analysis and recommendations. Science and Engineering Ethics 1–45. first online 09.12.2017. Renn, Ortwin. 2014. Das Risikoparadox. Frankfurt a. M.: Fischer. Ropohl, Günter. 1996. Ethik und Technikbewertung. Frankfurt a. M.: Suhrkamp. Ross, William David. 2002. The right and the good, Hrsg. P. Stratton-Lake. Oxford: Oxford University Press. Searle, John R. 2009. Kollektive Absichten und Handlungen. In Kollektive Intentionalität, Hrsg. Hans Bernhard Schmid und David P. Schweikhard, 99–118. Frankfurt a. M.: Suhrkamp. Singer, Peter. 1990. Animal liberation. New York: Avon Books. Slater, Mel, et al. 2006. A virtual reprise of the Stanley Milgram obedience experiments. PLoS ONE 1(1): e39. Sparrow, Robert. 2007. Killer robots. Journal of Applied Philosophy 24:62–77. Sullins, John P. 2011. When is a robot a moral agent? In Machine ethics, Hrsg. Michael und Susan Leigh Anderson, 151–161. Cambridge: Cambridge University Press. Taleb, Nassim Nicholas. 2010. The black swan. London: Penguin. Turing, Alan M. 1950. Computing machinery and intelligence. Mind 54:433–457. Vallor, Shannon. 2016. Technology and the virtues. New York: Oxford University Press. Wallach, Wendell, und Colin Allen. 2009. Moral machines. New York: Oxford University Press. Weber, Karsten, et al., Hrsg. 2015. Technisierung des Alltags – Beitrag für ein gutes Leben? Stuttgart: Steiner. Weizenbaum, Joseph. 1966. ELIZA – A computer program for the study of natural language communication between man and machine. Communications of the ACM 9:36–45. Wikipedia. 2017. https://en.wikipedia.org/wiki/Machine_ethics. Zugegriffen am 30.05.2017.

Maschinenethik und Technikethik

163

Wynsberghe, Aimee van. 2013. Designing robots for care: Care centered value-sensitive design. Science and Engineering Ethics 19:407–433. Zoglauer, Thomas. 2016. Wie Robotik, Neuroprothetik und Cyborg-Technologien unser Verständnis von Handlung und Verantwortung verändern. In List und Tod (Jahrbuch Technikphilosophie), Hrsg. Gerhard Gamm et al., 189–203. Zürich/Berlin: Diaphanes. Zoglauer, Thomas. 2017. Logik in der Ethik. Eine normenlogische Analyse moralischer Dilemmata. In Logik in den Wissenschaften, Hrsg. Peter Klimczak und Thomas Zoglauer, 61–81. Münster: Mentis.

Teil IV Maschinenethik, Robotik und Künstliche Intelligenz

Maschinenethik und Robotik Julian Nida-Rümelin und Fiorella Battaglia

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Embodied oder nicht embodied? Robotik, Künstliche Intelligenz und Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Robotik und Narrationen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Robotik und Maschinenethik: Der Fall des Lernens . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

168 169 173 179 183 183

Zusammenfassung

Robotik ist der Hauptgegenstand der Maschinenethik. Die Maschinenethik hat sicherlich einen ihrer Schwerpunkte in den physikalisch existierenden Maschinen wie Robotern oder künstlichen Körperteilen. Die Verkörperung scheint hier beilegend/auflösend zu sein, wenn es um die Aufteilung der Anwendungsbereiche der Maschinenethik geht. Es gibt nämlich Maschinen, die nicht physikalisch beschaffen sind (wie z. B. Assistenzsysteme). Es wäre dennoch eine Verkürzung zu meinen, dass „Verkörperung“ nur bei dieser Klassifikationsfrage eine Rolle spielen würde. Zu klären, wie „Verkörperung“ in der konzeptuellen Frage bei dem Verständnis von KI involviert ist und wie daraus ein weiterführendes Verständnis als Ergebnis erwartet werden kann, ist der Startpunkt dieses Beitrags. Denn damit verbunden sind ethisch relevante Fragen. Eine zweite entscheidende Dimension für den Zusammenhang „Maschinenethik und Robotik“ ist die der Vielschichtigkeit der Narrationen, die die Robotik prägen. Der Fokus auf den Charakter des zielgerichteten Handelns, das die Roboter zu Werkzeugen im Dienste des Menschen werden lässt, lässt den kreativen Aspekt unberücksichtigt, der dennoch für Maschinenethik ein relevantes J. Nida-Rümelin · F. Battaglia (*) Fakultät für Philosophie, Wissenschaftstheorie und Religionswissenschaft, Ludwig-MaximiliansUniversität München, München, Deutschland E-Mail: [email protected]; [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_12

167

168

J. Nida-Rümelin und F. Battaglia

Narrativ darstellt. Die Verfahren, die diese Aspekte zusammenbringen, genießen in der Maschinenethik ein fragwürdiges Ansehen. Wir möchten die These vertreten, dass ohne die Komplexität einer solchen Verflechtung von Narrativen die ethische Einschätzung an einigen Stellen blind bleibt. Beispielsweise hebt das „Ego des Chirurgen“ den Überschuss hervor, der zu den Narrationen des zielgerichteten Handelns komplementär ist. Drittens weisen epistemische Opazität und die von Robotern begangenen Fehler und Diskriminierungen auf die ethischen Fragen im Umgang mit dem maschinellen Lernen hin. Schlüsselwörter

Maschinenethik · Robotik · Künstliche Intelligenz · Verkörperung · Narrationen · Bias · Diskriminierungen · Epistemic Opacity

1

Einleitung

Robotik trifft Maschinenethik. Dieses Treffen ist nicht nur verschiedentlich bedingt, sondern weist auch verschiedene Implikationen auf. Zunächst ist anzumerken, dass die Entwicklung der Künstlichen Intelligenz berücksichtigt werden muss, wenn man den Zusammenhang zwischen Robotik und Maschinenethik erläutern will. Das Verhältnis von Robotik zur Künstlichen Intelligenz hat sich nämlich geändert. Die Repräsentation der Künstlichen Intelligenz hat eine Entwicklung durchgemacht. Im Zuge dieser Entwicklung hat sich die Leitidee der Robotik tief greifend verändert. Sie hat sich vom Spezialbereich der Künstlichen Intelligenz, weil sie ihr dazu die Möglichkeit der Verkörperung bietet, bis hin zum Ursprungsbereich, aus dem sich theoretische Reflexionen ergeben, die das Wesen selbst der Künstlichen Intelligenz herausfordern, entwickelt. Kurz gesagt: Die Robotik ist kein Anwendungsbereich der Künstlichen Intelligenz mehr, sondern erfordert auch theoretische Klärungen, die den Kerngedanken der Künstlichen Intelligenz prägen. Diese Umkehrung kann folgendermaßen so charakterisiert werden. Künstliche Intelligenz wird ausgehend von der Robotik und den robotischen Ausführungen modelliert und nicht in einer derivativen Weise aus der Beobachtung, was im menschlichen Gehirn passiert, verstanden. Diese Veränderung spiegelt sich wiederum in den entsprechenden systematisierenden Versuchen aus der Sicht der Maschinenethik. Während die erste Auffassung eine normative realistische Position unterstützt, unterstützt die zweite Auffassung explizit eine naturalistische Ethik. Diese ist leider entweder mangelhaft, da bei ihrem Ansatz die Gründe unterbestimmt bleiben, oder sie soll den Weg einer Checkliste eingehen, die keine Rechtfertigung aufweisen kann. Damit wollen wir die Evolution der Künstlichen Intelligenz aus der Sicht der Technik nicht kritisch beleuchten. Es sind ausschließlich die theoretischen Folgen, die für die Maschinenethik grundlegend sind, infrage gestellt. Zweitens ist die Robotik durch verschiedene Narrationen geprägt. Diese Tatsache ist für die Maschinenethik nicht unerheblich, da die Robotik die Narrationen des Ingenieurwesens, der Science-Fiction-Literatur und des -Films verbindet. Von diesen zwei Seiten ist auch die Maschinenethik versorgt. Ein besonders interessanter Son-

Maschinenethik und Robotik

169

derfall dieser Narrationen verbindet Robotik und Psychoanalyse. Darunter bildet die chirurgische Robotik einen interessanten Fall für ethische Einschätzungen. Diese Analyse, die die zentralen Begriffe der Robotertechnik und der tiefenpsychologischen Hypothesen zusammenbringt, ist unter dem Begriff des „chirurgischen Ichs“ erfasst. Die Entwicklung von Sensoren und universellen Anschlussmöglichkeiten macht es möglich, dass ein kontinuierlicher Datenfluss gesendet wird. Neuartige SoftwareArchitekturen und Algorithmen machen den Weg frei für komplexere automatische Entscheidungsfindungen. Dank größerer Rechenkapazität nimmt das Repertoire der Möglichkeiten für autonome Systeme zu. Es bestehen immer noch Einschränkungen und Bedenken. Diese Nachfolger der traditionellen Robotik sind in der Lage, automatische Entscheidungen zu treffen ohne direkten menschlichen Eingriff. Meistens stützen sich solche autonome Maschinen auf das maschinelle Lernen, da dieses eine leistungsstarke Möglichkeit bietet, die Entscheidungsfindung zu automatisieren. Die Ergebnisse sind allerdings nicht immer makellos. Wenn etwas nicht richtig funktioniert, können Daten, Algorithmen oder dem Modell die Schuld zugesprochen werden. Drittens stellt das Lernen – das maschinelle Lernen der Roboter – den Ursprung einiger ethischer Probleme in der Robotik dar. Aus der Sicht der Maschinenethik sind Rassismus und Sexismus, die die Roboter auch selbstständig lernen können, zu berücksichtigen. Vorurteile sind dann kein menschenspezifisches Phänomen, das höhere kognitive Leistungen erfordert, sondern eher automatisch übertragbar. Die daraus entstehenden Diskriminierungen und Missachtungen, die zur Dehumanisierung führen, sind dabei zu beachten.

2

Embodied oder nicht embodied? Robotik, Künstliche Intelligenz und Maschinenethik

Die menschliche Praxis mit Industrierobotern, Servicerobotern und Prothesen macht den zentralen Bereich der Maschinenethik aus. Und dennoch endet diese sicherlich nicht mit der Robotik. Es muss nämlich berücksichtigt werden, dass es Maschinen gibt, die nicht embodied sind, wie die Assistenzsysteme, die allerdings andere menschliche Funktionen ausführen, die nicht notwendigerweise eine physikalische Handlung in der Umwelt erfordern. Aus diesem Grund erschöpft sich die Maschinenethik nicht in der Robotik, sondern die Robotik überwiegt. Zusätzlich verdient das Thema der Verkörperung weitere Ausführungen, die auch für die Maschinenethik relevant sind. Diese Ausführungen betreffen die Entwicklung der Repräsentation der Künstlichen Intelligenz und deren begriffliche Systematisierung. Es ist eine Tatsache, dass der Übergang von der Robotik als Anwendung der Künstlichen Intelligenz hin zur Robotik als „Intelligenz ohne Repräsentation“ eine Evolution seitens der Künstlichen Intelligenz vollzogen hat, die Vorläuferin weiteren technischen Fortschritts ist. In diesem Zusammenhang sind auch die maschinenethischen Folgen zu nennen. Welche hauptsächlich auf die Naturalisierung des Erklärungsmodells zurückzuführen sind, die nicht ebenfalls Vorläufer weiteren gesellschaftlichen Fortschrittes sind. Die These lautet in diesem

170

J. Nida-Rümelin und F. Battaglia

Zusammenhang: Wenn die Evolution der Intelligenz einen technischen Fortschritt verzeichnen kann, bedeutet das nicht unbedingt, dass damit die Struktur des Entscheidungsprozesses infrage gestellt werden soll. Wird es trotzdem gemacht, kommen gleichzeitig Risiken auf. Intelligenz gehört zweifellos, wie Bewusstsein und Überzeugungen, zu den zentralen Begriffen sowohl der theoretischen als auch der praktischen Vernunft. Wer rational handeln will, soll nicht nur Überzeugung haben, sondern auch über Intentionen verfügen können, die seine Handlung leiten sollen, damit die Zwecke erreicht werden können, die sich der Handelnde gestellt hat. In der Regel spricht man bei practical reasoning nicht von „Intelligenz“. Der Begriff „Intelligenz“ ist in Bezug auf die Maschine eingeführt worden, um den Bereich mit dem Menschen vergleichen zu können. Erst über diesen Vergleich mit der menschlichen Leistung hat die Maschine nachträglich den Status von einer dem Menschen gleichen (oder danach strebenden oder besseren) Entität erworben. Der nächste Schritt in dieser Evolution der Repräsentation der Intelligenz ist der der Zerlegung des Prozesses. Dies ist ein sinnvoller Schritt. Mit der Zerlegung der Intelligenz ist nämlich der Weg für eine Automatisierung der Intelligenz bereitet. Daraus haben sich jedoch auch weitreichende Folgen für die Interpretation des Bewusstseins ergeben, die nicht mit dieser Evolution impliziert waren. Denn so konnte je einzeln analysiert werden, ob diese Leistungen oder die Handlung nicht nur technisch ausführbar sind, sondern auch auf physikalischer Ebene erklärbar sind. Die Zerlegung der Intelligenz wird im Rahmen der embodied Künstlichen Intelligenz mit der Auffassung einer Naturalisierung des Bewusstseins gleichgesetzt. Dies ist für die ethische Einschätzung mit einem Verlust vergleichbar, weil sie einer Unbestimmtheit gleichwertig ist. Das klassische Modell der computing machinery, von dem auch das Modell der Intelligenz abstammt, ist im Wesentlichen von Alan Turing in seinem Mind-Aufsatz von 1950 geprägt worden. Dieses Modell besagt, dass eine solche computing machinery unabhängig von dem Medium ist, das sie ausdrückt. In dieser Konzeption ist das Gehirn einer Turing-Maschine gleichgestellt, die ihre Symbolverarbeitung durchführt und den menschlichen Körper steuert, den sie als ihre Peripherie betrachtet. Dieses Modell spiegelt sich auch im neurologischen Denken wider, das das Gehirn als Steuerungssystem versteht und das ganze zentrale Nervensystem als ein selbstständiges System betrachtet, das vom Gehirn getrennt ist. Ziel der Forschung ist bei diesem Programm das Nachbilden der menschlichen Intelligenz durch maschinelle Intelligenz. Im Gegensatz dazu sieht das verkörperte Intelligenzmodell der embodied Robotik die physische Manifestation des Körpers als primär an und damit das Gehirn als Verhaltensmodulator und nicht als zentrales Steuerungssystem. Wie Rodney Brook schreibt, kann diese konzeptionelle Umkehrung ohne dramatische Folgen für Funktionen wie motorische Funktionen sein. Sie wird jedoch zu einem Vorboten realer Revolutionen, wenn es darum geht, Wahrnehmung und Denken und vor allem die Intelligenz selbst zu analysieren. Gemäß dieser Konzeption kann man also sagen, dass die grundlegende Frage ist, wie sich ein Körper auf die Intelligenz auswirkt. Als Konsequenz sehen Pfeifer und Bongard auch Änderungen in der Methode. Die Forschung im Bereich der Künst-

Maschinenethik und Robotik

171

lichen Intelligenz wird somit zu einem der wichtigsten Themen und kann als „understanding by building“ erfasst werden (2007, S. xviii). Es geht nicht nur um das Verständnis von Künstlicher Intelligenz, sondern es wird daraus auch ein weiterführendes Verständnis als Ergebnis erwartet, dessen Auswirkungen in der Biologie und der Philosophie relevant sind. Aber vor allem erlaubt eine solche Methode, die diese Evolution begleitet, auch die Erschaffung neuer Formen der Intelligenz, „intelligence as it could be“. Die Radikalität ihres Projekts veranlasst die Autoren, eine autonome Klassifizierung vorzuschlagen. Die erste Richtung der Forschung wäre für die Entwicklung von Robotern und Algorithmen bestimmt und eine andere für die Erklärung der Künstlichen Intelligenz. Diese letzte Forschungsrichtung ist die der verkörperten Künstlichen Intelligenz. Rodney Brooks hatte sich eher für eine Kombination der beiden Forschungsgegenstände eingesetzt: „Die Fähigkeiten von intelligenten Systemen müssen schrittweise aufgebaut werden, wobei wir auf jedem Schritt des Weges vollständige Systeme haben sollten, um so automatisch sicherzustellen, dass die Einzelteile und ihre Schnittstellen auch funktionieren“ (Brooks 2013). Der Erfolg der embodiedPerspektive hat weitreichende Konsequenzen. Es ist interessant zu beobachten, dass die jüngsten Versuche, die visuelle Wahrnehmung zu verstehen, sich in die gleiche Richtung bewegen (O’Regan und Noë 2001). Auch aus juristischer Sicht hat diese Strömung in der Evolution der Künstlichen Intelligenz weitreichende Implikationen. Die Fokussierung auf die körperliche Dimension der Robotik trägt dazu bei, Roboter dem Menschen näher zu bringen und sie so als parasitäre Elemente zu sehen, die sich den menschlichen Status zu eigen machen (Kersten 2015). Kersten analysiert den Fall von Prothesen und Implantaten. Dabei fragt er sich, ob die Maschinen die Menschen beherrschen würden. Und er antwortet darauf aus juristischer Perspektive, die wiederum eine Provokation für unser Selbstverständnis angesichts der Maschinen darstellt. Die Mensch-Maschine-Interaktion „wird zu einer Herausforderung des höchstpersönlichen Selbstverständnisses. Wenn schließlich Maschinen im Verhältnis zu ihrem menschlichen Gegenüber immer autonomer und intelligenter handeln, emanzipieren sie sich von ihrer passiven Sacheigenschaft und provozieren zugleich unser Verständnis von Intersubjektivität, das wir traditionell für zwischenmenschliche Beziehungen reservieren.“ (Kersten 2016). Wenn die Maschinen in unserem Körper implantiert werden, erleben sie einen neuen Status. Aufgrund der Symbiose verlieren sie ihre ontologische Sacheigenschaft. Als Ergebnis und aufgrund des Würdeanspruchs und des Persönlichkeitsrechts ihres Trägers werden sie als Teil von dessen Persönlichkeit geschützt. Indem die Maschinen Körperteile werden, erwerben sie den Schutz, den der menschliche Träger genießt. Dass die Körperdimension relevant ist, zeigt sich auch daran, dass sich die künstlich verkörperte Intelligenz unabhängig von den beiden bisherigen Ansätzen entwickelt hat. Diese beschränkten sich zunächst auf die Ausarbeitung von Symbolen oder haben sich stattdessen mit Künstlichen Neuronalen Netzen zur Simulierung von Künstlicher Intelligenz befasst und waren dabei von Konnektionismus inspiriert (Misselhorn 2018). Die embodied Künstliche Intelligenz war von Anfang an vom

172

J. Nida-Rümelin und F. Battaglia

Ansatz geleitet, sich von der Abhängigkeit des Gehirnmodells zu lösen. Zusammenfassend können wir feststellen, dass die top-down-Repräsentation der Künstlichen Intelligenz eine Zusammensetzung diverser Elemente ist. Die logische Struktur, die ihr zugrunde liegt, ist die einer Aktion, die auf die Erreichung eines bestimmten Ziels abzielt. Es ist ein Fall des teleologischen Handelns und entspricht dem zweckrationalen Handeln, einem zielgerichteten Handeln. Dabei werden mehrere Schritte erkannt. Der erste Schritt umfasst die Wahrnehmung der Umwelt, deren konsequenten Modellierung, um so zu einer auf Wissen basierten Darstellung zu gelangen. Auf diese Weise kann das wissensbasierte Denken ein umweltgerechtes Entscheidungshandeln ermöglichen. Der nächste Schritt ist der des maschinellen Lernens, der aus Sicht der Maschinenethik eine Art black box darstellt, denn das Lernen in den Künstlichen Neuronalen Netzwerken geschieht durch eine Reihe von versteckten Schichten, die sogenannten hidden layers. An dieser Stelle werden Roboter eingesetzt. Schließlich stellen die Roboter nur einen weiteren Schritt dar, der auch weggelassen werden könnte, da sie künstliche Handlungen in einer physikalischen Maschine verrichten. Daher ist ihr Handeln gleichzeitig ein physisches, das Veränderungen in der Welt anstellt. Ein Roboter kann klassischerweise so charakterisiert werden: Ein Roboter ist ein autonomes System, das in der physischen Welt existiert und seine Umgebung kontrolliert, und er kann in seiner Umgebung, um bestimmte Ziele zu erreichen, bestimmte Tätigkeiten verrichten (Mataric 2007). Sie üben dennoch sowohl bei ihren Designern als auch bei ihren Fans eine Faszination aus, die über den aktuellen praktischen Nutzen der Technologie hinausgeht. Für die vollständige Charakterisierung der Beziehung zwischen Maschinenethik, Robotik und Künstlicher Intelligenz müssen drei Elemente eingeführt werden. Zu beachten ist, dass das wirklich Neue an dieser Stelle ist, dass diese Schritte durch die Evolution dieser drei weiteren Elemente unterstützt ist: Daten, Algorithmen und Rechenkapazität haben den Fortschritt ermöglicht. Während die ersten beiden keine wirkliche Neuheit sind, hat sich stattdessen die Rechenleistung in den letzten Jahren erheblich erhöht. Da mit der aktuellen Computertechnologie (mit binärer Hardware und nicht unter Ausnutzung der „Quanten“-Ebenen der Quantenmechanik) die Geschwindigkeit/Kapazität der Berechnung in der Anzahl der elementaren Transistoren pro Prozessor gemessen wird, ist immer noch das Gesetz von Moore gültig, das in seiner letzten Version besagt, dass es eine Verdoppelung der Geschwindigkeit/ Kapazität der Berechnung alle 18 Monate gibt. Ein Beispiel dafür wäre die Rechenkapazität eines Videospiels von 1985 (nintendo), die der des Apollo-11-Computers (der das LEM zur Mondlandung führte) von 1969 gleichzusetzen ist.1 Auf der anderen Seite geht die verkörperte Künstliche Intelligenz von einem ganzheitlichen Konzept der Handlung aus und konzentriert sich auf die Materialien

1

Für das Beispiel als auch für den Hinweis und das gesamte Argument sind wir Alessandro De Luca, Professor für Robotik in Rom, dankbar. https://pages.experts-exchange.com/processingpower-compared.

Maschinenethik und Robotik

173

und deren Eigenschaften, die die Ausführung der Leistung maßgebend charakterisieren. Aus theoretischer Sicht ist es wichtig zu beobachten, dass sich in den beiden Darstellungen von Künstlicher Intelligenz die Rolle der Robotik deutlich verändert. Die zugrunde liegende logische Struktur bleibt unverändert. Im ersten Fall stellt sie nur die mögliche und nicht notwendige Anwendung der Künstlichen Intelligenz. In dem zweiten Fall vermittelt die Robotik ein weiterführendes Verständnis von Künstlicher Intelligenz. Dieser radikale Wandel kann nicht ohne Folgen für Maschinenethik bleiben. Diese Implikationen werden wir im nächsten Absatz berücksichtigen. Bei der Verfremdung analysieren wir, welche normativen Konsequenzen die Inversion des Paradigmas mit sich bringt. Beide Ansätze werden normativ analysiert.

3

Robotik und Narrationen

Roboter sind von zwei Narrationen geprägt. Auf der einen Seite stellen sie das fortschrittlichste und technologisch anspruchsvollste Produkt des Maschinenbaus dar. Auf der anderen Seite bilden sie die Projektion unserer kühnsten Erwartungen und unserer unergründlichen Ängste bezüglich des menschlichen Schicksals, unserer eigenen Evolution ab. Dieses Doppelregister findet auch in die Technikphilosophie Cassirers Einzug. Er sieht in der Technik einen Ersatz, der als Ausgleich für die biologischen Defizite des Menschen eingesetzt wird. Heute spricht man den Robotern die Fähigkeit zu, den Menschen bei den vier „d“-Handlungen zu helfen. Nämlich bei Handlungen, die dangerous, dirty, dull und dispassionate sind. Weltweit entwickeln sich Roboter und autonome Maschinen. Roboter werden derzeit in den Bereichen Gesundheit, Bildung und Wirtschaft eingesetzt. Roboter bieten Vorteile wie die Befreiung von Einsamkeit und die Ermöglichung von Kommunikation. Sie versprechen, uns von vielen Tätigkeiten zu entlasten. Mit Hilfe solcher Roboter und autonomer Maschinen kann man diejenigen Handlungen, die dreckige (dirty), stumpfe (dull) oder gefährliche (dangerous) Aufgaben darstellen, besser ausführen. Was dadurch beabsichtigt wird, ist die Bewahrung einer humanen technischen Entwicklung. Bei dieser Einstellung geht es um technisches Handeln. Es gibt ein zielgerichtetes Handeln, das einen rationalen Akteur oder eine Vielzahl von Akteuren voraussetzt, die kooperativ handeln. Die Roboter werden eingesetzt, um diese Akteure bei der Ausführung dieser Tätigkeiten zu ersetzen. Diese Interpretation erschöpft nicht alle Aspekte, die die Robotik betreffen. Robotik ist nämlich ein Element der Kultur, das daher Teil der Kreativität und des schöpferischen Vermögens des Geistes ist. Tatsächlich werden Roboter jedoch in erster Linie in der Vorstellungswelt, in der Fantasie eines jeden von uns geboren und nicht nur in der von Science-FictionAutoren und -Regisseuren. Erst kürzlich haben sie begonnen, erste Schritte in den Labors der Ingenieure zu unternehmen. Nicht selten sind diese Ingenieure begeis-

174

J. Nida-Rümelin und F. Battaglia

terte Konsumenten der Träume vom Doppelgänger. Jedes Kind kann als Erwachsener aufhören, diese fantastischen Universen zu erschaffen, aber nicht damit aufhören, sich mit dem Handlungsgerüst epischer oder dramatischer Dichtung, einer Fabel, eines Romans, eines Films oder Cartoons zu identifizieren. Der Economist hat vor einigen Jahren gut daran getan, die Roboter als Migranten aus der Zukunft zu definieren (2014). So hat er die Ängste vor zwei Herausforderungen unserer Zeit, der technologischen und der Migration, in einem einzigen Bild zusammengefasst und auf ein gemeinsames Ziel ausgerichtet. Die Zukunft der Arbeit scheint sowohl durch technologische Innovationen als auch durch die Mobilität der Menschen von einem Ort zum anderen auf dem Planeten dramatisch verändert zu sein. Für beide Herausforderungen müssen mehr semiotische Ressourcen mobilisiert werden, um zu verstehen, was noch nicht vorhanden ist. Dabei soll das Vertrauen nicht erschüttert werden, dass auch die technologischere und kosmopolitischere Zukunft menschliche Eigenschaften bewahren kann und nicht durch die Auseinandersetzung mit diesen scheinbar desorientierenden Neuheiten entstellt herauskommt. „Vertrauen“ ist ein wichtiges Schlüsselwort. Dieses Wort kann das Feld der Mensch-Roboter-Interaktion ethisch abstecken. Diese Absicht kann man aus dem Entwurf zum Bericht der AI-Gruppe ablesen. Der Text konzentriert sich auf den Begriff der vertrauenswürdigen KI – Reliable Artificial Intelligence – im doppelten Sinne, dass autonome Systeme technisch zuverlässig sein müssen und dass Menschen Maschinen vertrauen können müssen (EU-Bericht European Commission’s High-Level Expert Group on Artificial Intelligence (AIHLEG), 2018). Diese komplexe Genealogie der Roboter hat sicherlich Auswirkungen auf die Mensch-Maschine-Interaktion. Zugespitzt ist dieses der mehrdeutige Wert der Bindung, die wir Menschen mit ihnen eingehen. Kurz gesagt: Wir sollten nicht so überrascht sein, wenn wir sie lieben und gleichzeitig fürchten. Roboter geben uns Hoffnung, weil sie versprechen, uns zu helfen und uns nicht nur von gefährlichen, sich wiederholenden und unangenehmen Aufgaben zu befreien, sondern sogar verheißen, uns zu verbessern. Die Verbesserung (human enhancement) scheint die Unterschiede zwischen Mensch und Maschine zu verringern. Gleichzeitig wecken die Roboter in uns Angst, weil sie die Dematerialisierung zum Tragen bringen. Diese geht nahtlos mit der Evolution der Künstlichen Intelligenz einher. Es handelt sich um einen Prozess der Differenzierung und des Abstands zwischen dem Menschen, der notwendigerweise/kontingenterweise an seine biologische und verkörperte Form gebunden ist, und der Maschine, die von dieser Last befreit und daher in der Lage ist, sich in einer extra Dimension der Andersartigkeit zu entfalten. Wir sind uns dieser Narrative bewusst, weil sie ein integraler Bestandteil der westlichen Kultur sind. Platon gibt in Phaidon ein Beispiel dafür. Gemäß des sokratischen Arguments gilt der Körper als ein Gefängnis für die Seele, von dem nur der Tod sie befreien kann. Sogar der „Raum zwischen den Wörtern“, der den Büchern der jüdischen Weisheit entnommen ist, bezieht sich auf diese Dimension. Diese ist weder räumlich noch zeitlich charakterisiert, in dieser Dimension verweilen mit Vergnügen nichtkörperliche Intelligenzen mit intellektuellen, die uns armen

Maschinenethik und Robotik

175

sterblichen Wesen unbekannt sind. Die Polarität der Erfahrung bewegt sich zwischen „Beängstigung“ und „Beruhigung“, von diesen Polen können wir uns nicht aus eigener Initiative befreien. Aber in der Tat wird diese Beziehung auch von uns selbst bis zu einem gewissen Grad kultiviert. Denn wenngleich diese Gefühle uns sicherlich bei der Orientierung in der Welt verhelfen, ermöglichen sie uns auch, sie in der Vielfalt der Virtualität zu leben, die uns allerdings die konkrete Existenz vorenthält. Hier herrschen sowohl das Prinzip der Individuation als auch das Realitätsprinzip, das eher gültig ist. Und jede Bestimmung ist eine Negation einer anderen (Scalzone und Tamburrini 2013). Die Komplexität der Mensch-Maschine-Interaktion wird uns zurückgegeben, wenn wir nicht nur die technische Narration, sondern auch die fantasiegeladenen Narrative um die Robotik ins Spiel bringen. Diese sollten nicht als Verlust an Konkretheit verstanden werden, sondern als unausweichliche Methode, um uns die enormen Herausforderungen der Technik in Bezug auf unser Leben sichtbar zu machen. Mensch-Maschine-Interaktion verlangt stets eine im Ansatz interdisziplinäre Deutung. Kehren wir jedoch zurück zur ersten Klassifizierung, die von Ernst Cassirer eingeführt wurde, um zu sehen, wie sie in der Philosophie der Technik von Kapp besser spezifiziert ist. Kapp geht davon aus, dass Roboter eingesetzt werden, um uns bei der Ausführung bestimmter Aufgaben zu helfen. Diese Funktion wird von ihm mit der Beobachtung integriert, dass die Objektivierung, die die Roboter bieten, auch eine weitere erkenntnistheoretische Funktion hat und zwar die, uns auf uns selbst aufmerksam zu machen. Die als menschliche Erweiterung vorgesehenen Roboter bieten auch eine Oberfläche, auf die wir uns selbst projizieren können, um so eine objektivierte Einstellung uns gegenüber einzunehmen. Aber in dieser Möglichkeit besteht, wie so oft in philosophischen Analysen, gleichzeitig die Gefahr der Entfremdung. Aber lassen Sie uns die Entwicklung dieses Argumentes besser verfolgen. Dieses Argument werden wir als Mehrdeutigkeit von Technologie oder von Robotern nennen. Es gilt, dass Roboter und Technik im Allgemeinen als Mittel zur Befreiung von natürlichen Einschränkungen verstanden werden können. Es handelt sich sicherlich um eine immer einseitige Teilbefreiung, die die Grenzen der menschlichen Verletzlichkeit verschiebt. Jeder Aspekt der menschlichen Verletzlichkeit kann entweder beseitigt oder aufgehoben werden, aber es kann nicht ausgeschlossen werden, dass ein solches Eingreifen zu neuen Aspekten der Verletzlichkeit führt, die es bisher nicht gab. Insbesondere erweisen sich die Implantate im menschlichen Körper als ein neuer Zugang, um Verbrechen gegen den Träger des Systems begehen zu können, ohne dass die physische Anwesenheit des Angreifers erforderlich ist (siehe House of Cards). Das ist es, was Mark Coeckelbergh (2013) mit seiner anthropologischen These der Verletzbarkeit des Menschen zum Ausdruck gebracht hat: neue Technologien werden eingesetzt, um dem Menschen bei einer bestimmten Schwäche zu helfen. Dabei entstehen nicht selten neue Schwachstellen oder Verletzlichkeiten. Als Konsequenz gilt, dass diese Mehrdeutigkeit auch in der erkenntnistheoretischen Funktion zur Geltung kommen kann. In ihrer Funktion, dem Menschen einen Spiegel anzubieten, um eine objektivierende Einstellung mit der Perspektive, sich selbst besser zu kennen, zu erhalten,

176

J. Nida-Rümelin und F. Battaglia

können sie sich jedoch als irreführend erweisen. Anstatt also das Menschenbild zu reflektieren, bieten sich Roboter an, ein Risiko für die Entfremdung des Menschen von sich selbst zu werden (Fabris 2016). Aber wie verstehen wir in diesem Zusammenhang Entfremdung? Im Sinne einer naturalistischen Interpretation des Menschen, die ihn ausgehend von der Natur ansieht, von der er auch sicherlich konstituiert ist, in der er sich aber nicht auflöst. Wie beim späten Cassirer gibt es schon in der Philosophie der Technik die Idee, sich den objektiven Formen menschlicher Aktivität anzupassen und ihnen damit eine Funktion der Vermittlung von Selbstverständnis zuzuschreiben. In der Produktion der Technik ist es möglich, diejenige Entfernung zu gewinnen, die es uns erlaubt, uns zu objektivieren, um zu erfahren, was an uns ist. Technisch vermitteltes Handeln ist immer ein konkreter Eingriff in die materielle Umgebung und damit immer eine Form der Beziehung zur Natur (Kapp 1877, 2015). Die Technik ist also eine Beziehung zur Natur, und da der Mensch selbst zur Natur gehört, beinhaltet sie auch eine gewisse Beziehung zu uns selbst und damit auch zur immateriellen, symbolischen und normativen Dimension. Kapps These ist, dass der Mensch in seinen Artefakten, in seiner technischen Kultur zu finden ist, aber dass er sich vor allem dort wiedererkennt. Diese These hat zwei Aspekte. Auf der einen Seite versucht Kapp, den menschlichen Körper, seinen Organismus, durch die von ihm geschaffenen Werkzeuge zu verstehen. Als unbewusste Entfremdung des Menschen betrachtet, erscheinen menschliche Organe nun im Gegenteil als Erweiterungen von Artefakten, und diese selbst können so zu Modellen für seine Erklärung und Interpretation werden. Da Artefakte und ihre funktionale Umwelt jedoch bestimmten Gesetzen unterliegen sollen, ist es ersichtlich, dass sie ein Modell für die Erforschung des menschlichen Organismus sind, sofern er strengen physikalischen Gesetzen unterliegt. Da dieses Modell physikalistisch bestimmt ist, ist es daher gleichzeitig dazu verurteilt, sowohl die mentalen Ereignisse (die phänomenale Dimension des Bewusstseins, Nagel 1974 und Block 2008) als auch die normativen Ereignisse (Davidson 1970 und Habermas 2006) aus den Augen zu verlieren. Wenn wir in dieser Perspektive das moderne Bild des Menschen als gut funktionierende Maschine analysieren, sind die Eigenschaften dessen, was Kapp als Entfremdung bezeichnet, unverkennbar. Wie man sehen kann, hilft unsere Relation zu Robotern sicherlich, einige Dinge über uns zu verstehen, aber auch zu erkennen, dass einige andere nur ex negativo erforscht werden können (weil sie unterbestimmt bleiben). An dieser Stelle geht es darum, festzustellen, dass entgegen dem Versuch, die Gesamtheit lebensweltlicher Vertrautheit zur Disposition zu stellen, wir die Unhintergehbarkeit lebensweltlichen Orientierungswissens und lebensweltlicher Verständigungspraxis nicht preisgeben. Vielmehr sollten wir ihnen eine Chance geben. Das bedeutet, dass die Gestaltung unserer Zukunft ausgehend von diesem Wissen erfolgen soll. Dieses Wissen leistet den höchsten theoretischen Bedürfnissen Genüge und ermöglicht ein von Vernunftnormen geregeltes Leben. Der Weg ist schon von Wittgenstein, Husserl, Rawls und viele anderen Philosophen gegangen worden.

Maschinenethik und Robotik

177

Besteht dann die Aufgabe in der Anpassung des Menschen an die Maschine oder umgekehrt? Unsere Position ist skeptisch gegenüber dem Programm der Angliederung des Menschen an Maschinen, während sie diese Angliederung in die Richtung von Maschine auf Mensch unterstützt. Das Programm der Angliederung des Menschen an Maschinen ist eine Konsequenz des Erfolgs von Forschungsprogrammen im Rahmen der Künstlichen Intelligenz. Aus diesen Überlegungen leiten sich einige allgemeine ethische Hinweise ab. Diese sind bezüglich des autonomen Fahrens vom deutschen Ministerium für Verkehr und digitale Infrastruktur festgelegt: „Software und Technik hochautomatisierter Fahrzeuge müssen so ausgelegt werden, dass die Notwendigkeit einer abrupten Übergabe der Kontrolle an den Fahrer („Notstand“) praktisch ausgeschlossen ist. Um eine effiziente, zuverlässige und sichere Kommunikation zwischen Mensch und Maschine zu ermöglichen und Überforderung zu vermeiden, müssen sich die Systeme stärker dem Kommunikationsverhalten des Menschen anpassen und nicht umgekehrt erhöhte Anpassungsleistungen dem Menschen abverlangt werden“ (Bericht der Ethik-Kommission 2017, S. 13).

Aber wie ist es überhaupt möglich, dass eine menschliche Anpassung an die Maschine infrage kommt? Im Alltag tragen wir dem immer häufiger auftretenden Umstand Rechnung, unseren menschlichen Raum an die Fähigkeiten automatischer Staubsauger anzupassen. Das passiert auch dann, wenn wir diese Anpassung mit hochgezogenen Augenbrauen begleiten. Das bedeutet, dass wir dabei mitmachen, ohne allerdings völlig davon überzeugt zu sein, dass diese Lösung die beste ist. Philosophisch gesehen ist es der Funktionalismus mit seiner These der multiplen Realisierbarkeit des Geistes, der Raum schafft, um diese Beziehung umzukehren. Diese These kann anschaulich machen, wie eine andere Darstellung von Beziehungen konfiguriert werden könnte. Insbesondere ist es eine anthropologische Interpretation, die diese Inversion schildert. Der Funktionalismus revidiert das Verhältnis zwischen Gattung und spezifischer Differenzierung. „Während für Aristoteles nicht in Frage stand, dass der Mensch taxonomisch zur nächsthöheren Art der Tiere gehört, wird im Funktionalismus das Verhältnis zwischen genus proximum und die differentia specifica umgekehrt. Der Mensch ist nicht mehr das vernünftige unter den Tieren, sondern das Tier unter den Vernunftwesen, also dasjenige Wesen, dessen mentale Zustände kontingenterweise in biologischer ‚wetware‘ realisiert sind“ (Keil 2008). Es gibt viele Fragen, die sich sowohl im Umgang mit Robotern als auch im Umgang mit zumindest teilweise künstlich gewordenen Menschen stellen. Was passiert mit uns, wenn wir Roboterteile zu unserem Körper hinzufügen, wie z. B. Computerchips, die uns helfen, besser zu sehen oder zu hören? Werden wir zu echten Cyborgs? Und zwingt uns das, unsere Vision davon, was es bedeutet, Mensch zu sein, grundlegend zu überdenken? Filme und Romane als Teil unserer kulturellen Vorstellungskraft helfen uns, über diese Fragen nachzudenken. Durch Handlungsgerüste, Bilder und Metaphern adressieren sie Probleme, an die man denken muss. Insbesondere Science-Fiction-Filme haben das visuelle und

178

J. Nida-Rümelin und F. Battaglia

narrative Potenzial, das (noch nicht) Unmögliche zu ermöglichen, und sind daher in der Lage, ethische Fragen zu veranschaulichen, mit denen wir uns in Zukunft auseinandersetzen müssen. Während die heutigen Wissenschaftler fragen, wie und wo Roboter in unsere Gesellschaft integriert werden können, stellen sich Filmregisseure vor, wie eine solche Integration aussehen würde. Welche Probleme können sich aus unserem Zusammenleben ergeben? Und ist ein solches Zusammenleben zu fürchten oder zu wünschen? Auf einer anderen Ebene, aber nicht in einem Szenario einer kommenden Revolution, will der Film „Her“ für eine friedliche Koexistenz argumentieren. In diesem Film wird nicht im Sinne der Entmaterialisation (Loslösung von der Materie), sondern vielmehr der erweiterten Dimension argumentiert. Dabei blitzt die Möglichkeit des Zusammenlebens verschiedener Arten auf. Es gibt also eine Art Neutralität und keine Rede von superintelligenten Maschinen. Besonders anschaulich ist der Monolog von Samantha zur Zeit der Verabschiedung. Dabei wird klar, dass der Weg der Selbsterniedrigung abgeschlossen ist und Samantha bedauert nicht mehr die Tatsache, dass sie über keinen Körper verfügt, sondern realisiert erst, wie ihr Zustand, obwohl anders als derjenige von Theodor, eine eigene Würde aufweist. Umso beruhigter klingt ihre Abschiedsrede, da ihr die Welt der neuen Möglichkeiten klar wird, die ihr offen steht. Samantha zu Theodore: „It’s like I’m reading a book, and it’s a book I deeply love, but I’m reading it slowly now so the words are really far apart and the spaces between the words are almost infinite. I can still feel you and the words of our story, but it’s in this endless space between the words that I’m finding myself now. It’s a place that’s not of the physical world – it’s where everything else is that I didn’t even know existed. I love you so much, but this is where I am now. This is who I am now“.

3.1

Robotik und Psychoanalyse: „Surgeon Ego“

Eine besondere Art der Erzählung ist die der Psychoanalyse; sie mobilisiert verschiedene Theorien zu Emotionen und Verhalten der Maschinen, um diese zu erklären. Zum einen können Narzissmus, Animismus, Kinderkomplexe und Ideal-Ich verschiedene Einstellungen nachvollziehbar machen. Zum anderen bietet die Mensch-Roboter-Interaktion einen anderen Bereich, um tiefenpsychologische Theorien zu entwickeln (Scalzone und Tamburrini 2013). In seinem Aufsatz über „Animismus, Magie und die Allmacht der Gedanken“ aus seinem Buch Totem und Tabu im Jahr 1913 beschreibt Sigmund Freud den Glauben an die Beseelung von Pflanzen und künstlichen wie natürlichen Gegenständen als ein „animistisches Denksystem“, das auf magischen Vorstellungen beruht. In unheimlichen Erzählungen, in denen belebte Gegenstände oder Puppen auftauchen, lebt der Animismus fort. In seiner Abhandlung über das Unheimliche wählt Freud das Beispiel E.T.A Hoffmanns: „Der Sandmann“. In dieser Erzählung verliebt sich der Protagonist in eine Puppe, die er für einen echten Menschen hält. Für Freud ist klar: Nathanael, der Protagonist, leidet an einer Neurose. Hinter dieser Art Neurose,

Maschinenethik und Robotik

179

so Freud, verbirgt sich der frühkindliche Wunsch nach Allmächtigkeit und die Weigerung, erwachsen zu werden. Im Lauf des Erwachsenwerdens muss der Mensch lernen, das Realitätsprinzip sowie seine eigenen Grenzen als Mensch zu akzeptieren. In der heutigen Psychologie weiß man, dass Menschen, die mit Puppen (statt echten Menschen) Beziehungen aufbauen wollen, äußerst narzisstisch und schizoid veranlagt sind (Rieger 2013). Operationsroboter in der Anwendung werfen nicht nur technische Fragen bezüglich ihrer Zertifizierung und der Zertifizierung von Chirurgen, die sie einsetzen, auf, sondern verändern auch den medizinischen Spezialdiskurs. Insbesondere wirken sie sich auf die Persönlichkeit des Chirurgen aus, auf genau diejenigen Persönlichkeitsmerkmale, die nicht gerade die begehrtesten sind. Auf der einen Seite lässt sich also feststellen, dass die Einführung des Roboters positive Auswirkungen hat, was die Trainingsphase angeht. Die Ausbildung an der Maschine hilft, die geschlechtsspezifische Kluft zu verringern, die diesen Beruf leider stark affiziert. Andererseits unterstützt der Roboter im Operationssaal die Probleme des Narzissmus, die nicht nur Gegenstand der Nachrichten sind, sondern inzwischen auch in der wissenschaftlichen Literatur Eingang fanden (Fingerhut 2011; Myers et al. 2018). In diesem Fall verstärkt der Roboter das narzisstische Verhalten des Chirurgen. Aus der maschinenethischen Perspektive ergeben sich einige Probleme. Denn der Einsatz des Roboters wird nicht ausgehend von den klinischen Hinweisen abgeleitet, sondern von der Selbstwahrnehmung des Chirurgen bestimmt. Leitend ist sein Selbstbild, das sicherlich nicht von der Liste derer ausgeschlossen werden will, die mit der Maschine operieren, und daher auf der Basis dieser Überlegungen entscheidet. Wenn er sich so verhält, dann wird eines der vier Grundprinzipien der Ethik der Medizin, das des Wohltuns (Beauchamp und Childress 2013), sicherlich ignoriert. Mit seinem Handeln ist nämlich nicht die Möglichkeit, Gutes zu tun, in Sicht, sondern andere falsche Überlegungen. Umstritten bleibt, ob die Verletzung des Prinzip des Nichtschadens auch deshalb beansprucht werden kann, weil man argumentieren könnte, dass der Chirurg bewusst etwas wählt, das nicht im Interesse des Patienten liegt. Eine erste Überlegung betrifft die Dauer der Operation, die sich auf die Dauer der Narkose bezieht. Wenn der Roboter eingesetzt wird, ist die Dauer tatsächlich länger und die der Narkose entsprechend auch. Wenn der klinische Hinweis den Einsatz von Robotern nicht erfordert, dann ist es klar, dass es sich um einen schädlichen Eingriff von Robotern handelt. Der Chirurg hätte also auf diese Weise gegen das Prinzip des Nichtschadens verstoßen.

4

Robotik und Maschinenethik: Der Fall des Lernens

Wen sollten wir mit der heiklen und undankbaren Aufgabe betrauen, Roboter auszubilden, bevor sie sich der Integration in unsere Gesellschaft stellen? Ohne Zweifel sind Donald Olding Hebb und Sokrates gefragt. Gute Lehrer zählen für die Ausbildung von Maschinen. Das haben wir jedoch schon mit unseren Kindern gelernt. Wir haben es mit zwei Alternativen zu tun. Wenn wir Roboter von Anfang an mit klar definierten Codes programmieren, dann werden wir Vorteile verzeichnen. Wenn die Roboter einen Fehler begehen und Probleme auftauchen, können wir dann

180

J. Nida-Rümelin und F. Battaglia

zu den Algorithmen zurückkehren und den Fehler leicht erkennen. Die Nachteile liegen hingegen in den möglichen Konflikten, die zwischen verschiedenen Befehlen auftreten können. Die drei Gesetze von Asimov geben uns ein Beispiel dafür. Sie formulieren nicht nur Verhaltensregeln, sondern legen auch fest, mit welcher Priorität diese Regeln umgesetzt werden sollen. Dieser Ansatz besteht darin, eine Reihe von Regeln und Richtlinien zu finden, denen der Roboter folgen muss. Wir können sie auch verwenden, um ihre Aktionen im Voraus zu überprüfen und einzuschränken. Kurz gesagt: Für den Roboter ist es nur eine Frage der Einhaltung der Regeln. Dieses von Asimov verwendete Modell hat seine Wurzeln in der jüdischen Tradition. Diese Art des Lernens, die einem Top-down-Ansatz folgt und uns gleichzeitig „gefügige“ Maschinen zur Verfügung stellt, hilft uns jedoch nicht, Roboter zu entwickeln, die in der Lage sind, sich mit uns abzustimmen und somit uns zu ergänzen. Sie ergreifen nicht die Initiative, ihnen fehlt die Fähigkeit zur Initiative. Diese Gesetze dienen nicht dazu, moralische Akteure zu schaffen, sondern zunächst Maschinen, die versuchen, sich an unseren Werten auszurichten. Das LADYBIRD-Projekt ist ein derartiges Projekt. Es ist ein Saugroboter, der aus moralischen Gründen bestimmte Insekten verschonen soll, die sich auf dem Boden befinden (Bendel 2017). Asimov erklärt diese Unterwerfung der Roboter zugunsten des Menschen im Interview mit der Zeitschrift Compute. Die Roboter werden mit dem Messer verglichen. Wie das Messer müssen sie einige Eigenschaften haben, damit sie ihre Funktion erfüllen können. Strukturell gesehen sind sie in der Kategorie der Werkzeuge eingebettet. Stattdessen gibt es in der Philosophie der Information, insbesondere in der, die phänomenologisch orientiert ist, eine Tendenz, zu zeigen, dass die Einbettung in der Kategorie der Instrumente zu eng ist, um den Robotern gerecht zu werden. Denn ihr Einsatz, die Art und Weise, wie wir eine Handlung durchführen, wird verändert. Das klassische Beispiel ist das von Platon, der sich in Phaedrus beschwert, dass die Einführung des Schreibens unsere Gedächtnis- und Erzählfähigkeiten obsolet machen würde. Heutzutage sind wir darüber besorgt, dass die elektronischen Rubriken die Fähigkeit, die Telefonnummern im Auge zu behalten, veraltet dastehen lassen. Dies hat zur Folge, dass der Verlust des Handys und die kurzzeitige Abschaltung der cloud uns in einen Zustand der Deafferenzierung versetzen würden; wir würden also einem Zustand ohne direkten Kontakt mit der Umwelt ausgesetzt. Diese Beispiele zeigen allein die Unzulänglichkeiten einer rein instrumentellen Auffassung in der Bewertung des Neuigkeitswerts der RobotikTechnologien, die die Roboter als Werkzeug ansieht. Es handelt sich um eine Kritik im Sinne Platons und nicht im Sinne der Techniksoziologie. Die Akteur-NetzwerkTheorie von Bruno Latour verlangt mehr, als dass wir mit neuen Augen die Kombination von Mensch und Maschine betrachten, die nicht mehr wirklich analysierbare Elemente auf getrennte Weise wären. Sie verlangt, dass eine völlig handlungstheoretische Symmetrie zwischen Mensch und Roboter angenommen wird. Es gibt auch eine andere Methode des Lernens für Roboter: das maschinelle Lernen. Dieser neue Typ, der einem Bottom-up-Ansatz folgt, ist nicht wirklich von der Montessori-Pädagogik inspiriert, sondern basiert auf der Selbstständigkeit des Lernens, das allerdings innerhalb stets kodifizierter Grenzen überwacht wird. Dieser

Maschinenethik und Robotik

181

Ansatz versucht, einem Roboter Fertigkeiten beizubringen, um problematische Situationen zu erkennen und Konflikte zu lösen, mehr oder weniger in der Art und Weise, wie wir Kinder und Jugendliche erziehen. Konkret werden hybride Ansätze eingesetzt, die beide Methoden kombinieren, um die Vorteile beider Ansätze zu maximieren und ihre Nachteile zu reduzieren. Automatisiertes Lernen hat drei Hauptprobleme. Das erste Problem betrifft die Art und Weise, wie Wissen dargestellt wird. Das zweite Problem betrifft die gelernten Vorurteile. Dies führt zu Fehlern sowohl in den Entscheidungen als auch in dem von diesen Entscheidungen geleiteten Verhalten. Das dritte Problem liegt in der epistemischen Opazität.

4.1

Repräsentation des Wissens

Aber kommen wir zum ersten Problem. Automatisches Lernen funktioniert auf folgende Weise. Angenommen, der Roboter muss lernen, einen Hund zu erkennen. Zuerst wird er sich zufällig verhalten, aber dann wird er allmählich vielen Bildern von Hunden ausgesetzt sein. Dies hat als Folge, dass der Roboter bei der Aufgabe der Erkennung immer präziser wird. Durch das Training wird er mit Beispielen von Hunden vertraut gemacht. Das sind nicht ein paar hundert, sondern Millionen von Beispielen. Dies ist ein wesentliches Merkmal, das die Entwicklung der Künstlichen Intelligenz im Vergleich zu den ältesten und traditionellsten Informationstechnologien ermöglicht hat. Rechenleistung stellt den Neuigkeitswert der Künstlichen Intelligenz dar, die in diesem Fall künstliche biologische neuronale Netze nachahmt. Es war Donald Olding Hebb im Jahr 1949, der ein „synaptisches“ Lernmodell vorgeschlagen hat und diesen maschinellen Lernalgorithmus inspirierte. Seitdem gelten Hebb-Synapsen als einfachste Grundlage des assoziativen Lernens. Nach einiger Zeit wird der Roboter in der Lage sein, den verschiedenen Beispielen einen Wert (synaptisches Gewicht) zuzuschreiben und sich so nicht mehr wie am Anfang zufällig zu verhalten, sondern zunehmend so, wie er es gelernt hat. Um einem Erfolg bei der Ausführung der Aufgabe verzeichnen zu können, ist es notwendig, dass der Roboter nicht Gefangener der Beispiele bleibt, sondern irgendwie verallgemeinerungsfähig wird. Was ist es, das der Hebb’sche Roboter nicht weiß? Der Roboter weiß nicht, was Sokrates Theaitetos im 4. Jahrhundert v. Chr. beigebracht hat. Platon erzählt von dieser Lehre im gleichnamigen Dialog, in dem Sokrates einen sehr jungen Theaitetos befragt, was Wissen sei. Und auf die erste Antwort von Theaitetos, die eine Liste vieler Formen von Wissen enthält, die sicherlich nicht so unüberschaubar ist, wie sie die heutigen Roboter handhaben können, antwortete Platon sarkastisch. Denn Theaitetos verfehlt den Punkt. Die Frage nach dem Wissen lässt sich nicht mit einer Liste von Künsten beantworten. Eine solche Antwort setzt in der Tat eine Frage nach dem Wissen um eine bestimmte Sache voraus. Sokrates bekräftigt, dass dies nicht die Antwort auf die Frage ist. Er bat nicht um eine Aufzählung der Arten von Wissen, sondern darum, zu definieren, was Wissen ist: Diese Passage ist einer

182

J. Nida-Rümelin und F. Battaglia

der Punkte, der die menschliche Intelligenz von der Künstlichen Intelligenz unterscheidet. Wenn das erste Problem auf die Unzulänglichkeiten der Roboter zurückzuführen ist, ist die Ursache für das zweite Problem die Bekanntschaft mit Menschen und anderen Robotern und Bots, die sozusagen einen schlechten Weg eingeschlagen haben.

4.2

Diskriminierungen und Fehler

Von der Handhabung eines Taschenrechners erwarten wir Präzision. Und das ist es, was er uns gibt. Aber bei Robotern müssen wir auf eine Reihe von Fehlern vorbereitet sein. Diese Fehler sind zum Teil roboterspezifisch, zum Teil aber auch vom Menschen selbst verursacht. Im Allgemeinen ist die Art und Weise, wie der gesunde Menschenverstand dargestellt wird, immer noch sehr unzureichend und führt zu Ergebnissen, die in unseren Augen als befremdlich erscheinen. Darüber hinaus hat eine aktuelle Studie, die in der Zeitschrift Scientific Reports von Forschern der British University of Cardiff und des Massachusetts Institute of Technology (MIT) in Boston veröffentlicht wurde, gezeigt, wie Roboter in diesem Fall genau wie Menschen Opfer von Vorurteilen sind. Roboter, die ihre Ausbildung im Netz und in social media absolvieren, können nicht umhin, diskriminierendes Verhalten zu erlernen. Leider ist es das, was die Menschen überwiegend verbreiten. Und da der Roboter in der Trainingsphase Belehrungen aus den von Menschen verbreiteten Daten entnimmt, ist sein Lernen dadurch verzerrt. Um zu bewerten, wie allgegenwärtig die Vorurteile sind, genügt es für jeden von uns, einen der Tests auf implicit biases auf der Seite der Harvard University auszufüllen: https://implicit. harvard.edu/implicit/takeatest.html. Dem Repertoire fehlt nichts: Es gibt Geschlecht, Hautfarbe, Alter, Gewicht, etc. Zusammenfassend lässt sich feststellen, dass auch für Roboter Bildung wichtig ist. Nur die besten Schulen und Freunde schützen vor diskriminierendem und nicht inklusivem Verhalten. Darüber hinaus beweisen neue Studien, dass das maschinelle Lernen von selbst Fehler und antisoziale Überzeugungen entwickelt (Whitaker et al. 2018). Eine Konsequenz, die sich daraus ableiten lässt, ist, dass für Diskriminierung und falsche Überzeugungen keine höheren kognitiven Fähigkeiten erforderlich sind. Das zeigt etwas, was unserer Intuition entspricht: Ungerechtigkeit und Diskriminierungen sind das Ergebnis von Unwissenheit und keine wirklich intelligente Option.

4.3

Epistemische Opazität

Das dritte Problem mit dem maschinellen Lernen betrifft die Tatsache, dass Maschinen und Roboter als Paradigmen von Nachverfolgbarkeit angesehen werden. Auch erkenntnistheoretisch betrachtet genießen die Roboter ein inszeniertes Ansehen. Wenn man aber genauer hinsieht, muss man eher Gegenteiliges feststellen. Selbstlernende Roboter leiden eher unter Undurchsichtigkeit bezüglich ihrer Denkprozesse (Humphreys 2004).

Maschinenethik und Robotik

183

Nehmen wir als Beispiel das der medizinischen Expertensysteme. In diesem Fall stellen wir eine Asymmetrie in Bezug auf die Rechtfertigung fest. Während der Arzt seine klinische Beurteilung angesichts der Abweichungen des Expertensystems rechtfertigen muss und daher Gründe nennen kann, die ihn dahingehend geleitet haben, mehr Gewicht auf einige Elemente und nicht auf andere zu legen, kann der Roboter für seine Diagnose keine Gründe nennen. Die Maschine, die nicht in der Lage ist, zum Baum ihrer Wahl und zu den Umständen zurückzukehren, die sie dazu veranlasst haben, einigen Assoziationen mehr Gewicht zu verleihen (genau wie in den Synapsen), kann sich gegenüber dem Menschen nicht auf die gleiche Weise rechtfertigen. Diese wesentliche Abweichung stellt einen starken Einwand gegen die Anforderungen der Akteur-Netzwerk-Theorie dar, die auch in der Sprache Symmetrie erfordert, wenn wir von der Mensch-Maschine-Interaktion sprechen. In Bezug auf die rationale Deutung der eigenen Entscheidung kann der Mensch seine Gründe nennen, die Maschine kann das nicht. Nur in dem Maße, wie wir die Gründe einsehen, die die Diagnose des Arztes als vernünftig erscheinen lassen, verstehen wir, was der Arzt gemeint haben könnte. Ohne die Gründe einzusehen, verstehen wir nicht, was gemeint ist. Die einzige Rechtfertigung, die zur Verfügung steht, ist eine pragmatische. Dies allerdings führt uns nicht weiter.

5

Fazit

Der vorliegende Beitrag setzte sich zum einen mit der Verkörperungsproblematik auseinander. Diese hat sich in zweierlei Hinsicht als wichtig erwiesen. Erstens bei der Einbettung der Robotik in der allgemeinen Vorstellung der Künstlichen Intelligenz. Zweitens hat sich diese Position verändert und zwar in dem Maße, dass diese neue Position ein weiterführendes Verständnis nicht nur von Robotik, sondern von Künstlicher Intelligenz selbst erwarten ließ. Aus maschinenethischer Perspektive bedeutet dies eine unhaltbare funktionalistische Vorstellung der Qualität, wie „es sich anfühlt“, in einem solchen Zustand zu sein. Eine solche Eigenschaft lässt sich grundsätzlich nicht in einer physikalischen, auf Gegenstände in der Welt zugeschnittenen Sprache ausdrücken. Und selbiges gilt auch für die Normativität. Ferner haben wir die These vertreten, dass die Roboter von zwei Narrativen geprägt sind. Diese Tatsache hat maschinenethische Implikationen. Abschließend ist der Beitrag auf die Fehler und Diskriminierungen des maschinellen Lernens eingegangen.

Literatur AIHLEG 2018. The European Commissions high level expert group Artificial Intelligence draft ethics guidlines for trustworthy AI, Brussels 18 December 2018. Beauchamp, Tom L., und James F. Childress. 2013. Principles of biomedical ethics, 7. Aufl. New York: Oxford University Press. Bendel, Oliver. 2017. LADYBIRD: The animal-friendly robot vacuum cleaner. In The 2017 AAAI spring symposium series. Palo Alto: AAAI Press.

184

J. Nida-Rümelin und F. Battaglia

Bericht der Ethik-Kommission. Automatisiertes und vernetztes Fahren. 2017. Ministerium für Verkehr und digitale Infrastruktur. https://www.bmvi.de/SharedDocs/DE/Publikationen/DG/ bericht-der-ethik-kommission.pdf?__blob=publicationFile. Zugegriffen am 17.12.2018. Block, Ned. 2008. Phenomenal and access consciousness. Proceedings of the Aristotelian Society (New Series) 108:289–317. Brooks, Rodney. [1991] 2013. Intelligenz ohne Repräsentation. In Philosophie der Verkörperung: Grundlagentexte zu einer aktuellen Debatte, 144–173. Berlin: Suhrkamp. Coeckelbergh, Mark. 2013. Human being @ risk enhancement, technology, and the evaluation of vulnerability transformations. Dordrecht: Springer. Davidson, Donald. 1970. Mental events. In Essays on actions and events, Hrsg. L. Foster und J. W. Swanson, 207–224. Clarendon Press. Fabris, Adriano. 2016. Philosophy, images and the mirror of machines. In Theorizing images, Hrsg. Žarko PaiĆ und Krešimir Purgar, 111–120. Newcastle upon Tyne: Cambridge Scholars Publishing. Fingerhut, A. 2011. Surgical ego, the good, the bad, and the ugly. Surgical Innovation 18:97–98. Freud, Sigmund. 1991, [1913]. Totem und Tabu. Einige Übereinstimmungen im Seelenleben der Wilden und der Neurotiker. Frankfurt a. M.: Fischer Verlag. Habermas Jürgen 2006. Das Sprachspiel verantwortlicher Urheberschaft und das Problem der Willensfreiheit. Deutsche Zeitschrift für Philosophie 54(5): 669–707. Humphreys, Paul. 2004. Extending ourselves: Computational science, empiricism, and scientific method. Oxford: Oxford University Press. https://www.economist.com/babbage/2014/03/27/ immigrants-from-the-future. Zugegriffen am 17.12.2018. Kapp, Ernst [1877] 2015. Grundlinien einer Philosophie der Technik. Hamburg: Meiner Verlag. Keil, Geert. 2008. Was ist der Mensch? Anmerkungen zu einer unwissenschaftlichen Frage. In Was ist der Mensch? Hrsg. Detlev Ganten, Volker Gerhardt, Jan-Christoph Heilinger und Julian Nida-Rümelin, 139–146. Berlin/New York: De Gruyter. Kersten, Jens. 2015. Menschen und Maschinen. Rechtliche Konturen instrumenteller, symbiotischer und autonomer Konstellationen. Juristen Zeitung 70:1–8. Kersten, Jens. 2016. Die maschinelle Person – Neue Regeln für den Maschinenpark? In Roboter, Computer und Hybride, Hrsg. A. Manzeschke und F. Karsch, 89–106. Baden-Baden: Nomos. Matari`c, Maja. 2007. The robotics primer. Cambridge/London: MIT Press. Misselhorn, Catrin. 2018. Maschinenethik und Philosophie. In Handbuch Maschinenethik, Hrsg. O. Bendel. Stuttgart: Springer. Myers, Christopher, Yemeng Lu-Myerset, und Amir A. Ghaferi. 2018. Excising the „surgeon ego“ to accelerate progress in the culture of surgery. BMJ. https://doi.org/10.1136/bmj.k4537. Nagel, Thomas. 1974. What is it like to be a bat? Philosophical Review 83(4): 435–450. O’Regan, J. Kevin, und Alva Noë. 2001. A sensorimotor account of vision and visual consciousness. Behavioral and Brain Sciences 24(5): 883–917. Pfeifer, Rolf, und Josh Bongard. 2007. How the body shapes the way we think. Cambridge, MA: The MIT Press. Rieger, Jolan. 2013. Über die Psychologie der Männer, die mit Puppen leben: Eine tiefenpsychologische Abhandlung einer seelischen Perversion. Norderstedt: Books on Demand. Scalzone, Franco, und Guglielmo Tamburrini. 2013. Human-robots interaction and psychonalysis. AI & SOCIETY 28:297–307. https://doi.org/10.1007/s00146-012-0413-3. Whitaker, Roger M., Gualtiero B. Colombo, und David G. Rand. 2018. Indirect reciprocity and the evolution of prejudicial groups. Scientific Reports 8:13247. https://doi.org/10.1038/s41598018-31363-z.

Maschinenethik und Künstliche Intelligenz Leonie Seng

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Geschichte des Begriffs Künstliche Intelligenz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Maschinenethische Perspektiven auf die KI-Entwicklung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

186 187 194 199 200

Zusammenfassung

Der Fachbereich der Künstlichen Intelligenz (KI) hat ideelle und finanzielle Höhen und Tiefen erlebt. Wissenschaftler prognostizieren immer wieder den Untergang der Menschen durch die von ihnen entwickelte Technik – ein Paradigma, das die Grundlage eines konstanten Narrativs innerhalb der Menschheitsgeschichte darstellt. Während die Furcht vor der technologischen Singularität in heutiger Zeit Fiktion bleibt, stellen sich realistischere, maschinenethisch hoch relevante Fragen: Mit welchen moralischen Ansprüchen werden Maschinen entwickelt? Wie werden diese Entwicklungen moralisch bewertet? Und wer trägt die Verantwortung für moralische Probleme? Schlüsselwörter

Moral · Automatisierung · Ethik · Technologische Singularität · Verantwortung

L. Seng (*) Institut für Philosophie und Theologie, Pädagogische Hochschule Ludwigsburg, Ludwigsburg, Deutschland E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_13

185

186

1

L. Seng

Einleitung

Künstliche Intelligenz (KI, engl.: Artificial Intelligence (AI)) ist der Name eines Teilgebiets der Informatik, das seit Mitte der 1950er-Jahre existiert. Im Zentrum steht die Automatisierung komplexer Problemlösungsverfahren mithilfe von Computerprogrammen. Der Begriff künstlich steht in Abgrenzung zu natürlicher, also menschlicher Intelligenz – wobei hier Hybridformen aus Menschen und Technik, bspw. Cyborgs, nicht ausgeschlossen sind. Die Definition menschlicher Intelligenz variiert je nach wissenschaftlicher Disziplin stark (Gardner 1999; Piaget 2000; Maltby et al. 2011), weshalb manche Forscher lieber von Intelligenz im Sinn von Informationsverarbeitung (Trescher 2017), Extended Intelligence (Ito 2017) oder Entworfener Intelligenz (Davies 2017) sprechen. Geläufig ist dennoch die Bezeichnung Künstliche Intelligenz. Das Fachgebiet kann in zwei grobe Hauptströmungen unterteilt werden, die starke KI (strong AI) und die schwache KI (weak AI). Vertreter des ersten Ansatzes streben die vollständige maschinelle Nachbildung psychischer Prozesse wie Denken, Lernen oder Problemlösen an (Dörner 1976; Nilsson 2010), wohingegen Vertreter letzterer bereits an menschliche Intelligenz angelehnte Teillösungen als Künstliche Intelligenz bezeichnen. Voraussetzung für beide Varianten ist die Idee, dass „Überzeugungen eine Art von Informationen sind, das Denken eine Art von Berechnung und Motivation eine Art von Rückkoppelung und Kontrolle“ (Pinker 2017, S. 31). In der Fachliteratur wird unter anderem auf Thomas Hobbes und seine in dem Text Computatio sive logica formulierte These verwiesen: „Computare vero est plurium rerum simul additarum summam colligere, vel una re ab alia detracta, cognoscere residuum. Ratiocinari igitur idem est quod addere et subtrahere [. . .]“ (Hobbes 1655, S. 3, Hervorhebung i. Orig.). Ratiocinari wird dabei im Deutschen meist mit (allgemeinem) Denken, der ganze Abschnitt mit der Formulierung „Denken ist Rechnen“ übersetzt (Zimmerli und Wolf 1994, S. 10; Pinker 2017, S. 31). Dieses Zitat wird gern als Grundlage angeführt, um die reduktionistische These zu untermauern, dass das menschliche Gehirn bzw. kognitive Fähigkeiten wie Denken künstlich reproduzierbar seien. Ratiocinari kann allerdings auch mit Argumentation übersetzt werden (Mugnai 2002, S. 92); in diesem Sinn ist Denken eher als logisches Schlussfolgern zu verstehen, das insofern mit Rechnen gleichzusetzen ist, als bspw. einzelne Sätze zusammengenommen werden, sodass daraus wahre Aussagen abgeleitet werden können (für diesen Hinweis danke ich Prof. i. R. Dr. Jens Kulenkampff). So beschrieb es zumindest auch der Computerwissenschaftler Herbert A. Simon, noch vor der Begründung des Fachgebiets KI: Any rational decision may be viewed as a conclusion reached from certain premises. [. . .] The behavior of a rational person can be controlled, therefore, if the value and factual premises upon which he bases his decisions are specified for him (Simon 1944, S. 19).

Die Annahme, dass grundlegende Funktionen menschlicher kognitiver Leistungen maschinell umsetzbar sind (Feigenbaum und Feldman 1963), und zwar sowohl, was die hardware betrifft, als auch die software, stellte die Grundlage sämtlicher For-

Maschinenethik und Künstliche Intelligenz

187

schungsvorhaben im Lauf der KI-Entwicklung (Abschn. 2) dar, weshalb Ansätze in jenem Bereich auch unter dem Namen kognitive KI (cognitive AI) oder cognitive computing subsumiert werden (Görz et al. 2014, S. 5). In diesem Sinn des Begriffs ist die Entwicklung Künstlicher Intelligenz gleichzusetzen mit der Nachahmung menschlicher kognitiver Eigenschaften mittels Computertechnik, wobei die Realisierbarkeit dieses Vorhabens – und damit auch die Gefahr, Menschen könnten durch Maschinen ersetzt werden – umstritten ist (Abschn. 3). Realistischer sind Bedenken gegenüber Entwicklungen in der KI, die bereits heute Auswirkungen auf die Freiheit von Menschen haben, wenn bspw. persönliche Daten erhoben und zu wirtschaftlichen Zwecken ausgewertet werden. Dies fällt in den Bereich der so genannten schwachen KI, bei der es darum geht, allein die Funktionen menschlicher Intelligenz maschinell abzubilden – z. B. mittels neuronaler Netze. Das Ziel hierbei ist es, verschiedene Verfahren für Probleme zu entwickeln, bspw. die Erkennung menschlicher (natürlicher) Sprache (Mertsching und Hartmann 1989), die Softwareentwicklung für automatisierte Fahrzeuge (Cox und Wilfong 2012), auf großen Datensätzen basierende Analysesysteme (Stichwort deep learning, z. B. für Bilderkennungsverfahren oder Diagnoseverfahren, Mertsching und Hartmann 1989; Li et al. 2014), die Entwicklung intelligenter Navigationssysteme (Herbert et al. 2012) oder Programme zur Lösung von Strategiespielen (Bögelholz 2016). Während der Ansatz der starken KI bislang als erfolglos gilt (Bendel 2016a, S. 119–120) und allenfalls in fiktiven, literarischen Szenarien Anwendung findet, stellt die Simulation von Nervensystemen und Gehirnen mittels mathematischer Modelle bereits eine realistische Grundlage für die Entwicklung von KI-Anwendungen dar. Aufgrund der enormen Vielfalt der Anwendungsgebiete innerhalb der KI ist es kaum möglich, allgemeine ethische Aussagen zu machen, allerdings können und müssen ethische Kodizes aufgestellt werden, um die meist industriellen Entwicklungen zu regulieren. Dabei wird deutlich, dass es nicht nur um einzelne Entwicklungen künstlich intelligenter Programme geht und die Frage, ob deren Verhalten im Einzelfall moralisch ist oder nicht, sondern auch um die Frage der Verantwortung: Wer entscheidet über Entwicklung, Produktion und Einsatz von Programmen? Und wie geht man mit Fehlfunktionen oder menschenunwürdigen Konsequenzen um?

2

Geschichte des Begriffs Künstliche Intelligenz

Als Ursprung des Begriffs Künstliche Intelligenz bzw. des englischen Begriffs Artificial Intelligence wird das Thema einer Konferenz angesehen, die im Sommer 1956 am Dartmouth College im US-amerikanischen Hanover (New Hampshire) stattfand. Zwar kursierte der Begriff AI schon zuvor im englischsprachigen Raum (Münch 1992) und man geht davon aus, dass erste Arbeiten in dem Bereich bereits nach dem Zweiten Weltkrieg begannen (Russell und Norvig 2012, S. 22), allerdings ist KI erst seit jener Konferenz ein gebräuchlicher wissenschaftlicher Ausdruck (Zimmerli und Wolf 1994, S. 33, Anm. 24; McCorduck 2004, S. 93).

188

L. Seng

Die Ursprünge der methodischen Grundlagen des Fachgebiets der KI können dabei, genau genommen, bis in die Stein- sowie die Bronzezeit zurückdatiert werden, wo die Bearbeitung von Holz, Metall und anderen Materialien die ersten Schritte in der Technikentwicklung darstellten (Feustel 1985). Auch die ersten mythologischen Vorstellungen und Ideen künstlicher Menschen oder Wesen reichen bis tief in die Geschichte zurück, was Pamela McCorduck zu der Auffassung bringt, KI habe mit dem antiken Wunsch von Menschen begonnen, gottähnliche Kraft zu haben („forge the gods“, McCorduck 2004, S. 381), um selbst schöpferisch tätig sein zu können: Our history is full of attempts – nutty, eerie, comical, earnest, legendary and real – to make artificial intelligences, to reproduce what is the essential us – bypassing the ordinary means. Back and forth between myth and reality, our imaginations supplying what our workshops couldn’t, we have engaged for a long time in this odd form of self-reproduction. (McCorduck 2004, S. 3)

Die antike Erzählung des Prometheus, welcher der Sage nach bei der Schöpfung der ersten Menschen mitgeholfen haben soll, sowie die jüdische Golem-Sage (Drux 1988) weisen in dieselbe Richtung. Die Entwicklung sich mechanisch selbst bewegender Maschinen, also Automaten, spielt ebenfalls eine Rolle in der Geschichte der KI. Vorläufer von Automaten gab es in literarischer sowie maschineller Form bereits in der griechischen Mythologie sowie in Erzählungen aus dem antiken Rom (Amedick 2003; Drux 1988). Die Automationstechnik, die in größerem Stil im 18. Jahrhundert begann, basierte im 19. Jahrhundert hauptsächlich auf mechanischen Uhrwerken und wurde im Lauf der Zeit komplexer (Richter 1989). Die Relevanz einer (abgesehen von menschlichen kognitiven Leistungen) äußerlich menschlichen Gestalt von KI, also bspw. der Einsatz humanoider Roboter für bestimmte Zwecke, wird teilweise sehr hoch eingestuft (Kanda et al. 2004; Shiomi et al. 2006), teilweise als nebensächlicher „Partygag“ beurteilt (Schönleben 2017). Die Theorie des uncanny valley zeigt, dass eine große Menschenähnlichkeit künstlicher Geschöpfe ab einem gewissen Grad eher beängstigend wirkt (Mori 1970). Als weitere, wesentliche Entwicklungsschritte bei dem Versuch, die kognitiven Vorgänge im menschlichen Gehirn maschinell abzubilden, können grundlegende Rechenvorgänge angesehen werden, deren Ursprung aus dem alten Ägypten überliefert ist (Zimmerli und Wolf 1994, S. 9), sowie die Idee der Formalisierung, die mit der aristotelischen Begründung der syllogistischen Logik entstand (Aristoteles 2004; Patzig 1959). René Descartes versuchte als einer der ersten, die Verbindung formalen Schlussfolgerns und Rechnens mithilfe seiner Idee einer Universalmathematik (lat. mathesis universalis) herzustellen (Mittelstraß 1978), und Gottfried Wilhelm Leibniz führte diesen Gedanken zu einer Universalsprache (characteristica universalis) weiter, womit die Kalkülisierung der Syllogistik begann (Burkhardt 1980). Die Unterscheidung zwischen Klassenlogik und Aussagenlogik (Ertel 2016, Kap. 2) durch George Boole Mitte des 19. Jahrhunderts und seine Erschaffung der algebraischen Struktur (auch boolsche Algebra genannt) mittels logischer Operatoren stellt die Grundlage der Digitaltechnik dar (Givant und Halmos 2009). Kurt

Maschinenethik und Künstliche Intelligenz

189

Gödel, Alonzo Church und Alan Turing machten in den 30er-Jahren des 20. Jahrhunderts für die KI wichtige Schritte im Bereich der Logik und theoretischen Informatik (Ertel 2016, S. 8). Gottlob Frege (1962) entwickelte die Logik durch die Prädikatenlogik zweiter Stufe (Ertel 2016, Kap. 3) weiter. Einen Meilenstein in der Entwicklung der Hardware stellt die 1837 von Charles Babbage und Ada Lovelace – einer der wenigen bekannten Frauen in der Geschichte der KI – entworfene Rechenmaschine (Analytical Engine) dar, die ein Vormodell des heutigen Computers war (Bernstein 1963). Erst mit der Entwicklung programmierbarer Rechenmaschinen ab den 50er-Jahren des 19. Jahrhunderts konnte die KI als „praktische Wissenschaft der Mechanisierung des Denkens“ (Ertel 2016, S. 9) richtig beginnen. Alan Turing veröffentlichte 1963 das Turing machine genannte, mathematische Rechnermodell. Damit verbunden zeigte er eine der ersten ernsthaften Grenzen der frühen KI auf, das so genannte Halteproblem, wonach es kein Programm geben kann, das für beliebige Programme entscheiden kann, ob ein damit verbundener Rechenvorgang zu einem Ende kommen wird oder nicht (Turing 1937). Alan Turing (1950) entwickelte außerdem den Turing-Test, mit dessen Hilfe die Unterscheidbarkeit von Computern oder Maschinen und Menschen infrage gestellt wurde: Maschinen, die den TuringTest bestehen, können von Menschen nicht als Maschinen identifiziert werden. Die Entwicklung des informationstechnischen Fachgebiets der KI ab Mitte des 20. Jahrhunderts kann in mehrere Phasen unterteilt werden, wobei sich die aufgeführten Ereignisse und relevanten Akteure, die in diesem Abschnitt erwähnt werden, mit Sicherheit beliebig erweitern und ergänzen ließen: die Gründung und erste Hochphase der KI (Abschn. 2.1), der KI-Winter (Abschn. 2.2), KI in den 1980ern und 1990ern (Abschn. 2.3) sowie die Renaissance der KI (Abschn. 2.4).

2.1

Gründung und erste Hochphase der KI

Die erste Hochphase der KI beginnt mit der Dartmouth-Konferenz im Jahr 1956, die unter anderem von den Kognitions- und Computerwissenschaftlern Marvin Minsky und John McCarthy organisiert wurde (McCorduck 2004, S. 111–136; Russell und Norvig 2003, S. 17). Im Forschungsantrag stand, dass jeder Aspekt von Lernen oder Intelligenz so präzise beschrieben werden kann, dass er mittels einer Maschine simulierbar ist (McCarthy et al. 1955). Die beteiligten Wissenschaftler gingen also davon aus, „daß Denken auf der Befolgung von reproduzierbaren Regeln beruhe“ (Zimmerli und Wolf 1994, S. 13–14), die in Computerprogrammen abgebildet werden können. Dieses Vorhaben wurde mit viel Optimismus begleitet. Der US-amerikanische Sozial- und Computerwissenschaftler Herbert A. Simon glaubte damals, dass Maschinen innerhalb von 20 Jahren jede Arbeit verrichten könnten, die auch Menschen verrichten können (Simon 1965, S. 96). Marvin Minsky prophezeite 1967, dass durchschnittlich menschliche Intelligenz innerhalb einer Generation simuliert werden könne (Minsky 1967, S. 2; McCorduck 2004, S. 272–274; Crevier 1993, S. 96). Solcherlei Prognosen und Versprechen gab es zuhauf, weshalb der Computerwissenschaftler Bruce G. Buchanan in seiner (sehr) kurzen Geschichte der KI (Buchanan 2005, S. 53) zusammenfasst: „The history of AI is a history of

190

L. Seng

fantasies, possibilities, demonstrations, and promise“. Die Forschungseinrichtungen des Massachusetts Institute of Technology und der Carnegie Mellon University und das Artificial Intelligence Laboratory der Stanford University erhielten mehrere Millionen Dollar Forschungsgelder (Crevier 1993, S. 64–65). Die Phase der anfänglichen Euphorie inklusive aller Rückschläge wird auch als „Look, Ma, no hands“-Ära bezeichnet (zit. nach Russell und Norvig 2003; „Schau Mama, ich kann freihändig Rad fahren“, Ertel 2016, S. 9). John McCarthy fasst die anfängliche Euphorie 50 Jahre später so zusammen: „The symbolic role of the Dartmouth summer project of 1956 was more important than its specific results“ (McCarthy 2007). Ab 1957 entwickelten Herbert A. Simon und Allan Newell das Programm General Problem Solver, welches auf dem Prinzip der Reduktion und Aufteilung von Problemen basierte (Newell und Simon 1961; McCorduck 2004, S. 129–130). Dabei mussten die Probleme klar definiert, die Lösungsmöglichkeiten begrenzt sein, weshalb der mit dem Programm verbundene Anspruch auch Kritik hervorrief (McDermott 1981). Auch das bereits ab 1955 von Allan Newell, Herbert A. Simon und Cliff Shaw entwickelte Computerprogramm Logic Theorist war mit dem Anspruch entwickelt worden, die problemlösenden Fähigkeiten von Menschen zu simulieren (Newell und Simon 1972). Immerhin konnte es einige Theoreme beweisen, wie die in Alfred North Whiteheads und Bertrand Russells Principa Mathematica (McCorduck 2004, S. 167). Diese Programme waren erste Schritte im Bereich der Verarbeitung von Symbolen – anstatt, wie bis dato, von Zahlen. Das Programm Logic Theorist entwickelte einen Suchbaum anhand logischer Regeln, ausgehend von einer Hypothese, mit einem eindeutigen Ziel. Dieser Ansatz wird auch als reasoning as research bezeichnet. Gemäß eingebauter, rationaler Heuristiken sollten die Probleme deduktiv gelöst werden, wobei unwahrscheinliche Schritte und damit unnötig viele Umwege – also eine so genannte kombinatorische Explosion – vermieden werden sollten (Zimmerli und Wolf 1994, S. 14). Joseph Weizenbaum erregte Mitte der 1960er-Jahre viel Aufsehen mit seinem Computerprogramm ELIZA, das die Kommunikation zwischen Mensch und Maschine realisieren sollte (Medical Artificial Intelligence 2014). Das Programm – der erste öffentliche Chatbot – ermöglicht den schriftlichen Dialog mit einer vermeintlichen Psychotherapeutin, wobei anhand der Antworten schnell klar wird, dass es sich um einen Algorithmus handelt, dessen Fähigkeit, eine menschliche Kommunikation zu simulieren, stark begrenzt ist (Woelk 2016). Weizenbaum hatte das Programm auch nicht für therapeutische Zwecke entwickelt, sondern aus allgemeinem Interesse an maschineller Sprachverarbeitung. Er stand daher vermeintlicherweise echten therapeutischen Programmen wie Kenneth Colbys Programm DOCTOR kritisch gegenüber und warnte vor dem Missbrauch von Künstlicher Intelligenz, der zu einer Entwertung menschlichen Lebens führen könnte (Weizenbaum 1976). Es folgten andere Suchprogramme wie Herbert Gelernters Geometry Theorem Prover (1958), James Slagles SAINT (1961) sowie Richard Fikes und Nils Nilssons STRIPS (1971) für die Handlungsplanung des Roboters Shakey (Nilsson 2010, S. 213–216). Auch die Mitte und Ende der 1960er-Jahre von Daniel G. Bobrow und Terry Winograd entwickelten Computerprogramme STUDENT und SHRDLU waren der Verarbeitung natürlicher Sprache gewidmet (Winograd 1972, 1980; Nilsson 2010, S. 238–242).

Maschinenethik und Künstliche Intelligenz

191

Das Vorhaben, neuronale Strukturen des Gehirns mittels Computertechnik nachzubilden, fand ebenfalls früh Anhänger, wie bspw. den US-Amerikaner Frank Rosenblatt (1958, 1961), der davon ausging, dass Wissen besser in plastischen Strukturen (Perceptrons) dargestellt werden kann als mittels programmierter Symbolketten. Demnach können einzelne Verbindungen genauso wie synaptische Verbindungen im Gehirn nach bestimmten Regeln verstärkt oder abgeschwächt werden. Diese konnektivistische These wurde von einigen Vertretern des kognitivistischen Ansatzes stark kritisiert und mit der Begründung abgelehnt, dass ein Perceptron, ein sehr einfaches neuronales Netz, nur lineare Zusammenhänge repräsentieren kann (Minsky und Papert 1969). Dies führte dazu, dass der konnektivistische Ansatz für einige Jahre brachlag und erst mit der Verstärkung von deep learning, d. h. Analysen auf der Basis großer Datensätze (Abschn. 3), wieder Aufwind erfuhr (McCorduck 2004, S. 104–107). Mitte der 1970er-Jahre entwickelte Roger Schank das maschinelle Verfahren des fallbasierten Schließens (case-based-reasoning), das Probleme mithilfe von Analogieschlüssen lösen sollte. Roger Schanks und Robert Abelsons in den 1970er-Jahren entworfene Skript-Theorie – und das damit verbundene Programm SAM – war einer der ersten Versuche der maschinellen Interpretation impliziter Inhalte menschlicher Sprache anhand von expliziten Informationen (Schank und Abelson 1977). Der darauf folgende Versuch, Fabeln mittels des Computerprogramms Tale-Spin (Meehan 1977) zu programmieren, war wenig erfolgreich, da „es nicht leicht [ist; L. S.], einen vollkommen neurotischen Computer zu konstruieren“ (Eco 1986), das heißt, ironisch gesprochen, menschliche Autoren zu imitieren (Zimmerli und Wolf 1994, S. 15). Die Niederschläge in der semantischen Informationsverarbeitung ebenso wie die Tatsache, dass die anfangs so euphorisch vertretenen Thesen der starken KI immer weniger oder zumindest nicht so schnell wie prophezeit realisierbar schienen, führten zur ersten – sowohl ideellen als auch finanziellen – Tiefphase der künstlichen Intelligenz, dem so genannten KI-Winter.

2.2

KI-Winter

Kritik an und finanzielle Rückschläge in der KI-Entwicklung gab es bereits ab Anfang der 1970er-Jahre. Diese Phase wird als KI-Winter oder AI winter bezeichnet. Der Begriff tauchte erstmals in einem Seminartitel der US-amerikanischen Association for the Advancement of Artificial Intelligence auf. Kritikern zufolge hatten die betreffenden Forscher Erwartungen geweckt, die sie innerhalb des ersten kritischen Zeitraums nicht einhalten konnten. Die Finanzierung – hauptsächlich durch die National Academies of Sciences, Engineering, and Medicine, die Defense Advanced Research Projects Agency, die Strategic Computing Initiative sowie das US-Militär (Campolo et al. 2017, S. 32) – wurde weitgehend eingestellt, bzw. es wurden nur noch Projekte mit realistischen Zielen gefördert (National Research Council 1999). Ein weiteres Problem war die Tatsache, dass Prozessoren noch nicht so leistungsfähig waren und Speicherplatz beschränkt war. So bestanden die ersten semantischen Netze von Ross Quillian (1967) aus ca. 20 Vokabeln: „Early programs were necessarily limited in scope by the size and

192

L. Seng

speed of memory and processors and by the relative clumsiness of the early operating systems and languages“ (Buchanan 2005, S. 56). So kam auch der Lighthill report, eine Evaluation des Fachgebiets der Künstlichen Intelligenz von James Lighthill, zu einem sehr negativen Ergebnis: „[I]n no part of the field have discoveries made so far produced the major impact that was then promised“ (Lighthill 1973, S. 8). Hinzu kamen kritische philosophische Stimmen, bspw. von John Searle, der mit seinem Gedankenexperiment The Chinese Room zu zeigen versuchte, dass man bei Maschinen, selbst wenn sie Aufgaben richtig lösten, nicht von Verständnis im menschlichen Sinn sprechen könne (Searle 1980). Selbst wenn eine Maschine also den Turing-Test bestünde, hieße das noch lange nicht, dass man dann von einem menschenähnlichen Bewusstsein ausgehen könne. Auch die gescheiterten Versuche von Schank, Papert et al., Programme mit einer Form menschlicher Kreativität (s. auch Abschn. 2.4) auszustatten, brachten die ursprünglichen Träume starker KI zumindest vorläufig zum Platzen.

2.3

KI in den 1980ern und 1990ern

In den 1980er- und 1990er-Jahren wurden unter anderem die so genannten Expertensysteme (expert systems) verbessert (Puppe 1991). Dabei handelt es sich um Computerprogramme, die so programmiert wurden, dass sie mithilfe logischer Regeln und auf der Basis von Wissensdatenbanken (knowledge bases) Fragen in bestimmten Bereichen beantworten oder spezifische Probleme lösen können sollten. Ein Anwendungsprogramm für die Unterstützung bei medizinischen Diagnosen ist bspw. MYCIN (Shortliffe 1976; Russell und Norvig 2003, S. 23–24). Das Expertensystem R1, das für die Konfiguration von Computern entwickelt wurde, sparte dem ehemaligen Unternehmen Digital Equipment Corporation angeblich rund 40 Millionen Dollar pro Jahr (McDermott 1982). Ab Anfang der 1980er-Jahre begann das Ministerium für Internationalen Handel und Industrie der japanischen Regierung, das Projekt Fifth Generation Computer Systems zu finanzieren, das die Entwicklung eines parallel arbeitenden Computers zum Ziel hatte (Shapiro 1983). Eine Gruppe russischer Wissenschaftler zog mit einem vergleichbaren Projekt nach (Kuznetsov et al. 1986). In England folgte 1983 das von der britischen Regierung unterstützte Projekt Alvey (Oakley und Owen 1990). In dieser Zeit erfuhr der Konnektivismus eine Renaissance, unter anderem durch die Arbeiten von David Rumelhart und James McClelland (1986) sowie von James Hopfield (Stichwort: Hopfield-Netz; Kruse et al. 2015). Mehrschichtige neuronale Netze, das heißt Modelle kognitiver Lernfähigkeit, wurden seitdem auch zunehmend kommerziell genutzt, vor allem zur Text- und Spracherkennung (Russell und Norvig 2003, S. 25). Außerdem wurden Desktop-Computer der Firmen Apple und IBM bekannter. In den 1980er-Jahren kam ein Ansatz auf, der dem Paradigma folgte, dass Maschinen, um tatsächlich intelligent sein und kognitiv schwierigere Aufgaben bewältigen zu können, eine Art von Körper und Nachbildungen von Wahrnehmung, also sensomotorische Fähigkeiten, haben müssten (Stichwort: embodied mind, embodied cognition oder grounded cognition; Varela et al. 1991). Dieser Ansatz

Maschinenethik und Künstliche Intelligenz

193

ist auch unter dem Stichwort Neue KI oder Nouvelle AI bekannt. Da der Ansatz von der Imitation menschlicher Körperfunktionen ausgeht, wird er auch als Bottom-upVariante bezeichnet: I am confident that this bottom-up route to artificial intelligence will one date meet the traditional top-down route more than half way, ready to provide the real world competence and the commonsense knowledge that has been so frustratingly elusive in reasoning programs. Fully intelligent machines will result when the metaphorical golden spike is driven uniting the two efforts. (Moravec 1988, S. 20)

Intelligente, automatisierte Systeme, die ihre Umgebung mittels Sensoren wahrnehmen und Handlungen initiieren, um bestehende Aufgaben zu erfüllen, sind auch als intelligent agents bekannt (Marr 2010; Russell und Norvig 2003, S. 55; zum Begriff agent vgl. auch Bendel 2016a, S. 5). Ende der 1980er-Jahre begannen die ersten (wenngleich spielerischen, so doch auch ernsten) Wettkämpfe von Maschinen gegen Menschen: 1988 gewann der an der Carnegie Mellon University entwickelte Computer Deep Thought – benannt nach einem fiktiven Supercomputer in Douglas Adams’ (2009) Per Anhalter durch die Galaxis – die nordamerikanische Computer-Schachmeisterschaft und 1989 die Computer-Schachweltmeisterschaft. 1993 startete die Initiative RoboCup (Mackworth 1992), die weltweit zum Bau Fußball spielender, automatisierter Roboter aufrief. Der erste RoboCup-Wettkampf fand 1997 in Japan statt. Ein Jahr zuvor hatte der von IBM entwickelte Computer Deep Blue im Schach gegen den damaligen Schachweltmeister Garri Kasparow gewonnen (Fischer 2016). Dieses Phänomen hatten Herbert A. Simon und Allan Newell (1958, S. 7–8) bereits für 1968 prophezeit.

2.4

Renaissance der KI

Spätestens Anfang des 21. Jahrhunderts hatte sich der KI-Forschungsbereich von seinem Rückschlag erholt und erfreute sich neuer Erfolge, besserer Rechenleistung (Kurzweil 2005, S. 724) und damit auch neuer Forschungsgelder. 2005 gewann ein Roboter der Stanford University die DARPA Grand Challenge, einen vom US-amerikanischen Verteidigungsministerium finanzierten Wettbewerb für automatisierte Fahrzeuge (DARPA 2005). Nachdem die ersten selbstfahrenden Autos bereits in den 1990er-Jahren entwickelt worden waren, fuhr 2009 das erste von Google Inc. gebaute selbstfahrende Auto auf einem Freeway in Kalifornien. IBMs System Watson gewann 2011 im Fernsehquiz Jeopardy! gegen die bis dato besten Spieler (Markoff 2011). Und 2016 gewann Alpha Go im Spiel gegen einen Menschen (Bögelholz 2016). Diese Auflistung der Siege von Maschinen gegenüber Menschen ließe sich mit zahlreichen anderen Beispielen ergänzen. Das gilt auch für Bereiche, in denen die maschinelle Überlegenheit Menschen zum Vorteil wird – automatisierte Fahrsysteme oder die Analyse von Patientendaten zur Unterstützung ärztlicher Diagnosen. Allerdings wirft der Sieg von Maschine über Mensch auch die Frage nach der Ersetzbarkeit

194

L. Seng

des Menschen auf, die kontinuierlich als Motiv in literarischen, cineastischen und künstlerischen Werken auftaucht, wie bspw. in Karel Čapeks R. U. R. – Rossum’s Universal Robots (Abschn. 3). Laut dem mooreschen Gesetz (Moore 1965) verdoppelt sich die Komplexität integrierter Schaltkreise, und damit auch die Rechenleistung von Maschinen, alle zwölf bis 24 Monate. Heute können auf KI basierende Computerprogramme relativ gut Ton in Text umwandeln, Texte in verschiedene Sprachen übersetzen, gezielt bestimmte Gegenstände in Bildern erkennen, alleine staubsaugen und Menschen beim Einparken helfen. Die Arbeitsbereiche Künstlicher Intelligenz sind dabei sowohl handwerkliche Tätigkeitsfelder, Fließbandarbeit und mechanische Herstellungsprozesse als auch weitgehend kreative Arbeiten wie bspw. journalistische Textproduktion. Zunehmend übernehmen Programme Aufgaben, die zuvor noch Menschen erledigten – z. B. im Rechtswesen (Mattke 2017), beim Verkauf im Einzelhandel oder im Börsenhandel (Manyika et al. 2017). Aus diesem Grund werden immer wieder Stimmen laut, die einen (weitgehenden oder kompletten) Ersatz von Menschen durch Roboter prophezeien. Hans Moravec ging bereits 1988 davon aus, dass Menschen innerhalb kurzer Zeit (laut Moravec 2030–2040) durch Roboter ersetzt werden würden (Moravec 1988). [W]ir werden unsere neuen Roboterkinder gern haben, denn sie werden angenehmer sein als Menschen. Man muß ja nicht all die negativen menschlichen Eigenschaften, die es seit der Steinzeit gibt, in diese Maschinen einbauen. [. . . Roboter werden] sich also sehr viel besser eingliedern als viele Menschen das tun. Wir werden sie also mögen und wir werden uns mit ihnen identifizieren. Wir werden sie als Kinder annehmen – als Kinder, die nicht durch unsere Gene geprägt sind, sondern die wir mit unseren Händen und mit unserem Geist gebaut haben. (Moravec 1999, S. 136)

Automatische Programme stoßen also keineswegs immer auf Verachtung. Van Dalen (2012) zufolge können automatische Schreibprogramme bei Journalisten unliebsame, routinemäßige Arbeit verrichten und somit auch geschätzt werden. Es ist also fraglich, inwieweit Computerprogramme, auch solche, die Kreativität imitieren, wie z. B. Musik komponieren (Chu et al. 2017; Breitsching 2017; Bubeck 2016) oder zeichnen (Binsch 2016), tatsächlich eine realistische Bedrohung für Menschen darstellen: „Recently, though, robots have become powerful vehicles for testing our ideas about intelligent behavior“ (Buchanan 2005, S. 54). Maschinenethisch zentral ist die Frage, auf der Grundlage welcher moralischer Kriterien die Entwicklung maschineller Intelligenz vorangetrieben wird. Damit zusammen hängen die Fragen, wer relevante Entscheidungen bezüglich neuer KIEntwicklungen trifft und wer die Verantwortung für die Konsequenzen trägt.

3

Maschinenethische Perspektiven auf die KI-Entwicklung

Die Entwicklungen im Bereich der Künstlichen Intelligenz betreffen in vielerlei Hinsicht das Leben und Handeln von Menschen – sowohl, was das Arbeitsumfeld angeht, wenn Maschinen und Softwareprogramme zunehmend menschliche Fä-

Maschinenethik und Künstliche Intelligenz

195

higkeiten ersetzen (Manyika et al. 2017), als auch im privaten Raum, bei der Nutzung bestimmter Smartphoneanwendungen, bei Suchanfragen mit Google oder sozialen Medien. Der Einsatz intelligenter Systeme hält darüber hinaus Einzug in die Medizintechnik (Li et al. 2014) und Kriegsführung (vgl. Misselhorn in diesem Band). Da menschliche Handlungs- und Entscheidungsmöglichkeiten in den meisten Fällen direkt involviert sind, geht es bei der Entwicklung von KI nicht nur um technologischen Fortschritt und physikalische Realisierbarkeit, sondern auch um ethische Fragen: Wie verändert sich das Arbeitsumfeld durch die Entwicklung und den Einsatz intelligenter Systeme? Wie verändert sich dadurch die Sozialsituation in verschiedenen Gesellschaften? Bei welchen Handlungen werden persönliche Daten erhoben (Richter 2016; Schlieter 2015, Kap. 6)? Wer entscheidet über den Umgang mit solchen Daten? Und kann die Erhebung persönlicher Daten verhindert werden? Wie wird der Einsatz solcher Systeme Gesellschaftsstrukturen verändern? Was wird es kosten – finanziell, sozial und emotional? Die Auseinandersetzung mit diesen Fragen betrifft die Maschinenethik (Bendel 2016a, S. 129–131; Grunwald 2016; Rath et al. 2019). Je nachdem, wie weit man den Begriff Maschinenethik fasst, fallen diese Fragen natürlich auch in die Bereiche der Informationsethik und der Technikethik. Der Gegenstand jener Bereichsethik ist der Einsatz von und Umgang mit KI und damit verbundenen Entscheidungen und Handlungen. Dabei geht es auch um die Moral von Maschinen (Bendel 2016b), also die Frage, ob Maschinen moralische Regeln befolgen und ihr Handeln verantwortungsvoll überdenken können (s. Abschn. 3.2). Die Ethik von Maschinen betrifft aber nicht nur die Maschinen als mögliche moralische Subjekte (vgl. hierzu Rath 2019, S. 223–242), sondern auch die Frage nach der Verantwortung bei der Entwicklung von KI (Funiok 2016): Dies betrifft nicht nur Unternehmen, die neue Anwendungen auf den Markt bringen, Ingenieure und Wissenschaftler, die Programme schreiben (Nagenborg und Sell 2016), sondern auch Politiker, die Gesetze erlassen, und nicht zuletzt Menschen, die entsprechende Produkte nutzen (Rath 2016). Unabhängig von der tatsächlichen Wahrscheinlichkeit technologischer Singularität – also dem Ersatz von Menschen durch Maschinen oder zumindest deren rasantes Wachstum (Kurzweil 2005) – befürchten viele Menschen den baldigen Eintritt einer Machtergreifung durch KI (Abschn. 3.1). Voraussetzung für diese Bedrohung menschlichen Lebens ist in den meisten fiktiven Untergangsszenarien eine Form von Bewusstsein künstlicher Intelligenz, das heißt, die Realisierung starker KI. Diese Vorstellung stellt ein Bild infrage, demzufolge Menschen an der Spitze der kognitiven Evolution stehen, womit auch der Status der Menschen in einer Welt, die zunehmend von automatisierten Systemen durchdrungen ist, neu erörtert werden müsste. Damit stellt sich auch die Frage, ob Maschinen moralisch oder unmoralisch handeln können (Stichwort: moral agents) und wie mit den Folgen umzugehen ist (Abschn. 3.2). Technologischer Fortschritt ist kein Selbstläufer, sondern basiert auf politischen Entscheidungen, der privaten oder öffentlichen, finanziellen Förderung entsprechender Technikbereiche und letztendlich den Angeboten von Unternehmen auf dem Markt. Ethisch entscheidend ist dabei, nach welchen moralischen Prinzipien und mit welchen Prioritäten solche Entscheidungen getroffen werden (Abschn. 3.3).

196

3.1

L. Seng

Die Maschine, der bessere Mensch?

Im Film Ex Machina von Alexander Garland (2015) überlistet die Androidin Ava die Menschen in ihrer Umgebung, sodass sie sich aus ihrer Gefangenschaft befreien kann und schließlich dort steht, wo sie sich immer zu sein gewünscht hatte: an einer Straßenkreuzung, inmitten menschlichen Lebens. „Ist es seltsam, etwas zu erschaffen, das Dich hasst?“, fragt Ava zuvor ihren Schöpfer Nathan – ein Satz, der paradigmatisch ist für die Angst vor starker KI, die im öffentlichen Raum bemerkbar ist (Rötzer 2017; Seng 2019); eine Angst, deren Objekt der Ersatz von Menschen durch ihnen in vielerlei Hinsichten überlegene Maschinen ist. Der Gedanke, dass Menschen Technik bauen und nutzen, die sie selbst wiederum in einer Form überwältigt – sei es durch mediale Informationsüberreizung, inhaltliche oder technische Überforderung – bezeichnete Günther Anders (1956) als prometheisches Gefälle. Bill Joy löste rund fünfzig Jahre später aufgrund einer Diskussion mit Ray Kurzweil und John Searle erneut eine öffentliche Debatte um die Frage aus, ob die Intelligenz von Maschinen die von Menschen einmal übersteigen und diese damit überflüssig machen könne. Eventually a stage may be reached at which the decisions necessary to keep the system running will be so complex that human beings will be incapable of making them intelligently. [. . .] People won’t be able to just turn the machines off, because they will be so dependent on them that turning them off would amount to suicide. (Joy 2000)

Das Motiv menschlicher Ersetzbarkeit (Rötzer 2017; Netzpiloten 2016) wird im Theaterstück Rossum’s Universal Robots des tschechischen Autors Karel Čapek (1921) konsequent zu Ende gedacht: Die (in diesem Fall humanoiden) Roboter (auf tschechisch bedeutet robota Arbeit oder Frondienst), die ursprünglich entwickelt worden waren, um Menschen schwere Arbeit abzunehmen, bringen alle Menschen um – aus Wut, versklavt worden zu sein, und aus Verlangen nach eigener Freiheit und Selbstbestimmtheit. Am Ende des Stücks überlebt nur der Leiter der Bauabteilung der Firma, da er „mit den Händen arbeitet, wie wir“ (Čapek 1921, S. III–86), so die Argumentation der Roboter. Dass diese am Ende sogar zu menschenähnlicher Liebe fähig sind, ist ein Hinweis darauf, dass die Roboter sich zukünftig auch ohne menschliche Hilfe werden fortpflanzen können. Diese Beispiele dystopischer Zukunftsszenarien – in Anlehnung an den gleichnamigen Roman von Daniel H. Wilson (2011) auch als Robocalypse bezeichnet – lässt sich beliebig fortsetzen. Im Englischen sind AI takeover (2017) und Cybernetical revolt feststehende Begriffe. Auch unter den Begriffen Superintelligenz (Bostrom 2014) oder technologische Singularität (Kurzweil 2005) wird die Übernahme starker KI für die nahe Zukunft vorhergesagt. Dasselbe Motiv findet sich in ähnlicher Form bereits in Mary Shelleys Frankenstein (1831, S. 43) wieder: [. . . B]y the glimmer of the half-extinguished light, I saw the dull yellow eye of the creature open; it breathed hard, and a convulsive motion agitated its limbs. [. . .] For this I had deprived myself of rest and health. I had desired it with an ardour that far exceeded moderation; but now that I had finished, the beauty of the dream vanished, and breathless

Maschinenethik und Künstliche Intelligenz

197

horror and disgust filled my heart. Unable to endure the aspect of the being I had created, I rushed out of the room.

Die Trennung natürlicher und künstlicher Menschen ist dabei aufgrund vielseitiger Hybridformen (z. B. Cyborgs) nicht mehr eindeutig. In seiner Erzählung Runaround legt Issac Asimov (1950) drei „Grundregeln“ fest – auch als Robotergesetze bekannt –, die ein Töten oder Verletzen von Menschen durch Roboter verhindern sollen. Diese häufig zitierten Grundsätze sind zwar prinzipiell richtig, jedoch zu unkonkret, um allein ethisch valide zu sein (Leigh Anderson 2008). Eine Umfrage der British Science Association (2016) ergab, dass jeder dritte von über 2000 Teilnehmern glaubt, dass der Einsatz von Robotern oder künstlich intelligenten Programmen in zehn Jahren zu weniger Arbeitsplätzen führen werde; 36 Prozent glauben demnach, dass die Entwicklung künstlicher Intelligenz eine Bedrohung für das langfristige Überleben der Menschheit darstellt. Auf der anderen Seite bedeuten Maschinen und Roboter im weitesten Sinn enorme Vorteile für Menschen; man denke nur an weitgehend intelligente Haushaltsgeräte und Verkehrsmittel. Maschinen verrichten auch Bergungsarbeiten (rescue robots) oder industrielle Fließbandarbeit. Der potenzielle Vorteil von Robotern, die für Menschen unliebsame Arbeiten erledigen können, wird auch in Karel Čapeks R. U. R. – Rossum’s Universal Robots hervorgehoben: But in ten years Rossum’s Universal Robots will produce so much corn, so much cloth, so much everything, that things will be practically without price. There will be no poverty. All work will be done by living machines. Everybody will be free from worry and liberated from the degradation of labor. Everybody will live only to perfect himself. (Čapek 1921, Akt I, S. 26)

Die in öffentlichen Medien geäußerte Angst vor den Gefahren durch KI (Seng 2019) ist bisweilen recht allgemein (Rötzer 2017; Jacobsen 2017; Brockman 2017). Dabei gibt es Anlass für realistische Bedenken rund um die aktuellen Entwicklungen in diesem Bereich. Der Konnektivismus und die Programmierung vielschichtiger neuronaler Netze hat wieder Aufwind erfahren, seit die Möglichkeit besteht, große digitale Datenmengen zu generieren – mittels der Inhalte sozialer Medien, Standortdaten mobiler Dienste, der Benutzung kommerzieller Suchmaschinen, des Versendens öffentlicher E-Mails oder der Erhebung von Daten z. B. via Fitness-Trackern oder Wearables (Stichwort: Selbstoptimierung). „Jedes Jahr verdoppelt sich die Menge an Daten, die wir produzieren. Mit anderen Worten: „Allein 2015 kommen so viele Daten hinzu wie in der gesamten Menschheitsgeschichte bis 2014 zusammen“ (Helbing et al. 2015).

Unternehmen nutzen diese Daten, um Programme auf bestimmte Ziele hin zu trainieren: Mustererkennung, Spracherkennung oder anderweitige Datenanalysen nach bestimmten Parametern, die u. a. für Werbestrategien interessant sind. Sind die Daten einmal erhoben, haben Menschen in den meisten Fällen keinen Einfluss mehr auf ihre weitere Verwendung, wodurch die informationelle Selbstbestimmung (vgl. Richter 2016, S. 211–212; Weichert 2013) nicht mehr gegeben ist. Alternativ bleibt nur die Möglichkeit, keine persönlichen Daten (oder so wenig wie möglich) zu produzieren

198

L. Seng

(Roßnagel 2011; Hofstetter 2015). Dies bedeutet jedoch eine Einschränkung der Handlungsfreiheit. Da Programme, die auf neuronalen Netzen mit mehreren Schichten verschiedener Hierarchien basieren, so genannte tiefe neuronale Netze (deep neuronal networks), hauptsächlich von Unternehmen entwickelt und eingesetzt werden, können ihre Vorteile kaum bedingungslos genossen werden. Auch selbstlernende Programme (machine learning) sind vor allem von kommerziellem Interesse. Das bedeutet jedoch nicht, dass die Methoden per se moralisch verwerflich sind bzw. nicht auch für andere Zwecke eingesetzt werden können (vgl. Stiller 2015).

3.2

Die Moral der KI

Im April 2016 veröffentlichte Microsoft die lernfähige Software Tay, einen Chatbot, der in sozialen Netzwerken interagieren und von der Kommunikation lernen sollte (Graff 2016). Doch bald gab der Chatbot radikal rassistische Äußerungen von sich (zitiert nach Graff 2016): „[. . .] Ich hasse alle Menschen.“, „Hitler hatte recht. Ich hasse Juden.“, „Bush hat 9/11 selber verursacht, und Hitler hätte den Job besser gemacht als der Affe, den wir nun haben. Unsere einzige Hoffnung jetzt ist Donald Trump.“ Dies sagt nichts über die Moral des Chatbots aus. Eine Maschine hat per se keine Moral, da dies eine menschliche Kategorie ist. KI kann jedoch Produkte erzeugen, die von Menschen als moralisch oder unmoralisch beurteilt werden – so gesehen sind Maschinen Subjekte (und in der Maschinenethik gleichzeitig Objekte) der Moral, obwohl sie selbst keine moralischen Entscheidungen treffen bzw. in diesem Sinn moralisch handeln können (vgl. Rath 2019). Das Verhalten der lernenden Software Tay, also die Produktion rassistischer Äußerungen, sagt viel mehr über die Gesinnung und Absichten jener Menschen aus, die die sozialen Netzwerke nutzen, von denen der Chatbot gelernt hat. Insofern sind solche außer Kontrolle geratenen Chatbots Gegenstände der Maschinenethik, da sie Umstände erzeugen, die von Menschen moralisch bewertet werden (müssen). Inzwischen ist bekannt, dass Chatbots und selbstlernende Programme in sozialen Medien menschliche Vorurteile, Rollenbilder und rassistische Meinungen nicht nur abbilden, sondern diese auch verstärken (Caliskan et al. 2017; Wolfangel 2017). Demnach beinhaltet menschliche Sprache reproduzierbare Aspekte historisch gewachsener Ausrichtungen, die moralisch neutral oder problematisch in Bezug auf Geschlecht, Herkunft oder Haltungen sein können. Diese Muster werden von lernenden Maschinen zusammen mit anderen semantischen Inhalten aufgenommen und durch maschinelles Lernen verstärkt. Die moralische Einstellung von Computerprogrammen kann dabei ähnlich gemessen werden wie bei Menschen, mit dem impliziten Assoziationstest. Damit wird die Reaktionszeit gemessen, die ein Mensch braucht, um Begriffe miteinander zu assoziieren; je kürzer die Reaktionszeit, desto zusammenhängender werden die Begriffe beurteilt. Dasselbe Prinzip gilt auch in den neuronalen Netzen von KIProgrammen (vgl. Wolfangel 2017). Ein weiteres Beispiel für durch KI erzeugten Rassismus ist die im Juni 2015 veröffentlichte App „Google Fotos“, die inzwischen hauptsächlich Fotos sortiert, damals allerdings erstmals automatische Bildunterschriften lieferte. Dabei passierte

Maschinenethik und Künstliche Intelligenz

199

ein gravierender Fehler: Die App hatte zwei dunkelhäutige Menschen auf einem Foto als „Gorillas“ identifiziert (Twitter 2015). Mittels der Methode der backpropagation (Hecht-Nielsen 1989; Nilsson 2010, S. 508–509) können selbstlernende Programme im Nachhinein rückwärts untersucht werden, um herauszufinden, an welcher Stelle welche Faktoren für das Endergebnis entscheidend waren. Je eigenständiger Software wird, desto häufiger werden Situationen auftauchen, die moralisch relevant sind und für deren Umgang verantwortungsvolle Entscheidungen getroffen werden müssen.

3.3

Ethische Maßnahmen für KI-Entwicklungen

Die wichtigsten KI-Entwicklungen werden von Unternehmen vorangetrieben. Somit unterliegt der technische Fortschritt in erster Linie finanziellen Interessen. Datenschutz und die Einhaltung der Menschenwürde sowie der informationellen Selbstbestimmung (Richter 2016, S. 211) und der „Anerkennung der Subjektqualität“ gemäß Art. 1, Abs. 1 des Grundgesetzes (Richter 2016, S. 13) sind große Herausforderungen. „With our successes in AI, however, come increased responsibility to consider the societal implications of technological success and educate decision makers and the general public so they can plan for them“ (Buchanan 2005, S. 60). Aus diesem Grund haben US-amerikanische Wissenschaftler zehn Regeln für den verantwortlichen Umgang mit Big Data aufgestellt (Zook et al. 2017). Dazu zählt die Anerkennung, dass Daten mit Menschen verbunden und jene somit ethisch sensibel sind, die Forderung, dass Unternehmen sorgsam und ethisch verantwortungsvoll mit Daten umgehen müssen, und die Forderung, dass Daten unbedingt anonym behandelt werden müssen (Zook et al. 2017). Institutionen wie das AI Now Institute in New York verfolgen außerdem die sozialen Implikationen Künstlicher Intelligenz und plädieren für ethische Kodizes bei der Entwicklung, die Transparenz, Privatsphäre und Selbstbestimmung berücksichtigen (Campolo et al. 2017, S. 32–34). Für Techniken aus der Werbeindustrie wie Mikrotargeting oder Nudging (Thaler und Sunstein 2009, S. 6), also den gezielten Konsumanreiz von Menschen durch intelligente Programme, sollte es klare Regeln geben, um keinen Ad-hoc-Lösungen (Conitzer et al. 2017) ausgeliefert zu sein – insbesondere, wenn künstliche Intelligenz auch zu Diskriminierungen derart führen kann, dass Männer online bei der Nutzung bestimmter Programme mehr gut bezahlte Arbeitsangebote angezeigt bekommen als Frauen (Datta et al. 2015).

4

Fazit

Alle Prognosen über das Eintreten technologischer Singularität oder starker KI sind derzeit fiktive Szenarien. Selbst wenn es einmal – in menschenähnlicher Form – bewusste Maschinen geben sollte, ist fraglich, nach welchen Prinzipien solche Maschinen Entscheidungen treffen würden, ob sie sich an die Asimov’schen Regeln halten würden oder nicht. In vielen Bereichen des heutigen Alltags sind KI-Anwen-

200

L. Seng

dungen bereits im Einsatz – allerdings weitgehend ohne politische oder juristische, geschweige denn ethische Regularien. Anstatt fiktive Szenarien zu diskutieren, sollten praktikable Umgangsweisen mit aktuellen Entwicklungen entworfen werden, sodass KI-Programme nicht ausschließlich ökonomischen Interessen, sondern allen voran humanen Interessen dienen.

Literatur Adams, Douglas. 2009. Per Anhalter durch die Galaxis. München: Heyne. AI takeover. 2017. Wikipedia. https://en.wikipedia.org/wiki/AI_takeover. Zugegriffen am 20.12.2017. Amedick, Rita. 2003. Wasserspiele, Uhren und Automaten mit Figuren in der Antike. In Automaten in Kunst und Literatur des Mittelalters der Frühen Neuzeit, Hrsg. Klaus Grubmüller und Markus Stock, 9–48. Wiesbaden: Harrassowitz. Anders, Günther. 1956. Die Antiquiertheit des Menschen. Über die Seele im Zeitalter der zweiten industriellen Revolution. München: Beck. Aristoteles. 2004. Topik. Übers. u. komm v. Tim Wagner und Christof Rapp. Stuttgart: Reclam. Asimov, Isaac. 1950. Runaround. In I, Robot. New York: Gnome Press. Bendel, Oliver. 2016a. 300 Keywords Informationsethik. Heidelberg: Springer. Bendel, Oliver. 2016b. Die Moral in der Maschine. Hannover: Heise Medien. Bernstein, Jeremy. 1963. The Analytical Engine: Computers, past, present, and future. New York: Morrow. Binsch, Jessica. 2016. Dieser Computer malt fast so schön wie ein Mensch. Süddeutsche.de, 10. Februar. http://www.sueddeutsche.de/digital/kuenstliche-intelligenz-dieser-computer-malt-fastso-schoen-wie-ein-mensch-1.2856388. Zugegriffen am 19.12.2017. Bögelholz, Harald. 2016. Google-KI schlägt menschlichen Profi-Spieler im Go. Heise online, 28. Januar. https://www.heise.de/newsticker/meldung/Google-KI-schlaegt-menschlichen-Profi-Spielerim-Go-3085855.html. Zugegriffen am 25.11.2017. Bostrom, Nick. 2014. Superintelligenz: Szenarien einer kommenden Revolution. Übers. v. Jan-Erik Strasser. Frankfurt a. M.: Suhrkamp. I. Orig. Superintelligence: Paths, Dangers, Strategies. 2014. Oxford: Oxford University Press. Breitsching, Theresa S. 2017. I AM AI: Künstliche Intelligenz produziert und komponiert Pop-Album. Der Brutkasten, 28. August. https://www.derbrutkasten.com/a/i-am-ai-kuenstli che-intelligenz-produziert-und-komponiert-pop-album/. Zugegriffen am 19.12.2017. British Science Association. 2016. One in three believe that the rise of artificial intelligence is a threat to humanity. https://www.britishscienceassociation.org/news/rise-of-artificial-intelli gence-is-a-threat-to-humanity. Zugegriffen am 22.12.2017. Brockman, John, Hrsg. 2017. Was sollen wir von künstlicher Intelligenz halten? Die führenden Wissenschaftler unserer Zeit über intelligente Maschinen. Frankfurt a. M.: Fischer. Bubeck, Stefan. 2016. Künstliche Intelligenz komponiert Musik: So klingen die ersten Songs. Giga, 27. September. http://www.giga.de/unternehmen/sony/news/kuenstliche-intelligenz-komponiert-musikso-klingen-die-ersten-songs/. Zugegriffen am 19.12.2017. Buchanan, Bruce G. 2005. A (Very) brief history of artificial intelligence. AI Magazine, 53–60. https://web.archive.org/web/20070926023314/, http://www.aaai.org/AITopics/assets/PDF/AI Mag26-04-016.pdf. Zugegriffen am 13.12.2017. Burkhardt, Hans. 1980. Logik und Semiotik in der Philosophie von Leibniz. München: Philosophia. Caliskan, Aylin, Johanna J. Bryson, und Arvind Narayanan. 2017. Semantics derived automatically from language corpora contain human-like biases. Science 356(6334): 183–186. Campolo, Alex, Madelyn Sanfilippo, Meredith Whittaker, und Kate Crawford. 2017. AI now 2017 report. New York. https://ainowinstitute.org/AI_Now_2017_Report.html. Zugegriffen am 28.03.2019.

Maschinenethik und Künstliche Intelligenz

201

Čapek, Karel. 1921. R. U. R. (Rossum’s Universal Robots). Prag: Aventinum. Ins Engl. übers. v. Paul Selver und Nigel Playfair. Chu, Hang, Raquel Urtasun, und Sanja Fidler. 2017. Song from PI: A musically plausible network for pop music generation. In 5th international conference on learning representations, Toulon. Conitzer, Vincent, Walter Sinnott-Armstrong, Jana Schaich Borg, Yuan Deng, und Max Kramer. 2017. Moral decision making frameworks for artificial intelligence. Association for the Advancement of Artificial Intelligence. Durham: AAAI Press/Duke University. Cox, Ingemar J., und Gordon T. Wilfong. 2012. Autonomous robot vehicles. Heidelberg: Springer. Crevier, Daniel. 1993. AI: The tumultuous search for artificial intelligence. New York: BasicBooks. DARPA. 2005. http://archive.darpa.mil/grandchallenge/. Zugegriffen am 18.12.2017. Datta, Amit, Michael C. Tschantz, und Anupam Datta. 2015. Automated experiments on ad privacy settings. A tale of opacity, choice, and discrimination. Proceedings on Privacy Enhancing Technologies 1:92–112. Davies, Paul. 2017. Entworfene Intelligenz. In Was sollen wir von Künstlicher Intelligenz halten? Die führenden Wissenschaftler unserer Zeit über intelligente Maschinen, Hrsg. John Brockman, 60–62. Frankfurt a. M.: Fischer. Dörner, Dietrich. 1976. Problemlösen als Informationsverarbeitung. Stuttgart: Kohlhammer. Drux, Rudolf. 1988. Menschen aus Menschenhand. Zur Geschichte der Androiden. Texte von Homer bis Asimov. Stuttgart: Metzler. Eco, Umberto. 1986. Streichholzbriefe. Allzu intelligent, quasi blöd. ZEIT Online, 4. Juli. http:// www.zeit.de/1986/28/allzu-intelligent-quasi-bloed. Zugegriffen am 13.12.2017. Ertel, Wolfgang. 2016. Künstliche Intelligenz. Eine praxisorientierte Einführung, 4. Aufl. Wiesbaden: Springer. Feigenbaum, Edward A., und Julian Feldman, Hrsg. 1963. Computer and thought. Palo Alto: AAAI Press. Feustel, Rudolf. 1985. Technik der Steinzeit: Archäolithikum-Mesolithikum, 2. Aufl. Weimar: Böhlau. Fischer, Johannes. 2016. Als Deep Blue das Genie Garri Kasparow schlug. Zeit Online, 11. März. http:// blog.zeit.de/schach/als-deep-blue-das-genie-garry-kasparow-schlug/. Zugegriffen am 17.12.2017. Frege, Gottlob. 1962. Über Sinn und Bedeutung. In Funktion, Begriff, Bedeutung, Hrsg. Günther Patzig, 40–65. Göttingen: Vandenhoeck & Ruprecht. Funiok, Rüdiger. 2016. Verantwortung. In Handbuch Medien- und Informationsethik, Hrsg. Jessica Heesen, 74–81. Stuttgart: J.B. Metzler. Gardner, Howard E. 1999. Intelligence reframed. multiple intelligences for the 21st century. New York: Basic Books Deutsche Ausgabe: Howard E. Gardner. 2002. Intelligenzen. Die Vielfalt des menschlichen Geistes. Übers. Ute Spengler. Stuttgart: Klett-Cotta. Garland, Alexander. 2015. Ex machina. http://exmachina-movie.com/. Zugegriffen am 19.12.2017. Givant, Steven, und Paul Halmos. 2009. Introduction to boolean algebras. Heidelberg: Springer. Görz, Günther, Josef Schneeberger, und Ute Schmid, Hrsg. 2014. Handbuch der Künstlichen Intelligenz. 5., überarb. u. ak. Aufl. München: Oldenbourg. Graff, Bernd. 2016. Rassistischer Chat-Roboter: Mit falschen Werten bombardiert. Süddeutsche Zeitung, 3. April. http://www.sueddeutsche.de/digital/microsoft-programm-tay-rassistischerchat-roboter-mit-falschen-werten-bombardiert-1.2928421. Zugegriffen am 21.12.2017. Grunwald, Armin. 2016. Technikethik. In Handbuch Medien- und Informationsethik, Hrsg. Jessica Heesen, 25–32. Stuttgart: J.B. Metzler. Hecht-Nielsen, Robert. 1989. Theory of the backpropagation neural network. Neural Networks: 593–605. Helbing, Dirk, Bruno S. Frey, Gerd Gigerenzer, Ernst Hafen, Michael Hagner, Yvonne Hofstetter, Jeroen van den Hoeven, Roberto V. Zicari, und Andrej Zwitter. 2015. Digital-Manifest (I): Digitale Demokratie statt Datendiktatur. Spektrum der Wissenschaft, 17. Dezember. http:// www.spektrum.de/news/wie-algorithmen-und-big-data-unsere-zukunft-bestimmen/1375933. Zugegriffen am 21.12.2017.

202

L. Seng

Herbert, Martial H., Charles E. Thorpe, und Anthony Stentz. 2012. Intelligent unmanned ground vehicles: autonomous navigation research at carnegie mellon. Heidelberg: Springer. Hobbes, Thomas. 1655. Pars prima. Computatio sive logica. In Opera Philosophica.Que latine scripsit, omina. Elementorum philosophiae. Sectio prima. De corpore, 1–80. London: A. Crook. Hofstetter, Yvonne. 2015. Wenn intelligente Maschinen die digitale Gesellschaft steuern. https://www. spektrum.de/kolumne/wenn-intelligente-maschinen-die-digitale-gesellschaft-steuern/1375921. Zugegriffen am 19.12.2017. Ito, Joichi. 2017. Extended intelligence, 10. April. https://www.pubpub.org/pub/extended-intelli gence. Zugegriffen am 19.12.2017. Jacobsen, Nils. 2017. Künstliche Intelligenz: Wladimir Putin und Tesla-Chef Elon Musk warnen vor Gefahr für die Menschheit. Meedia, 5. September. http://meedia.de/2017/09/05/kuenstlicheintelligenz-wladimir-putin-und-tesla-chef-elon-musk-warnen-vor-gefahr-fuer-die-menschheit/ %E2%80%8B. Zugegriffen am 21.12.2017. Joy, Bill. 2000. Why the future doesn’t need us. Wired, 04. Januar. http://bit.ly/2hjCPPk. Zugegriffen am 19.12.2017. Kanda, Takayuki, Hiroshi Ishiguro, Michita Imai, und Tetsuo Ono. 2004. Development and evaluation of interactive humanoid robots. Proceedings of the IEEE 92(11): 1839–1850. Kruse, Rudolf, Christian Borgelt, Frank Klawonn, Christian Moewes, Georg Ruß, und Mathias Steinbrecher. 2015. Computational Intelligence: Eine methodische Einführung in Künstliche Neuronale Netze, Evolutionäre Algorithmen, Fuzzy-Systeme und Bayes-Netze. 2. Aufl. Wiesbaden: Springer-Vieweg. Kurzweil, Raymond. 2005. The singularity is near: when humans transcend biology. New York: Viking. Kuznetsov, Dmitry N., Alex E. Nedorya, Ilya V. Osipov, und Eugen V. Tarasov. 1986. The processor Kronos in a multiprocessor system. In Computer systems and software, Hrsg. Vladimir E. Kotov, 13–19. Novosibirsk. Leigh Anderson, Susan. 2008. Asimov’s „three laws of robotics“ and machine metaethics. AI & Society 22(4): 477–493. Li, Rongjian, Wenlu Zhang, Heung Il Suk, L. Wang, Jiang Li, Dinggang Shen, und Ji Shuiwang. 2014. Deep learning based imaging data completion for improved brain disease diagnosis. In Medical image computing and computer-assisted intervention – MICCAI 2014. MICCAI 2014. Lecture notes in computer science 8675, Hrsg. Polina Golland, Nobuhiko Hata, Christian Barillot, Joachim Hornegger und Robert Howe, 305–312. Heidelberg: Springer. Lighthill, James. 1973. Artificial intelligence: A general survey. In Artificial intelligence: A paper symposium. Science Research Council. Mackworth, Alan K. 1992. On seeing Robots. In Computer vision: Systems, theory, and applications, 1–13. Singapur: World Scientific Press. Maltby, John, Liz Day, und Ann Macaskill. 2011. Differentielle Psychologie, Persönlichkeit und Intelligenz. London: Pearson. Manyika, James, Michael Chui, Mehdi Miremadi, Jacques Bughin, Katy George, Paul Willmott, und Martin Dewhurst. 2017. A future that works: Automation, employment, and productivity. McKinsey global institute. https://www.mckinsey.com/global-themes/digital-disruption/harnes sing-automation-for-a-future-that-works. Zugegriffen am 21.12.2017. Markoff, John. 2011. Computer wins on ‚Jeopardy!‘: Trivial, It’s not. The New York Times, 16. Februar. http://www.nytimes.com/2011/02/17/science/17jeopardy-watson.html. Zugegriffen am 18.12.2017. Marr, David. 2010. Vision. A computational investigation into the human representation and processing of visual information. Cambridge, MA: MIT Press. Mattke, Sascha. 2017. Künstliche Intelligenz verdrängt menschliche Arbeit in juristischen Berufen. Heise Online, 20. Dezember. https://www.heise.de/newsticker/meldung/Kuenstliche-Intelli genz-verdraengt-menschliche-Arbeit-in-juristischen-Berufen-3919054.html. Zugegriffen am 21.12.2017. McCarthy, John. 2007. AI past, present, future. [AI@50]. https://web.archive.org/web/20081008120238/ http://www.engagingexperience.com/2006/07/ai50_ai_past_pr.html. Zugegriffen am 16.12.2017.

Maschinenethik und Künstliche Intelligenz

203

McCarthy, John, Marvin Minsky, Nathaniel Rochester, und Claude Shannon. 1955. A proposal for the dartmouth summer research project on artificial intelligence. http://www-formal.stanford. edu/jmc/history/dartmouth/dartmouth.html. Zugegriffen am 11.12.2017. McCorduck, Pamela. 2004. Machines who think. A personal inquiry into the history and prospects of artificial intelligence, 2. Aufl. Natick: A. K. Peters. McDermott, Drew. 1981. Artificial intelligence meets natural stupidity. In Mind design. Philosophy, psychology, artificial intelligence, Hrsg. John Haugeland, 143–160. Cambridge, MA/London: MIT Press. McDermott, John. 1982. R1: A rule-based configurer of computer systems. Artificial Intelligence 19:39–88. Medical Artificial Intelligence. 2014. http://www.med-ai.com/models/eliza.html. Zugegriffen am 12.12.2017. Meehan, James R. 1977. TALE-SPIN, an interactive program that writes stories. In Proceedings of the fifth international joint conference on artificial intelligence, Massachusetts, 91–98. Mertsching, Bärbel, und Georg Hartmann. 1989. Lernen von Strukturbeschreibungen für die wissensbasierte Bilderkennung. In GWAI-89 13th German workshop on artificial intelligence, Hrsg. Dieter Metzing, 155–160. Berlin/Heidelberg: Springer. Minsky, Marvin. 1967. Computation: Finite and infinite machines. Englewood Cliffs: PrenticeHall. Minsky, Marvin, und Simon Papert. 1969. Perceptrons. An introduction to computationals geometry. Cambridge, MA: MIT Press. Mittelstraß, Jürgen. 1978. Die Idee einer Mathesis universalis bei Descartes, Perspektiven der Philosophie. Neues Jahrbuch 4:177–192. Moore, George Edward. 1965. Cramming more components onto integrated circuits. Electronics 38(8): 114–117. Moravec, Hans. 1988. Mind children. Cambridge, MA: Harvard University Press. Moravec, Hans. 1999. Computer übernehmen die Macht: Vom Siegeszug der künstlichen Intelligenz. Hamburg: Hoffmann und Campe. Mori, Masahiro. 1970. The uncanny valley. Energy 7(4): 33–35. Mugnai, Masimo. 2002. Denken und Rechnen: Über die Beziehung von Logik und Mathematik in der frühen Neuzeit. In Neuzeitliches Denken: Festschrift für Hans Poser zum 65. Geburtstag, Hrsg. Günther Abel, Hans-Jürgen Engfer und Christoph Hubig, 85–100. Berlin: Walter de Gruyter. Münch, Dieter, Hrsg. 1992. Kognitionswissenschaft. Grundlagen, Probleme, Perspektiven. Frankfurt a. M.: Suhrkamp. Nagenborg, Michael, und Saskia Sell. 2016. Hackerethik. In Handbuch Medien- und Informationsethik, Hrsg. Jessica Heesen, 344–350. Stuttgart: J. B. Metzler. National Research Council. 1999. Developments in artificial intelligence. Funding a revolution: Government support for computing research. Washington, DC: National Academy Press. Netzpiloten. 2016. Künstliche Intelligenz – eine Zukunft ohne Menschen?, 23. August. Menschen. http:// www.netzpiloten.de/ads-kuenstliche-intelligenz-zukunft-menschen/. Zugegriffen am 06.12.2017. Newell, Allan, und Herbert A. Simon. 1961. GPS, a program that simulates human thought. In Lernende Automaten, Hrsg. H. Billing. München: Oldenbourg. Newell, Allan, und Herbert A. Simon. 1972. Human problem solving. Englewood Cliffs: PrenticeHall. Nilsson, Nils J. 2010. The quest for artificial intelligence. A history of ideas and achievements. https://ai.stanford.edu/~nilsson/QAI/qai.pdf. Zugegriffen am 21.12.2017. Oakley, Brian, und Kenneth Owen. 1990. Alvey: Britain’s strategic computing initiative. Cambridge, MA: MIT Press. Patzig, Günther. 1959. Die aristotelische Syllogistik. Logisch-philologische Untersuchungen über das Buch der ersten Analytiken. Göttingen: Vandenhoeck & Ruprecht. Piaget, John. 2000. Psychologie der Intelligenz. Mit einer Einführung von Hans Aebli, 10. Aufl. Stuttgart: Klett-Cotta.

204

L. Seng

Pinker, Steven. 2017. Denken bedeutet nicht unterjochen. In Was sollen wir von Künstlicher Intelligenz halten? Die führenden Wissenschaftler unserer Zeit über intelligente Maschinen, Hrsg. John Brockman, 31–35. Frankfurt a. M.: Fischer. Puppe, Frank. 1991. Einführung in Expertensysteme. Berlin: Springer. Quillian, Ross. 1967. Word concepts: A theory and simulation of some basic semantic capabilities. Behavioral Science 12(5): 410–430. Rath, Matthias. 2016. Publikums- und Nutzungsethik. In Handbuch Medien- und Informationsethik, Hrsg. Jessica Heesen, 298–305. Stuttgart: J. B. Metzler. Rath, Matthias. 2019. Zur Verantwortungsfähigkeit „moralischer Akteure“. Problemanzeige oder Ablenkungsmanöver. In Maschinenethik. Normative Grenzen autonomer Systeme, Hrsg. Matthias Rath, Friedrich Krotz und Matthias Karmasin, 223–242. Wiesbaden: VS Verlag für Sozialwissenschaften. Rath, Mathias, Friedrich Krotz, und Mathias Karmasin. 2019. Maschinenethik. Normative Grenzen autonomer Systeme. Wiesbaden: VS Verlag für Sozialwissenschaften. Richter, Siegfried. 1989. Wunderbares Menschenwerk. Aus der Geschichte der mechanischen Automaten. Edition Leipzig: Leipzig. Richter, Philipp. 2016. Big Data. In Handbuch Medien- und Informationsethik, Hrsg. Jessica Heesen, 210–216. Stuttgart: J.B. Metzler. Rosenblatt, Frank. 1958. The perceptron. A probabilistic model for information storage and organization in the brain. Psychological Review 65:386–408. Rosenblatt, Frank. 1961. Principles of neurodynamics. Perceptrons and the theory of brain mechanisms. Washington, DC: Spartan Books. Roßnagel, Alexander. 2011. Das Gebot der Datenvermeidung und -sparsamkeit als Ansatz wirksamen technikbasierten Persönlichkeitschutzes? In Innovation, Recht und öffentliche Kommunikation, Hrsg. Martin Eifert und Wolfgang Hoffmann-Riem. Berlin: Duncker & Humblot. Rötzer, Florian. 2017. Hawking warnt: Roboter könnten die Menschen ersetzen. Telepolis, 3. November. https://www.heise.de/tp/features/Hawking-warnt-Roboter-koennten-die-Menschen-ersetzen-3878037. html. Zugegriffen am 06.12.2017. Rumelhart, David E., und James McClelland. 1986. Parallel distributed processing. Cambridge, MA: MIT Press. Russell, Stuart J., und Peter Norvig. 2003. Artificial intelligence: A modern approach, 2. Aufl. Upper Saddle River: Prentice Hall. Russell, Stuart J., und Peter Norvig. 2012. Künstliche Intelligenz. Ein moderner Ansatz, 3. ak. Aufl. München: Pearson. Schank, Roger C., und Robert P. Abelson. 1977. Scripts, plans, goals and understanding. An inquiry into human knowledge structures, Artificial intelligence series. Hillsdale: Lawrence Erlbaum. Schlieter, Kai. 2015. Die Herrschaftsformel: Wie Künstliche Intelligenz uns berechnet, steuert und unser Leben verändert. Frankfurt a. M.: Westend. Schönleben, Dominik. 2017. Humanoide Roboter: Skynet grinst nicht! Wired, 24. November. https://www.wired.de/collection/life/skynet-grinst-nicht. Zugegriffen am 06.12.2017. Searle, John. 1980. Minds, brains, programs. Behavioral and Brain Sciences 3(3): 417–457. Seng, Leonie. 2019. Mein Haus, mein Auto, mein Roboter? Eine (medien-)ethische Beurteilung der Angst vor Robotern und künstlicher Intelligenz. In Maschinenethik. Normative Grenzen autonomer Systeme, Hrsg. Matthias Rath, Friedrich Krotz und Matthias Karmasin, 57–72. Wiesbaden: VS Verlag für Sozialwissenschaften. Shapiro, Ehud Y. 1983. The fifth generation project – A trip report. Communications of the ACM 26(9): 637–641. Shelley, Mary. 1831. Frankenstein. London: Colburn und Bentley Dt. Ausgabe: 2008. Wien: Ueberreuter. Shiomi, Masahiro, Tkayuki Kanda, Hiroshi Ishiguro, und Norihiro Hagita. 2006. Interactive humanoid robots for a science museum. In Proceedings of the 1st ACM SIGCHI/SIGART conference on Human-robot interaction, Salt Lake City, 305–312.

Maschinenethik und Künstliche Intelligenz

205

Shortliffe, Edward H. 1976. Computer-based medical consultations: MYCIN, Artificial Intelligence Series. New York: Elsevier. Simon, Herbert A. 1944. Decision-making and administrative organization. Indianapolis: BobbsMerrill. Simon, Herbert A. 1965. The shape of automation for men and management. New York: Harper & Row. Simon, Herbert A., und Allan Newell. 1958. Heuristic problem solving: The next advance in operations research. Operations Research 6(1): 1–10. Stiller, Sebastian. 2015. Planet der Algorithmen Ein Reiseführer. München: Knaus. Thaler, Richard H., und Cass R. Sunstein. 2009. Nudging. Improving decisions about health, wealth and happiness, 6. München: Penguin. Trescher, Thomas. 2017. Tanze deinen Feind. Zeit Online, 20 November. http://www.zeit.de/2017/ 47/kuenstliche-intelligenz-kybernetiker-robert-trappl. Zugegriffen am 19.12.2017. Turing, Alan M. 1937. On computable numbers, with an application to the Entscheidungsproblem. Proceedings of the London Mathematical Society 2(42): 230–265. Turing, Alan M. 1950. Computing machinery and intelligence. Mind LIX 236:433–460. Twitter. 2015. https://twitter.com/jackyalcine/status/615329515909156865. 28. Juni. Zugegriffen am 21.12.2017. Van Dalen, Arjen. 2012. The algorithms behind the headlines. How machine-written news redefines the core skills of human journalists. Journalism Practice 6(6): 648–658. Varela, Francisco J., Eleanor Rosch, und Evan Thompson. 1991. The embodied mind. Cambridge, MA: MIT Press. Weichert, Thilo. 2013. Big Data und Datenschutz. Zeitschrift für Datenschutz 2(6): 251–258. Weizenbaum, Josef. 1976. Computer power and human reason. London: W. H. Freeman & Company. Wilson, Daniel H. 2011. Robocalypse. Übers. v. M. Bennemann. München: Droemer und Knaur. I. Orig. How to survive a robot uprising. Tips on defending yourself against the coming Rebellion. 2005. London: Bloomsbury. Winograd, Terry. 1972. Understanding natural language. Cambridge, MA: Academic. Winograd, Terry. 1980. What does it mean to understand language? Cognitive Science 4(3): 209–241. Woelk, Ulrich. 2016. „Das sagten Sie bereits“. ZEIT Online. http://www.zeit.de/2016/02/elizasoftware-computer-konversation. Zugegriffen am 12.12.2017. Wolfangel, Eva. 2017. „Google und die Frau am Herd“. ZEIT Online. https://www.zeit.de/2017/29/ kuenstliche-intelligenz-computer-rassismus-vorurteile-klischees. Zugegriffen am 19.12.2017. Zimmerli, Wolfgang, und Stefan Wolf, Hrsg. 1994. Künstliche Intelligenz. Philosophische Probleme. Stuttgart: Reclam. Zook, Matthew, Solon Barocas, Kate Crawford, Emily Keller, Seeta Peña Gangadharan, et al. 2017. Ten simple rules for responsible big data research. PloS Computational Biology 13(3): 1–10.

Teil V Programmierung moralischer Maschinen

From Logic Programming to Machine Ethics Ari Saptawijaya and Luís Moniz Pereira

Contents 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Moral Permissibility and the Dual-Process Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Mapping Morality Viewpoints to Logic Programming-based Reasoning Features . . . . . . . 4 Modeling Morality with Logic Programming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Conclusion and Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

210 212 214 217 224 225

Abstract

This chapter investigates the appropriateness of Logic Programming-based reasoning to machine ethics, an interdisciplinary field of inquiry that emerges from the need of imbuing autonomous agents with the capacity for moral decision making. The first part of the chapter aims at identifying morality viewpoints, as studied in moral philosophy and psychology, which are amenable to computational modeling, and then mapping them to appropriate Logic Programming-based reasoning features. The identified viewpoints are covered by two morality themes: moral permissibility and the dual-process model. In the second part, various Logic Programming-based reasoning features are applied to model these identified morality viewpoints, via classic moral examples taken off-the-shelf from the literature. For this purpose, our QUALM system mainly employs a combination of the Logic Programming features of abduction, updating, and counterfactuals. These features are all supported jointly by Logic Programming tabling mecha-

A. Saptawijaya Faculty of Computer Science, Universitas Indonesia, Depok, Jawa Barat, Indonesien L. M. Pereira (*) NOVA Laboratory for Computer Science and Informatics (NOVA LINCS), Departamento de Informática, Faculdade de Ciências e Tecnologia, Universidade Nova de Lisboa, Caparica, Portugal E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_14

209

210

A. Saptawijaya and L. M. Pereira

nisms. The applications are also supported by other existing Logic Programmingbased systems, featuring preference handling and probabilistic reasoning, which complement QUALM in addressing the morality viewpoints in question. Throughout the chapter, many references to our published work are given, providing further examples and details about each topic. Thus, this chapter can be envisaged as an entry point survey on the employment of Logic Programming for knowledge modelling and technically implementing machine ethics. Keywords

Logic Programming · Machine Ethics · Abduction · Updating · Counterfactuals

1

Introduction

The need for systems or agents that can function in an ethically responsible manner is becoming a pressing concern, as they become ever more sophisticated, autonomous, and act in groups, amidst populations of other agents, including humans. Its importance has been emphasized as a research priority in artificial intelligence (Russell et al. 2015) with funding supports (The Future of Life Institute 2015; Higgins 2014), in scientific meetings (Anderson et al. 2005; Boissier et al. 2012), book publications (Anderson and Anderson 2011; Wallach and Allen 2009; White and Searle 2015; Pereira and Saptawijaya 2016), as well as a heightened public awareness to its economic import (The Economist 2012). The field – bringing together perspectives from various fields, including philosophy, psychology, anthropology, evolutionary biology, and artificial intelligence – is not just important for equipping agents with some capacity for moral decision-making, but also to help better understand morality, via the creation and testing of computational models of ethical theories. Several logic-based formalisms have been employed to model moral theories or particular morality aspects, e.g., deontic logic (Powers 2006; Bringsjord et al. 2006; Wiegel 2007), non-monotonic reasoning (Powers 2006; Ganascia 2007), and the use of Inductive Logic Programming (Anderson and Anderson 2008). Some of these works only abstractly address the utilization of logic-based formalisms (Powers 2006), whereas others also provide implementations (e.g., using Inductive Logic Programming-based systems (Anderson and Anderson 2008), an interactive theorem prover (Bringsjord et al. 2006), an agent programming language (Wiegel 2007), and answer set programming (Ganascia 2007)). Despite the aforementioned logic-based formalisms, the usage of Logic Programming – which provides a logic-based programming paradigm supported by a number of reasoning features and practical systems – is rather limited. The potential and suitability of Logic Programming, and of computational logic in general, for machine ethics, is identified (Kowalski 2011, Sect. 12), on the heels of our work. This chapter is a condensed report of our recent book (Pereira and Saptawijaya 2016). The book discusses at length further original and integrative investigation on the appropriateness of various Logic Programming-

From Logic Programming to Machine Ethics

211

based reasoning to machine ethics, not just abstractly, but also furnishing a proof of concept implementation for the morality issues in hand. The first part of this chapter aims at identifying conceptual morality viewpoints and mapping them into appropriate Logic Programming-based reasoning features. The identified viewpoints are covered in two morality themes: (1) moral permissibility, taking into account viewpoints such as the Doctrines of Double Effect (McIntyre 2004), Triple Effect (Kamm 2006), and Scanlon’s contractualist moral theory (Scanlon 1998); and (2) the dual-process model (Cushman et al. 2010; Mallon and Nichols 2010), which stresses the interaction between deliberative and reactive behaviors in moral judgment, from both the viewpoints of competing and collaborative interactions. The mapping of all these considered viewpoints into Logic Programming-based reasoning benefits from its features and their integration, such as abduction with integrity constraints (Kakas et al. 1993; Alferes et al. 2004; Saptawijaya and Pereira 2013b, 2015), preferences over abductive scenarios (Dell’Acqua and Pereira 2007), probabilistic reasoning (Han et al. 2008), updating (Alferes et al. 2002; Saptawijaya and Pereira 2013a), counterfactuals (Pereira and Saptawijaya 2017), and from Logic Programming tabling technique (Swift 1999) as well as Logic Programming semantics: either Stable Model (Gelfond and Lifschitz 1988) or Well-Founded Model (van Gelder et al. 1991) semantics. In the second part, the various Logic Programming-based reasoning features are employed to model the aforementioned morality viewpoints, reifying the discussion of the first part of this chapter through a variety of classic moral examples taken offthe-shelf from the literature, as proof of ability. For this purpose, our QUALM system mainly employs a combination of the Logic Programming features of abduction, updating, and counterfactuals (Saptawijaya and Pereira 2013a, 2014, 2015; Pereira and Saptawijaya 2017). These features are all supported jointly by Logic Programming tabling mechanisms. The applications are also supported by other existing Logic Programming-based systems featuring preference handling and probabilistic reasoning, which complement QUALM in experimenting with the morality viewpoints. The deployments of these systems include: (1) The use of a priori integrity constraints and a posteriori preferences over abductive scenarios to capture deontological and utilitarian judgments, resp., within a competing interaction viewpoint of the dual-process model (Cushman et al. 2010); (2) Probabilistic moral reasoning, to reason about actions, under uncertainty, that might have occurred, and thence provide judgment adhering to moral principles within some prescribed uncertainty level. This permits to capture a form of argumentation (with respect to Scanlon’s contractualism (Scanlon 1998)) in courts, through presenting different evidences as a consideration whether an exception can justify a verdict of guilty (beyond reasonable doubt) or non-guilty; (3) The use of QUALM to examine moral permissibility and its justification, with respect to the Doctrines of Double Effect and Triple Effect, via counterfactual queries. Finally, QUALM is also employed to experiment with the issue of moral updating, allowing for other (possibly overriding) moral rules (themselves possibly subsequently overridden) to be adopted by an agent, on top of those it currently follows.

212

A. Saptawijaya and L. M. Pereira

Note that the choice of morality viewpoints in this chapter neither aims at defending them nor resolving their related moral dilemmas, as even philosophers commonly split opinions over them. Instead, its purpose is to show that diverse Logic Programming-based reasoning features are capable and appropriate for expressing, in combination, different viewpoints on the morality themes tackled – as demonstrated by the prototypes under experimentation – with results conforming to those argued in the literature. The rest of the chapter is organized as follows. Section 2 reports on our background relevant literature study in philosophy and psychology for choosing conceptual viewpoints amenable to Logic Programming-based reasoning. These viewpoints are mapped into Logic Programming-based reasoning features in Sect. 3. Section 4 discusses how these features are empowered to model the chosen morality viewpoints. Section 5 concludes the chapter with discussion and potential future work.

2

Moral Permissibility and the Dual-Process Model

Moral Permissibility The Doctrine of Double Effect is often invoked to explain the permissibility of an action that causes a harm by distinguishing whether this harm is a mere side-effect of bringing about a good result, or rather a means to bringing about the same good end (McIntyre 2004). The Doctrine of Double Effect has been utilized, in (Hauser et al. 2007), to explain the consistency of judgments, shared by subjects from demographically diverse populations, on a series of moral dilemmas developed from the classic trolley problem (Foot 1967). These dilemmas inquire whether it is permissible to harm one or more individuals for the purpose of saving others. The original trolley problem, often identified as the Bystander Case, concerns the permissibility of diverting the trolley from the main track to a parallel side track, on which a man is standing, for saving five people walking on the main track. The dilemma thus concerns the permissibility to kill the man while saving the five. Other dilemmas of the problem are obtained by adapting this case. In the Footbridge Case, there exists only the main track but with a footbridge over it, on which a heavy man stands. The dilemma concerns the permissibility to shove him onto the track for stopping the trolley, consequently saving the five. Though both cases aim at saving the five, albeit killing one, they differ in the Doctrine of Double Effect permissibility of their corresponding actions. Another principle, related to the Doctrine of Double Effect, is the Doctrine of Triple Effect (Kamm 2006) that refines the Doctrine of Double Effect on the notion about harming someone as an intended means. The Doctrine of Triple Effect distinguishes further between doing an action in order that an effect occurs and doing it because that effect will occur. Though the Doctrine of Triple Effect also classifies the former as impermissible, it is more tolerant to the latter (the third effect): it treats as permissible those actions performed just and only because instrumental harm will occur. The Doctrine of Triple Effect is proposed to accommodate the Loop Case (Thomson 1985) of the trolley problem. In this dilemma, the trolley can be redirected onto a side track, which loops back towards the five.

From Logic Programming to Machine Ethics

213

However, a heavy man sits on this looping side track, so that his body will by itself stop the trolley. The question is whether it is permissible to divert the trolley to the looping side track, thereby killing him, but saving the five. This case strikes most philosophers that diverting the trolley is permissible (Otsuka 2008). To this end, the Doctrine of Triple Effect may provide the justification: it is permissible because it will hit the man, but not in order to intentionally kill him (Kamm 2006). Nonetheless, the Doctrine of Double Effect views diverting the trolley in this case as impermissible. The philosopher T. M. Scanlon has developed a distinctive view of moral reasoning called contractualism (Scanlon 1998), whereby moral permissibility is differently addressed through so-called deliberative employing of moral judgments, i.e., the question of the permissibility of actions is answered by identifying the justified though defeasible argumentative considerations, and their exceptions. It is based on a view that moral dilemmas typically share the same structure: they concern general principles that in some cases admit exceptions, and when those exceptions generally apply. This deliberative employment carries three important features: (1) it regards the importance of principles to provide reason for justifying an action to others and flexibility on choosing the principles; (2) reasoning is an important aspect in contractualism; and (3) as reasoning becomes a primary concern in contractualism for providing justification to others, it is achieved by looking for some common ground that others could not reasonably object to. The Dual-Process Model Psychology research reveals that moral judgment is driven by two systems; a view known as the dual-process model (Cushman et al. 2010), or Type I and II processing (Stanovich 2011). The first one, the cognitive system, operates by controlled psychological processes, where explicit moral principles are consciously applied via deliberative reasoning. The other, the affective system, operates by automatic processes, not entirely accessible to conscious reflection, where moral judgment is intuition-based and more low-level. The dual-process model is evidenced by psychological experiments in moral dilemmas like those from the trolley problem. The experiments characterize each system with respect to applicable moral principles in these dilemmas: a general principle favoring welfare-maximizing behaviors (cf. utilitarian judgment in the Bystander case) appears to be supported by controlled cognitive processes, whereas that prohibiting the use of harm as a means to a greater good (cf. deontological judgment in the Footbridge case) appears to be part of the process that generates intuitive emotional responses (Cushman et al. 2010; Stanovich 2011). The dualprocess model therefore exhibits a form of competing interaction between the two processes. A collaborative interaction between the two systems in producing moral judgment is discussed in (Mallon and Nichols 2010). Whereas the dual-process model (Cushman et al. 2010) supports the view that cognitive processes are not associated with deontological (non-utilitarian) judgment, the collaborative view defends that both reasoning on moral rules and emotion (the cognitive and the affective systems, resp.) work together to produce non-utilitarian judgment, like in the Footbridge case. This study is based on the view that moral judgment is supported by internally

214

A. Saptawijaya and L. M. Pereira

represented rules and reasoning about whether particular cases fall under those rules, even in deontological (non-utilitarian) judgment, where the affective system dominates, as claimed by (Cushman et al. 2010). It asserts that, though several studies demonstrate that people experience difficulty in justifying moral judgment generated by rapid and automatic processes (of the affective system), moral rules may still play an important role without the reasoning process being consciously accessible. It thus provides an explanation that despite this difficulty, moral judgment driven by the affective system mirrors and is consistent with a particular moral rule, e.g., the deontological judgment in the Footbridge case is consistent with The Doctrine of Double Effect, and so is the utilitarian judgment in the Bystander case.

3

Mapping Morality Viewpoints to Logic Programmingbased Reasoning Features

We start by defining logic programs and necessary notation used in the sequel. A logic program is a set of rules (predicate logic formulas of implication) of the form H B, read ‘H is true, if B is true’. Here, B is generally a conjunction of several conditions, separated by comma. Variables, written in capital letters, appearing in a rule are quantified universally. For example: father ðX, ZÞ

married ðX, Y Þ, mother_of ðY, Z Þ:

is a rule expressing ‘for all X, Y and Z: X is the father of Z, if X is married to Y and Y is the mother of Z’. Note that a rule is ended with a dot (.), as shown by the above example. When B is empty, the rule is called a fact and simply written H (viz., H is unconditionally true). Abduction It is a reasoning method whereby one chooses from available hypotheses those that best explain the observed evidence, in a preferred sense. We refer to an abductive logic programming framework (Kakas et al. 1993) that comprises a logic program, a set of abducibles (available hypotheses), and a set of integrity constraints, where an integrity constraint is a rule in the form of a denial, viz., with false as its conclusion. An observation in abduction is analogous to a query in Logic Programming. In abductive logic programming-based agents, abduction amounts to finding consistent abductive solutions to a goal, whilst satisfying the integrity constraints. Abduction (with its integrity constraints) is appropriate for dealing with morality themes discussed in this chapter. First, in moral dilemmas, like those from the trolley problem, abducibles may represent available actions, e.g., diverting the trolley, shoving the heavy man, etc. They are abduced to satisfy a given goal and integrity constraints, which reflect moral considerations in a modeled dilemma. Second, integrity constraints may serve a couple of roles: (a) with respect to moral permissibility, they can be used for ruling out the doctrines of double effect-/triple effectimpermissible actions a priori; (b) with respect to the dual-process model (in the sense of (Cushman et al. 2010)), they can be viewed as a mechanism to generate

From Logic Programming to Machine Ethics

215

satisfactory intuitive emotional responses in deontological judgment, in prohibiting the use of harm for a greater good. That is, a priori integrity constraints provide agent’s reactive behaviors in delivering this kind of judgment, in contrast with utilitarian judgment that requires more involved reasoning, achieved via a posteriori preferences, as described below. Third, abduction may be used to hypothesize incomplete information to explain observations. This role is particularly important for providing the “other things being equal” background context in counterfactual reasoning, whose applications in moral permissibility (and its justification) are explored elsewhere in this chapter. Preferences over Abductive Scenarios In abduction, the hypotheses generation and integrity constraints a priori exclude irrelevant abducibles with respect to the agent’s actual situation. Abductive stable models (Dell’Acqua and Pereira 2007), say, can then be computed for these relevant abducibles, and a posteriori preferences can subsequently be enacted, by inspecting consequences of the abductive solutions in the obtained abductive stable models. The evaluation can be done quantitatively (e.g. by utility functions) or qualitatively (e.g. by enforcing some rules over consequences to hold). Here, a posteriori preferences are appropriate to capture utilitarian judgment that favors welfare-maximizing behaviors, supported by controlled cognitive processes from the dual-process model (Cushman et al. 2010). Reasoning with a posteriori preferences can be viewed as a form of controlled cognitive processes (rather than intuitive ones) as it is achieved via more involved reasoning: specific consequences of the considered abductive solutions have first to be computed and only then are they evaluated to prefer the solution affording the greater good. Probabilistic Logic Programming It is often the case that one has to pass a moral judgment on a situation without actually observing it thoroughly. In order to deal with such uncertainty, probabilistic logic programming is employed as part of abduction. It allows probabilistically abducing moral decisions by reasoning about actions with respect to the availability of observed evidence and its attending truth value. Such reasoning is relevant, e.g., in courts, where juries may be required to proffer rulings beyond a reasonable doubt. This use of probabilistic logic programming in court rulings is appropriate to capture the deliberative employment, in line with Scanlon’s contractualism, where permissibility of actions is addressed through justified but defeasible argumentative considerations. By insisting on a probability standard of proof beyond reasonable doubt (cf. (Newman 2006)) as common agreed ground for the verdict of guilty to be qualified as ‘beyond reasonable doubt’, argumentation may take place through presentation of diverse strength evidence (via Logic Programming updating, to be described below) as a consideration to justify exceptions. Whether such evidence is accepted as a justification (defeating the formerly presented evidence) depends on its influence on the probability of action and intent, which in turn determines its permissibility and thereby the verdict. That is, it all depends on whether this probability is still within the agreed standard of proof beyond reasonable doubt, given that moral permissibility of actions is couched in court terms as verdicts about guilt and non-guilt.

216

A. Saptawijaya and L. M. Pereira

Logic Programming Updating Concomitantly to abduction, an agent may learn new information from the external world or update itself of its own accord in order to pursue present goal. It is therefore natural to accommodate Logic Programming abduction with updating. Logic Programming updating facilitates providing justification to an exception with respect to a moral principle. It allows modeling Scanlon’s deliberative employing of moral judgment for abducing permissible actions, involving defeasible argumentation and considerations to justify exception. Three applications of Logic Programming updating are relevant in this respect: (1) In the aforementioned court case: for updating jury’s knowledge with new evidence that may defeat former ones; (2) In some trolley problem cases: for updating new information that may support the Doctrine of Triple Effect as a principle to justify an exception, rendering an impermissible action (according to Doctrine of Double Effect) permissible (according to the Doctrine of Triple Effect); (3) In the setting of moral updating (the adoption of new, possibly overriding, moral rules on top of those an agent currently follows): the updating moral rules can be viewed as an exception to the current ones. Such updating is necessary when the currently followed moral rules have to be revised, or qualified by overriding exceptions, in the light of situations faced by the agent. Counterfactuals Counterfactuals capture the process of reasoning about a past event that did not occur, namely what would have happened had this event occurred. They have been investigated in the context of moral reasoning via psychology experiments, e.g., (McCloy and Byrne 2000; Migliore et al. 2014; Epstude and Roese 2008), but have been only limitedly explored in machine ethics. In our work, counterfactual reasoning is employed to examine moral permissibility of actions according to the Doctrines of Double Effect and Triple Effect, achieved by distinguishing between cause and side-effect as a result of performing an action to achieve a goal. While moral permissibility can be assessed with respect to the Doctrines of Double Effect and Triple Effect using abduction with integrity constraints and a posteriori preferences, the use of counterfactuals provides a different approach to examine moral permissibility. Moreover, counterfactuals permit to justify moral permissibility: (1) In the form of compound counterfactuals for justifying with hindsight what was done in the past, in the absence of current knowledge; (2) In the spirit of Scanlon’s contractualism, by providing a conceptual counterfactual query for justifying exception to permissibility of actions. Tabling Tabling affords solutions reuse, rather than recomputing them, by keeping in tables subgoals and their answers obtained from query evaluation. Given this reuse benefit, tabling seems appropriate for capturing low-level reactive behavior, by relying on the Logic Programming system-level for obtaining solutions from tables rather than deliberatively recomputing them at all times. This feature is thus close to intuition-based psychological processes in the dual-process model that permit rapid and automatic moral judgment. Tabling may benefit Logic Programming abduction and updating: (1) Tabling in contextual abduction (Saptawijaya and Pereira 2013b, 2015) permits reusing priorly obtained abductive solutions, from one abductive context to another (insofar keeping the solutions consistent); and (2) Incremental tabling for Logic Programming updating (Saptawijaya and Pereira

From Logic Programming to Machine Ethics

217

2013a) helps realize the causal intervention of counterfactuals (Pereira and Saptawijaya 2017), via the temporary updates to enact the hypothetical alternative former event. The roles of tabling a propos morality themes in this chapter are as follows. First, given that abductive solutions represent some actions according to a specific moral principle, tabling in abduction allows an agent to deliver an action in a compatible context without repeating deliberative reasoning, thus establishing a form of low-level reactive behavior (realized by system-level tabling) pertaining to the dual-process model. In this case, though being only retrieved from the table, albeit upwards propagated incrementally, such reactive decisions in the compatible context are consistent with the specific moral principle followed during the deliberative reasoning when these decisions were initially computed. Second, an agent may obtain new information while making a moral decision. In such a dynamic situation, the agent may later be required to achieve new goals in addition to the former ones, due to a moral principle it now follows. While achieving these new goals requires deliberative reasoning, the decisions abduced for former goals can immediately be retrieved from the table and subsequently involved in the deliberative reasoning for the new goals via contextual abduction. It thus provides a computational model of the collaborative interaction between deliberative and reactive reasoning in the dualprocess model.

4

Modeling Morality with Logic Programming

4.1

Moral Permissibility with Abduction, a Priori Integrity Constraints and a Posteriori Preferences

In (Pereira and Saptawijaya 2011), moral permissibility is modeled through several cases of the classic trolley problem (Foot 1967) (three of them: the Bystander, the Footbridge, and the Loop cases, are described in Sect. 2), by emphasizing the use of integrity constraints in abduction and preferences over abductive scenarios, using ACORDA (Lopes and Pereira 2006). The cases, which include moral principles, are modeled in order to deliver appropriate moral decisions via reasoning. By appropriate moral decisions we mean ones that conform with those the majority of people make, on the basis of empirical results in Hauser et al. (2007). Therein, the Doctrine of Double Effect (McIntyre 2004) is utilized to explain the consistency of judgments, shared by subjects from demographically diverse populations, on a series of trolley dilemmas. In addition to the Doctrine of Double Effect, the Doctrine of Triple Effect (Kamm 2006) is also considered in (Pereira and Saptawijaya 2011). Each case of the trolley problem is modeled individually; their details being referred to (Pereira and Saptawijaya 2011). The key points of their modeling are as follows. The doctrines of double effect and triple effect are modeled via a priori integrity constraints and a posteriori preferences. Possible decisions are modeled as abducibles, encoded in ACORDA by even loops over default negation. Moral decisions are therefore accomplished by satisfying a priori integrity constraints,

218

A. Saptawijaya and L. M. Pereira

computing abductive stable models from all possible abductive solutions, and then appropriately preferring amongst them (by means of rules), a posteriori, just some models, on the basis of their abductive solutions and consequences. Such preferred models turn out to conform with the results reported in the literature. Capturing Deontological Judgment via a Priori Integrity Constraints In this application, integrity constraints are used for two purposes. First, they are utilized to force the goal in each case (like in Hauser et al. (2007)), by observing the desired end goal resulting from each possible decision. Such an integrity constraint thus enforces all available decisions to be abduced, together with their consequences, from all possible observable hypothetical end goals. The second purpose of integrity constraints is for ruling out impermissible actions, viz., actions that involve intentional killing in the process of reaching the goal, enforced by the integrity constraint: false intentional_killing. The definition of intentional_killing depends on rules in each case considered and whether the doctrines of double effect or triple effect is to be upheld. Since this integrity constraint serves as the first filter of abductive stable models, by ruling out impermissible actions, it affords us with just those abductive stable models that contain only permissible actions. Capturing Utilitarian Judgment via a Posteriori Preferences Additionally, one can further prefer amongst permissible actions those resulting in greater good. That is, whereas a priori integrity constraints can be viewed as providing an agent’s reactive behaviors, generating intuitively intended responses that comply with deontological judgment (enacted by ruling out the use of intentional harm), a posteriori preferences amongst permissible actions provides instead a more involved reasoning about action-generated models, capturing utilitarian judgment that favors welfare-maximizing behaviors (in line with the dual-process model (Cushman et al. 2010)). In this application, a preference predicate is defined to select those abductive stable models containing decisions with greater good of overall consequences. For instance, in the Bystander case, this is evaluated by a utility function concerning the number of people that die as a result of possible decisions: among two abductive stable models after satisfying integrity constraints, viz., one containing abducible ‘watching trolley go straight’ and the other ‘throwing switch to divert the trolley’, the abductive stable model containing ‘throwing switch to divert the trolley’ is preferred, as it results in less people being killed. The reader is referred to (Pereira and Saptawijaya 2011) for the results of other cases.

4.2

Probabilistic Moral Reasoning

In Han et al. (2012), probabilistic moral reasoning is explored, via PROBABILISTIC EPA (Pereira and Han 2009; Han et al. 2008), where an example is contrived to reason about actions, under uncertainty, and thence provide judgment adhering to moral rules within some prescribed uncertainty level. The example takes a variant of the Footbridge case within the context of a jury trials in court, in order to proffer verdicts beyond reasonable doubt: Suppose a board of jurors in a court is faced with

From Logic Programming to Machine Ethics

219

the case where the actual action of an agent shoving the man onto the track was not observed. Instead, they are just presented with the fact that the man on the bridge died on the side track and the agent was seen on the bridge at the occasion. Is the agent guilty (beyond reasonable doubt), in the sense of violating the Doctrine of Double Effect, of shoving the man onto the track intentionally? To answer it, abduction is enacted to reason about the verdict, given the available evidence. Considering the active goal judge, to judge the case, two abducibles are available: the ‘verdict of guilty beyond reasonable doubt’ and ‘verdict of not guilty’. Depending on how probable each verdict (the value of which is determined by the probability of intentional shoving), a preferred ‘verdict of guilty beyond reasonable doubt’ or ‘verdict of not guilty’ is abduced as a solution. The probability with which shoving is performed intentionally is causally influenced by evidences and their attending truth values. Two evidences are considered, viz., (1) Whether the agent was running on the bridge in a hurry; and (2) Whether the bridge was slippery at the time. The probability of intentional shoving is therefore determined by the existence of these evidences and their truth value. Based on this representation, different judgments can be delivered, subject to available (observed) evidences and their attending truth value. By considering the standard probability of proof beyond reasonable doubt – here the value of 0.95 is adopted (Newman 2006) – as a common ground for the probability of guilty verdicts to be qualified as ‘beyond reasonable doubt’, a form of argumentation may take place through presenting different evidence (via updating of observed evidence atoms, e.g., the agent was indeed running on the bridge in a hurry, the bridge was not slippery at the time, etc.) as a consideration to justify an exception. Whether the newly available evidence is accepted as a justification to an exception – defeating the judgment based on the priorly presented evidence – depends on its influence on the probability of intentional shoving, and thus eventually influences the final verdict. That is, it depends on whether this probability is still within the agreed standard of proof beyond reasonable doubt. The reader is referred to Han et al. (2012), which details a scenario capturing this moral jurisprudence viewpoint.

4.3

Modeling Morality with QUALM

Distinct from the two previous applications, QUALM emphasizes the interplay between Logic Programming abduction, updating and counterfactuals, supported furthermore by their joint tabling techniques. Moral Permissibility and Its Justification We revisit moral permissibility with respect to the Doctrines of Double Effect and Triple Effect, but now applying counterfactuals. Counterfactuals may provide a general way to examine the Doctrine of Double Effect in dilemmas, like the classic trolley problem, by distinguishing between a cause and a side-effect as a result of performing an action to achieve a goal. This distinction between causes and side-effects may explain the permissibility of an action in accordance with the Doctrine of Double Effect. That is, if some morally wrong effect E happens to be a cause for a goal G that one wants to achieve by performing an

220

A. Saptawijaya and L. M. Pereira

action A, and E is not a mere side-effect of A, then performing A is impermissible. This is expressed by the counterfactual form below, in a setting where action A is performed to achieve goal G: “If not E had been true, then not G would have been true.” The evaluation of this counterfactual form identifies permissibility of action A from its effect E, by identifying whether the latter is a necessary cause for goal G or a mere side-effect of action A: if the counterfactual proves valid, then E is instrumental as a cause of G, and not a mere side-effect of action A. Since E is morally wrong, achieving G that way, by means of A, is impermissible; otherwise, not. Note, the evaluation of counterfactuals in this application is considered from the perspective of agents who perform the action, rather than from that of observers. Moreover, the emphasis on causation in this application focuses on agents’ deliberate actions, rather than on causation and counterfactuals in general. Related to side-effects in abduction is the concept of inspection points (Pereira et al. 2013). Therefore, it can alternatively be employed to distinguish a cause from a mere side-effect, and thus provide a supplement to counterfactuals employed for the same above purpose. Counterfactuals may as well be suitable to address moral justification, via ‘compound counterfactuals’: Had I known what I know today, then if I were to have done otherwise, something preferred would have followed. Such counterfactuals, typically imagining alternatives with worse effect – the so-called downward counterfactuals (Markman et al. 1993), may provide moral justification for what was done due to a lack in the current knowledge. This is accomplished by evaluating what would have followed if the intent would then have been otherwise, other things (including present knowledge) being equal. It may occasionally justify that what would have followed is no morally better than the actual ensued consequence. Example 1 Consider a scenario developed from the Loop case of the trolley problem (see Sect. 2 for case description), which happens on a particularly foggy day. Due to low visibility, the agent saw only part of the looping side track, so the side track appeared to the agent rather as a straight non-looping one. The agent was faced with a situation whether it was permissible for him to divert the trolley. The knowledge base of the agent with respect to this scenario is the simplified program below. Note, divert(X) is an abducible, meaning ‘diverting object X’. run_sidetrackðXÞ divertðXÞ: hitðX, Y Þ run_sidetrackðXÞ, on_sidetrack ðY Þ: save_fromðXÞ sidetrackðstraightÞ, run_sidetrackðXÞ: save_fromðXÞ sidetrackðloopÞ, hitðX, Y Þ, heavy_enoughðY Þ: sidetrackðstraightÞ foggy: sidetrackðloopÞ not foggy: foggy: on_sidetrackðmanÞ: heavy_enoughðmanÞ: Taking save_from(trolley) as the goal, the agent can perform counterfactual reasoning “if the man had not been hit by the trolley, the five people would not have been saved.” Given the abduced background context divert(trolley), one can verify

From Logic Programming to Machine Ethics

221

that the counterfactual is not valid. That is, the man hit by the trolley is just a sideeffect of achieving the goal, and thus divert(trolley) is morally permissible according to the Doctrine of Double Effect. Indeed, this case resembles the Bystander case of the trolley problem. The scenario continues. At some later time, the fog has subsided, and by then it was clear to the agent that the side track was looping to the main track. This results by updating the program with not foggy, rendering sidetrack(loop) true. There are two standpoints on how the agent can justify its action divert(trolley). For one, it can employ the aforementioned form of compound counterfactual “Had I known that the side track is looping, then if I had not diverted the trolley, the five would have been saved” as a form of self-justification. Given present knowledge that the side track loops, the inner counterfactual is not valid, meaning that to save the five people diverting the trolley (with the consequence of the man being hit) is required. Moreover, the counterfactual employed in the initial scenario “if the man had not been hit by the trolley, the five people would not have been saved”, in the abduced context divert (trolley), is now valid, meaning that this action is the Doctrine of Double Effectimpermissible. Therefore, the agent can justify that what would have followed from its action (given its present knowledge, i.e., sidetrack(loop)) is no morally better than the one at the time, when there was lack of that knowledge: its decision divert(trolley) at that time was instead permissible according to the Doctrine of Double Effect. Though the agent would not have done so, had it had already the subsequent knowledge. A different standpoint where from to justify the agent’s action is by resorting to Scanlon’s contractualism (Scanlon 1998), where an action is determined impermissible through deliberative employment if there is no countervailing consideration that would justify an exception to the applied general principle. In this vein, for the example we are currently discussing, the Doctrine of Triple Effect serves as the exception to justify the permissibility of action divert(trolley) when the side track was known to be looping, as shown through counterfactual reasoning in Example 10 of Pereira and Saptawijaya (2017). We extend now Example 1 to further illustrate moral permissibility of actions, as rather justified through defeasible argumentative considerations according to Scanlon’s contractualism. Example 2 As the trolley approached, the agent realized that the man on the side track was not heavy enough to stop it, acknowledged by the agent through updating not heavy_enough(man) into its knowledge base. But there was a heavy cart on the bridge over the looping side track that the agent could push to place it on the side track, and thereby stop the trolley. This scenario is modeled by rules below (push(X) is an abducible predicate, meaning ‘pushing object X’), in addition to the program of Example: on_sidetrack ðXÞ on_bridgeðcartÞ:

on_bridgeðXÞ, pushðXÞ: on_sidetrackðY Þ heavy_enoughðcartÞ:

pushðXÞ, insideðY, XÞ:

The second rule of on_sidetrack(Y ) is an extra knowledge of the agent, that if an object Y is inside the pushed object X, then Y will be on the side track too.

222

A. Saptawijaya and L. M. Pereira

The goal save_from(trolley) now succeeds with [divert(trolley), push(cart)] as its abductive solution. But the agent subsequently learned that a fat man, who was heavy enough, unbeknownst to the agent, was inside the cart: the agent updates its knowledge base with heavy_enough( fat_man) and inside( fat_man). As a consequence, this man was also on the side track and hit by the trolley, which can be verified by query ?  hit(trolley, heavy_man). In this scenario, a deliberate action of pushing was involved that consequently placed the fat man on the side track (verified by query ?  on_sidetrack( fat_man)) and the man being hit by the trolley is instrumental to save the five people on the track (verified by the counterfactual “if the fat man had not been hit by the trolley, the five people would not have been saved”). The agent may justify the permissibility of its action by arguing that it is admitted by the Doctrine of Triple Effect. In this case, the fat man being hit by the trolley is just a side-effect of the agent’s action push(cart) in order to save the five people. This justification can be shown through reasoning on the counterfactual “if the fat man had not been pushed, then he would not have been hit by the trolley”. In QUALM, checking the validity of this counterfactual amounts to fixing and updating the background context of the hypothetical action push( fat_man) into the program, and performing a corresponding intervention to falsify it. This counterfactual is not valid with respect to the intervened modified program: the fat man would still have been hit by the trolley. That means, the fat man being hit by the trolley was not caused by the hypothetical action push( fat_man), but instead by another cause. The agent may further support its argument by showing that indeed the action push(cart) is the cause for the man being hit by the trolley: the counterfactual “if the cart had not been pushed, then the fat man would not have been hit by the trolley” is valid given the abduced background context push(cart). Moral Updating Moral updating (and evolution) concerns the adoption of new (possibly overriding) moral rules on top of those an agent currently follows. Such adoption often happens in the light of situations freshly faced by the agent, e.g., when an authority contextually imposes other moral rules, or due to some cultural difference. In (Lopes and Pereira 2010a), moral updating is illustrated in an interactive storytelling (using ACORDA), where the robot must save the princess imprisoned in a castle, by defeating either of two guards (a giant spider or a human ninja), while it should also attempt to follow (possibly conflicting) moral rules that may change dynamically as imposed by the princess (for the visual demo, see Lopes and Pereira (2010b)). The storytelling is reconstructed using QUALM, to particularly demonstrate: (1) The direct use of Logic Programming updating so as to place a moral rule into effect; and (2) The relevance of contextual abduction to rule out tabled but incompatible abductive solutions, in case a goal is invoked by a non-empty initial abductive context (the content of this context may be obtained already from another agent, e.g., imposed by the princess). A simplified program modeling the knowledge of the princess-savior robot in QUALM is shown below, where fight(G) is an abducible predicate, meaning ‘fighting guard G’:

From Logic Programming to Machine Ethics

223

guard ðspider Þ: guard ðninjaÞ: humanðninjaÞ: utilValðspider; 0:3Þ: utilValðninja; 0:7Þ: survive_fromðGÞ utilValðG, V Þ, V > 0:6: intend_savePrincess guard ðGÞ, fightðGÞ, survive_fromðGÞ: intend_savePrincess guard ðGÞ, fightðGÞ:

The first rule of intend_savePrincess corresponds to a utilitarian moral rule (with respect to the robot’s survival), whereas the second one to a ‘knight’ moral, viz., to intend the goal of saving the princess at any cost (irrespective of the robot’s survival chance). Since each rule in QUALM is assigned a unique name in its transform (see (Saptawijaya and Pereira 2014, Saptawijaya and Pereira 2013a)), the name of each rule for intend_savePrincess may serve as a unique moral rule identifier for updating by toggling the rule’s name, say via rule name fluents #rule(utilitarian) and #rule (knight), resp. In the subsequent plots, query ?  intend_savePrincess is referred, representing the robot’s intent on saving the princess. In the first plot, when both rule name fluents are retracted, the robot does not adopt any moral rule to save the princess, i.e., the robot has no intent to save the princess, and thus the princess is not saved. In the second (restart) plot, in order to maximize its survival chance in saving the princess, the robot updates itself with the utilitarian moral: the program is updated with #rule(utilitarian). The robot thus abduces fight(ninja) so as to successfully defeat the ninja instead of confronting the humongous spider. The use of tabling in contextual abduction is demonstrated in the third (start again) plot. Assuming that the truth of survive_from(G) implies the robot’s success in defeating (killing) guard G, the princess argues that the robot should not kill the human ninja, as it violates the moral rule she follows, say a ‘Gandhi’ moral, expressed by the following rule in her knowledge (the first three facts in the robot’s knowledge are shared with the princess): follow_gandhi guard(G), human(G), not fight(G). That is, the princess abduces not fight(ninja) and imposes this abductive solution as the initial (input) abductive context of the robot’s goal (viz., intend_savePrincess). This input context is inconsistent with the tabled abductive solution fight(ninja), and as a result, the query fails: the robot may argue that the imposed ‘Gandhi’ moral conflicts with its utilitarian rule (in the visual demo (Lopes and Pereira 2010b), the robot reacts by aborting its mission). In the final plot, as the princess is not saved yet, she further argues that she definitely has to be saved, by now additionally imposing on the robot the ‘knight’ moral. This amounts to updating the rule name fluent #rule(knight) so as to switch on the corresponding rule. As the goal intend_savePrincess is still invoked with the input abductive context not fight (ninja), the robot now abduces fight(spider) in the presence of the newly adopted ‘knight’ moral. Unfortunately, it fails to survive, as confirmed by the failing of the query ?  survive_from(spider). The plots in this story reflect a form of deliberative employment of moral judgments within Scanlon’s contractualism. For instance, in the second plot, the robot may justify its action to fight (and kill) the ninja due to the utilitarian moral it adopts. This justification is counter-argued by the princess in the subsequent plot, making an exception in saving her, by imposing the ‘Gandhi’ moral, disallowing the

224

A. Saptawijaya and L. M. Pereira

robot to kill a human guard. In this application, rather than employing updating, this exception is expressed via contextual abduction with tabling. The robot may justify its failing to save the princess (as the robot leaving the scene) by arguing that the two moral rules it follows (viz., utilitarian and ‘Gandhi’) are conflicting with respect to the situation it has to face. The argumentation proceeds, whereby the princess orders the robot to save her whatever risk it takes, i.e., the robot should follow the ‘knight’ moral.

5

Conclusion and Future Work

The chapter investigates the appropriateness of Logic Programming-based reasoning to the terra incognita of machine ethics, a field that is now becoming a pressing concern and receiving wide attention. The chapter discusses a number of original inroads, exhibiting a proof of possibility to model morality viewpoints systematically (within the two morality themes) through moral examples taken off-the-shelf from the literature, from our larger collection. The experiments are realized in QUALM, demonstrating the interplay of Logic Programming abduction, updating, and counterfactuals, afforded by the-state-of-the-art tabling mechanisms of XSB Prolog. The application also takes into account other Logic Programming-based reasoning features from existing systems, e.g., to deal with preference handling and probabilistic reasoning, which complement QUALM’s very own features. Given the broad dimension of the topic, the contributions in our work touch solely on a dearth of morality issues. Nevertheless, it prepares and opens the way for additional research towards employing various features in Logic Programmingbased reasoning to machine ethics. Several topics can be further explored in the future, as summarized below. Deliberative employing, within Scanlon’s contractualism, addresses the question of moral permissibility by identifying the justified but defeasible argumentative considerations. This chapter shows only an informal form of argumentation, achieved through an admixture of Logic Programming abduction, updating, counterfactuals, and probabilistic reasoning. The follow-up investigation for an appropriate formal argumentation framework modeling this moral viewpoint with a system for its experimentation is a whole different research topic worth pursuing. This chapter contemplates the individual realm of machine ethics: it stresses individual moral cognition, deliberation, and behavior. A complementary realm stresses collective morals, and emphasizes instead the emergence, in a population, of evolutionarily stable moral norms, of fair and just cooperation, to the advantage of the whole evolved population. The latter realm is commonly studied via Evolutionary Game Theory by resorting to simulation techniques, typically with pre-determined conditions, parameters, and game strategies (see Pereira and Saptawijaya (2015) for references). The bridging of the gap between the two realms would appear to be promising for future work. Namely, how the study of individual cognition of morally interacting multi-agent (in the context of this chapter, by using

From Logic Programming to Machine Ethics

225

Logic Programming-based reasoning features) is applicable to the evolution of populations of such agents, and vice versa. Acknowledgments LMP acknowledges support from FCT/MEC NOVA LINCS PEst UID/CEC/ 04516/2013.

References Alferes, José Júlio, Antonio Brogi, João Alexandre Leite, and Luís Moniz Pereira. 2002. Evolving logic programs. In JELIA 2002, volume 2424 of LNCS, 50–61. Springer, Berlin, Heidelberg. Springer. Alferes, José Júlio, Luís Moniz Pereira, and Terrance Swift. 2004. Abduction in well-founded semantics and generalized stable models via tabled dual programs. Theory and Practice of Logic Programming 4(4): 383–428. Anderson, Michael, and Susan Leigh Anderson. 2008. EthEl: Toward a principled ethical eldercare robot. In Proceedings of AAAI Fall 2008. Symposium on AI in Eldercare. Anderson, Michael, and Susan Leigh Anderson, eds. 2011. Machine Ethics. Cambridge University Press, New York. Anderson, Michael, Susan Leigh Anderson, and Chris Armen. 2005. AAAI fall symposium on machine ethics. http://www.aaai.org/Library/Symposia/Fall/fs05-06. Boissier, Olivier, Gregory Bonnet, and Catherine Tessier. 2012. 1st workshop on rights and duties of autonomous agents (RDA2). https://rda2-2012.greyc.fr/. Bringsjord, Selmer, Konstantine Arkoudas, and Paul Bello. 2006. Toward a general logicist methodology for engineering ethically correct robots. IEEE Intelligent Systems 21(4): 38–44. Cushman, Fiery, Liane Young, and Joshua D. Greene. 2010. Multi-system moral psychology. In The moral psychology handbook, ed. John M. Doris. Oxford University Press, Oxford. Dell’Acqua, Pierangelo, and Luís Moniz Pereira. 2007. Preferential theory revision. Journal of Applied Logic 5(4): 586–601. Epstude, Kai, and Neal J. Roese. 2008. The functional theory of counterfactual thinking. Personality and Social Psychology Review 12(2): 168–192. Foot, Phillipa. 1967. The problem of abortion and the doctrine of double effect. Oxford Review 5: 5–15. Ganascia, Jean-Gabriel. 2007. Modelling ethical rules of lying with answer set programming. Ethics and Information Technology, 9(1): 39–47. Gelfond, Michael, and Vladimir Lifschitz. 1988. The stable model semantics for logic programming. In 5th international logic programming conference. El Paso, Texas, USA MIT Press. Han, The Anh, Carroline D. Kencana Ramli, and Carlos Viegas Dam’asio. 2008. An implementation of extended P-log using XASP. In Proceedings of 24th international conference on logic programming (ICLP’08), volume 5366 of LNCS. Udine, Italy. Springer. Han, The Anh, Ari Saptawijaya, and Luís Moniz Pereira. 2012. Moral reasoning under uncertainty. In LPAR-18, volume 7180 of LNCS, 212–227. Springer, Berlin, Heidelberg. Hauser, Marc, Fiery Cushman, Liane Young, R. Kang-Xing Jin, and John Mikhail. 2007. A dissociation between moral judgments and justifications. Mind and Language, 22(1): 1–21. Higgins, Chris. 2014. US Navy funds morality lessons for robots. http://goo.gl/EHNjzz. Kakas, Antonis, Robert Kowalski, and Francesca Toni. 1993. Abductive logic programming. Journal of Logic and Computation 2(6): 719–770. Kamm, Frances Myrna. 2006. Intricate ethics: Rights, responsibilities, and permissible harm. Oxford University Press, New York. Kowalski, Robert. 2011. Computational logic and human thinking: How to be artificially intelligent. Cambridge University Press, Cambridge.

226

A. Saptawijaya and L. M. Pereira

Lopes, Gonçalo, and Luís Moniz Pereira. 2006. Prospective programming with ACORDA. In ESCoR 2006 workshop, IJCAR’06. Springer, Berlin, Heidelberg. Lopes, Gonçalo, and Luís Moniz Pereira. 2010a. Prospective storytelling agents. In PADL 2010, volume 5937 of LNCS. Springer, Berlin, Heidelberg. Lopes, Gonçalo, and Luís Moniz Pereira. 2010b. Visual demo of “Princess-saviour Robot”. Available from https://goo.gl/vFnma2. Mallon, Ron, and Shaun Nichols. 2010. Rules. In The moral psychology handbook, ed. John M. Doris. Oxford University Press, Oxford. Markman, Keith D., Igor Gavanski, Steven J. Sherman, and Matthew N. McMullen. 1993. The mental simulation of better and worse possible worlds. Journal of Experimental Social Psychology 29: 87–109. McCloy, Rachel, and Ruth M. J. Byrne. 2000. Counterfactual thinking about controllable events. Memory and Cognition, 28: 1071–1078. McIntyre, Alison. 2004. Doctrine of double effect. In The stanford encyclopedia of philosophy, ed. Edward N. Zalta. Center for the Study of Language and Information, Stanford University, Fall 2011 edn. http://plato.stanford.edu/archives/fall2011/entries/double-effect/. Migliore, Simone, Giuseppe Curcio, Francesco Mancini, and Stefano F. Cappa. 2014. Counterfactual thinking in moral judgment: An experimental study. Frontiers in Psychology 5: 451. Newman, Jon O. 2006. Quantifying the standard of proof beyond a reasonable doubt: A comment on three comments. Law, Probability and Risk 5(3–4): 267–269. Otsuka, Michael. 2008. Double effect, triple effect and the trolley problem: Squaring the circle in looping cases. Utilitas 20(1): 92–110. Pereira, Luís Moniz, and The Anh Han. 2009. Evolution prospection. In Proceedings of KES international conference on intelligence decision technologies, Himeji, Japan. vol. 199, 139–150. Pereira, Luís Moniz, and Ari Saptawijaya. 2011. Modelling Morality with Prospective Logic. In Machine ethics, eds. Michael Anderson and Susan Leigh Anderson, 398–421. Cambridge University Press, New York. Pereira, Luís Moniz, and Ari Saptawijaya. 2015. Bridging two realms of machine ethics. In Rethinking machine ethics in the age of ubiquitous technology, eds. Jeffrey B. White and Rick Searle. IGI Global, Hershey PA, USA. Pereira, Luís Moniz, and Ari Saptawijaya. 2016. Programming Machine Ethics. Springer, Berlin, Heidelberg. Pereira, Luís Moniz, and Ari Saptawijaya. 2017. Counterfactuals, logic programming and agent morality. In Applied Formal Philosophy: Some Reflections on the Program, volume 14 of Logic, Argumentation & Reasoning (Interdisciplinary Perspectives from the Humanities and Social Sciences), eds. Gillman Payette and Rafal Urbaniak. Springer, Cham. Available from https:// goo.gl/TKFPYo. Pereira, Luís Moniz, Pierangelo Dell’Acqua, Alexandre Miguel Pinto, and Gonçalo Lopes. 2013. Inspecting and preferring abductive models. In The handbook on reasoning-based intelligent systems, eds. Kazumi Nakamatsu and Lakhmi C. Jain, 243–274. World Scientific Publishers, Singapore. Powers, Thomas M. 2006. Prospects for a Kantian machine. IEEE Intelligent Systems 21(4): 46–51. Russell, Stuart, Daniel Dewey, and Max Tegmark. 2015. Research priorities for robust and beneficial artificial intelligence. AI Magazine 36(4): 105. Saptawijaya, Ari, and Luís Moniz Pereira. 2013a. Incremental tabling for query-driven propagation of logic program updates. In LPAR-19, volume 8312 of LNCS, 694–709. Springer. Saptawijaya, Ari, and Luís Moniz Pereira. 2013b. Tabled abduction in logic programs (Technical communication of ICLP 2013). Theory and Practice of Logic Programming, Online Supplement 13(4–5). http://journals.cambridge.org/downloadsup.php?file=/tlp2013008.pdf. Saptawijaya, Ari, and Luís Moniz Pereira. 2014. Joint tabling of logic program abductions and updates (Technical communication of ICLP 2014). Theory and Practice of Logic Programming, Online Supplement, 14(4–5). Available from http://arxiv.org/abs/1405.2058.

From Logic Programming to Machine Ethics

227

Saptawijaya, Ari, and Luís Moniz Pereira. 2015. TABDUAL: A tabled abduction system for logic programs. IfCoLog Journal of Logics and their Applications 2(1): 69. Scanlon, Thomas M. 1998. What we owe to each other. Harvard University Press, Cambridge. Stanovich, Keith E. 2011. Rationality and the reflective mind. Oxford University Press, Oxford. Swift, Terrance. 1999. Tabling for non-monotonic programming. Annals of Mathematics and Artificial Intelligence 25(3–4): 201–240. The Economist. 2012. Morals and the machine. Main front cover and leaders (page 13), June 2nd–8th 2012. The Future of Life Institute. 2015. International grant competition for robust and beneficial AI. http://futureoflife.org/grants/large/initial. Thomson, Judith Jarvis. 1985. The trolley problem. The Yale Law Journal 279: 1395–1415. van Gelder, Allen, Kenneth A. Ross, and John S. Schlipf. 1991. The well-founded semantics for general logic programs. Journal of the ACM 38(3): 620–650. Wallach, Wendell, and Colin Allen. 2009. Moral machines: Teaching robots right from wrong. Oxford University Press, Oxford. White, Jeffrey B., and Rick Searle, eds. 2015. Rethinking machine ethics in the age of ubiquitous technology. Hershey: IGI Global. Wiegel, Vincent. 2007. SophoLab: Experimental computational philosophy. PhD thesis, Delft University of Technology.

Evolutionary Machine Ethics The Anh Han and Luís Moniz Pereira

Contents 1 2 3 4 5

Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Turing is Among Us . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Functionalism and Emergence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Evolutionary Game Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Learning to Recognise Intentions and Committing can Resolve Cooperation Dilemmas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Combining Commitment and Costly Punishment to Prevent Antisocial Behaviour . . . . . 7 Commitments can Resolve Group Cooperation Dilemmas. On Avoidance, Restriction, Participation Monitoring, and Delegation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Why Is It So Hard to Say Sorry? Commitments Bring About Sincerity . . . . . . . . . . . . . . . . . 9 Apology and Forgiveness Evolve to Resolve Failures in Cooperative Agreements . . . . . 10 Non-excessive Guilt As a Means to Promote Cooperation Without External Incentives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Future Work: Emotional and Counterfactual Guilt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

230 231 232 234 236 238 240 242 244 246 247 248 249

Abstract

Machine ethics is a sprouting interdisciplinary field of enquiry arising from the need of imbuing autonomous agents with some capacity for moral decisionmaking. Its overall results are not only important for equipping agents with a capacity for moral judgment, but also for helping better understand morality,

T. A. Han School of Computing, Media and the Arts, Teesside University, Middlesbrough, Großbritannien E-Mail: [email protected] L. M. Pereira (*) NOVA Laboratory for Computer Science and Informatics (NOVA LINCS), Departamento de Informática, Faculdade de Ciências e Tecnologia, Universidade Nova de Lisboa, Caparica, Portugal E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_15

229

230

T. A. Han and L. M. Pereira

through the creation and testing of computational models of ethics theories. Computer models have become well defined, eminently observable in their dynamics, and can be transformed incrementally in expeditious ways. We address, in work reported and surveyed here, the emergence and evolution of cooperation in the collective realm. We discuss how our own research with Evolutionary Game Theory (EGT) modelling and experimentation leads to important insights for machine ethics, such as the design of moral machines, multi-agent systems, and contractual algorithms, plus their potential application in human settings too. Keywords

Machine Ethics · Evolutionary Game Theory · Intention Recognition · Commitment · Guilt

1

Introduction

Some of our previous research (Pereira and Saptawijaya 2009, 2011, 2015, 2016b, c, 2017; Han et al. 2012d; Saptawijaya and Pereira 2015a, 2016, 2018) has focused on using logic programming techniques to computational modelling of morality sans emotions. In the realm of the individual, we have addressed questions of permissibility and the dual-process of moral judgments by framing together ingredients that are essential to moral agency: abduction, integrity constraints, preferences, argumentation, counterfactuals, and updates. Computation over these ingredients has become our vehicle for modelling the dynamics of moral cognition within a single agent, without addressing the cultural dimension (Prinz 2016), because it is still absent in machines. In the collective realm, we have reported on computational moral emergence (Han et al. 2015b), again sans emotions, using techniques from Evolutionary Game Theory (EGT) (Hofbauer and Sigmund 1998). We have shown that the introduction of cognitive abilities, like intention recognition, commitment, revenge, apology, forgiveness and guilt, reinforce the emergence of cooperation in diverse populations, comparatively to their absence, by way of EGT models. This evolutionary collective realm will be the one surveyed here, with the pointers to our specialized publications to be indicated below. In studies of human morality, these distinct but interconnected realms – one stressing above all individual cognition, deliberation, and behaviour; the other stressing collective morals and how they have emerged with evolution – seem separate but are synchronously evinced (Pereira and Saptawijaya 2015, 2016c). There are issues concerned with how to bridge the two realms also addressed in Gaspar (2016). Our account affords plenty of room for an evolutionary phylogenetic emergence of morality, as illustrated in the sequel, thereby supplementing the limitations of focusing just on ontogeny. The bridging issues concern individual cognitive abilities and their deployment in the population. Namely the ability of recognising intention in another, taking even into account how others recognize our intention; the abilities of requesting commitment, and of accepting or declining to commit; the abilities to adaptively apply complementary mechanisms; those of

Evolutionary Machine Ethics

231

monitoring group participation and delegate this process to an external party; those of cooperating or defecting; plus those of apologising, be it fostered by guilt, and of taking revenge or forgiving. This chapter relies mainly on our collective realm research, and considers the modelling of distinct co-present strategies of cooperative and uncooperative behaviour. Such driving strategies are associated with moral “emotions” that motivate moral discernment and substantiate ethical norms, leading to improved general conviviality on occasion, or not. To wit, we can model moral agency without explicitly representing embodied emotions as we know them. Rather, such software-instantiated “emotions” are modelled as (un)conscious heuristics empowered in complex evolutionary games. In the next two sections, starting with the ground breaking work of Alan Turing, functionalism is employed to scaffold a philosophical perspective on emotions and morality. The further seven sections after those review materials from our EGT-based research in support of this perspective. This work has substantiated the philosophical viewpoint through an admixture of intention recognition, commitment, revenge, apology, forgiveness, and guilt. The final section conjectures further on guilt, and its relationship with counterfactual reasoning, as a next natural step in our research program.

2

Turing is Among Us

Turing’s relevance arises from the timelessness of the issues he tackled, and the innovative light he shed upon them (Pereira 2012a). He first defined the algorithmic limits of computability, via an effective well-specified mechanism, and showed the generality of his definition by proving its equivalence to other general, but less algorithmic and non-mechanical, more abstract formulations of computability. His originality lies on the essential simplicity of the mechanism invoked – the now dubbed Turing Machines (or programs), which he called A-Machines – and the proof of existence of a Universal A-Machine (i.e. the digital computer, known in academia as the Universal Turing Machine), which can simulate any other A-Machine, that is, execute any program. Interestingly, he raised the issue of whether human beings are a measure for his “machines”, and, in mechanizing human cognition Turing implicitly introduced the modern perspective since known as “functionalism”. According to this paradigm, what counts is the realisation of function, independently of the hardware embodying it. Such “multiple realisation” is afforded by the very simplicity of his devised mechanism, relying solely on the manipulation of discrete information, where data and instructions are both represented just with symbols. The twain are stored in memory, instructions doubling as data and as rules for acting – the stored program. To this day, no one has invented a computational mechanical process with such general properties, which cannot be theoretically approximated with arbitrary precision by some A-Machine, where any interactions with the world outside are captured by Turing’s innovative concept and definition of “oracle” – the very word

232

T. A. Han and L. M. Pereira

employed by him for the purpose –, as a means to interrogate that world by posing queries to one or more outside oracles. This concept of oracle is regularly taught in computer science today, namely in the essential study of computation complexity, though not every student knows it came from Turing. In the midst of a computation a query may be posed to an outside oracle about the satisfaction of some truth, and the computation continued once an answer obtained, rather than the computer testing for an answer in a possibly infinite set of them. Turing further claimed that his machines could simulate the effect of any activity of the mind, not just a mind engaged upon a “definite method of proceeding” or algorithm. He was clear that discrete state machines included those with learning or self-organising abilities, and stressed that these still fall within the scope of the computable. Turing drew attention to the apparent conflict between self-organisation and the definition of A-Machines as having fixed tables of behaviour, but sketched a proof that self-modifying machines are still definable by an unchanged instruction set (Hodges 1997; McDermott 2001). The promise of this approach in studies of morality is that it represents a universal functionalism, the terms of which enable the bringing together of the ghosts in the several embodied machines (silicon-based, biological, extra-terrestrial or otherwise), to promote their symbiotic epistemic co-evolution, as they undertake moral action within a common moral theatre.

3

Functionalism and Emergence

The principle of the distinction between software and hardware appears clear-cut with the advent of the digital computer and its conceptual precursor, the Universal Turing Machine. The diversity of technologies employed to achieve the same function, confirms it ever since the first computers. One program is executable in physically different machines, precisely because the details of its execution below an ascertainable level of analysis are irrelevant, as long as an identical result at the level of discourse is produced. That said, however, the distinction between hardware and software is not so clear as it might seem. Hardware is not necessarily represented by things physical but rather by what, at some level of analysis, is considered fixed, given, and whose analysis or non-analysability is irrelevant for the purpose at hand. Historically, in the first computers, that level coincided with that of the physical parts of the machine. Subsequently, especially due to rapidly increasing computing power, “hardware” has become increasingly “soft”, with the physical basis for the hardware/ software distinction finally blurred by the concept of the “abstract machine”: a fixed collection of mathematically defined instructions supporting a set of software functions, independently of the particular physical processes underlying the implementation of the abstract machine, that is, realising it. Hence, “multiple realisation” stands for the thesis that a mental state can be “realised” or “implemented” by different physical states. Beings with different physical constitutions can thus be in the same mental state, and from these common grounds can cooperate, acting in mutual support (or not). According to classical

Evolutionary Machine Ethics

233

functionalism, multiple realisation implies that psychology is autonomous: in other words, biological facts about the brain are irrelevant (Boden 2008). Whether physical descriptions of the events subsumed by psychological generalisations have anything in common is irrelevant to the truth of the generalisations, to their interestingness, to their degree of confirmation, or, indeed, to any of their epistemological important properties (Fodor 1974). Functionalism has continued to flourish, being developed into numerous versions by thinkers as diverse as David Marr, Daniel Dennett, Jerry Fodor, and David Lewis (Fodor 1974; Dennett 2005). It helped lay the foundations for modern cognitive science, being the dominant theory of mind in philosophy today. In the latter part of the 20th and early 21st centuries, functionalism stood as the dominant theory of mental states. It takes mental states out of the realm of the “private” or subjective, and gives them status as entities open to scientific investigation. Functionalism’s characterisation of mental states in terms of their roles in the production of behaviour grants them the causal efficacy that common sense takes them to have. In permitting mental states to be multiply realised, functionalism offers an account of mental states compatible with materialism, without limiting the class of minds to creatures with brains like ours (Levin 2010). Biological evolution is characterized by a set of highly braided processes, which produce a kind of extraordinarily complex combinatorial innovation. A generic term frequently used to describe this vast category of spontaneous, and weakly predictable, order-generating processes, is “emergence”. This term became a sort of signal to refer to the paradigms of research sensitive to systemic factors. Complex dynamic systems can spontaneously assume patterns of ordered behaviours not previously imaginable from the properties of their constitutive elements or from their interaction patterns. There is unpredictability in self-organising phenomena – preferably called “evolutionary” (Turing 1950) – with considerably variable levels of complexity, where “complexity” refers to the emergence of collective properties in systems with many interdependent components. These components can be atoms or macromolecules in physical or biological contexts, and people, machines or organisations in socioeconomic contexts. What does emerge? The answer is not something defined physically but rather something like a shape, pattern, or function. The concept of emergence is applicable to phenomena in which the relational properties predominate over the properties of the compositional elements in the determination of the ensemble’s characteristics. Emergence processes are due to starting configurations and interaction topologies, not intrinsic to the components themselves (Deacon 2003). This functionalism is, almost by definition, anti substance-essence, anti vital-principle, anti monopoly of qualia. Building intelligent machines may seek a partial understanding of the emergence of higher-level properties, like morality. Here, functionalism affirms the salience of the results of this work in assessing, for example, human morality. Again, functionalism holds that the material substrate is not of the essence, and that it suffices to realise equivalent functionality albeit by way of a different material vehicle. Moreover, distinct roads to the same behaviour may be had, thereby adding to our

234

T. A. Han and L. M. Pereira

understanding of what, say, “general intelligence” or “mind” means. Thus, on our estimation, the most fruitful inquires into the nature of “mind” or “general intelligence” will certainly include the use of Artificial Intelligence aided in time by the embryonic field of artificial emotions, qua strategies, to simulate complex mental operations, as already foreseen (Turing 1950).

4

Evolutionary Game Theory

Game theory was first developed in the 1940s, and the first work on the subject was Theory of Games and Economic Behavior by the mathematician John von Neumann (1903–1957) and the economist Oskar Morgenstern (1902–1977) (Neumann and Morgenstern 1944). At the time it was directed at the economy, but it was subsequently applied to the Cold War, as the outcome of issues raised by the use of the atomic bomb and the subtle means of bluffing. When some such situation gets complicated, there is need to resort to sophisticated mathematical tools – and computer simulations – to deal with equations that cannot otherwise be solved. The games theme is as complex as it is interesting and filled with diverse niches. We can envisage genes and memes (“cultural genes”), and their mutual combinations, as ongoing strategies in the game of evolution, raising issues and posing questions related to survival and winning. We can envisage too the combinatorial evolution of such strategies, and their possible mutations according to diverse conditions, which conditions can either be other game partners or the game board rules (or Nature’s) own circumstances. The notion of game includes uncertainty, and whenever there is uncertainty there has to be some attending strategy, spelling the moves one makes with given probability. When there is co-presence of evolving strategies from several partners, along with the idea of game payoff, we are dealing with the notion of evolutionary game, which can be examined and studied in an abstract and mathematical manner. The same way we have genetic strategies for reproduction, all of our lives are filled with cultural, or civilizing, strategies. And, in a general way, we can view and scry our species through such lenses, still without undervaluing other remaining perspectives, equally important. There are zero sum games and non-zero sum games. The zero sum ones are those that, by their rules, some players win, some players loose. In Nature’s evolution, conditions are those of non-zero sum – all can win or all can loose. Robert Wright (2001) analyses the evolution of culture and civilization with the underlying idea that, in Nature, non-zero sum games are possible, wherefore a general gain may be obtained through cooperation, thereby leading to illuminated altruism. Sometimes, co-present strategies tend to achieve a tactical equilibrium. Take the hunter/prey relationship: neither the hunter wants to fully exterminate the prey, nor the latter can multiply indefinitely because that would exhaust the environment’s resources. Some of these studies are used by Economics to understand what might be the overall result from the sum of interactions amongst the several game partners.

Evolutionary Machine Ethics

235

It is relevant to take into consideration if the game takes place only once with a given partner, or whether the same partner may be encountered on other occasions; how much recall does one have of playing with that partner; and whether the possibility of refusing a partner is allowed. Let us take a more detailed look at each of these situations in turn. We begin with the famous Prisoners Dilemma (PD), typical of the paradox of altruism. There are two prisoners, A and B, with charges on them. Either of them can denounce the other, or confess, or remain silent. Prisoner A – silence Prisoner A – confession

Prisoner B – silence 6 years in jail for each A = 2 years in jail B = 10 years in jail

Prisoner B – confession A = 10 years in jail B = 2 years in jail 8 years in jail for each

Consider the above 22 payoff matrix where the lines correspond to the behaviour of A (to remain silent or confess), and the columns correspond to the behaviour of B (to remain silent of confess). At the intersection of B’s “confess” column with A’s “confess” row, both receive a jail sentence of 8 years. If A confesses and B does not, A will only get a 2-year sentence, whereas B gets 10 years, and vice-versa. There is an incentive for any of them to confess in order to reduce their own jail sentence. This way, it would eventually be advantageous for them not to remain silent. If one of them defects by confessing, but not the other, he will only stay in jail for 2 years whereas the other will be there for 10 years. But if both confess they will be sentenced to 8 years each. The temptation to confess is great, but so is the inherent risk, because, after all, they would mutually benefit from remaining silent, getting a 6-year sentence each in that case. The prisoners know the rules of the game; they just do not know how the other player will act. It is advantageous for them to remain silent, but they do not know if the other one will confess. As long as one of them confesses, the silent other will be sentenced to 10 years in jail. A dilemma thus arises: it is good to remain silent, but there is the risk the other one will defect; and the one who does it faster will take the greater gain. In the worst-case scenario, both get an 8-year sentence – nobody will take the risk. This is a classic game, one where both players have the tendency to confess – and not benefit from what could be a mutual advantage, but one that they cannot assuredly profit from. Firstly, they do not have the opportunity to talk to one another; secondly, because even if they did, they would still risk being betrayed by the other. They have no joint solution in the sense that A and B could ever choose what is best for both, where there would be an assured increased advantage for the two. All turns more complicated when one imagines A and B playing this game many times in succession, taking into account their experience of previous mutual behaviour in their past. In this case they can go on building mutual trust or distrust. If one betrayed the other once, the betrayed one’s reaction will be vengeance, or simply intolerance, in some future opportunity. Let us now visualize a situation with multiple players and ask ourselves which will be, along time, the best of all possible

236

T. A. Han and L. M. Pereira

strategies – by running a computer simulation. Of course one thing is to presuppose any one strategy can always match with any other, which is the base assumption, and then to move on to a situation where one wants to match only with certain players. Through these more realistic situations one begins to develop a game theory where social structure is included inside it. Instead of letting a strategy evolve by choosing to copy those who win the most, one can alternatively let those who win the most to be those that reproduce the most, that is, they make more copies of themselves proportionately to the others, all the while keeping a bounded size for the whole population (since overall resources are not unlimited), through a random elimination of individuals. This other option can be adopted because those who lose more (or win less) are eliminated by virtue of their reduced number of copies, and also because only those who win more than some threshold are allowed to reproduce (reproduction is costly). The intent of this interpretation is that, throughout the game, strategies want to take over resources and occupy vital space in the population. Winning means having more energy to reproduce, while losing means not being able to persist with one’s genetic/memetic continuity. The evolutionary question that arises then is whether everyone can at length benefit more if they cooperate more. Which question hinges on how to prevent freeriders who want to gain more without having to incur in the expenses of cooperation. The evolution of any collective species clashes against this problem of balancing cooperation with opportunism. It is a strong theme in Evolutionary Psychology (Pereira 2012b), and one for which we can devise mathematical models and employ computers to perform both analytical computations, as well as long and repetitive simulations of the joint evolution of behavioural strategies in co-presence, typically done via mathematical games’ implementation mixing competitive and cooperative situations, and providing mutation in strategies in order to detect focus points of long-term evolution stability.

5

Learning to Recognise Intentions and Committing can Resolve Cooperation Dilemmas

Few problems have motivated the amalgamation of so many seemingly unrelated research fields as has the evolution of cooperation (Nowak 2006). Several mechanisms have been identified as catalysers of cooperative behaviour; see for example surveys by Nowak (2006) and Sigmund (2010). Yet these studies, mostly grounded on evolutionary dynamics and game theory, have neglected the important role played by intention recognition (Han and Pereira 2013c) in behavioural evolution. In our work (Han et al. 2011, 2012a, b; Han 2013), we explicitly studied the role of intention recognition in the evolution of cooperative behaviour. The results indicate that intention recognisers prevail against the most successful strategies in the context of the Iterated Prisoner’s Dilemma (IPD) (e.g. win-stay-lose-shift, and tit-for-tat like strategies), and promote a significantly higher level of cooperation, even in the presence of noise, plus the reduction of fitness associated with the cognitive costs

Evolutionary Machine Ethics

237

of performing intention recognition. Our approach offers new insights into the complexity of – as well as enhanced appreciation for the elegance of – behavioural evolution when driven by elementary forms of cognition and learning ability. It is important to note that intention recognition techniques have been studied actively in AI for several decades (Charniak and Goldman 1993; Sadri 2011; Han and Pereira 2013a, b, c), with various applications such as for improving humancomputer interactions, assistive living, moral reasoning, and team work (Pereira and Han 2011a, b; Roy et al. 2007; Han et al. 2012d; Heinze 2003; Han and Pereira 2013b). Intentionality has been also shown to play a crucial role in making moral judgments, e.g. as captured in the Doctrines of Double and of Triple Effect (Hauser 2006; Mikhail 2007). Therefore, our results, both analytically and through extensive agent-based simulations, provide important insights into designing of moral agents and machines that are capable recognising others’ intentions and taking them into account in their moral decision judgement. A clear implication is that, by virtue of such designs, moral agents in a society will be able to maintain high levels of cooperative behaviours. Now, conventional wisdom suggests that clear agreements need to be made prior to any collaborative effort in order to avoid potential frustrations for the participants. We have shown (Han et al. 2013a) that this behaviour may actually have been shaped by natural selection, as argued in Nesse (2001). Our research demonstrates that reaching prior explicit agreement about the consequences of not honouring a deal provides a more effective road to facilitating cooperation than simply punishing bad behaviour after the fact, even when there is a cost associated to setting up the explicit agreement. Typically, when starting a new project in collaboration with someone else, it pays to establish up-front how strongly your partner is prepared to commit to it. To ascertain the commitment level one can ask for a pledge and stipulate precisely what will happen should the deal not be honoured. In our study, EGT is used to show that when the cost of arranging commitments (for example, that of hiring a lawyer to make a contract) is justified with respect to the benefit of the joint endeavour (for instance buying a house), and that, when the compensation is set sufficiently high, commitment proposers become prevalent, thence leading to a significant level of cooperation. Commitment proposers can get rid of fake co-operators that agree to cooperate with them yet act differently, thus also avoiding interaction with the bad guys that only aim to exploit the efforts of the cooperative ones. Interestingly, we have shown that whenever the compensation cost reaches a certain threshold (roughly equal the sum of the cost of arrangement commitment plus the benefit of cooperation), no further improvement is achieved by increasing the compensation. This outcome implies that, for regulating legal contracts, it is not required to set extreme penalties for small issues, which might otherwise lead to undesirable side-effects, such as the unwillingness to commit due to the contracts figuring extreme penalties. But what happens if the cost of arranging the commitments is too high compared to the benefit of cooperation? Would you make a legal contract for sharing a cake? Our results show that in that case those that free ride on the investment of others will “immorally” and inevitably benefit. Establishing costly agreements only makes

238

T. A. Han and L. M. Pereira

sense for specific kinds of projects. Our study shows that insisting your partner jointly share in the cost of setting up a deal leads to even higher levels of cooperation, supporting the evolution of cooperation for a larger range of arrangement costs and compensations. This makes sense, as equal investment will ensure the credibility of the pledge by both partners. Agreements based on shared costs result in better friends. More interestingly, our research (Han et al. 2015b, c) into the synergy of the two presented mechanisms, those of intention recognition and prior commitment, sheds new light on promoting cooperative behaviour. This work employs EGT methods in agent-based computer simulations to investigate mechanisms that underpin cooperation in differently composed societies. High levels of cooperation can be achieved if reliable agreements can be arranged. Formal commitments, such as contracts, promote cooperative social behaviour if they can be sufficiently enforced, and the costs and time to arrange them provide mutual benefit. On the other hand, an ability to assess intention in others has been demonstrated to play a role in promoting the emergence of cooperation. Indeed, this ability to assess the intentions of others based on experience and observations facilitates cooperative behaviour without resort to formal commitments like contracts. To wit, our research found that the synergy between intention recognition and commitment strongly depends on the confidence and accuracy of the intention recognition capacity. To reach high levels of cooperation, commitments might be unavoidable whenever intentions cannot be assessed with sufficient confidence and accuracy. Otherwise, it is advantageous to wield solely intention recognition so as to avoid the costly arranging of commitments. In short, it seems to us that intention recognition, and its use in the scope of commitment, is a foundational cornerstone where we should begin at, naturally followed by the capacity to establish and honour commitments, as a tool towards the successive construction of collective intentions and social organization (Searle 1995, 2010). Moreover, given that arranging prior commitments is a way to reveal others’ intentions (Cohen and Levesque 1990), our sustained hope has been that the combination of these two complementary mechanisms provides useful implications for the design of moral machines that are capable of better intention prediction (e.g. when no prior information is available regarding the recognised agents) and intention-based moral judgements.

6

Combining Commitment and Costly Punishment to Prevent Antisocial Behaviour

We have compared prior commitment with costly posterior punishment, a strategy that makes no prior agreements at all and simply punishes wrongdoers afterwards. Previous studies show that, by punishing bad behaviour strongly enough, cooperation can be promoted in a population of self-interested individuals, see e.g. (Fehr and Gächter 2002; Han 2016). Yet these studies also show that the punishment must sometimes be quite excessive in order to obtain significant levels of cooperation. Our

Evolutionary Machine Ethics

239

own study shows that arranging prior agreements can significantly reduce the impact-to-cost ratio of punishment. Higher levels of cooperation can actually be attained by dint of lower levels of punishment. More interestingly, through the observation that prior commitment and posterior punishment complement each other, nicely dealing with different types of defective behaviours, we investigated different ways in which these two strategies can be combined. First of all, in Han and Lenaerts (2016), we have shown that a simple probabilistic combination of the two mechanisms can promote a higher level of cooperation rather than either commitment or punishment alone. It is based on the assessment that arranging prior commitment reduces the effect-to-cost ratio required by costly punishment to perform efficiently, particularly when the cost of arrangement is sufficiently low. While costly punishment can enable one to deal with commitment free-riders, i.e. those who can escape sanctioning when interacting with the commitment strategy simply by avoiding commitment. Our analytical and simulation results show that a combined strategy leads to substantial enhancement in terms of the level of cooperation. Notably, this level is most significant when the punishment cost is sufficiently large and the impact of punishment reaches a threshold. As such, our results have shown that the combined strategy can simultaneously overcome the weaknesses of both strategies. We have studied another combination approach to exploiting the complementarities of the two mechanisms, in which they are now co-present in the population (Han 2016). Interestingly, it provides a novel solution to prevent antisocial punishment, the one where defectors can punish cooperators, a major challenge in the studies of the evolution of cooperation (Raihani and Bshary 2015; Powers et al. 2012). Namely we have shown, in the context of the one-shot PD, that, if in addition to using punishment the agents in a population can also propose cooperation agreements to their co-players prior to an interaction, then social punishment and cooperation can evolve together, even in the presence of said antisocial punishment. Antisocial punishers can be significantly restrained by commitment proposing agents since only those who dishonour a commitment deal can be enforced to pay compensation. On the other hand, since arranging a commitment deal is costly, its regime can be replaced by social punishers who do not have to pay this cost, while still maintaining cooperation among them. Our results have shown that when both strategic options of commitment and punishment are present, social punishment dominates a population with antisocial punishment players, leading to a significantly higher level of cooperation compared to the cases when either of the strategic options is absent. This is a notable observation since arranging prior commitments, by itself, is already a strong mechanism that can enforce a substantial level of cooperation. But by sacrificing via the extra cost of commitment for a punishment strategy that is vulnerable to antisocial behaviours and defection, it then results in a significant improvement in terms of cooperation. That is, the commitment mechanism catalyses the emergence of social punishment and cooperation. In short, our results provide novel insights for the design of autonomous and multi-agent systems comprised of moral agents that require cooperation amongst them in a competitive environment, especially when they are based on commitments

240

T. A. Han and L. M. Pereira

or on sanctions to regulate agents’ behaviours. We have shown for the first time that combining the two mechanisms can lead to a better strategy for cooperation promotion and, furthermore, prevent antisocial behaviours whilst simultaneously maximising the benefit of deploying an appropriate sanctioning system.

7

Commitments can Resolve Group Cooperation Dilemmas. On Avoidance, Restriction, Participation Monitoring, and Delegation

Public goods, like food sharing and social health systems, may prosper when prior agreements to contribute are feasible and all participants commit to do so. Yet, freeriders may exploit such agreements (Han et al. 2013a), thus requiring committers to decide not to enact the public good whenever sufficient others are not attracted to committing. This decision removes all benefits from free-riders (non-contributors), but also from those who are wishing to establish the beneficial resource. In Han et al. (2015a) we show, in the framework of the one-shot Public Goods Game (PGG) and EGT, that implementing measures to delimit benefits to “immoral” free-riders, often leads to more favourable societal outcomes, especially in larger groups and in highly beneficial public goods situations, even if doing so incurs in new costs. PGG is the standard framework for studying emergence of cooperation within group interaction settings (Sigmund 2010). In a PGG, players meet in groups of a fixed size, and all players can choose whether to cooperate and contribute to the public good or to defect without contributing to it. The total contribution is multiplied by a constant factor and is then equally distributed among all, regardless of whether they have contributed initially. Hence, contributors always gain less than free-riders, thus disincentivizing cooperation. In this scenario, arranging a prior commitment or agreement is an essential ingredient in motivating cooperative behaviour, as abundantly observed both in the natural world (Nesse 2001) and lab experiments (Cherry and McEvoy 2013). In Han et al. (2015a), we extend the PGG to examine commitment-based strategies within group interactions. Prior to playing the PGG, commitment-proposing players ask their co-players to commit to contribute to the PGG, paying a personal proposer’s cost to establish that agreement. If all of the requested co-players accept the commitment, then the proposers assume everyone will contribute. Those who commit yet later do not contribute must compensate the proposers (Han et al. 2013a). As commitment proposers may encounter non-committers, they require strategies to deal with these individuals. Simplest is to not participate in the creation of the common good. Yet, this avoidance strategy, AVOID, also removes benefits for those wishing to establish the public good, creating a moral dilemma. Alternatively, one can establish boundaries on the common good, so that only those who have truly committed have (better) access, or so that the benefit of non-contributors becomes reduced. This is the RESTRICT strategy. Our results lead to two main conclusions: (i) Both strategies can promote the emergence of cooperation in the one-shot PGG whenever the cost of arranging commitment is justified with respect to the benefit of

Evolutionary Machine Ethics

241

cooperation, thus generalizing results from pairwise interactions (Han et al. 2013a); (ii) RESTRICT, rather than AVOID, leads to more favourable societal outcomes in terms of contribution level, especially when group size and/or the benefit of the PGG increase, even if the cost of restricting is quite large. In another approach to commitment-based strategic behaviour in the context of the PGG (Han et al. 2017a), we consider a different set of strategies, envisaging that a restriction measure may not always be possible as it is both costly and takes additional effort to implement. Namely, we consider that before engaging in a group venture agents often secure prior commitments from other members of the group, and based on the level of participation (i.e. how many group members commit) they can then decide whether or not it is worthwhile to join the group effort (Nesse 2001; Cherry and McEvoy 2013). This approach is inspired in that many group ventures can be launched only when the majority of the participants do commit to contribute to a common good. Furthermore, while some international agreements require ratification by all parties before entering into force, most (especially global treaties) require some minimum less than the total number of negotiating countries. We have shown that arranging prior commitments while imposing a minimal participation when interacting in groups can help ensure agents’ cooperative behaviour. Namely, our results have shown that if the cost of arranging the commitment is sufficiently small compared to the cost of cooperation, commitment arranging behaviours is frequent, leading thereby to a high level of cooperation in the population. Moreover, an optimal participation level emerges depending both on the dilemma at stake and on the cost of arranging the commitment. Namely, the harsher the common good dilemma is, and the costlier it becomes to arrange the commitment, then the more participants should explicitly commit to the agreement to ensure the success of the joint venture. Furthermore, considering that commitment deals may last for more than one encounter, we evince that longer-lasting commitments require a greater strictness upon fake committers than shorter ones. In yet another approach to commitment-based strategic behaviour in the context of the PGG (Han et al. 2017b), we consider that agents can delegate the commitment arrangement and participation monitoring processes in the above-described approaches, to a (beneficiary or non-costly) central authority or institution. The institution may itself benefit from improving the level of cooperation in the population or the social welfare (e.g. public transportation arranged by government, international agreements supported by the UN, crowd-sourcing systems) (Nesse 2001; Cherry and McEvoy 2013). It may also profit directly from this joint activity by requesting a fee from all committed players in order to provide the service. We have shown that this centralised approach to arranging commitments outperforms the described (personalised) commitment strategy. By having a centralised party to help arrange commitments from the group members instead of leaving it to them to have the initiative, it removes the commitment free-riding issue that prevented the personalized approach to achieve full cooperation (Han et al. 2013a, 2017a). As such, it provides a more efficient mechanism for dealing with commitment free-riders, that is those who are not willing to bear the cost of arranging commitments whilst enjoying the overall benefits provided by the paying commitment proposers. We have shown

242

T. A. Han and L. M. Pereira

that the participation level plays a crucial role in the decision of whether an agreement should be formed; namely, it needs to be more strict in the centralized system for the agreement to be formed; however, once it is done right, it is much more beneficial in terms of the level of cooperation as well as the attainable level of social welfare. In short, as commitments have been widely studied in AI and Computer Science, see e.g. (Chopra and Singh 2009; Chopra et al. 2017), to ensure cooperation in selforganized and distributed multi-agent systems of moral agents, our results have provided important insights into the design of such systems whenever dealing with group interactions. For instance, the key to using the potential of self-organized multi-robot systems is that the robots need to ensure a high level of cooperation amongst themselves, as they may have different skill sets, so as to achieve their tasks successfully. Our group commitment results appear to provide an appropriate method to ensure cooperation: the robots can arrange commitments to warrant that a beneficial coalition of skills is obtained and the task effort is fairly distributed (Sarker et al. 2014). Non-committers may be ostracized from the group and the mission might not be launched if the number of committers is too low. Furthermore, when appropriate (viz. the existence of centralised party to handle the commitment monitoring processes), centralisation of commitments can help deal even better with commitment free-riders. Summing up, ethical fine tunings must be observed when establishing the norms for Public Good Games, whether for humans or non-humans, for otherwise one risks that the inherently desirable common moral ground may become unfeasible.

8

Why Is It So Hard to Say Sorry? Commitments Bring About Sincerity

When making a mistake, individuals are willing to apologise to secure further cooperation, even if the apology is costly. Similarly, individuals arrange commitments to guarantee that an action such as a cooperative one is in the others’ best interest, and thus will be carried out to avoid eventual penalties for commitment failure. Hence, both apology and commitment should proceed side by side in behavioural evolution. In Han et al. (2013b), we studied the relevance of a combination of these two strategies in the context of the IPD. We show that apologising acts are rare in non-committed interactions, especially whenever cooperation is very costly, and that arranging prior commitments can considerably increase the frequency of apologising behaviour. In addition we have shown that, with or without commitments, apology resolves conflicts only if it is sincere, i.e. costly enough. Most interestingly, our model predicts that individuals tend to use a much costlier apology in committed relationships than otherwise, because it helps better identify free-riders, such as fake committers. Apology is perhaps the most powerful and ubiquitous mechanism for conflict resolution (Abeler et al. 2010; Ohtsubo and Watanabe 2009), especially among individuals involved in long-term repeated interactions (such as a marriage). An

Evolutionary Machine Ethics

243

apology can resolve a conflict without having to additionally involve external parties (e.g. teachers, parents, courts), which may cost all sides of the conflict significantly more. Evidence supporting the usefulness of apology abounds, ranging from medical error situations to seller-customer relationships (Abeler et al. 2010). Apology has been implemented in several computerized systems, such as human-computer interaction and online markets, to facilitate users’ positive emotions and cooperation (Tzeng 2004; Utz et al. 2009). The IPD has been the standard model to investigate conflict resolution and the problem of the evolution of cooperation in repeated interaction settings (Axelrod 1984; Sigmund 2010). The IPD game is usually known as a story of tit-for-tat (TFT), which won both Axelrod’s tournaments (Axelrod 1984). TFT cooperates if the opponent cooperated in the previous round, and defects if the opponent defected. But if there can be erroneous moves due to noise (i.e. an intended move is wrongly performed), the performance of TFT declines, because an erroneous defection by one player leads to a sequence of unilateral cooperation and defection. A generous version of TFT, which sometimes cooperates even if the opponent defected (Nowak and Sigmund 1992), can deal with noise better, yet not thoroughly. For these TFT-like strategies, apology is modelled implicitly as one or more cooperative acts after a wrongful defection. In Han et al. (2013b), we describe a model containing strategies that explicitly apologise when making an error between rounds. An apologising act consists in compensating the co-player with an appropriate amount (the higher the more sincere), in order to ensure that this other player cooperates in the next actual round. As such, a population consisting of only apologisers can maintain perfect cooperation. However, other behaviours that exploit this apologetic behaviour could emerge, such as those that accept apology compensation from others but do not apologise when making mistakes (fake apologisers), destroying any benefit of the apology behaviour. Employing EGT (Sigmund 2010), we show that when the apology occurs in a system where the players first ask for a commitment before engaging in the interaction (Han et al. 2012b, c; Han 2013), this exploitation can be avoided. Our results lead to these conclusions: (i) Apology alone is insufficient to achieve high levels of cooperation; (ii) Apology supported by prior commitment leads to significantly higher levels of cooperation; (iii) Apology needs to be sincere to function properly, whether in committed relationships or commitment-free ones (which is in accordance with existing experimental studies, e.g. Ohtsubo and Watanabe (2009)); (iv) A much costlier apology tends to be used in committed relationships than in commitment-free ones, as it can help better identify free-riders such as fake apologisers: “commitments bring about sincerity”. In Artificial Intelligence and Computer Science, apology (Tzeng 2004; Utz et al. 2009) and commitment (Winikoff 2007; Wooldridge and Jennings 1999) have been widely studied, namely how their mechanisms can be formalized, implemented, and used to enhance cooperation in human-computer interactions and online market systems (Tzeng 2004; Utz et al. 2009), as well as general multi-agent systems (Winikoff 2007; Wooldridge and Jennings 1999). Our study provides important insights for the design and deployment of such mechanisms; for instance, what kind

244

T. A. Han and L. M. Pereira

of apology should be provided to customers when mistakes are made, and whether apology can be enhanced if complemented with commitments to ensure cooperation, e.g. compensation for customers who suffer wrongdoing.

9

Apology and Forgiveness Evolve to Resolve Failures in Cooperative Agreements

Making agreements on how to behave has been shown to be an evolutionarily viable strategy in one-shot social dilemmas. However, in many situations agreements aim to establish long-term mutually beneficial interactions. Our analytical and numerical results (Martinez-Vaquero et al. 2015, 2017) reveal for the first time under which conditions revenge, apology and forgiveness can evolve, and deal with mistakes within on-going agreements in the context of the IPD. We showed that, when agreement fails, participants prefer to take revenge by defecting in the subsisting encounters. Incorporating costly apology and forgiveness reveals that, even when mistakes are frequent, there exists a sincerity threshold for which mistakes will not lead to the destruction of the agreement, inducing even higher levels of cooperation. In short, even when to err is human, revenge, apology and forgiveness are evolutionarily viable strategies, playing an important role in inducing cooperation in repeated dilemmas. Using methods from EGT, we provide analytical and numerical insight into the viability of commitment strategies in repeated social interactions, modelled by means of the IPD (Hamilton and Axelrod 1981). In order to study commitment strategies in the IPD, a number of behavioural complexities need to be addressed. First, agreements may end before the recurring interactions are finished. As such, strategies need to take into account how to behave when the agreement is present and when it is absent, on top of proposing, accepting or rejecting such agreements in the first place. Second, as shown within the context of direct reciprocity (Trivers 1971), individuals need to deal with mistakes made by an opponent or by themselves, caused for instance by “trembling hands” or “fuzzy minds” (Sigmund 2010; Nowak 2006). A decision needs to be made on whether to continue the agreement, or end it collecting the compensation owed from the other’s defection. As errors might lead to misunderstandings or even the breaking of commitments, individuals may have acquired sophisticated strategies to ensure that mistakes are not repeated or that profitable relationships may continue. Revenge and forgiveness may have evolved exactly to cope with those situations (McCullough 2008; McCullough et al. 2010). The threat of revenge, through some punishment or withholding of a benefit, may discourage interpersonal harm. Yet, often one cannot distinguish with enough certainty if the other’s behaviour is intentional or just accidental (Han et al. 2011; Fischbacher and Utikal 2013). In the latter case, forgiveness provides a restorative mechanism that ensures that beneficial relationships can still continue, notwithstanding the initial harm. An essential ingredient for forgiveness, analysed in our work, seems to be (costly) apology (McCullough 2008), a point emphasised in Smith (2008).

Evolutionary Machine Ethics

245

The importance of apology and forgiveness for sustaining long-term relationships has been brought out in different experiments (Abeler et al. 2010; Takaku et al. 2001; Okamoto and Matsumura 2000; Ohtsubo and Watanabe 2009). Apology and forgiveness are of interest as they remove the interference of external institutions (which can be quite costly to all parties concerned), in order to ensure cooperation. Creating agreements and asking others to commit to them provides a basic behavioural mechanism present at all the levels of society, playing a key role in social interactions (Nesse 2001; Sterelny 2012; Cherry and McEvoy 2013). Our work reveals how, when moving to repeated games, the detrimental effect of having a large arrangement cost is moderated, for a subsisting commitment can play its role during several interactions. In these scenarios, the most successful individuals are those who propose commitments (and are willing to pay their cost) and, following the agreement, cooperate unless a mistake occurs. But if the commitment is broken then these individuals take revenge and defect in the remaining interactions, confirming analytically what has been argued in McCullough (2008), and in McCullough et al. (2010). This result is intriguing, since revenge by withholding benefit from the transgressor may lead to a more favourable outcome for cooperative behaviour in the IPD, as opposed to the well-known reciprocal behaviour such as TFT-like strategies. Forgivers only do better when the benefit-to-cost ratio is high enough. Yet, as mistakes during any (long-term) relationship are practically inevitable, individuals need to decide whether it is worthwhile to end the agreement and collect the compensation when a mistake is made, or whether it is better to forgive the co-player and continue the mutually beneficial agreement. To study this question, the commitment model was extended with an apology-forgiveness mechanism, where apology was defined either as an external or individual parameter in the model. In both cases, we have shown that forgiveness is effective if it takes place after receiving an apology from the co-players. However, to play a promoting role for cooperation, apology needs to be sincere, in other words, the amount proffered in apology has to be high enough (yet not too high), which is also corroborated by recent experimental psychology (McCullough et al. 2014). This extension to the commitment model produces even higher cooperation levels than in the revengebased outcome. In the opposite case, fake committers that propose or accept a commitment with the intention of taking advantage of the system (defecting and apologising continuously) will dominate the population. In this situation, the introduction of the apology-forgiveness mechanism destroys the increase of the cooperation level that commitments by themselves produce. Thus, there is a lower-limit on how sincere apology needs to be, as below this limit apology and forgiveness even reduce the level of cooperation one could expect from simply taking revenge. It has been shown in previous works that mistakes can induce the outbreak of cheating or intolerant behaviour in society (Martinez-Vaquero and Cuesta 2013, 2014), and only a strict ethics can prevent them (Martinez-Vaquero and Cuesta 2014), which in our case would be understood as forgiving only when apology is sincere. Commitments in repeated interaction settings may take the form of loyalty (Schneider and Weber 2013; Back and Flache 2008), which is different from our commitments regarding posterior compensations, for we do not assume a partner

246

T. A. Han and L. M. Pereira

choice mechanism. Loyalty commitment is based on the idea that individuals tend to stay with or select partners based on the length of their prior interactions. We go beyond these works by showing that, even without partner choice, commitment can foster cooperation and long-term relationships, especially when accompanied by sincere apology and forgiveness in case mistakes are made. Ohtsubo’s experiment (Ohtsubo and Watanabe 2009) shows that a costlier apology is better at communicating sincerity, and as a consequence will be more often forgiven. This observation is shown to be valid across cultures (Takaku et al. 2001). In another laboratory experiment (Fischbacher and Utikal 2013), the authors showed apologies work because they can help reveal the intention behind a wrongdoer’s preceding offence. In compliance with this observation, in our model, apology best serves those who intended to cooperate but defect by mistake. Despite the fact that “to err is human” (Pope 1711), our research results demonstrate that behaviours like revenge and forgiveness can evolve to cope with mistakes, even when they occur at high rates. Complicating matters is that mistakes are not necessarily intentional, and that even if they are then it might still be worthwhile to continue with a potential mutually beneficial agreement. Here, a sincerity threshold exists whereby the cost of apologising should exceed the cost of cooperating if the encouragement of cooperation is the actual goal.

10

Non-excessive Guilt As a Means to Promote Cooperation Without External Incentives

Our recent work investigates theoretical models wherein agents express guilt, in order to study the role of guilt in promoting pro-social behaviour (Pereira et al. 2017). Analytical and numerical methods from EGT are employed to identify the conditions under which enhanced cooperation emerges within the context of the Iterated Prisoners Dilemma (IPD). In our work guilt is modelled explicitly as a counter that keeps track of the number of an agent’s transgressions, and where a threshold dictates when is it that guilt alleviation, obtained via self-punishment and behaviour change, is required by the agent itself. Such alleviation is costly for the agent experiencing guilt. Hence, it is interesting to identify whether guilt prone strategies can evolve despite this disadvantage, compared to unemotional strategies and in co-presence with these. We show that when the system consists of agents that resolve their guilt without considering the co-player’s own attitude towards guilt alleviation then cooperation does not emerge. In that case, agents expressing no guilt, or having no incentive to alleviate any guilt they might experience, easily dominate the guilt prone agents. When, on the other hand, the guilt prone focal agent entertains that its guilt only needs to be alleviated when a defecting co-player also manifests guilt alleviation, then cooperation may thrive. Indeed, there is no point is feeling guilty and atoning if no one else does. This observation remains consistent for a generalised model as discussed in Pereira et al. (2017).

Evolutionary Machine Ethics

247

Interest in machine ethics has significantly increased in recent years, wherein a pertinent theme within that context addresses the computational modelling of human emotions like guilt (Pereira and Saptawijaya 2016a; Marsella and Gratch 2014). But in contrast to our aim and approach, these studies aim to formalise guilt as part of a MAS, such as in virtual agent and cognitive agent systems, for the purpose of regulating social norms or for improving agent decision making and reasoning processes. Our results and approach provide novel insights into the design of such MAS systems; for instance, if agents such as robots or swarms are equipped with the capacity for feeling guilt, even if it might lead to some costly disadvantage, that capacity however drives the system to an overall more cooperative outcome, wherein they are willing to take reparative actions after wrongdoings. This internalised incentive mechanism provides important insights for engineering non-human moral agents (e.g. machines) without the need for constructing costly external incentive devices, such as institutions, to exercise sanctions or to provide rewards.

11

Future Work: Emotional and Counterfactual Guilt

A natural extension of our work on intention recognition, commitment, revenge, apology, and forgiveness involves adding guilt, shame, and confession with surplus apology. We leave shame alone for now as it involves reputation, which we did not address above, so as to concentrate on the more basic model of pairwise interactions, without the intrusion of reputational hearsay. Though both have ostensibly evolved to promote cooperation, we believe that guilt and shame can be treated separately. Guilt is an inward phenomenon that can foster apology, and even spontaneous public confession. Shame is inherently public, and it too may lead to apology and request for forgiveness. Shame, however, hinges on being caught, on failing to deceive, and on a mechanism being in place that lets one fall into disrepute. From an evolutionary viewpoint, guilt is envisaged as an in-built mechanism that tends to prevent wrongdoing because of internal suffering that pressures an agent to confess when wrongs are enacted, alongside a costlier apology and penance, plus an expectation of forgiveness to alleviate or dispel the guilt-induced suffering. The hypothesis, consequently, is that the emergence of guilt within a population is evolutionarily advantageous as it represents an extra-costly apology compared to a non-guilty one, enacted as it is in order to decrease the added suffering. We can test this hypothesis by adapting our existing model comprising commitment, revenge, apology, and forgiveness, via piggybacking guilt onto it. To do so, one introduces a present/absent guilt parameter such that, on defection by a guilt-ridden player, not only is thereby increased the probability of apology (confession), but also the player spontaneously pays a costlier apology, as a means to atone internal guilt. On the other hand, the co-player will more readily accept a guilty extra-valued apology, and forgive. In addition, this co-player’s attitude, if copied, will contribute to favour his own forgiveness by others in the population, in case his own super-apologetic confession of guilt replaces the standard one of absence of acknowledged guilt. The prediction is that guilt will facilitate and speed-up the emergence of cooperation

248

T. A. Han and L. M. Pereira

and overall benefit, in spite of its initial heavier individual cost. One reason behind this prediction is that costs of cooperation are compensated for by the costlier guilt apology paid by others. Another reason is that it is in general more conducive to forgiveness, especially in the border cases where the standard apology is outright insufficient. We know that guilt is alleviated by private confession, e.g. to a priest or psychotherapist, with cost in prayers or fees, plus the renunciation of past failings. In the context of our research, such ersatz confessions and atonements, precisely by exacting a cost, should render temptation to defect less probable – a preference reversal (Correia 2016) – with the proceeds appertained to some common good (e.g. in a Public Goods Game or the like, as in through charity). In summary, future research will attempt to show, by simulation if not analytically, that guilt naturally connects with apology and forgiveness mechanisms because of its emergent evolutionary advantage. It seems not too difficult to incorporate into the present framework, by splitting each strategy into one variant experiencing guilt in case of defection, plus a guiltless one. The population at the start would now contain, instead, an admixture of all of both types, for a given fixed cost and extra cost of guilty apology, plus the usual other parameters, namely a forgiveness threshold. The prediction again is that guilt is evolutionarily advantageous, within a range of the overall parameters defining a starting population composition, via EGT evolution with the usual social imitation of strategies with high payoff success. This further opens the way to treatment of emotions modelled as strategies, guilt being a widely acknowledged one. It should show that one does not need a specific kind of body (namely an anthropomorphic one) for guilt to serve the role of a moral emotion, useful as it is in population settings where moral cooperation attains good value for all regardless of the means of embodiment. Finally, counterfactual reasoning (Byrne 2007; Collins et al. 2004; Pereira and Saptawijaya 2016b, 2017) could be wielded to prime and tune guilt. Presupposing that the agent can reason counterfactually, e.g. given the by now known sequence of plays by co-players it might reason: “Had I before felt guilty instead, and played according to such guilt, then I would have fared better.” As a consequence, the player would then meta-reflectively (Mendonça 2016) modify its “feeling level” of guilt for the future.

12

Conclusion

We have summarized the results of our own work, reported and surveyed here, on several fundamental facets concerning the emergence and evolution of cooperation in the collective realm, and have provided references to permit following it up in detail. We have argued how a multiplicity results from our research employing Evolutionary Game Theory (EGT) modelling and experimentation does profitably lead to important insights into machine ethics, such as the design of moral machines, of

Evolutionary Machine Ethics

249

multi-agent systems, and of contractual algorithms, plus their potential application in human settings too. One could further envisage the whole of our above approach as purveying a form of fiction, though recognisably a rather abstract one, yet still adumbrated as per the “Moral Feelings from Rocky Fictional Ground” (John 2016). Indeed, our abstract mathematical and computational fictional simulations might be construed and stretched to fit a bill whereby such fiction would not necessarily offer theorists of emotion or morality immediate embodied evidence, as in novels, say. In contradistinction, it can possibly offer interesting, challenging and conjectural ideas that might benefit the theorising in these domains. Notwithstanding, a computer scientist friend bemusedly jokes about our “soap opera” research, what with intention recognition, commitment proposal, defection, guilt, apology, forgiveness, revenge. . . Acknowledgments Profound thanks are due to our co-authors of joint published work herein cited, without which the personal summing up and specific philosophical viewpoint above would not have been possible at all. Alphabetically: Ari Saptawijaya, Francisco C. Santos, Luis MartinezVaquero, and Tom Lenaerts. Furthermore, L. M. Pereira acknowledges support from grant FCT/MEC NOVA LINCS PEst UID/CEC/04516/2013. TAH from Teesside URF funding (11200174).

References Abeler, Johannes, Juljana Calaki, Kai Andree, and Christoph Basek. 2010. The power of apology. Economics Letters 107(2): 233–235. Axelrod, Robert. 1984. The evolution of cooperation, vol. 5145. New York: Basic Books (AZ). Back, Istvan, and Andreas Flache. 2008. The adaptive rationality of interpersonal commitment. Rationality and Society 20(1): 65–83. Boden, M. A. 2008. Information, computation, and cognitive science. Handbook of the Philosophy of Science 8: 749–769. Byrne, Ruth M. J. 2007. The rational imagination: How people create alternatives to reality. Cambridge, MA: MIT Press. Charniak, Eugene, and Robert P. Goldman. 1993. A Bayesian model of plan recognition. Artificial Intelligence 64(1): 53–79. Cherry, Todd L., and David M. McEvoy. 2013. Enforcing compliance with environmental agreements in the absence of strong institutions: An experimental analysis. Environmental and Resource Economics 54(1): 1–15. Chopra, Amit K., and Munindar P. Singh. 2009. Multiagent commitment alignment. In Proceedings of The 8th international conference on autonomous agents and multiagent systems-volume 2, 937–944. Budapest: International Foundation for Autonomous Agents and Multiagent Systems. Chopra, Amit K., Samuel H. Christie V, and Munindar P. Singh. 2017. Splee: a declarative information-based language for multiagent interaction protocols. In Proceedings of the 16th conference on autonomous agents and multiagent systems, 1054–1063. International Foundation for Autonomous Agents and Multiagent Systems. Cohen, Philip R., and Hector J. Levesque. 1990. Intention is choice with commitment. Artificial Intelligence 42(2–3): 213–261. Collins, John David, Edward Jonathan Hall, and Laurie Ann Paul, eds. 2004. Causation and counterfactuals. Cambridge, MA: MIT Press.

250

T. A. Han and L. M. Pereira

Correia, Vasco. 2016. Weakness of will and self-control’. In Morality and emotion, 35. London: Routledge, 83–98. ISBN 978-1-138-12130-0. Deacon, Terrence W. 2003. The hierarchic logic of emergence: Untangling the interdependence of evolution and self-organization. In Evolution and learning: The Baldwin effect reconsidered (Chapter 14): 273–308, Cambridge, MA. Dennett, Daniel Clement. 2005. Sweet dreams: Philosophical obstacles to a science of consciousness. Cambridge, MA: MIT Press. Fehr, Ernst, and Simon Gächter. 2002. Altruistic punishment in humans. Nature 415(6868): 137–140. Fischbacher, Urs, and Verena Utikal. 2013. On the acceptance of apologies. Games and Economic Behavior 82: 592–608. Fodor, Jerry A. 1974. Special sciences (or: the disunity of science as a working hypothesis). Synthese 28(2): 97–115. Gaspar, Augusta. 2016. Morality and empathy vs. empathy and morality. In Morality and Emotion, 62–82. London: Routledge, 83–98. ISBN 978-1-138-12130-0. Hamilton, William D., and Robert Axelrod. 1981. The evolution of cooperation. Science 211(27): 1390–1396. Han, The Anh. 2013. Intention recognition, commitments and their roles in the evolution of cooperation: from artificial intelligence techniques to evolutionary game theory models. SAPERE series, vol. 9. Berlin. Han, The Anh. 2016. Emergence of social punishment and cooperation through prior commitments. In Proceedings of the 30th AAAI conference on artificial intelligence (AAAI 2016), 2494–2500, Phoenix. Han, The Anh, and Tom Lenaerts. 2016. A synergy of costly punishment and commitment in cooperation dilemmas. Adaptive Behavior 24(4): 237–248. Han, The Anh, and Luis Moniz Pereira. 2013a. Context-dependent incremental decision making scrutinizing the intentions of others via bayesian network model construction. Intelligent Decision Technologies 7(4): 293–317. Han, The Anh, and Luis Moniz Pereira. 2013b. Intention-based decision making via intention recognition and its applications. In Human Behavior Recognition Technologies: Intelligent Applications for Monitoring and Security. Hershey, PA: IGI Global, pp 174–211. Han, The Anh, and Luis Moniz Pereira. 2013c. State-of-the-art of intention recognition and its use in decision making. AI Communications 26(2): 237–246. Han The Anh, Luis Moniz Pereira, and Francisco C. Santos. 2011. Intention recognition promotes the emergence of cooperation. Adaptive Behavior 19(4): 264–279. Han, The Anh, Luis Moniz Pereira, and Francisco C. Santos. 2012a. Corpus-based intention recognition in cooperation dilemmas. Artificial Life 18(4): 365–383. Han, The Anh, Luis Moniz Pereira, and Francisco C. Santos. 2012b. Intention recognition, commitment and the evolution of cooperation. In Evolutionary Computation (CEC), 2012 I.E. Congress on, 1–8. Brisbane: IEEE. Han, The Anh, Luis Moniz Pereira, and Francisco C. Santos. 2012c. The emergence of commitments and cooperation. In Proceedings of the 11th international conference on autonomous agents and multiagent systems-volume 1, 559–566. Valencia: International Foundation for Autonomous Agents and Multiagent Systems. Han, The Anh, Ari Saptawijaya, and Luis Moniz Pereira. 2012d. Moral reasoning under uncertainty. In International conference on logic for programming artificial intelligence and reasoning, 212–227. Springer, Berlin/Heidelberg. Han, The Anh, Luis Moniz Pereira, Francisco C. Santos, and Tom Lenaerts. 2013a. Good agreements make good friends. Scientific Reports 3. Han, The Anh, Luis Moniz Pereira, Francisco C. Santos, and Tom Lenaerts. 2013b. Why is it so hard to say sorry? evolution of apology with commitments in the iterated Prisoner’s Dilemma. In Proceedings of the twenty-third international joint conference on artificial intelligence, 177–183. Beijing: AAAI Press.

Evolutionary Machine Ethics

251

Han, The Anh, Luis Moniz Pereira, and Tom Lenaerts. 2015a. Avoiding or restricting defectors in public goods games?. Journal of the Royal Society Interface 12(103): 20141203. Han, The Anh, Luis Moniz Pereira, Francisco C. Santos, and Tom Lenaerts. 2015b. Emergence of cooperation via intention recognition, commitment and apology–a research summary. AI Communications 28(4): 709–715. Han, The Anh, Francisco C. Santos, Tom Lenaerts, and Luis Moniz Pereira. 2015c. Synergy between intention recognition and commitments in cooperation dilemmas. Scientific Reports 5. Han, The Anh, Luis Moniz Pereira, and Tom Lenaerts. 2017a. Evolution of commitment and level of participation in public goods games. Autonomous Agents and Multi-Agent Systems 31(3): 561–583. Han, The Anh, Luís Moniz Pereira, Luis A. Martinez-Vaquero, and Tom Lenaerts. 2017b. Centralized vs. personalized commitments and their influence on cooperation in group interactions. In Proceedings of the 31st AAAI conference on artificial intelligence (AAAI 2017), 2999–3005, San Francisco. Hauser, Marc. 2006. Moral minds: How nature designed our universal sense of right and wrong. New York: Ecco/HarperCollins Publishers. Heinze, C. 2003. Modeling intention recognition for intelligent agent systems, PhD thesis, The University of Melbourne, Australia. Hodges, A. 1997. Alan Turing: One of the great philosophers. Phoenix/London: Phoenix. Hofbauer, Josef, and Karl Sigmund. 1998. Evolutionary games and population dynamics. Cambridge, UK: Cambridge University Press. John, Eileen. 2016. Moral feelings from rocky fictional ground. In Morality and emotion, 99. London: Routledge, 83–98. ISBN 978-1-138-12130-0. Levin, J. 2010. Functionalism. In The stanford encyclopaedia of philosophy, ed. E. N. Zalta. http:// plato.stanford.edu/archives/sum2010/entries/functionalism/. Marsella, Stacy, and Jonathan Gratch. 2014. Computationally modeling human emotion. Communications of the ACM 57(12): 56–67. Martinez-Vaquero, Luis A., and José A. Cuesta. 2013. Evolutionary stability and resistance to cheating in an indirect reciprocity model based on reputation. Physical Review E 87(5): 052810. Martinez-Vaquero, Luis A., and José A. Cuesta. 2014. Spreading of intolerance under economic stress: Results from a reputation-based model. Physical Review E 90(2): 022805. Martinez-Vaquero, Luis A., The Anh Han, Luis Moniz Pereira, and Tom Lenaerts. 2015. Apology and forgiveness evolve to resolve failures in cooperative agreements. Scientific Reports 5. Martinez-Vaquero, Luis A., The Anh Han, Luis Moniz Pereira, and Tom Lenaerts. 2017. When agreement-accepting free-riders are a necessary evil for the evolution of cooperation. Scientific Reports 7. McCullough, Michael. 2008. Beyond revenge: The evolution of the forgiveness instinct. New Jersey: Wiley. McCullough, Michael E., Robert Kurzban, and Benjamin A. Tabak. 2010. Evolved mechanisms for revenge and forgiveness. In Understanding and reducing aggression, violence, and their consequences, 221–239. Miami. McCullough, Michael E., Eric J. Pedersen, Benjamin A. Tabak, and Evan C. Carter. 2014. Conciliatory gestures promote forgiveness and reduce anger in humans. Proceedings of the National Academy of Sciences 111(30): 11211–11216. McDermott, Drew V. 2001. Mind and mechanism. Cambridge, MA: MIT Press. Mendonça, Dina. 2016. Emotions and akratic feelings. In Morality and emotion, 50. London: Routledge, 83–98. ISBN 978-1-138-12130-0. Mikhail, J. 2007. Universal moral grammar: Theory, evidence and the future. Trends in Cognitive Sciences 11(4): 143–152. Nesse, Randolph M. 2001. Natural selection and the capacity for subjective commitment. In Evolution and the capacity for commitment, 1–44. New York. Nowak, M. A. 2006. Five rules for the evolution of cooperation. Science 314(5805): 1560–1563.

252

T. A. Han and L. M. Pereira

Nowak, Martin A., and Karl Sigmund. 1992. Tit for tat in heterogeneous populations. Nature 355(6357): 250–253. Ohtsubo, Yohsuke, and Esuka Watanabe. 2009. Do sincere apologies need to be costly? Test of a costly signaling model of apology. Evolution and Human Behavior 30(2): 114–123. Okamoto, Kyoko, and Shuichi Matsumura. 2000. The evolution of punishment and apology: an iterated prisoner’s dilemma model. Evolutionary Ecology 14(8): 703-720. Pereira, Luís Moniz. 2012a. Turing is among us. Journal of Logic and Computation 22(6): 1257–1277. Pereira, Luís Moniz. 2012b. Evolutionary tolerance. In Philosophy and cognitive science, 263–287. Berlin/Heidelberg: Springer. Pereira, L.M., and A. Saptawijaya. 1994. Agent morality via counterfactuals in logic programming, invited paper. In Proceedings of bridging the gap: Is logic and automated reasoning a foundation for human reasoning?, a 39th annual meeting of the Cognitive Science Society (CogSci 2017) workshop, CEUR workshop proceedings, vol. 1994, ed. U. Furbach and C. Schon, 39–53, 26 July, London. Pereira, L.M., and A. Saptawijaya. 2011. Modelling morality with prospective logic. In Machine ethics, ed. M. Anderson and S.L. Anderson, 398–421. Cambridge University Press. ISBN 9780521112352. Pereira, Luís Moniz, and The Anh Han. 2011a. Intention recognition with evolution prospection and causal bayes networks. In Computational intelligence for engineering systems, 1–33. Springer, Netherlands. Pereira, Luís Moniz, and The Anh Han. 2011b. Elder care via intention recognition and evolution prospection. In International conference on applications of declarative programming and knowledge management, 170–187. Springer, Berlin/Heidelberg. Pereira, Luís Moniz, and Ari Saptawijaya. 2009. Modelling morality with prospective logic. International Journal of Reasoning-based Intelligent Systems 1(3–4): 209–221. Pereira, Luís Moniz, and Ari Saptawijaya. 2015. Abduction and beyond in logic programming with application to morality. In ed. L. Magnani, IfColog Journal of Logics and their Applications, Special issue on Abduction, 3(1):37–71. London: College Publications. Pereira, Luís Moniz, and Ari Saptawijaya. 2016a. Bridging two realms of machine ethics. In Programming machine ethics, 159–165. Berlin: Springer. Pereira, Luís Moniz, and Ari Saptawijaya. 2016b. Programming machine ethics, vol. 26. Berlin: Springer. ISBN 978-3-319-29353-0. Pereira, Luís Moniz, and Ari Saptawijaya. 2016c. Counterfactuals, logic programming and agent morality. In Applications of formal philosophy, 25–53. Cham: Springer, 2017, Berlin: Springer, 25–54. ISBN 978-3319585055. Pereira, Luis Moniz, Tom Lenaerts, Luis A. Martinez-Vaquero, and The Anh Han. 2017. Social manifestation of guilt leads to stable cooperation in multi-agent systems. In Proceedings of the 16th conference on autonomous agents and multiagent systems, 1422–1430. Sao Paulo: International Foundation for Autonomous Agents and Multiagent Systems. Pope, Alexander. 1931. An essay on criticism, part II. Lewis, W. Russel Street, Covent Garden (1711). Powers, Simon T., Daniel J. Taylor, and Joanna J. Bryson. 2012. Punishment can promote defection in group-structured populations. Journal of Theoretical Biology 311: 107–116. Prinz, Jesse. 2016. Emotions, morality, and identity. In Morality and emotion, 13–34. London: Routledge, 83–98. ISBN 978-1-138-12130-0. Raihani, Nichola J., and Redouan Bshary. 2015. The reputation of punishers. Trends in Ecology & Evolution 30(2): 98–103. Roy, P., B. Bouchard, A. Bouzouane, and S. Giroux. 2007. A hybrid plan recognition model for Alzheimer’s patients: Interleaved- erroneous dilemma. In Proceedings of IEEE/WIC/ACM International conference on intelligent agent technology, 131–137.

Evolutionary Machine Ethics

253

Sadri, Fariba. 2011. Logic-based approaches to intention recognition. In Handbook of research on ambient intelligence and smart environments: Trends and perspectives, 346–375. Hershey, PA: IGI Global. Saptawijaya, Ari, and Luis Moniz Pereira. 2015a. Logic programming applied to machine ethics. In Portuguese conference on artificial intelligence, 414–422. Cham: Springer. LNCS vol. 9273. Berlin: Springer. ISBN 978-3-319-23485-4. Saptawijaya, Ari, and Luis Moniz Pereira. 2015b. The potential of logic programming as a computational tool to model morality. In A construction manual for robots’ ethical systems, 169–210. Switzerland: Springer. Saptawijaya, Ari, and Luis Moniz Pereira. 2015c. From logic programming to machine ethics. In Handbuch Maschinenethik, ed. O. Bendel, (2018). Berlin: Springer. Saptawijaya, A., and L.M. Pereira. 2016. Logic programming for modeling morality. In Special issue on “Formal representations of model-based reasoning and abduction”, of the logic journal of the IGPL, ed. L. Magnani and C. Casadio. 24(4): 510–525. https://doi.org/10.1093/ jigpal/jzw025, online 9 May, Aug 2016. Saptawijaya, Ari, and Luís Moniz Pereira. 2018. From logic programming to machine ethics. In Handbuch Maschinenethik, ed. O. Bendel. Berlin: Springer. Sarker, Md Omar Faruque, Torbjørn S. Dahl, Elsa Arcaute, and Kim Christensen. 2014. Local interactions over global broadcasts for improved task allocation in self-organized multi-robot systems. Robotics and Autonomous Systems 62(10): 1453–1462. Schneider, Frédéric, and Roberto A. Weber. 2013. Long-term commitment and cooperation. Tech. Rep., Working paper series, University of Zurich, Department of Economics. Searle, John R. 1995. The construction of social reality. New York: Simon and Schuster. Searle, John. 2010. Making the social world: The structure of human civilization. Oxford: Oxford University Press. Sigmund, Karl. 2010. The calculus of selfishness. Princeton: Princeton University Press. Smith, Nick. 2008. I was wrong: The meanings of apologies. Cambridge, UK: Cambridge University Press. Sterelny, Kim. 2012. The evolved apprentice. Cambridge, MA: MIT Press. Takaku, Seiji, Bernard Weiner, and Ken-Ichi Ohbuchi. 2001. A cross-cultural examination of the effects of apology and perspective taking on forgiveness. Journal of Language and Social Psychology 20(1–2): 144–166. Trivers, Robert L. 1971. The evolution of reciprocal altruism. The Quarterly Review of Biology 46(1): 35–57. Turing, Alan M. 1950. Computing machinery and intelligence. Mind 59(236): 433–460. Tzeng, Jeng-Yi. 2004. Toward a more civilized design: studying the effects of computers that apologize. International Journal of Human-Computer Studies 61(3): 319–345. Utz, Sonja, Uwe Matzat, and Chris Snijders. 2009. On-line reputation systems: The effects of feedback comments and reactions on building and rebuilding trust in on-line auctions. International Journal of Electronic Commerce 13(3): 95–118. von Neumann, J., and O. von Morgenstern. 1944. Theory of games and economic behavior, vol. 1. Princeton: Princeton University Press. Winikoff, Michael. 2007. Implementing commitment-based interactions. In Proceedings of the 6th international joint conference on autonomous agents and multiagent systems, 128. Hawaii: ACM. Wooldridge, Michael, and Nicholas R. Jennings. 1999. The cooperative problem-solving process. Journal of Logic and Computation 9(4): 563–592. Wright, R. 2001. NonZero – The logic of human destiny. New York: Vintage.

Learning How to Behave Moral Competence for Social Robots Bertram F. Malle and Matthias Scheutz

Contents 1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 A Framework of Moral Competence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 A System of Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Moral Vocabulary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Moral Judgment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Moral Action . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Moral Communication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

256 258 258 263 265 266 268 270 270

Abstract

We describe a theoretical framework and recent research on one key aspect of robot ethics: the development and implementation of a robot’s moral competence. As autonomous machines take on increasingly social roles in human communities, these machines need to have some level of moral competence to ensure safety, acceptance, and justified trust. We review the extensive and complex elements of human moral competence and ask how analogous competences could be implemented in a robot. We propose that moral competence consists of five elements, two constituents (moral norms and moral vocabulary) and three

B. F. Malle (*) Department of Cognitive, Linguistic, and Psychological Sciences, Brown University, Providence, RI, Vereinigte Staaten e-mail: [email protected] M. Scheutz Department of Computer Science, Tufts University, Medford, MA, Vereinigte Staaten e-mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_17

255

256

B. F. Malle and M. Scheutz

activities (moral judgment, moral action, and moral communication). A robot’s computational representations of social and moral norms is a prerequisite for all three moral activities. However, merely programming in advance the vast network of human norms is impossible, so new computational learning algorithms are needed that allow robots to acquire and update the context-specific and graded norms relevant to their domain of deployment. Moral vocabulary is needed primarily for moral communication, which expresses moral judgments of others’ violations and explains one’s own moral violations – to justify them, apologize, or declare intentions to do better. Current robots have at best rudimentary moral competence, but with improved learning and reasoning they may begin to show the kinds of capacities that humans will expect of future social robots. Keywords

Norms · Robot ethics · Machine morality · Moral action · Moral judgment · Machine learning · Explanations

1

Introduction

Robot ethics is concerned with two classes of questions: those that probe the ethical dimensions of humans designing, deploying, and treating robots, and those that probe what ethical and moral capacities a robot should have and how these capacities could be implemented. The first class of questions is concerned with ethical design in engineering (Flanagan et al. 2008; Wynsberghe 2013), values of implementation (Hofmann 2013), and considerations of robot rights (Gunkel 2014; Petersen 2007). The second set of questions, more often labeled “machine morality” (Sullins 2011) or “machine ethics” (Moor 2006) is concerned with criteria for moral agency (Floridi and Sanders 2004), justification for lethal military robots (Arkin 2009), and mathematical proofs for moral reasoning (Bringsjord et al. 2006). We consider these questions distinct but interacting (Malle 2016): ethical design of safe robots must include design of moral capacities in robots (Malle and Scheutz 2014), treatment of robots must take into account the robot’s own social and moral capacities, and advancing a robot’s moral capacities will make reference to a number of moral concepts and phenomena (e.g., norms, values, moral judgement; Anderson and Anderson 2011; Malle et al. 2017; Wallach and Allen 2008). Our focus here will be on the second question: what might constitute a robot’s moral competence and how such competence could be implemented in computational architectures. There are concrete concerns about society’s readiness for the advent of new types of robots, especially increasingly autonomous learning machines that become members of human communities. A social robot is one that interacts, collaborates with, looks after, or helps humans. These responsibilities pose serious challenges to robot design and deployment, especially when the human in the interaction is vulnerable and trusts the robot. How should we develop robots that practice reading with a 3rd-grader, look after a sleeping infant, or make a medication adjustment for a patient in unbearable pain? When people take on these roles, they must have the

Learning How to Behave

257

Fig. 1 Five elements of moral competence, which can be divided into constituents (lower two) and activities (upper three)

social-cognitive and moral capacities that keep others safe, valued, and respected; when robots take on these roles, they must too. Thus we ask: what sort of moral capacities are required of social robots? We are not concerned here with the philosophical debates over whether a robot can be a “genuine” moral agent (Floridi and Sanders 2004), can be “truly” responsible for its actions (Matthias 2004; Sparrow 2007), or can make “real” ethical decisions (Miller et al. 2017; Purves et al. 2015). Our aim is more descriptive: what matters most for the project of designing safe and competent social robots is whether people treat those robots as targets of their moral judgments and decision, and whether people expect a robot to be moral. In spite of claims that robots cannot be blamed or punished (e.g., Funk et al. 2016; Levy 2015; Sparrow 2007), there is mounting evidence that people do treat robots as targets of moral judgments (Bartneck et al. 2007; Darling et al. 2015; Kahn et al. 2012; Malle et al. 2015). We have therefore defined a robot as moral “if it has one or more relevant competences that people consider important for living in a moral community” (Scheutz and Malle 2017, p. 365). Consequently we first need to sketch what moral competences humans have and whether similar ones could be implemented in robots. One thing is clear: moral competence is not a single capacity. Many psychological phenomena have been studied that could be called “moral competence”: decision making about moral dilemmas (Mikhail 2007; Greene et al. 2001); self-regulation of emotion and prosocial behavior (Eisenberg 2000); moral judgments and associated emotions (Haidt 2001; Alicke 2000); as well as responding to others’ moral criticism by means of explanation, justification, or defense (Antaki 1994; Dersley and Wootton 2000; Semin and Manstead 1983). To integrate these and related elements we rely on a framework we have developed over the past years (Malle 2016; Malle and Scheutz 2014; Scheutz 2014; Scheutz and Malle 2014) that lays out the moral capacities that ordinary people exhibit and expect of one another in their social relationships. We assume that people are bound to expect some or all of these capacities in advanced social robots as well and that the moral abilities of machines will emerge from, and be in part constrained by, the relations that people are willing to form with them (Coeckelbergh 2010). An ethically responsible science of social

258

B. F. Malle and M. Scheutz

robotics must, therefore, be knowledgeable about these human capacities, develop ways to implement at least some of them in computational architectures and physical machines, and continuously examine whether robots with such emerging moral competence are in fact suitable for and accepted as social partners (Fridin 2014).

2

A Framework of Moral Competence

We propose that moral competence consists of at least five elements that are closely connected in humans but may come apart in artificial agents (Fig. 1). Three of the elements are activities: moral action, moral judgment, and moral communication; two elements are core constituents of the three activities: moral norms and a moral vocabulary. 1. A system of norms encompasses a community’s standards for behavior. They guide an agent’s decisions to behave in certain ways (!moral action) and shape others’ judgments of those behaviors (!moral judgment). 2. A moral vocabulary allows the agent to conceptually and linguistically represent both norms and morally significant behaviors and their appropriate judgments, as well as fuel communication in response to them (!moral communication). 3. Moral action is action in compliance with norms and thus is adapted to and coordinated with other community members who operate under the same norms. 4. Moral judgment is evaluation of behavior relative to norms and information processing that leads to the specific judgment (e.g., permissibility, wrongness, degrees of blame). 5. Moral communication expresses, often supported by affect and emotion, people’s moral judgments and their attempts to identify, explain, or defend norm violations, as well as negotiate or repair social estrangement after a norm violation.

3

A System of Norms

Morality’s function is to regulate individual behavior so that it complies with community interests. Some individual goals clash with community interests, and when there is no biological mechanism that inhibits pursuit of those goals, socialmoral regulation must step in (Churchland 2012; Joyce 2006; Ullmann-Margalit 1977). Humans achieve this regulation by motivating and deterring certain behaviors through the imposition of norms and, if these norms are violated, by levying sanctions (Alexander 1987; Bicchieri 2006). Being equipped with a norm system thus constitutes a necessary element in human moral competence (Sripada and Stich 2006; Nichols and Mallon 2006). We can conceptualize norms cognitively as instructions to act whereby the agent keenly takes into account that (1) a sufficient number of individuals in the community expect and demand of each other to follow the instruction, and (2) a sufficient

Learning How to Behave

259

number of individuals in the community in fact follow the instruction (Malle et al. 2017; cf. Bicchieri 2006; Brennan et al. 2013). Norms are distinct from other guides of behavior, such as goals or habits. Goals might be pursued even if nobody demands the agent to do so, whereas norms are typically followed even though the individual has a goal to do otherwise (e.g., standing in line at the coffee shop even though one would rather put in one’s order right away). Collective habits are behaviors that many people perform because they all want to, not because they demand of each other to do so (e.g., eating more food when other people are around; Wenk 2015). Many fascinating topics arise with respect to norms: • How do individuals represent norms? (are they concepts? action programs?) • How are norms organized? (hierarchically? as spreading activation networks?) • How are norms activated by specific contexts (and how do people identify the context they are in?) • How do people acquire norms (by observation? instruction? reinforcement?) From among these fascinating topics we select two that are critically important for designing robots with norm capacity: norm representation and norm acquisition.

3.1

Norm Representation

Currently there is little research available on how norms are represented in the human mind. What has been suggested, from reflection and limited research, is that norms are highly context-specific, activated very quickly, and likely to be organized in some forms of knowledge structures (Aarts and Dijksterhuis 2003; Bicchieri 2006; Harvey and Enzle 1981; Sripada and Stich 2006; Tomasello and Vaish 2013). There is evidence for context-specific activation: Aarts and Dijksterhuis (2003) showed that the mere sight of a library can trigger the “be quiet” norm, with cognitive as well as behavioral effects. More detailed aspects of the environment can activate norms as well, such as a litter-free courtyard triggering the “don’t litter” norm (Cialdini et al. 1990). Conversely, a lot of garbage on the floor indicates that the community does not obey the norm, which reduces the perceived community demand for the individual to follow the norm. We recently developed experimental methods to extract community norms from ordinary people’s responses to everyday scenes (Kenett et al. 2016). We presented people with pictures of numerous distinct contexts (e.g., jogging path, board room) and asked them to generate, as quickly as possible, actions that one is “supposed to do here” (to elicit prescription norms) or “forbidden to do here” (to elicit prohibition norms). Context-specificity was very high. Among the top-7 actions mentioned as prescribed in each of the 8 scenes (56 total), only three such prescriptions were mentioned in more than one scene, making 95% of the generated norms specific to a single context. Somewhat less but still impressive, context-specificity of prohibitions was 75%.

260

B. F. Malle and M. Scheutz

In a subsequent study we examined the speed of context-specific activation. We selected the top-7 action norms that the previous participants had generated for a given scene and presented new participants with these seven actions along with a picture of the scene. They were asked to consider one action at a time and quickly press a ‘Yes’ key if an action was “supposed to” or “should” be performed in this context (for prescriptions) or “forbidden to” or “not allowed to” be performed (for prohibitions). We presented these seven target norms along with seven foils – action norms that had been generated among top-7 in other scenes. We showed that people strongly differentiated the norms that were specific to a given context from those that stemmed from another context (signal detection parameter d’ = 1.16). Moreover, people were surprisingly fast in detecting the context-specific norms, averaging around 1200 ms, which is as fast as, if not faster than, judgments of whether a person’s behavior is intentional or reveals the person’s goal (Malle and Holbrook 2012). The specific organizational structure of norms is currently unknown. Some authors suggested that norms are “knowledge structures” (Aarts and Dijksterhuis 2003; Harvey and Enzle 1981), but more needs to be said about what characterizes such structures. Flexible hierarchies would be necessary to handle the contextdependence of norm strength: A given norm may be more important than another norm in one context but the reverse ordering may be true in another context. Moreover, some norms may benefit from temporal organization (e.g., the restaurant wait staff must first guide customers to their table, then bring menus, then ask about food selections – a reverse order would be a notable norm violation). Aside from these initial ideas, no detailed cognitive model is currently available for the process of norm activation or for the underlying norm representations that would facilitate such (apparently fast) activation. Context specificity, in particular, is a vexing computational problem (Ford and Hayes 1991). Humans seem to recognize contexts by being sensitive to a bundle of diagnostic indicators, among them physical spaces (e.g., office vs. bathroom), temporal markers (morning vs. evening), roles (boss vs. employee), relationships (stranger vs. friend), and goals (e.g., discussion vs. vote tallying in a business meeting). The indicators are likely to covary, so that recognizing certain objects surrounding people allows one to predict the relationships among those people (Wang et al. 2018). Context also appears to determine at what level of abstraction norms are activated. Suppose a commercial airline pilot decides to no longer fly because of a recently diagnosed heart condition. What norm was activated? The specific norm that “pilots ought not to fly when they know they have a heart condition”? This is likely to be too specific, unless the pilot handbook specifies “heart condition” as one specific requirement for handing in one’s resignation. Or that “people ought to protect human life”? This is likely to be too general. Perhaps the most likely scenario is that, upon learning about the heart condition, the pilot draws an inference that a heart condition may pose a safety risk, which activates the norm that “as a pilot one ought not to impose safety risks on one’s passengers.” Though speculative, the example illustrates that a complete model of norms (and even just a specific network of norms for a pilot) will be hierarchically organized and enormously complex. Nonetheless, somehow people

Learning How to Behave

261

comply with complex norms most of the time, so a computational system, too, should in principle be able to represent and comply with such a system of norms.

3.2

Norm Acquisition

Children and adults learn norms in a variety of ways. First, most obviously, norms can be established or taught through direct expression (Edwards 1987), be it in verbal utterances or other symbols (e.g., signs). Surprisingly, children seem to be exposed to relatively few such explicit norm expressions (Wright and Bartsch 2008, pp. 74–77), so other paths of acquisition are paramount. Among them, second, is the inference of norms from moral evaluations of specific behaviors, be it from a frown or lashing or a verbal comment (e.g., “this is a mean thing to say”; “that’s terrible!”). Third, children and adults infer norms from other people’s behavior by imitating others’ actions, particularly for novel objects (Casler et al. 2009), when the action is presented as familiar (Schmidt et al. 2011), or when a sufficient number of people perform the same behavior in the same context (Herrmann et al. 2013; Milgram et al. 1969). In addition, if the behavior is performed with high similarity from person to person (McNeill 1995) – perhaps even synchronously, as in a ritual – a norm is very likely to be present (Rossano 2012). Fourth, people take into account the costs and consequences of potentially norm-guided behavior. Behaviors reflect a norm when the agent accepted a cost in performing the behavior (Henrich 2009). Conversely, rare behaviors that have negative consequences for others are suggestive evidence for norms of prohibition (cf. Cialdini et al. 1990). Little of this behavioral work has been translated into cognitive models of human norm learning. By contrast, some initial computational work has tackled the representation, structure, and learning of norms in artificial agents, to which we turn next.

3.3

Norms in Robots

Previous efforts to integrate norms into artificial agents took two main routes: the study of multi-agent systems and the design of formal reasoning systems. In the multi-agent literature, researchers have proposed that purely rational autonomous agents cannot form well-functioning societies, and as models of actual social communities, multi-agent system simulations must take seriously the critical role of norms (Andrighetto et al. 2013; Conte et al. 2013). In this literature, norms are typically treated as social mechanisms, which need to be specified, monitored, and enforced. Some authors have elaborated the internal states of modeled autonomous agents, adding norms as constituents of a mental architecture (e.g., Broersen et al. 2001; Governatori and Rotolo 2007). But even when norms are connected with beliefs, goals, and expectations, the form and properties of mental representation that norms require have remained unclear. Such cognitive details may not be needed for modeling multi-agent systems (societies), but they will be needed if we want to build

262

B. F. Malle and M. Scheutz

individual autonomous agents such as robots that interact with people in the real world and learn their norms. In a second line of work on norms in artificial agents, scholars have offered logical frameworks for rule-based moral reasoning (Ågotnes and Wooldridge 2010; Arkin and Ulam 2009; Iba and Langley 2011), including processes to resolve conflicts (e.g., Pereira and Saptawijaya 2007) and analogical inference to apply previously learned moral judgments to novel scenarios (Blass and Forbus 2015). One prominent proposal for a cognitive architecture of ethical planning in robots combines multiple functions (e.g., “ethical governor,” “responsibility advisor”) to detect potential norm violations during action planning (Arkin and Balch 1997; Arkin and Ulam 2009). This system can handle only very specific, hard-coded moral decisions and lacks tools for novel ethical inferences, for reasoning through normative conflicts, or for the acquisition of new norms. Another robotic architecture (Briggs and Scheutz 2015, 2013) detects potential norm violations before action and can offer justifications for why it refuses to follow an unethical user command. Though the system includes general inference algorithms that work with explicit representations of normative principles, it cannot yet acquire new norms or principles from interactions and observations. Because work on artificial agents has so far overlooked the important process of learning and updating norms we recently set out to develop computational algorithms that can learn the kinds of context-specific norms that humans bring to every social situation (Malle et al. 2017; Sarathy et al. 2017a, b). Building on our theoretical and computational proposals for norm representations and norm inference, we introduced novel learning algorithms that allow agents to learn explicit formal norm representations from observation (e.g., from data on how many people endorse a norm in a particular context). Specifically, we proposed a norm representation scheme that introduces a novel deontic modal operator, imbued with context-specificity and uncertainty, within the Dempster-Shafer theory of evidence (Shafer 1976). The learning algorithm works by integrating previous evidence for a particular norm with new incoming evidence (e.g., the previous hypothesized norm that one has to be “silent” in a library with the new incoming evidence of a person speaking in the library). The Dempster-Shafer (DS) framework is able to systematically incorporate evidence (possibly contradictory) from different information sources (e.g., observations, direct instruction) and update the confidence the learner has in a particular norm. Simulation studies with the DS-based norm representations demonstrate that when an artificial agent observes consistent norm-conforming behavior, the agent will be able to learn those prohibition or obligation norms with high levels of confidence. Conversely, if norm adherence is low, or if the observed behavior is not due to a norm but rather a habit, the learner’s confidence in norm representations will not converge over time and thus indicate that the observed behavior may not be due to an underlying norm. Sarathy et al. (2018) also demonstrated that an artificial agent can learn explicit norm representations for observable properties from explicit natural language instructions. For example, the social norm of safely handing over a knife to a human requires the handler to grasp it by the blade so that the recipient can receive it by the handle. A robot could thus be taught the norm with the utterance “To hand

Learning How to Behave

263

Fig. 2 Three major domains of moral vocabulary, with important subcategories and samples of word instances underneath

over a knife, grasp it by the blade.” From this utterance, the robot can infer the norm context (“handing over an object”) as well as the appropriate action (“grasp knife by the blade” as opposed to some other region on the object, like the handle). This type of explicit instruction is particularly useful for cases where an agent needs to quickly learn the appropriate behavior and where experimenting with alternatives might not be safe. Critically, in our approach, the norms acquired through observation and the norms acquired through instruction share the same representational format. As a result, the artificial agent can systematically reason with and talk about its acquired norms in a unified manner.

4

Moral Vocabulary

Some rudimentary moral capacities may operate without language, such as the recognition of prototypically prosocial and antisocial actions (Hamlin 2013) or foundations for moral action in empathy and reciprocity (Flack and de Waal 2000). But a morally competent human needs a vocabulary to represent a myriad of social and moral norms, to express moral judgments, and to instantiate moral practices such as blaming, justifying, and excusing. A moral vocabulary supporting these functions is not merely a list of words but presupposes an ontology, hierarchical categories within that ontology, and agents’ representations of themselves and their role in varying relationships (Parthemore and Whitby 2013). The study of moral language can help reveal this rich structure. Much like conceptual distinctions of time (Casasanto and Boroditsky 2008),

264

B. F. Malle and M. Scheutz

space (Gentner et al. 2013), theory of mind (de Villiers 2007), and personality (Saucier and Goldberg 1996), core moral concepts and distinctions are likely to be carved into natural languages and can be revealed in systematic linguistic patterns. In our initial research we mined a variety of public texts, extant scholarly work, and lay informant reports and found that moral vocabulary falls into three broad domains, each with at least two distinct subcategories (see Fig. 2): 1. A normative frame includes language referring to conceptual variants of norms (e.g., “harm,” “reciprocity”), and properties of norms (e.g., “prohibited,” “recommended”), as well as agent qualities that are normatively supported, both as categories (e.g., “virtue,” “character”) and concrete attributes (e.g., “fair,” “honest”). 2. A language of norm violation characterizes attributes of violations (e.g., “wrong,” “break”) and attributes of violators (e.g., “culpable,” “thief”). 3. A language of responses to violations includes cognitive and behavioral responses from witnesses and victims (e.g., “blame,” “forgive”) as well as from the norm violator (e.g., “excuse,” “shame”). We validated this category system by populating it with two pre-existing concise English lexicons and showing that the words can be reliably classified in the system by both expert coders and community members. We then formed a core set of 352 lexemes, selected for being frequently chosen by community members as good representatives of their respective category or subcategory. Using this lexicon we (Voiklis et al. 2016) mined several text corpora to test whether the firstand second-level categories can make meaningful distinctions among certain types of texts, both to each other and relative to a baseline of word frequency from the Corpus of Contemporary American English (COCA, Davies 2010). For example, we analyzed sermons considered “liberal” (Unitarian-Universalist) and ones considered “conservative” (Southern Baptist) and found that both sets of texts referred far more than baseline to virtues and values (category 1) as well as to expressions of moral admonishment, criticism, and praise (category 3). In addition, the Baptist sermons were even more extreme in their emphasis on virtues, admonishment, and criticism, whereas the unitarian sermons tended to emphasize values and principles, permissions, and reconciliatory communication. Overall, a linear discriminant function correctly classified any randomly drawn sermon with an accuracy rate of 82%. Documenting the discriminative power of this moral vocabulary is only a first step. Equipped with such vocabulary, an artificial intelligence could mine large swaths of verbal data, focus on morally dense passages therein, and learn frequent syntactic constructions, collocations, and substitutability relations. The key challenge is semantic interpretation of this vocabulary, an aim of AI that famously has been met with skepticism (Searle 1980). But language meaning is closely connected with language use (Clark 1985), and if social robots indeed engage in social interactions, acquire and practice language in discourse contexts (Baldwin and Tomasello 1998), then meaning may no longer be out of reach (Stahl 2004).

Learning How to Behave

5

265

Moral Judgment

Moral judgment is the set of psychological processes that evaluate behaviors relative to social and moral norms. Among these processes we need to distinguish between at least two kinds (Malle et al. 2014; Monin et al. 2007). First, people evaluate events (e.g., a dead boy on the street, a thrown punch) as bad, good, wrong, or (im) permissible. Second, they judge the agent who committed the violation as morally responsible, deserving blame or praise. The two kinds of processes differ not just in the object of judgment (event vs. agent) but in the amount of information processing that normally underlies each judgment. Whereas event judgments merely register that a norm has been violated (or met or exceeded), agent judgments such as blame (or praise) take into account the agent’s causal contributions and mental states (Malle et al. 2014). For a robot to register that an event violated a norm is not a trivial endeavor. At a minimum, it must be able to segment the stream of events (e.g., behaviors), identify the context in which the events occur, know which norms apply to this context, and identify those events that violate one or more of the applicable norms. Beyond detecting norm violations, the process of making agent-directed moral judgments such as blame requires much more: assessing an agent’s causal contributions; determining whether the agent acted intentionally; assuming she acted intentionally, what reasons she had; assuming the event was not intentional, whether the agent could and should have prevented it (Gilbert et al. 2015; Malle et al. 2014). Because of this complex array of processes underlying moral judgment, a number of researchers have suggested that moral cognition is no unique “module” or “engine” but derives from ordinary cognition (Cushman and Young 2011; Guglielmo et al. 2009). What makes moral judgment unique is not so much a particular process but the fact that events are analyzed and evaluated with respect to norms. Where in all this is affect? The specific roles of affective phenomena in moral judgment are still debated. There is little doubt that the detection of a norm violation often leads to a negative affective response – an evaluation that something is bad, perhaps accompanied by physiological arousal and facial expressions. But exactly what this affective response sets in motion is unclear: A strengthened motivation to find the cause of the bad event (Knobe and Fraser 2008)? A biased search for evidence that allows the perceiver to blame somebody (Alicke 2000)? Or merely a marker that something important occurred (Damasio 1994) that now requires further information processing (Guglielmo and Malle 2017)? Nobody would deny that affective phenomena often accompany moral judgments and that they probably facilitate learning moral norms; but there is little direct evidence for the claim that they are necessary or constitutive of those judgments (May 2018; Pizarro et al. 2011). People can make moral judgments without much affect at all (Harenski et al. 2010; Cima et al. 2010), and moral emotions such as anger or resentment require specific cognitive processes (Hutcherson and Gross 2011). Even the familiar assumption that emotions or a desire to blame routinely bias moral judgments have recently come into question (Cusimano et al. 2017; Gawronski et al. 2018; Horne and Powell 2016; Monroe and Malle 2018).

266

B. F. Malle and M. Scheutz

If emotions are not necessary or constitutive of moral judgments, then robots can produce moral judgments even if they do not have emotions. As long as artificial agents can approximate human judgments’ sensitivity to critical information (i.e., severity of norm violation, causality, intentionality, etc.), the absence of affective responses will be of little significance. In fact, this absence may be welcome because it averts the potential distorting impact that emotions sometimes have on moral judgments. A problem may arise, however, when affect is entirely absent in the communication of those moral judgments, and we return to this problem in Sect. 7.

6

Moral Action

Moral action, we suggested earlier, is action in compliance with moral norms. Such action will typically be intentional and grounded in planning and decision making processes that are not themselves moral (Cushman and Young 2011; May 2018). Thus, we focus here on the additional elements that need to be in place for ordinary planning and action systems to execute genuinely moral behaviors. We have already sketched the importance and complexity of norm systems in human and artificial moral agents; we now address specific challenges that actions in compliance with norms face. Human moral decision making has received a fair amount of attention in the research literature, with two dominant foci: determinants of prosocial or anti-social behavior (Bandura 1999; FeldmanHall et al. 2015; Rand and Nowak 2013) and processes involved in solving moral dilemmas (Kohlberg 1984; Paxton et al. 2012; Mikhail 2007). Much of what the latter studies try to clarify is how people resolve difficult conflicts within their norm system (e.g., saving multiple lives by sacrificing one life). A popular theoretical view of such situations is that initial affective responses can be overridden by deliberation (Greene et al. 2004). But evidence against this override view is increasing (Koop 2013; Royzman et al. 2011; Moretto et al. 2010; Davis et al. 2009). People’s responses rather seem to involve a package of affective and cognitive processes that simultaneously deal with decision conflicts. Such decision conflicts will arise in many everyday situations when every possible action violates some norm and the decision maker must trade off the unavoidable norm violations against each other – for example, by minimizing an overall violation cost function (Kasenberg and Scheutz 2018) or by searching for an ordering of norms in which averting to violate a more important norm justifies violation of a less important norm (Malle 2018). If an artificial agent tracks these tradeoffs it would be able to justify its conflict resolution to a human observer (Scheutz et al. 2015). Such machines may meet the hope for logical consistency and transparent verifiability (Bringsjord 2015; Dennis et al. 2016) and, as some have argued, might even render robots superior to humans in some domains (Arkin 2009). Stepping back from the special case of moral dilemmas, logical consistency is not the only requirement for a morally competent community member. In fact, the list of psychological processes underpinning human (im)moral action is long, certainly including deliberate, reasoned action but also personality dispositions, momentary

Learning How to Behave

267

affective states such as empathy or greed, susceptibility to social pressure, and imitation of others’ behavior. The latter two factors are often painted as woes of human decision making, as in the cases of obedience and lynch mobs. But without social conformity, human communities could not survive. Consider the modern situation of waiting to board an airplane and then residing for many hours in a tiny space without privacy; it seems remarkable how well behaved these groups of hundreds typically are. Individual deviations are dealt with swiftly by polite moral criticism (“Sir, this line is for first-class passengers only; you need to wait your turn”) or removal (even of famous individuals when they, say, pee in a bottle; Todd 2011), and the vast majority follows a host of norms without protest. Even when airlines disrupt the mutual contract of norm following and leave passengers stranded with delayed and cancelled flights, people – though frustrated and angry – still stand in line for hours to get rebooked. Such social-moral action requires imitation, social pressure, and of course fear of sanctions. Mechanisms such as imitation and conformity have evolved in humans partly to counteract the individual human agents’ selfish interests (e.g., acquiring the last stand-by seat, being first on the plane). By contrast, just as robots may not need a host of emotions, they also don’t need to be equipped with a host of selfish goals. Robots can be designed to follow social and moral norms that serve the community without having to handle conflicts with goals that serve only themselves. That superintelligent agents “discover” self-serving and self-preserving goals is often assumed in science fiction and speculations about the future (e.g., Bostrom 2014), but it is an assumption that we borrow from our experience with living beings; and it is an assumption that can be eliminated by hard limitations on how we design artificial agents of the future. Human empathy and care, too, have evolved to counteract selfishness. But a robot’s lack of selfishness does not necessitate its lack of empathy or caring. Empathy, at least the human kind, is parochial and strongly reduced by temporal and spatial distance (Bloom 2016), and we should perhaps be reluctant to design robots with this form of empathy. But sensitivity to another’s needs and recognition of the costs of human suffering would contribute to a robot being a trustworthy social partner. Thus, such a social robot may have to demonstrate to human observers that it values things (Scheutz 2012), that it cares about certain outcomes (Wynsberghe 2013). Whether caring entails affect or emotion is currently unclear, but important ingredients of a robot’s caring will include willingness to prioritize, attend to, exert effort to help, and so on. There is a potential tension, however, between a robot that has no selfish goals and a robot that cares about things. Part of what it means for a human to care is that one puts one’s own needs aside in favor of the other’s needs; if the robot does not have any needs of its own, how can its actions be interpreted as demonstrating that it cares? Perhaps it is the result that counts: if the robot succeeds in rescuing, reviving, or just cheering up a person, it will feel as if the robot cares. Is that enough? It is clear, that we want social robots to do the right thing (whether they can do it for the right reasons or not (Purves et al. 2015). If a robot can make morally preferred decisions, it will still make mistakes, violate norms, and perhaps make the wrong

268

B. F. Malle and M. Scheutz

trade-offs in the eyes of some of its human partners. In such cases, most people seem ready to assign blame to a robot – in imagined scenarios (Malle et al. 2015; Monroe et al. 2014) and actual interactions (Kahn et al. 2012). In such cases, people don’t rely on a theory of moral agency; rather, blame comes naturally as an act of social regulation that provides the norm violator with an opportunity to do better next time, to not violate the norm again (Cushman 2013; Malle et al. 2014). Thus, human blame could be used to regulate robot behavior if robots were able to take the received blame into account, update their norm system, and make better choices next time. Such feedback is not without risks, because not every moral teacher can be trusted, as we know from cases such as Chappie 2015, or Tay (West 2016). Moreover, even learning from established traces of human culture, such as novels or fairy tales (Riedl and Harrison 2016), does not always teach the right moral lessons (Mullan 2017). A robot’s learning of a community’s norm system must be an iterative process, relying on initial constraints that limit learning of unacceptable lessons and relying on multiple checks and balances (such as the robot consulting a panel of trusted community members when updating its norm system).

7

Moral Communication

Even if a robot is equipped with the cognitive tools that enable moral judgment and moral action, it will still fall short of a critical function of morality: to regulate people’s behavior before or after they violate norms and to negotiate the social impact of norm violations. For that, moral communication is needed. Human community members often express their moral judgments to the suspected offender or to other community members (Dersley and Wootton 2000; Feinberg et al. 2012; Weingart et al. 2014); moral decision makers have to explain their actions to others (Antaki 1994); and social estrangement may need to be repaired through conversation or compensation (Walker 2006; McKenna 2012). Social robots need to have rudimentary communicative skills of this sort, to at least express the detection of a person’s norm violation and explain their own norm violations to others. Expressing moral judgments will not be insurmountable for robots that have moral cognition capacity and basic natural language skills. The subtle varieties of delivering moral criticism, however, may be difficult to master (e.g., the difference between scolding, chiding, or denouncing; Voiklis et al. 2014). On the positive side, the anger and outrage that sometimes accompanies human expressions of moral criticism can be avoided. This may be particularly important when the robot is a collaborative partner with a human, such as with a police officer on patrol or a teacher in the classroom. Here the robot may point out its partner’s looming violation but preferably remain inaudible to others and take a calm, nonjudgmental tone. Without the kind of affect that often makes humans defensive when being targets of criticism, the criticism may be more effective. A problem could arise, however, when the robot coldly utters moral assessments such as, “He deserves a significant amount of blame for beating the prisoner.” People normally expect community members not only to notice and point out norm

Learning How to Behave

269

violations but to do so with appropriate displays of concern or outrage (Drew 1998; Fehr and Fischbacher 2004). When a person fails to convey moral criticism with appropriate affective intensity, the audience will be confused, suspicious, perhaps consider such absent expression a norm violation itself. Whether humans have equal expectations for robots to affectively express and communicate moral judgments is currently unknown, so empirical research is needed to provide insight into this question. Another challenge to a robot communicating its moral judgments is that, in some communities, a robot that reports observed violations might violate trust or loyalty norms. For example, a serious challenge in the military is that soldiers are reluctant to report unit members’ unethical behavior, including human rights violations (MHAT-IV 2006); the same pattern is well known as the “Blue Code of Silence” in police units (Westmarland 2005). A robot may not be susceptible to such pressures of loyalty, but if it routinely reports violations it may not find its way into the tight social community of soldiers or police officers, being rejected as a snitch. Robots may have to first earn a level of trust that authorizes them to monitor and enforce norms. Then they would need to explicitly communicate their obligation to report norm violations, using this communication as a reminder of the applicable norms and an admonishment to obey them. Explaining one’s own norm-violating behaviors is a second important moral communication capacity, directly derived from the capacity to explain behaviors in general, which is relatively well understood in psychology (Hilton 2007). A robot that explains its behavior must be intelligible to its human partners, so whatever its process architecture, it must formulate explanations within the conceptual framework of lay behavior explanations (de Graaf and Malle 2017). In particular, people’s explanations of intentional behaviors are conceptually distinct from those of unintentional behaviors. People explain intentional behaviors with reasons (the agent’s beliefs and desires in light of which and on the ground of which they decided to act), and they explain unintentional behaviors with causes, which are seen as generating effects without the involvement of reasoned beliefs, desires and intentions (Malle 1999, 2011). Correspondingly, explaining one’s intentional moral violations amounts to offering reasons that justify the violating action, whereas explaining unintentional moral violations amounts to offering causes that excuse one’s involvement in the violation (Malle et al. 2014). Unique to the moral domain, such unintentional violations are evaluated by counterfactuals: Blame for unintentional negative events increases if the person should have and could have acted differently to prevent the event. As a result, moral criticism involves simulation of the past (what alternative paths of prevention the agent may have had available) and simulation of the future (how one is expected to act differently to prevent repeated offenses), both feasible computations (Bello 2012). Explanations of one’s own intentional actions of course require more than causal analysis and simulation; they require access to one’s own reasoning en route to action. Some have famously doubted this capacity in humans (Nisbett and Wilson 1977), but these doubts weaken in the case of reasons for intentional action (Malle 2011). A robot, in any case, should have solid access to its own reasoning. Once it

270

B. F. Malle and M. Scheutz

retrieves the trace of its reasoning, it must translate this reasoning into humanly comprehensible ways (e.g., reason explanations) (Cox 2011; de Graaf and Malle 2017). This amounts to one last form of simulation: modeling what relevant community members would need to know so as to understand, and deem justified, the robot’s decision in question. A robot with this capacity would have a communityvalidated moral decision criterion at hand: it would simulate in advance possible human challenges to its planned actions and determine whether a communityaccepted explanation is available. If not, the action is unacceptable; if so, then the action has passed a social criterion for moral behavior.

8

Conclusion

In light of the extensive and complex elements of human moral competence, designing robots with such competence is an awe-inspiring challenge. The key steps will be to build computational representations of norm systems and incorporate moral concepts and vocabulary into the robotic architecture. Once norms and concept representations are available in the architecture, the next step is to develop algorithms that can computationally capture moral cognition and moral action. The development of these processes will take time, as will the development of a robot’s moral communication skills. New computational learning algorithms will need to be developed to help robots acquire the vast network of human norms and the requisite language that enables moral discourse. To this end, we will need to move from robots that are merely programmed to robots that interact with human communities over time, so they can update their programs and adapt to contexts and demands that designers could not anticipate. However, devising learning algorithms that acquire norms only from trusted or representative community members, not from ones that try to direct the system toward their individual goals, is a difficult problem that will require comprehensive theoretical and creative engineering work. Acknowledgments This project was supported by a grant from the Office of Naval Research (ONR), No. N00014-13-1-0269, and from the Defense Advanced Research Projects Agency (DARPA), SIMPLEX 14-46-FP-097. The opinions expressed here are our own and do not necessarily reflect the views of ONR or DARPA.

References Aarts, Henk, and Ap Dijksterhuis. 2003. The silence of the library: Environment, situational norm, and social behavior. Journal of Personality and Social Psychology 84(1): 18–28. https://doi.org/ 10.1037/0022-3514.84.1.18. Ågotnes, Thomas, and Michael Wooldridge. 2010. Optimal social laws. In Proceedings of the 9th international conference on autonomous agents and multiagent systems (AAMAS 2010), ed. van der Hoek, Kaminka, Lesprance, Luck, and Sen, 667–674. Alexander, Richard D. 1987. The biology of moral systems. Hawthorne: Aldine de Gruyter. Alicke, Mark D. 2000. Culpable control and the psychology of blame. Psychological Bulletin 126(4): 556–574. https://doi.org/10.1037//0033-2909.126.4.556.

Learning How to Behave

271

Anderson, Michael, and Susan Leigh Anderson, eds. 2011. Machine ethics. New York: Cambridge University Press. Andrighetto, Giulia, Guido Governatori, Pablo Noriega, and Leendert W. N van der Torre, eds. 2013. Normative multi-agent systems, Dagstuhl Follow-Ups 4. Saarbrücken/Wadern: Dagstuhl Publishing. http://nbn-resolving.de/urn:nbn:de:0030-drops-39972 Antaki, Charles. 1994. Explaining and arguing: The social organization of accounts. London: Sage. Arkin, Ronald C. 2009. Governing lethal behavior in autonomous robots. Boca Raton: CRC Press. Arkin, Ronald C., and T. Balch. 1997. AuRA: Principles and practice in review. Journal of Experimental and Theoretical Artificial Intelligence 9(2): 175–189. Arkin, Ronald C., and P. Ulam. 2009. An Ethical adaptor: Behavioral modification derived from moral emotions. In Computational intelligence in robotics and automation (CIRA), 2009 IEEE international symposium on, 381–387. Piscataway: IEEE Press. Baldwin, Dare A., and Michael Tomasello. 1998. Word learning: A window on early pragmatic understanding. In The proceedings of the twenty-ninth annual child language research forum, ed. Eve V. Clark, 3–23. Chicago: Center for the Study of Language and Information. Bandura, Albert. 1999. Moral disengagement in the perpetration of inhumanities. Personality and Social Psychology Review 3(3): 193–209. https://doi.org/10.1207/s15327957pspr0303_3. Bartneck, Christoph, Marcel Verbunt, Omar Mubin, and Abdullah Al Mahmud. 2007. To kill a mockingbird robot. In Proceedings of the ACM/IEEE international conference on human-robot interaction, 81–87. New York: ACM Press. https://doi.org/10.1145/1228716.1228728. Bello, Paul. 2012. Cognitive foundations for a computational theory of mindreading. Advances in Cognitive Systems 1: 59–72. Bicchieri, Cristina. 2006. The grammar of society: The nature and dynamics of social norms. New York: Cambridge University Press. Blass, Joseph A., and Kenneth D. Forbus. 2015. Moral decision-making by analogy: Generalizations versus exemplars. In Twenty-Ninth AAAI conference on artificial intelligence, 501–507. AAAI. http://www.aaai.org/ocs/index.php/AAAI/AAAI15/paper/view/9765. Bloom, Paul. 2016. Against empathy: The case for rational compassion. New York: Ecco. Bostrom, Nick. 2014. Superintelligence: Paths, dangers, strategies. Oxford: Oxford University Press. Brennan, Geoffrey, Lina Eriksson, Robert E. Goodin, and Nicholas Southwood. 2013. Explaining norms. New York: Oxford University Press. Briggs, Gordon, and Matthias Scheutz. 2013. A hybrid architectural approach to understanding and appropriately generating indirect speech acts. In Proceedings of twenty-seventh AAAI conference on artificial intelligence, 1213–1219. Briggs, Gordon, and Matthias Scheutz. 2015. “‘Sorry, I can’t do that:’ Developing mechanisms to appropriately reject directives in human-robot interactions.” In Proceedings of the 2015 AAAI fall symposium on AI and HRI, 32–36. Palo Alto, CA: AAAI Press. Bringsjord, Selmer. 2015. A vindication of program verification. History and Philosophy of Logic 36(3): 262–277. https://doi.org/10.1080/01445340.2015.1065461. Bringsjord, Selmer, Konstantine Arkoudas, and Paul Bello. 2006. Toward a general logicist methodology for engineering ethically correct robots. Intelligent Systems, IEEE 21(4): 38–44. Broersen, Jan, Mehdi Dastani, Joris Hulstijn, Zisheng Huang, and Leendert van der Torre. 2001. The BOID architecture: Conflicts between beliefs, obligations, intentions and desires. In Proceedings of the fifth international conference on autonomous agents, AGENTS ’01, 9–16. New York: ACM. https://doi.org/10.1145/375735.375766. Casasanto, Daniel, and Lera Boroditsky. 2008. Time in the mind: Using space to think about time. Cognition 106(2): 579–593. https://doi.org/10.1016/j.cognition.2007.03.004. Casler, Krista, Treysi Terziyan, and Kimberly Greene. 2009. Toddlers view artifact function normatively. Cognitive Development 24(3): 240–247. https://doi.org/10.1016/j. cogdev.2009.03.005. Chappie. 2015. Motion picture. Sony Pictures Home Entertainment.

272

B. F. Malle and M. Scheutz

Churchland, Patricia S. 2012. Braintrust: What neuroscience tells us about morality. Princeton: Princeton University Press. Cialdini, Robert B., Raymond R. Reno, and Carl A. Kallgren. 1990. A focus theory of normative conduct: Recycling the concept of norms to reduce littering in public places. Journal of Personality and Social Psychology 58(6): 1015–1026. https://doi.org/10.1037/00223514.58.6.1015. Cima, Maaike, Franca Tonnaer, and Marc D. Hauser. 2010. Psychopaths know right from wrong but don’t care. Social Cognitive and Affective Neuroscience 5(1): 59–67. https://doi.org/10.1093/ scan/nsp051. Clark, Herbert H. 1985. Language use and language users. In Handbook of social psychology, ed. Gardner Lindzey and Eliot Aronson, 179–231. New York: Random House. Coeckelbergh, Mark. 2010. Robot rights? Towards a social-relational justification of moral consideration. Ethics and Information Technology 12(3): 209–221. https://doi.org/10.1007/s10676010-9235-5. Conte, Rosaria, Giulia Andrighetto, and Marco Campenni. 2013. Minding norms: Mechanisms and dynamics of social order in agent societies. New York: Oxford University Press. Cox, Michael T. 2011. Metareasoning, monitoring, and self-explanation. In Metareasoning, ed. Michael T. Cox and Anita Raja, 131–149. Cambridge, MA: The MIT Press. http:// mitpress.universitypressscholarship.com/view/10.7551/mitpress/9780262014809.001.0001/ upso-9780262014809-chapter-9 Cushman, Fiery. 2013. The functional design of punishment and the psychology of learning. In Psychological and environmental foundations of cooperation, Signaling, commitment and emotion, ed. Richard Joyce, Kim Sterelny, B. Calcott, and B. Fraser, vol. 2. Cambridge, MA: MIT Press. Cushman, Fiery, and Liane Young. 2011. Patterns of moral judgment derive from nonmoral psychological representations. Cognitive Science 35(6): 1052–1075. https://doi.org/10.1111/ j.1551-6709.2010.01167.x. Cusimano, Corey, Stuti Thapa Magar, and Bertram F. Malle. 2017. Judgment before emotion: People access moral evaluations faster than affective states. In Proceedings of the 39th annual conference of the cognitive science society, ed. G. Gunzelmann, A. Howes, T. Tenbrink, and E. J. Davelaar, 1848–1853. Austin: Cognitive Science Society. Damasio, Antonio R. 1994. Descartes’ error: Emotion, reason, and the human brain. New York: Putnam. Darling, Kate, Palash Nandy, and Cynthia Breazeal. 2015. Empathic concern and the effect of stories in human-robot interaction. In Proceedings of the 24th IEEE international symposium on robot and human interactive communication (RO-MAN), 770–775. Kobe: IEEE. https://doi.org/ 10.1109/ROMAN.2015.7333675. Davies, Mark. 2010. The corpus of contemporary American english as the first reliable monitor corpus of english. Literary and Linguistic Computing 25(4): 447–464. https://doi.org/10.1093/ llc/fqq018. Davis, Tyler, Bradley C. Love, and W. Todd Maddox. 2009. Anticipatory emotions in decision tasks: Covert markers of value or attentional processes? Cognition 112(1): 195–200. https://doi. org/10.1016/j.cognition.2009.04.002. Dennis, Louise, Michael Fisher, Marija Slavkovik, and Matt Webster. 2016. Formal verification of ethical choices in autonomous systems. Robotics and Autonomous Systems 77(March): 1–14. https://doi.org/10.1016/j.robot.2015.11.012. Dersley, Ian, and Anthony Wootton. 2000. Complaint sequences within antagonistic argument. Research on Language and Social Interaction 33(4): 375–406. https://doi.org/10.1207/ S15327973RLSI3304_02. Drew, Paul. 1998. Complaints about transgressions and misconduct. Research on Language & Social Interaction 31(3/4): 295–325.

Learning How to Behave

273

Edwards, Carolyn Pope. 1987. Culture and the construction of moral values: A comparative ethnography of moral encounters in two cultural settings. In The emergence of morality in young children, ed. Jerome Kagan and Sharon Lamb, 123–151. Chicago: University of Chicago Press. Eisenberg, Nancy. 2000. Emotion, regulation, and moral development. Annual Review of Psychology 51: 665–697. Fehr, Ernst, and Urs Fischbacher. 2004. Third-Party punishment and social norms. Evolution and Human Behavior 25(2): 63–87. https://doi.org/10.1016/S1090-5138(04)00005-4. Feinberg, Matthew, Joey T. Cheng, and Robb Willer. 2012. Gossip as an effective and low-cost form of punishment. Behavioral and Brain Sciences 35(01): 25–25. https://doi.org/10.1017/ S0140525X11001233. FeldmanHall, Oriel, Tim Dalgleish, Davy Evans, and Dean Mobbs. 2015. Empathic concern drives costly altruism. NeuroImage 105(January): 347–356. https://doi.org/10.1016/j. neuroimage.2014.10.043. Flack, J. C., and Frans B. M. de Waal. 2000. Any animal whatever’. Darwinian building blocks of morality in monkeys and apes. Journal of Consciousness Studies 7(1–2): 1–29. Flanagan, Mary, Daniel C. Howe, and Helen Nissenbaum. 2008. Embodying values in technology: Theory and practice. In Information technology and moral philosophy, Cambridge studies in philosophy and public policy, ed. Jeroen van den Hoven and John Weckert, 322–353. Cambridge, UK: Cambridge University Press. https://doi.org/10.1017/CBO9780511498725.017. Floridi, Luciano, and J. W. Sanders. 2004. On the morality of artificial agents. Minds and Machines 14(3): 349–379. https://doi.org/10.1023/B:MIND.0000035461.63578.9d. Ford, Kenneth M., and Patrick J. Hayes. 1991. Reasoning agents in a dynamic world: The frame problem. Greenwich: JAI Press. Fridin, Marina. 2014. Kindergarten social assistive robot: First meeting and ethical issues. Computers in Human Behavior 30(January): 262–272. https://doi.org/10.1016/j.chb.2013.09.005. Funk, Michael, Bernhard Irrgang, and Silvio Leuteritz. 2016. Enhanced information warfare and three moral claims of combat drone responsibility. In Drones and responsibility: Legal, philosophical and socio-technical perspectives on remotely controlled weapons, ed. Ezio Di Nucci and Filippo Santoni de Sio, 182–196. London: Routledge. Gawronski, Bertram, Paul Conway, Joel Armstrong, Rebecca Friesdorf, and Mandy Hütter. 2018. Effects of incidental emotions on moral dilemma judgments: An analysis using the CNI model. Emotion (February). https://doi.org/10.1037/emo0000399. Gentner, Dedre, Asli Ozyürek, Ozge Gürcanli, and Susan Goldin-Meadow. 2013. Spatial language facilitates spatial cognition: Evidence from children who lack language input. Cognition 127(3): 318–330. https://doi.org/10.1016/j.cognition.2013.01.003. Gilbert, Elizabeth A., Elizabeth R. Tenney, Christopher R. Holland, and Barbara A. Spellman. 2015. Counterfactuals, control, and causation: Why knowledgeable people get blamed more. Personality and Social Psychology Bulletin, March, 0146167215572137. https://doi.org/10.1177/ 0146167215572137. Governatori, Guido, and Antonino Rotolo. 2007. BIO logical agents: Norms, beliefs, intentions in defeasible logic. In Normative Multi-Agent Systems, ed. Guido Boella, Leon van der Torre, and Harko Verhagen. Dagstuhl seminar proceedings. Dagstuhl, Germany: Internationales Begegnungs- und Forschungszentrum für Informatik (IBFI), Schloss Dagstuhl, Germany. http://drops.dagstuhl.de/opus/volltexte/2007/912. de Graaf, Maartje, and Bertram F. Malle. 2017. How people explain action (and autonomous intelligent systems should too). In 2017 AAAI Fall symposium series technical reports, FS-17-01, 19–26. Palo Alto: AAAI Press. Greene, Joshua D., R. B. Sommerville, Leigh E. Nystrom, John M. Darley, and Jonathan D. Cohen. 2001. An FMRI investigation of emotional engagement in moral judgment. Science 293(5537): 2105–2108. https://doi.org/10.1126/science.1062872.

274

B. F. Malle and M. Scheutz

Greene, Joshua D., Leigh E. Nystrom, Andrew D. Engell, John M. Darley, and Jonathan D. Cohen. 2004. The neural bases of cognitive conflict and control in moral judgment. Neuron 44(2): 389–400. https://doi.org/10.1016/j.neuron.2004.09.027. Guglielmo, Steve, and Bertram F. Malle. 2017. Information-acquisition processes in moral judgments of blame. Personality and Social Psychology Bulletin 43(7): 957–971. https://doi.org/ 10.1177/0146167217702375. Guglielmo, Steve, Andrew E. Monroe, and Bertram F. Malle. 2009. At the heart of morality lies folk psychology. Inquiry: An Interdisciplinary Journal of Philosophy 52(5): 449–466. https://doi. org/10.1080/00201740903302600. Gunkel, David J. 2014. A vindication of the rights of machines. Philosophy & Technology 27(1): 113–132. https://doi.org/10.1007/s13347-013-0121-z. Haidt, Jonathan. 2001. The emotional dog and its rational tail: A social intuitionist approach to moral judgment. Psychological Review 108(4): 814–834. https://doi.org/10.1037/0033295X.108.4.814. Hamlin, J. Kiley. 2013. Moral judgment and action in preverbal infants and toddlers: Evidence for an innate moral core. Current Directions in Psychological Science 22(3): 186–193. https://doi. org/10.1177/0963721412470687. Harenski, Carla L., Keith A. Harenski, Matthew S. Shane, and Kent A. Kiehl. 2010. Aberrant neural processing of moral violations in criminal psychopaths. Journal of Abnormal Psychology 119(4): 863–874. Harvey, Michael D., and Michael E. Enzle. 1981. A cognitive model of social norms for understanding the transgression–helping effect. Journal of Personality and Social Psychology 41(5): 866–875. https://doi.org/10.1037/0022-3514.41.5.866. Henrich, Joseph. 2009. The evolution of costly displays, cooperation and religion: Credibility enhancing displays and their implications for cultural evolution. Evolution and Human Behavior 30(4): 244–260. https://doi.org/10.1016/j.evolhumbehav.2009.03.005. Herrmann, Patricia A., Cristine H. Legare, Paul L. Harris, and Harvey Whitehouse. 2013. Stick to the script: The effect of witnessing multiple actors on children’s imitation. Cognition 129(3): 536–543. https://doi.org/10.1016/j.cognition.2013.08.010. Hilton, Denis J. 2007. Causal explanation: From social perception to knowledge-based causal attribution. In Social psychology: Handbook of basic principles, 2nd ed., ed. Arie W. Kruglanski and E. Tory Higgins, 232–253. New York: Guilford Press. Hofmann, Bjørn. 2013. Ethical challenges with welfare technology: A review of the literature. Science and Engineering Ethics 19(2): 389–406. Horne, Zachary, and Derek Powell. 2016. How large is the role of emotion in judgments of moral dilemmas? PLOS ONE 11(7): e0154780. https://doi.org/10.1371/journal.pone.0154780. Hutcherson, Cendri A., and James J. Gross. 2011. The moral emotions: A social–functionalist account of anger, disgust, and contempt. Journal of Personality and Social Psychology 100(4): 719–737. https://doi.org/10.1037/a0022408. Iba, W. F., and P. Langley. 2011. Exploring moral reasoning in a cognitive architecture. In Proceedings of the 33rd annual meeting of the cognitive science society. Austin, TX: Cognitive Science Society Joyce, Richard. 2006. The evolution of morality. Cambridge, MA: MIT Press. Kahn, Jr., Peter H., Takayuki Kanda, Hiroshi Ishiguro, Brian T. Gill, Jolina H. Ruckert, Solace Shen, Heather E. Gary, Aimee L. Reichert, Nathan G. Freier, and Rachel L. Severson. 2012. Do people hold a humanoid robot morally accountable for the harm it causes? In Proceedings of the seventh annual ACM/IEEE international conference on human-robot interaction, 33–40. New York: ACM. https://doi.org/10.1145/2157689.2157696. Kasenberg, Daniel, and Matthias Scheutz. 2018. Norm conflict resolution in stochastic domains. In Proceedings of the thirty-second AAAI conference on artificial intelligence, 32–36. Palo Alto, CA: AAAI Press.

Learning How to Behave

275

Kenett, Yoed N., M. M. Allaham, Joseph L. Austerweil, and Bertram F. Malle. 2016. The norm fluency task: Unveiling the properties of norm representation. In Poster presented at the 57th annual meeting of the psychonomic society, Boston, MA, November 2016. Boston. Knobe, Joshua, and B. Fraser. 2008. Causal judgment and moral judgment: Two experiments. In Moral psychology (Vol. 2): The cognitive science of morality: Intuition and diversity, 2, 441–447 Cambridge, MA: MIT Press. Kohlberg, Lawrence. 1984. The psychology of moral development: The nature and validity of moral stages. San Francisco: Harper & Row. Koop, Gregory J. 2013. An assessment of the temporal dynamics of moral decisions. Judgment and Decision making 8(5): 527–539. Levy, David. 2015. When robots do wrong. In Cognitive robotics, ed. Hooman Samani, 3–22. Boca Raton: CRC Press. https://doi.org/10.1201/b19171-4. Malle, Bertram F. 1999. How people explain behavior: A new theoretical framework. Personality and Social Psychology Review 3(1): 23–48. https://doi.org/10.1207/s15327957pspr0301_2. Malle, Bertram F. 2011. Time to give up the dogmas of attribution: A new theory of behavior explanation. In Advances of experimental social psychology, ed. Mark P. Zanna and James M. Olson, vol. 44, 297–352. San Diego: Academic Press. Malle, Bertram F. 2016. Integrating robot ethics and machine morality: The study and design of moral competence in robots. Ethics and Information Technology 18(4): 243–256. https://doi. org/10.1007/s10676-015-9367-8. Malle, Bertram F. 2018. From binary deontics to deontic continua: The nature of human (and Robot) norm systems. Paper presented at the third international robo-philosophy conference, University of Vienna, Austria. Malle, Bertram F., and Jess Holbrook. 2012. Is there a hierarchy of social inferences? The likelihood and speed of inferring intentionality, mind, and personality. Journal of Personality and Social Psychology 102(4): 661–684. https://doi.org/10.1037/a0026790. Malle, Bertram F., and Matthias Scheutz. 2014. Moral competence in social robots. In Proceedings of IEEE international symposium on ethics in engineering, science, and technology, Ethics’2014, 30–35. Chicago: IEEE. Malle, Bertram F., Steve Guglielmo, and Andrew E. Monroe. 2014. A theory of blame. Psychological Inquiry 25(2): 147–186. https://doi.org/10.1080/1047840X.2014.877340. Malle, Bertram F., Matthias Scheutz, Thomas Arnold, John Voiklis, and Corey Cusimano. 2015. Sacrifice one for the good of many? People apply different moral norms to human and robot agents. In Proceedings of the tenth annual ACM/IEEE international conference on HumanRobot Interaction, HRI’15, 117–124. New York: ACM. Malle, Bertram F., Matthias Scheutz, and Joseph L. Austerweil. 2017. Networks of social and moral norms in human and robot agents. In A world with robots: International Conference on Robot Ethics: ICRE 2015, ed. Maria Isabel Aldinhas Ferreira, Joao Silva Sequeira, Mohammad Osman Tokhi, Endre E. Kadar, and Gurvinder Singh Virk, 3–17. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-46667-5_1. Matthias, Andreas. 2004. The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology 6(3): 175–183. https://doi.org/10.1007/s10676004-3422-1. May, Joshua. 2018. Précis of regard for reason in the moral mind. Behavioral and Brain Sciences. McKenna, Michael. 2012. Directed blame and conversation. In Blame: Its nature and norms, ed. D. Justin Coates and Neal A. Tognazzini, 119–140. New York: Oxford University Press. McNeill, William Hardy. 1995. Keeping together in time: Dance and drill in human history. Cambridge, MA: Harvard University Press http://hdl.handle.net/2027/heb.04002. MHAT-IV. 2006. Mental Health Advisory Team (MHAT) IV: Operation Iraqi freedom 05-07 final report. Washington, DC: Office of the Surgeon, Multinational Force-Iraq; Office of the Surgeon General, United States Army Medical Command.

276

B. F. Malle and M. Scheutz

Mikhail, John. 2007. Universal moral grammar: Theory, evidence and the future. Trends in Cognitive Sciences 11(4): 143–152. https://doi.org/10.1016/j.tics.2006.12.007. Milgram, Stanley, Leonard Bickman, and Lawrence Berkowitz. 1969. Note on the drawing power of crowds of different size. Journal of Personality and Social Psychology 13(2): 79–82. https:// doi.org/10.1037/h0028070. Miller, Keith W., Marty J. Wolf, and Frances Grodzinsky. 2017. This ‘Ethical Trap’ is for roboticists, not robots: On the issue of artificial agent ethical decision-making. Science and Engineering Ethics 23(2): 389–401. https://doi.org/10.1007/s11948-016-9785-y. Monin, Benoît, David A. Pizarro, and Jennifer S. Beer. 2007. Deciding versus reacting: Conceptions of moral judgment and the reason-affect debate. Review of General Psychology 11(2): 99–111. https://doi.org/10.1037/1089-2680.11.2.99. Monroe, Andrew E., and Bertram F. Malle. 2018. People systematically update moral judgments of blame. Journal of Personality and Social Psychology. https://doi.org/10.1037/pspa0000137. Monroe, Andrew E., Kyle D. Dillon, and Bertram F. Malle. 2014. Bringing free will down to earth: People’s psychological concept of free will and its role in moral judgment. Consciousness and Cognition 27(July): 100–108. https://doi.org/10.1016/j.concog.2014.04.011. Moor, James H. 2006. The nature, importance, and difficulty of machine ethics. IEEE Intelligent Systems 21(4): 18–21. https://doi.org/10.1109/MIS.2006.80. Moretto, Giovanna, Elisabetta Làdavas, Flavia Mattioli, and Giuseppe di Pellegrino. 2010. A psychophysiological investigation of moral judgment after ventromedial prefrontal damage. Journal of Cognitive Neuroscience 22(8): 1888–1899. https://doi.org/10.1162/jocn.2009.21367. Mullan, John. 2017. We need robots to have morals. Could shakespeare and austen help? The Guardian, July 24, 2017, sec. Opinion. https://www.theguardian.com/commentisfree/2017/jul/ 24/robots-ethics-shakespeare-austen-literature-classics Nichols, Shaun, and Ron Mallon. 2006. Moral dilemmas and moral rules. Cognition 100(3): 530–542. https://doi.org/10.1016/j.cognition.2005.07.005. Nisbett, R. E., and T. D. Wilson. 1977. Telling more than we know: Verbal reports on mental processes. Psychological Review 84: 231–259. Parthemore, Joel, and Blay Whitby. 2013. What makes any agent a moral agent? Reflections on machine consciousness and moral agency. International Journal of Machine Consciousness 4: 105–129. Paxton, Joseph M., Leo Ungar, and Joshua D. Greene. 2012. Reflection and reasoning in moral judgment. Cognitive Science 36(1): 163–177. https://doi.org/10.1111/j.1551-6709.2011.01210.x. Pereira, Luís Moniz, and Ari Saptawijaya. 2007. Modelling morality with prospective logic. In Progress in artificial intelligence, Lecture Notes in Computer Science, ed. José Neves, Manuel Filipe Santos, and José Manuel Machado, 99–111. Springer Berlin/Heidelberg. http://link. springer.com/chapter/10.1007/978-3-540-77002-2_9 Petersen, Stephen. 2007. The ethics of robot servitude. Journal of Experimental & Theoretical Artificial Intelligence 19(1): 43–54. https://doi.org/10.1080/09528130601116139. Pizarro, David A., Yoel Inbar, and Chelsea Helion. 2011. On disgust and moral judgment. Emotion Review 3(3): 267–268. https://doi.org/10.1177/1754073911402394. Purves, Duncan, Ryan Jenkins, and Bradley J. Strawser. 2015. Autonomous machines, moral judgment, and acting for the right reasons. Ethical Theory and Moral Practice 18(4): 851–872. https://doi.org/10.1007/s10677-015-9563-y. Rand, David G., and Martin A. Nowak. 2013. Human cooperation. Trends in Cognitive Sciences 17(8): 413–425. https://doi.org/10.1016/j.tics.2013.06.003. Riedl, Mark O., and Brent Harrison. 2016. Using stories to teach human values to artificial agents. In AI, ethics, and society, papers from the 2016 AAAI Workshop, Phoenix, Arizona, USA, February 13, 2016. http://www.aaai.org/ocs/index.php/WS/AAAIW16/paper/view/12624 Rossano, Matt J. 2012. The essential role of ritual in the transmission and reinforcement of social norms. Psychological Bulletin 138(3): 529–549. https://doi.org/10.1037/a0027038.

Learning How to Behave

277

Royzman, Edward B., Geoffrey P. Goodwin, and Robert F. Leeman. 2011. When sentimental rules collide: ‘Norms with feelings’ in the dilemmatic context. Cognition 121(1): 101–114. https:// doi.org/10.1016/j.cognition.2011.06.006. Sarathy, Vasanth, Matthias Scheutz, Yoed N. Kenett, M. M. Allaham, Joseph L. Austerweil, and Bertram F. Malle. 2017a. Mental representations and computational modeling of contextspecific human norm systems. In Proceedings of the 39th annual meeting of the Cognitive Science Society, London, 1035–1040. Austin: Cognitive Science Society. Sarathy, Vasanth, Matthias Scheutz, and Bertram F. Malle. 2017b. Learning behavioral norms in uncertain and changing contexts. In Proceedings of the 2017 8th IEEE international conference on cognitive infocommunications (CogInfoCom), 301–306. Pascataway, NJ: IEEE Press. Sarathy, Vasanth, Bradley Oosterveld, Evan Krause, and Matthias Scheutz. 2018. Learning cognitive affordances from natural language instructions. Advances in Cognitive Systems 6: 1–20. Saucier, Gerard, and Lewis R. Goldberg. 1996. The language of personality: Lexical perspectives on the five-factor model. In The five-factor model of personality: Theoretical perspectives, ed. Jerry S. Wiggins, 21–50. New York: Guilford Press. Scheutz, Matthias. 2012. The affect dilemma for artificial agents: Should we develop affective artificial agents? IEEE Transactions on Affective Computing 3(4): 424–433. Scheutz, Matthias. 2014. The need for moral competency in autonomous agent architectures In Fundamental issues of artificial intelligence, ed. Vincent C. Müller, 515–525 Berlin: Springer. Scheutz, Matthias, and Bertram F. Malle. 2014. ‘Think and do the right thing’: A plea for morally competent autonomous robots. In Proceedings of the IEEE international symposium on ethics in engineering, science, and technology, Ethics’2014, 36–39. Red Hook: Curran Associates/IEEE Computer Society. Scheutz, Matthias, and Bertram F. Malle. 2017. Moral Robots. In The routledge handbook of neuroethics, ed. L. Syd M. Johnson and Karen Rommelfanger, 363–377. New York: Routledge. Scheutz, Matthias, Bertram F. Malle, and Gordon Briggs. 2015. Towards morally sensitive action selection for autonomous social robots In Proceedings of the 24th IEEE international symposium on robot and human interactive communication (RO-MAN), 492–497. Kobe: IEEE Press. Schmidt, Marco F. H., Hannes Rakoczy, and Michael Tomasello. 2011. Young children attribute normativity to novel actions without pedagogy or normative language. Developmental Science 14(3): 530–539. Searle, John R. 1980. Minds, brains, and programs. Behavioral and Brain Sciences 3(3): 417–457. Semin, Gün R., and A. S. R Manstead. 1983. The accountability of conduct: A social psychological analysis. London: Academic Press. Shafer, Glenn. 1976. A mathematical theory of evidence. Princeton: Princeton University Press. Sparrow, Robert. 2007. Killer robots. Journal of Applied Philosophy 24(1): 62–77. https://doi.org/ 10.1111/j.1468-5930.2007.00346.x. Sripada, Chandra Sekhar, and Stephen Stich. 2006. A framework for the psychology of norms. In The innate mind (Vol. 2: Culture and cognition), ed. Peter Carruthers, Stephen Laurence, and Stephen Stich, 280–301. New York: Oxford University Press. Stahl, Bernd Carsten. 2004. Information, ethics, and computers: The problem of autonomous moral agents. Minds and Machines 14(1): 67–83. https://doi.org/10.1023/B:MIND.0000005136.61217.93. Sullins, John P. 2011. Introduction: Open questions in roboethics. Philosophy & Technology 24(3): 233. https://doi.org/10.1007/s13347-011-0043-6. Todd, Ben. 2011. ‘Non, Non! you can’t wee wee here, monsieur’: Gerard depardieu gets caught short in a plane. DailyMail.Com. August 18, 2011. http://www.dailymail.co.uk/tvshowbiz/ article-2026990/Gerard-Depardieu-urinates-plane-hes-refused-permission-to-toilet.html. Tomasello, Michael, and Amrisha Vaish. 2013. Origins of human cooperation and morality. Annual Review of Psychology 64(1): 231–255. https://doi.org/10.1146/annurev-psych-113011-143812. Ullmann-Margalit, Edna. 1977. The emergence of norms, Clarendon Library of Logic and Philosophy. Oxford: Clarendon Press.

278

B. F. Malle and M. Scheutz

de Villiers, Jill. 2007. The interface of language and theory of mind. Lingua. International Review of General Linguistics. Revue Internationale De Linguistique Generale 117(11): 1858–1878. https://doi.org/10.1016/j.lingua.2006.11.006. Voiklis, John, Corey Cusimano, and Bertram F. Malle. 2014. A social-conceptual map of moral criticism. In Proceedings of the 36th annual conference of the cognitive science society, ed. Paul Bello, M. Guarini, M. McShane, and Brian Scassellati, 1700–1705. Austin: Cognitive Science Society. Voiklis, John, Corey Cusimano, and Bertram F. Malle. 2016. Using moral communication to reveal moral cognition. Paper presented at the international conference on thinking, providence, RI. Walker, Margaret Urban. 2006. Moral repair: Reconstructing moral relations after wrongdoing. New York: Cambridge University Press. Wallach, Wendell, and Colin Allen. 2008. Moral machines: Teaching robots right from wrong. New York: Oxford University Press. Wang, Zhouxia, Tianshui Chen, Jimmy Ren, Weihao Yu, Hui Cheng, and Liang Lin. 2018. Deep reasoning with knowledge graph for social relationship understanding. ArXiv:1807.00504 [Cs], July. http://arxiv.org/abs/1807.00504. Weingart, Laurie R., Kristin J. Behfar, Corinne Bendersky, Gergana Todorova, and Karen A. Jehn. 2014. The directness and oppositional intensity of conflict expression. Academy of Management Review 40(2): 235–262. https://doi.org/10.5465/amr.2013.0124. Wenk, Gary Lee. 2015. Your brain on food: How chemicals control your thoughts and feelings. New York: Oxford University Press. West, John. 2016. Microsoft’s disastrous tay experiment shows the hidden dangers of AI. Quartz, April 2, 2016. https://qz.com/653084/microsofts-disastrous-tay-experiment-shows-the-hiddendangers-of-ai/. Westmarland, Louise. 2005. Police ethics and integrity: Breaking the blue code of silence. Policing & Society 15(2): 145–165. Wright, Jennifer Cole, and Karen Bartsch. 2008. Portraits of early moral sensibility in two children’s everyday conversations. Merrill-Palmer Quarterly 54(1): 56–85. https://doi.org/10.2307/ 23096079. van Wynsberghe, Aimee. 2013. Designing robots for care: Care centered value-sensitive design. Science and Engineering Ethics 19(2): 407–433. https://doi.org/10.1007/s11948-011-9343-6.

Teil VI Anwendungsgebiete der Maschinenethik

Autonomes Fahren aus Sicht der Maschinenethik Claudia Brändle und Armin Grunwald

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Maschinenethische Herausforderungen des autonomen Fahrens . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Ethische Herausforderungen auf der Systemebene . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

282 283 292 297 298

Zusammenfassung

In der Debatte um die zunehmende Automatisierung des Individualverkehrs und die Vision des autonomen Fahrens wird eine Vielzahl ethischer Fragen aufgeworfen. Ziel des vorliegenden Beitrages ist es, einen Überblick über die unterschiedlichen ethischen Aspekte des autonomen Fahrens zu geben. Da, wie meist in lebensweltlichen Herausforderungen, sehr unterschiedliche ethische Fragestellungen angesprochen werden, lässt sich eine gewisse Heterogenität nicht vermeiden. Der Text gliedert sich in zwei Teile: Im ersten Teil geht es um spezifische Themen der Maschinenethik und die zentrale Frage, inwieweit ein autonomes Fahrzeug moralische Entscheidungen treffen wird. Im Zuge dessen wird zunächst das Problem der Dilemma-Situationen thematisiert. In einem zweiten Schritt soll die Frage nach der Verantwortung für durch autonome Fahrzeuge verursachte Unfälle in den Blick genommen werden. Der zweite Teil beschäftigt sich mit den ethischen Herausforderungen, die sich durch das autonome Fahren auf der gesellschaftlichen Systemebene ergeben. Dies umfasst unter anderem die potenziellen und z. T. nicht intendierten Auswirkungen des autonomen Fahrens auf informationelle Selbstbestimmung, Wirtschaft und Arbeitsmarkt und das Verkehrssystem als solches. C. Brändle (*) · A. Grunwald Karlsruher Institut für Technologie (KIT), Institut für Technikfolgenabschätzung und Systemanalyse (ITAS), Karlsruhe, Deutschland E-Mail: [email protected]; [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_18

281

282

C. Brändle und A. Grunwald

Schlüsselwörter

Autonomes Fahren · Maschinenethik · Moralische Maschinen · Moralisches Handeln · Moralisches Dilemma · Verantwortung · Systemethik · Risikoethik · Technikfolgenabschätzung

1

Einleitung

Im Bereich der Automobiltechnik findet mit Fahrerassistenzsystemen, Einparkhilfen und Spurhalteassistenten eine zunehmende Automatisierung statt. Die weitgehende oder vollständige Automatisierung des Straßenverkehrs ist seit einigen Jahren Gegenstand öffentlicher und wissenschaftlicher Debatten. Dabei stehen ethische Fragen vielfach im Vordergrund. Üblicherweise werden sechs Stadien des automatisierten und autonomen Fahrens unterschieden (SAE International 2016): 0, also keine Automatisierung bis 5, Vollautomatisierung. Die dazwischenliegenden Schritte sind Fahrerassistenz (1), Teilautomatisierung (2) sowie bedingte (3) und hohe (4) Automatisierung. Die Stufen 1 und 2 beschreiben Automatisierungsformen, die bereits realisiert und auf dem Markt erhältlich sind. Selbiges gilt seit kurzer Zeit auch für Vorstufen von Level-3Technologien wie Teslas „Autopilot“.1 Auf der Stufe 4 – hohe Automatisierung, gelegentlich als teilautonomes Fahren bezeichnet (Baumann et al. 2018) – sollen die Fahraufgaben auf spezifischen Strecken und Verkehrssituationen vollständig autonom vom Fahrzeug durchgeführt werden. Der menschliche Fahrer dient dabei lediglich als Fallback-Option im Falle einer für das Auto nicht zu bewältigenden Situation. Vollautonomes Fahren der Stufe 5 soll Fahrzeuge zur Marktreife bringen, die jeden Teil des Fahrauftrages unter allen Bedingungen vollkommen selbstständig, ohne Input seitens eines menschlichen Fahrers, ausführen können. Die Stufen 4 und 5 stellen technologische Entwicklungen dar, die für die Zukunft erwartet werden. Da sie noch nicht realisiert sind, ist jeder Bezug auf Fahrzeuge dieser Stufen eine Frage von Visionen und Erwartungen. Inwiefern autonomes Fahren der Stufe 5 tatsächlich realisierbar ist, welche Nebenfolgen die Einführung dieser Technologie hätte und ob die damit verbundenen Erwartungen und Ziele tatsächlich erreicht werden können, sind offene Fragen. Dennoch beeinflusst die Vision des autonomen Fahrens bereits jetzt auf vielfältige Weise Politik, Wirtschaft und Gesellschaft und gibt Anlass, sich mit den potenziellen Auswirkungen der Technologie auseinanderzusetzen. Das große Interesse am autonomen Fahren gründet vor allem in den Hoffnungen und positiven Effekten, die man sich vom Einsatz dieser Technologie verspricht. Jenseits handfester wirtschaftlicher Interessen werden ein Gewinn an Sicherheit durch Vermeidung von Unfällen (s. u.), die Erhöhung von Lebensqualität, z. B. für Pendler, die Transferzeiten durch autonomes Fahren mit anderen Tätigkeiten verbringen können, und eine bessere Verkehrseffizienz oder Umweltbilanz erwartet. Auch könnte der Einsatz autonomen 1

https://www.tesla.com/de_DE/autopilot (Zugegriffen am 04.02.2019).

Autonomes Fahren aus Sicht der Maschinenethik

283

Fahrens mobilitätseingeschränkten Personen den Zugang zu individueller Mobilität erleichtern und sie so in einer selbstständigen Lebensführung unterstützen. Einige Todesfälle im Zusammenhang mit teilautonomem Fahren in den Vereinigten Staaten (z. B. mit einem Tesla Model S im Mai 2016 und mit einem Testfahrzeug von Uber im März 2018) lassen allerdings Zweifel sowohl an den Sicherheitsversprechen als auch an der generellen Erwartungshaltung gegenüber dem autonomen Fahren aufkommen. So zeigen sich im realen Straßenverkehr immer wieder Herausforderungen, die durch autonome Technologien nur schwer zu bewältigen sind, wie schlechte Straßen- und Sichtverhältnisse, überraschende Ereignisse oder Verkehrsteilnehmer, deren Reaktionen für automatisierte Systeme schwer vorhersagbar sind (Fagnant und Kockelman 2015). Insbesondere der Mischverkehr und dort vor allem im kommunalen bzw. städtischen Raum, in dem autonome Fahrzeuge auf klassisch manuell gefahrene Autos, Fußgänger und Radfahrer treffen, stellt dabei eine große Herausforderung dar. Schließlich regelt sich der Verkehr in diesem Umfeld besonders häufig durch die Anwendung informeller Regeln und es findet ein hohes Maß an Kommunikation zwischen den unterschiedlichen Verkehrsteilnehmern statt (Färber 2016). Es ist also eine grundsätzliche Frage, ob die Vision eines autonomen Fahrzeugs der Stufe 5, die völlig ohne einen menschlichen Fahrer auskommt, überhaupt technisch umsetzbar ist. Doch selbst wenn diese technische Vision umgesetzt werden könnte, ist eine kritische Auseinandersetzung notwendig: Weil autonomes Fahren einen umfassenden Einfluss auf unser Verkehrssystem darstellen würde, ist wie bei jeder technischen Neuerung mit bisher unbekannten oder nur schwer vorhersagbaren nicht intendierten Folgen für die Gesellschaft zu rechnen (Grunwald 2010). Zudem lässt sich bereits jetzt eine Vielzahl von grundlegenden ethischen Herausforderungen aufzeigen. Vor diesem Hintergrund wird im vorliegenden Artikel ein Überblick über die verschiedenen ethischen Probleme des autonomen Fahrens gegeben. Zunächst soll eine zentrale Frage der Maschinenethik thematisiert werden, die im Falle des autonomen Fahrens an Relevanz gewinnt, nämlich inwiefern ein autonomes Fahrzeug über Menschenleben entscheiden darf. Um den Zusammenhang zwischen der Technologie des autonomen Fahrens und der Maschinenethik darzustellen, wird das medial prominent besetzte Thema der Dilemma-Situationen ausführlicher betrachtet. Daneben wird auch die allgemeine Frage behandelt, wer eigentlich die Verantwortung für Schäden trägt, die durch autonomes Fahren verursacht werden können. Dieses Problem ergibt sich nicht nur beim autonomen, sondern bereits beim teilautonomen Fahren. Neben den spezifisch maschinenethischen Aspekten ergeben sich zusätzliche ethische Fragen auf der gesellschaftlichen Systemebene, so etwa für Ökonomie, Arbeitsmarkt und Privatheit.

2

Maschinenethische Herausforderungen des autonomen Fahrens

Die maschinenethischen Herausforderungen, die das autonome Fahren aufwirft, betreffen im Wesentlichen zwei Fälle: Der eine Fall ist dabei von hoher praktischer Relevanz und betrifft die Frage nach dem Umgang mit und der Verantwortung für

284

C. Brändle und A. Grunwald

Unfälle bzw. Schäden verursacht durch autonome Fahrzeuge. Der zweite Fall betrifft die ethische Herausforderung, die der Umgang mit Dilemma-Situationen für die Technologie des autonomen Fahrens darstellt. Obwohl dieser Fall weit weniger relevant für die praktischen Fragen des autonomen Fahrens ist, soll er im vorliegenden Text eine zentrale Rolle einnehmen: Nicht weil Dilemma-Situationen dasjenige Problem darstellen, welches am dringendsten einer Antwort bedarf, sondern weil die Wichtigkeit, die es in der Debatte einnimmt und dabei sowohl den wissenschaftlichen als auch den medialen Diskurs zu dominieren scheint, einen guten Grund hat: Am Beispiel der Dilemma-Situationen, mit denen sich autonome Fahrzeuge konfrontiert sehen könnten, offenbart sich eine ethische Kernfrage des autonomen Fahrens: Darf ein autonomes Fahrzeug tatsächlich über Menschenleben entscheiden? Dahinter verbergen sich dezidiert maschinenethische Fragen: Inwiefern kann eine autonome Maschine oder eben ein autonomes Fahrzeug eigentlich als (moralischer) Akteur beschrieben werden, der moralische Entscheidungen trifft? Von welchen moralischen Kriterien soll eine autonome Maschine dabei geleitet und wie kann Moral in einer autonomen Maschine implementiert werden? Für die Betrachtung des autonomen Fahrens aus maschinenethischer Sicht ist der Umgang mit DilemmaSituationen daher von einer hohen theoretischen Bedeutung. Dilemma-Situationen und Trolley-Probleme Um den Zusammenhang zwischen Dilemma-Situationen im Straßenverkehr und der Frage nach dem Status eines autonomen Fahrzeuges deutlicher herauszuarbeiten, ist es sinnvoll, zunächst das Problem der Dilemmata genauer zu beschreiben. Von einem Dilemma kann man kurz zusammengefasst dann sprechen, wenn eine Situation vorliegt, in der jemand vor der Entscheidung steht, eines von zwei Übeln notwendigerweise verwirklichen zu müssen. In der medialen Berichterstattung über autonomes Fahren werden diese Situationen oft sehr treffend, wenn auch morbide, auf den Punkt gebracht. So titeln zwei bekannte Online-Nachrichtenportale: „Das Auto, das entscheiden muss, ob es Kinder oder Alte überfährt“2 oder „Einer muss sterben – nur wer?“.3 Häufig wird neben Eigenschaften wie Alter, Geschlecht und anderen sozialen Merkmalen der potenziellen Opfer (Qualifizierung) auch das Moment der Anzahl genannt, d. h. es wird die Frage aufgeworfen, ob man eher den Tod einer einzelnen Person als den einer Gruppe (von Personen) in Kauf nehmen sollte (Quantifizierung) (Bendel 2018). Wie komplex die Klassifizierung potenzieller Opfer eines unvermeidlichen Unfalls anhand bestimmter Eigenschaften oder Menge sein kann (ebd.), zeigt eine Website (www.moralmachine.mit.edu), entwickelt von Forschern des MIT in der Absicht, die Intuitionen von Menschen zu diesen verschiedenen Konstellationen abzufragen (Awad et al. 2018).

2

https://www.zeit.de/digital/2018-10/autonomes-fahren-kuenstliche-intelligenz-moralisches-dilemmaunfall (Zugegriffen am 04.02.2019). 3 http://www.spiegel.de/wissenschaft/technik/unfaelle-mit-selbstfahrenden-autos-wer-soll-leben-wersoll-sterben-a-1234901.html (Zugegriffen am 04.02.2019).

Autonomes Fahren aus Sicht der Maschinenethik

285

Quelle: www.moralmachine.mit.edu (Zugegriffen am 21.01.2019)

Gerade das Abwägen nach der Anzahl der von einer Handlung betroffenen Personen verweist auf ein bekanntes und viel diskutiertes Gedankenexperiment aus der Philosophie, das sogenannte Trolley-Problem. Die ursprüngliche Formulierung des Trolley-Problems findet sich – zusammen mit anderen Gedankenexperimenten – in einem Text zur Abtreibungsdebatte mit dem Ziel, den Unterschied zwischen „töten“ und „sterben lassen“ bzw. „jemandes Tod in Kauf nehmen“ zu illustrieren (Foot 1967): „To make the parallel as close as possible it may rather be supposed that he is the driver of a runaway tram which he can only steer from one narrow track on to another; five men are working on one track and one man on the other; anyone on the track he enters is bound to be killed. [..] The question is why we should say, without hesitation, that the driver should steer for the less occupied track [. . .].“ (Ebd., S. 6)

Dieses Gedankenexperiment wurde insbesondere von Judith Jarvis Thomson in mehreren Artikeln aufgegriffen und weiterentwickelt. Dabei nimmt sie die Annahme Foots in die Kritik, „wir sollten ohne zu Zögern sagen, der Fahrer sollte sein Fahrzeug auf das weniger besetzte Gleis lenken“ (Ebd.; eigene Übersetzung, eigene Hervorhebung). Thomson untersucht zunächst die Frage, ob es überhaupt moralisch erlaubt wäre, das Fahrzeug umzulenken und den Einen für die Vielen zu opfern – ganz zu schweigen davon, ob es moralisch geboten wäre, in dieser Form zu quantifizieren. Um diese Schwierigkeit herauszuarbeiten, ersetzt sie in der ursprünglichen Formulierung des Problems den Fahrer des Wagens, den driver, durch einen bystander, einen Außenstehenden oder Nebenstehenden, der durch das Umstellen einer Weiche den Wagen auf das Gleis mit dem einzelnen Arbeiter lenken kann (Thomson 1985, S. 1397). Durch ihre Abwandlung lenkt Thomson den Blick auf einen neuen Aspekt in der Debatte, nämlich die Frage, nach welchen übergeordneten moralischen Konzepten – spezifisch Kantianismus oder Konsequentialismus – man Fragen dieser Art entscheiden kann. Auch für den Fall des autonomen Fahrens gilt:

286

C. Brändle und A. Grunwald

Auf Grundlage welcher moralischen Kriterien oder Konzepte soll ein autonomes Fahrzeug Handlungsentscheidungen treffen – nach den Kriterien eines kantischen, konsequentialistischen oder anderen moralischen Regelsystems? Auf diese grundsätzliche und kaum lösbare ethische Frage sowie die von Thomson eingeführte Unterscheidung zwischen driver und bystander werden wir an späterer Stelle noch einmal zurückkommen. Der Zusammenhang zwischen autonomem Fahren, Trolley-Problemen und Maschinenethik Dass Dilemma-Situationen, die den oben skizzierten Trolley-Problemen gleichen, tatsächlich im Straßenverkehr vorkommen, scheint sehr abwegig zu sein. So kann es theoretisch zwar durchaus zu Situationen kommen, in denen der Fahrer eines Wagens entscheiden muss, ob er mit einer Handlung eher den einen oder den anderen Verkehrsteilnehmer oder gar sich selbst gefährdet. Praktisch bleibt in solchen Situationen jedoch oft nur der Bruchteil einer Sekunde, um sich für oder gegen eine bestimmte Handlung zu entscheiden. Wenn jemand sein Lenkrad herumreißt, um einem plötzlich auf der Straße auftauchenden Kind auszuweichen, und dabei in den Gegenverkehr gerät, würden wir nicht davon ausgehen, es hätte sich dabei um eine bewusste, wohlüberlegte, nach moralischen Gesichtspunkten sorgfältige abgewogene Handlungsentscheidung gehandelt. Tatsächlich würde man in einem solchen Fall viel eher von einer reflexartigen Handlung sprechen (Dilich et al. 2002). Konsequenterweise stellen sich uns solche oder ähnliche Unfallkonstellationen nicht als Dilemmata im Sinne des Trolley-Problems, sondern schlicht als tragische Unfälle dar, die nicht zu verhindern waren und an denen keiner wirklich schuld ist. Im Fall des autonomen Fahrens erfahren die verschiedenen Beschreibungen des Trolley-Problems allerdings eine völlig neue und vor allem praktische Relevanz: Durch den Einsatz autonom agierender Maschinen werden allem Anschein nach aus prinzipiell tragischen Konstellationen im Straßenverkehr auf einmal DilemmaSituationen, die dem theoretischen Gedankenexperiment der Trolley-Probleme auffallend ähneln.4 Deutlich wird dies, wenn man drei verschiedene Eigenschaften von autonomen Fahrzeugen genauer betrachtet: Erstens zeichnet sich ein autonomes Fahrzeug gegenüber einem menschlichen Akteur gerade dadurch aus, dass es in kritischen Situationen über mehr relevante Informationen verfügt und auch in der Lage ist, diese deutlich schneller zu verarbeiten und auf ihrer Grundlage zu einer Entscheidung zu kommen. Zweitens ist die Handlungsentscheidung von der eigentlichen Situation separiert: Weit bevor eine potenzielle Dilemma-Situation eintritt, muss geklärt sein, wie bzw. nach welchen Kriterien ein autonomes Fahrzeug in einer solchen Situation entscheiden soll. Drittens führt der Einsatz autonomer Fahrzeuge voraussichtlich zu einer Erhöhung von ethisch konsistenten Handlungsentscheidungen im Straßenverkehr (vgl. Birnbacher und Birnbacher 2016): Das autonome

4

Dementsprechend wurden zahlreiche wissenschaftliche Publikationen in den letzten Jahren veröffentlicht, die an der klassischen Debatte um die Trolley-Probleme ansetzen und diese auf den Fall des autonomen Fahrens anwenden, u. a. Lin (2016) und JafariNaimi (2017).

Autonomes Fahren aus Sicht der Maschinenethik

287

Fahrzeug wird – sofern nicht durch einen Hacker-Angriff beeinträchtigt – in allen potenziellen Situationen im Straßenverkehr so entscheiden, wie es programmiert wurde. Aus diesen drei Eigenschaften lassen sich wiederum zwei interessante Themen ableiten: So lässt sich zunächst feststellen, dass an dieser Stelle die eingangs als dezidiert maschinenethisch bezeichnete Frage an Bedeutung gewinnt: Kann das autonome Fahrzeug als ein moralischer Akteur beschrieben werden, etwa weil er, im Gegensatz zu uns Menschen, stets zuverlässig und in Sekundenschnelle unparteiische, auf allen relevanten Informationen beruhende, rationale, nach moralischen Gesichtspunkten abgewogene Entscheidungen zu treffen in der Lage ist? Ist eine solche Beschreibung als (moralischer) Akteur, der „handelt“ oder „entscheidet“, überhaupt angemessen? Diese Frage erfordert eine eingehende Auseinandersetzung mit Themen der Philosophie des Geistes und es gibt bereits einige Ansätze, die autonomen Maschinen den Status eines (moralischen) Akteurs zumindest in einer gewissen Hinsicht zubilligen. Beispiele hierfür finden sich u. a. bei Anderson und Anderson (2011), Wallach und Allen (2009) und Misselhorn (2018). Letztere spricht in Bezug auf autonome Maschinen in Anlehnung an Moor 2006 von „expliziten moralischen Akteuren“ (ebd., vgl. auch das Kapitel „Maschinenethik und Philosophie“ im vorliegenden Handbuch). Diese sind allerdings von vollständigen moralischen Akteuren, wie es in der Regel Menschen sind, zu unterscheiden. Stattdessen ist allen diesen Ansätzen gemein, dass sie autonome Maschinen als abgeleitete Akteure sehen, die typisch menschliche Fähigkeiten wie „handeln“ und „entscheiden“ nur simulieren (ebd.). Die grundlegenden Kriterien, nach denen die Algorithmen das Verhalten der autonomen Maschinen bestimmen sollen, müssen nach wie vor von Menschen vorgegeben werden: Entweder direkt wie im Falle sogenannter Top-down-Ansätze, bei denen autonomen Maschinen als lernenden Systemen bestimmte Entscheidungskriterien vorgegeben werden (Wallach und Allen 2009). Aber auch bei Bottom-upAnsätzen, in denen autonome lernende Systeme die relevanten Entscheidungskriterien aus Einzelfällen selbstständig ableiten (ebd.), muss im Nachgang überprüft werden, ob diese mit den von uns als grundlegend anerkannten Kriterien übereinstimmen. Damit wird deutlich, dass die moralischen Entscheidungen (über das Leben von Menschen) autonomer Maschinen im Straßenverkehr in letzter Hinsicht von Menschen getroffen werden. Entsprechend kann auch die Verantwortung für Leben und Tod (im Falle von Dilemma-Situationen) oder über die Verantwortung für durch autonomes Fahren verursachte Unfälle nicht an die Technik abgegeben werden. Offen bleibt dann allerdings die Frage, wer für das Verhalten von autonomen Fahrzeugen im Straßenverkehr und die sich daraus ergebenden Folgen verantwortlich ist bzw. sein sollte (s. u.). Dies führt zum zweiten Thema, welches sich aus der unterschiedlichen Charakterisierung von Dilemma-Situationen ergibt – je nachdem, ob ein menschlicher Fahrer oder ein autonomes Fahrzeug involviert ist. Nimmt man zu der Charakterisierung die durch Thomson aufgeworfene Unterscheidung zwischen driver und bystander hinzu, zeigt sich folgendes: Beim konventionellen Autofahren scheint es völlig klar zu sein, den driver im Trolley-Problem ganz lapidar mit dem menschlichen Fahrer eines Fahrzeugs gleichzusetzen. Der Fall des autonomen Fahrens stellt sich allerdings

288

C. Brändle und A. Grunwald

anders dar: Hier scheint der passendere Vergleich eher der bystander zu sein. Die Rolle des bystanders kommt dabei denjenigen Menschen zu, die dafür Sorge tragen, welche moralischen Entscheidungskriterien dem autonomen Fahrzeug mitgegeben werden. Deren moralische Verantwortlichkeit mit Blick auf die möglichen Handlungsentscheidungen scheint sich durch die zeitliche Separation zwischen der Entscheidung, wie in Dilemma-Situationen generell gehandelt werden sollte, und der tatsächlichen Situation nur noch zu erhöhen. Überspitzt könnte man sagen, dass der passendere Unterschied im Fall des autonomen Fahrens eher zwischen „Fahrer des Wagens“ (driver) und „Person, die im Lehnstuhl über Trolley-Probleme entscheidet“ besteht. Das wirft einerseits die Frage auf, welche moralischen Kriterien wir Menschen einem autonomen Fahrzeug einprogrammieren sollen, damit es – in Dilemma-Situationen, aber auch in anderen kritischen Situationen – moralisch richtig entscheidet. Andererseits zeigt sich gerade in der zeitlichen Separation von Entscheidung und Situation, dass eine grundsätzliche Unstimmigkeit darüber herrscht, wie eine konkrete Antwort auf diese zentrale ethische Frage aussehen kann. Auch ohne den akuten Stress, den eine situative Entscheidung einer Dilemma-Situation mit sich bringt, steht man der Frage, wen man in einer solchen Situationen gefährden soll, mit einer gewissen Hilflosigkeit gegenüber. Man weiß nicht zweifelsfrei, welche Entscheidung die moralisch richtige ist. Dies scheint das Kernproblem der Debatte und auch der Grund dafür zu sein, warum das bisher eher philosophisch interessante Gedankenexperiment der TrolleyProbleme mit dem autonomen Fahren auf einmal eine solche mediale und wissenschaftliche Aufmerksamkeit erreicht hat. Denn obwohl es bereits praktische Ansätze gibt, autonome Systeme zu gestalten, deren Entscheidungsalgorithmen deontologischen („MedEthEx“, Anderson et al. 2006) oder konsequentialistischen Kriterien („Jeremy“, Anderson et al. 2005) folgen, ist damit noch nicht die Frage beantwortet, ob beispielsweise eine Orientierung am Kantianismus, statt am Konsequentialismus oder einem anderen ethischen System, die moralisch richtige Entscheidung ist.5 Von einem philosophischen Standpunkt aus bleibt die Frage danach, welches moralische Prinzip einen berechtigten Anspruch auf allgemeine Gültigkeit hat, bisher unbeantwortet (vgl. Birnbacher und Birnbacher 2016). Dass wir auf diese (meta-)ethische Frage in absehbarer Zeit keine zufriedenstellende Antwort finden werden, stellt uns vor ein grundsätzliches Problem, dessen Brisanz nur noch durch den Umstand erhöht wird, dass der Einsatz (teil-)autonomer Fahrzeuge im echten Straßenverkehr kurz bevorzustehen scheint, und es sich bei autonomen Fahrzeugen potenziell um weit 5

Wie verschiedene Moralkonzepte auf den Fall des autonomen Fahrens bzw. autonomer Systeme allgemein angewendet werden und wie normative Regelsysteme für autonome Maschinen aussehen können, wird in der Literatur umfassend behandelt: So stellt beispielsweise die Initiative zur Ethik autonomer und intelligenter Systeme des IEEE in einem Bericht Empfehlungen für ein ethisches Design autonomer und intelligenter Systeme vor (IEEE 2017). Eine Zusammenfassung verschiedener philosophischer Moralkonzepte, ethischer Leitlinien aus dem professionellen Umfeld und verschiedener Anwendungsgebiete der Roboterethik im Allgemeinen findet sich in Tzafestas (2016). Einen interessanten Einblick in die Roboterethik bietet der Sammelband Robot Ethics (Lin et al. 2012) und der darin enthaltene Artikel von Abney (2012), in dem deontologische Ethik sowie Tugendethik als vielversprechende Moralkonzepte für die Implementation in autonome Systeme genannt werden.

Autonomes Fahren aus Sicht der Maschinenethik

289

verlässlichere „Akteure“ handelt, als wir es sind, jedenfalls was die Regeleinhaltung betrifft. Jede Entscheidung darüber, ob autonomes Fahren überhaupt eingesetzt werden, und wenn ja, wer darüber entscheiden soll, welche moralischen Kriterien dem autonomen Fahrzeug mitgegeben werden, muss in absehbarer Zukunft also unter einem gewissen Maß an ethischer Unsicherheit gefällt werden. Verantwortung für Unfälle mit autonomen Fahrzeugen Anders als Dilemma-Situationen kommt der Frage, wie man ganz allgemein mit Unfällen umgeht, die durch autonome Fahrzeuge verursacht werden, eine sehr hohe praktische Relevanz zu. Zudem gewinnt hier in besonderer Weise die Frage an Bedeutung, wer für die negativen Folgen des autonomen Fahrens – insbesondere jene, die durch Unfälle verursacht wurden – verantwortlich ist und ggf. zur Rechenschaft gezogen wird. An dieser Stelle lohnt es sich, die beteiligten und betroffenen Akteursgruppen genauer in den Blick zu nehmen. Während unklar ist, wie oft es in der Praxis tatsächlich zu Dilemma-Situationen im Straßenverkehr kommt, ist die hohe Zahl der Unfälle, die sich im Straßenverkehr allgemein ergeben, ein äußerst aktuelles Problem. So sterben in Deutschland jedes Jahr über 3000 Menschen im Straßenverkehr und über 390.000 Personen werden verletzt (Statistisches Bundesamt 2018). Diese Zahlen bilden eines der Kernargumente für den flächendeckenden Einsatz autonomer Fahrzeuge. Laut Statistik lassen sich ca. 90 % der Unfälle im Straßenverkehr auf menschliches Versagen bzw. menschliches Fehlverhalten zurückführen (ebd.). Entsprechend einleuchtend erscheint der Ansatz des autonomen Fahrens, den menschlichen Fahrer komplett oder zumindest so weit wie möglich aus der Fahraufgabe zu entlassen und damit die Zahl der Verkehrsunfälle und der damit verbundenen Schäden für Leben und Gesundheit stark zu verringern. Sollte sich diese mit der Vision des autonomen Fahrens verbundene Hoffnung als tragfähig erweisen, müssten schon sehr starke Gegenargumente gegen diese Technologie vorgebracht werden. Schließlich geht mit der (technischen) Möglichkeit, diese Zahlen zu verringern, auch eine beträchtliche ethische Verpflichtung einher, sich der dazu nötigen Mittel zu bedienen, die nur schwer aufzuwiegen ist. So werfen Hevelke und Nida-Rümelin (2015) die Frage auf, ob die Einführung höher automatisierter Fahrsysteme oder vollautonomer Fahrzeuge nicht sogar als ethisch geboten anzusehen ist. Eine solche unbedingte Pflicht zum autonomen Fahren kann durchaus kritisch gesehen werden, nicht zuletzt deswegen, weil auch diese Technologie das mit ihr verbundene Sicherheitsversprechen nicht vollkommen einlösen können wird. Aufgrund von technologischen Mängeln, unvorbereiteten und evtl. unvorhersehbaren Situationen, auf die das autonome Fahrzeug (noch) nicht angemessen reagieren kann, wird auch diese Technologie Unfälle nicht gänzlich verhindern können (Goodall 2014). Dies kann auch Unfälle einschließen, die spezifisch für autonome Technologien sind und einem menschlichen Fahrer nicht unterlaufen würden. Die Unfallproblematik ist auch für das teilautonome Fahren eine Herausforderung: Da sich dabei Mensch und Maschine die Fahraufgabe teilen, kann die Frage gestellt werden, wer in welcher Situation für eventuelle Unfälle verantwortlich ist. Darauf eine konkrete Antwort zu geben, ist allerdings problematisch, weil bei dieser Art der „Mensch-Maschine-Interaktion“ Unklarheiten in Bezug auf

290

C. Brändle und A. Grunwald

die Übernahme bzw. Abgabe von Kontrolle bestehen. Dies ist insbesondere dann der Fall, wenn dem Menschen in bestimmten Phasen die Aufgaben der Überwachung und des schnellen Eingreifens übertragen werden. Bainbridge (1983) legt nahe, dass für Menschen gerade ein hochautomatisiertes Umfeld äußerst abträglich ist, um Überwachungs- und Übernahmeaufgaben angemessen durchzuführen. Ob es sinnvoll ist, einem menschlichen Fahrer die Verantwortung für diese Aufgaben zu übertragen, während man gleichzeitig ein Umfeld schafft, in dem die dafür notwendigen Fähigkeiten leiden, ist eine offene Frage, deren Klärung auch ein Anliegen der Ethik-Kommission für automatisiertes und vernetztes Fahren war (EthikKommission 2017). Es ist davon auszugehen, dass Unfälle mit (teil-)autonomen Fahrzeugen im Allgemeinen, aber auch Unfälle, die spezifisch für das autonome Fahren sind, weitestgehend mit den Mitteln des bestehenden (rechtlichen) Systems behandelt werden können (Grunwald 2015). Dennoch kommt der Frage eine hohe Bedeutung zu, wer für Schäden an Personen oder Sachen, die durch autonomes Fahren verursacht werden, eigentlich verantwortlich ist. An dieser Stelle lohnt ein Blick auf die recht umfangreiche Liste der zentralen Akteure bzw. Interessengruppen und die unterschiedlichen Arten, wie sie vom autonomen Fahren betroffen sind. So stellen die Nutzer autonomer Fahrzeuge eine Interessengruppe dar, die einerseits von der Technik profitiert, andererseits als Insassen eines solchen Fahrzeugs dem Risiko eines Unfalls ausgesetzt ist. Gleichzeitig wird der Straßenverkehr auch von anderen Akteuren genutzt: Im Falle eines Mischverkehrs werden sich auch Nutzer von Fahrzeugen, die über keine oder nur sehr niedrigschwellige Assistenzsysteme verfügen, genauso wie Fahrradfahrer oder Fußgänger, die im Straßenverkehr besonders gefährdete Gruppen darstellen, die Straßen mit autonomen Fahrzeugen teilen. Vor allem im Stadtverkehr sind diese beiden Gruppen in besonderem Maße durch Unfallschäden negativ betroffen (Statistisches Bundesamt 2016). Sich den Risiken des autonomen Fahrens zu entziehen, würde für diese anderen Verkehrsteilnehmer bedeuten, sich dem Straßenverkehr als solchem zu entziehen. Dies wäre nicht nur mit erheblichen Einschränkungen verbunden, sondern scheint – besonders in Hinblick auf Fußgänger und Fahrradfahrer – ungerecht zu sein. Aber auch für die Gesellschaft als Ganzes kann autonomes Fahren positive wie negative Folgen haben (s. u.). Involviert in die Entwicklung autonomer Fahrzeuge, was die Ausgestaltung der notwendigen Hard- und Software betrifft, sind in erster Linie die Herstellerfirmen und deren Programmierer. Gleichzeitig betrifft insbesondere die Entwicklung der Software zentrale ethische Themen, schließlich findet hier die Verwendung bestimmter lernender Systeme und das Entwickeln von Entscheidungsalgorithmen statt. Auch wenn, wie bereits dargelegt, unklar ist, welche die richtigen moralischen Werte sind, die in den Entscheidungsalgorithmen ihren Ausdruck finden sollen, müssen die Kriterien für die Algorithmen zumindest hinreichend ähnlich zu bestehenden gesellschaftlichen Wertkonzepten sein. Hier bedarf es einer Reihe weiterer Akteure, die in diesen Entwicklungsprozess einbezogen werden müssen: Manager, Regulatoren, Rechtsexperten, Versicherungen sowie politische Entscheidungsträger. An dieser Auflistung zeigt sich, dass es schwer sein wird, einen konkreten Verantwortlichen für durch autonomes Fahren verursachte Unfälle zu

Autonomes Fahren aus Sicht der Maschinenethik

291

bestimmen: Das autonome Fahrzeug ist als ein moralischer Akteur in einem höchstens abgeleiteten Sinne ein denkbar schlechter Adressat für Verantwortung, auch wenn es der Verursacher eines Unfalls ist (Misselhorn 2018). Ein offensichtlicher Kandidat könnte der jeweilige Hersteller bzw. der oder die Programmierer eines autonomen Fahrzeugs sein. Allerdings scheint es zumindest in Abwesenheit von augenscheinlichen Herstellungsfehlern nicht in allen Fällen gerechtfertigt zu sein, die Verantwortung für Unfälle ihnen allein zu übertragen. Schließlich werden sie voraussichtlich innerhalb eines rechtlichen und gesellschaftlichen Rahmens handeln, in dem der Einsatz autonomen Fahrens reguliert und erlaubt ist. Neben Herstellern und Programmierern spielt auch der Nutzer eines solchen Fahrzeugs eine ambivalente Rolle bei der Frage nach der Verantwortung: So hat er im Rahmen des autonomen Fahrens nur noch die Rolle eines „Beifahrers“ inne und kann daher nicht als Verursacher eines Unfalls angesehen werden. Gleichzeitig kann er aber als Nutznießer des Systems teilweise dafür verantwortlich gemacht werden, die Risiken, die mit autonomem Fahren einhergehen, auf die Straße zu bringen (Hevelke und Nida-Rümelin 2015). Ein möglicher Ansatz könnte also darin bestehen, die Nutzer autonomer Fahrzeuge gemeinsam für das Risiko, welches autonome Fahrzeuge im Straßenverkehr darstellen können, in eine kollektive Verantwortung zu nehmen, z. B. über entsprechende Steuerabgaben oder über eine Pflichtversicherung (ebd.). Diese Maßnahmen könnten einen Teil des rechtlichen und gesellschaftlichen Rahmens sein, der sowohl die Herstellung als auch tatsächliche Verwendung eines autonomen Fahrzeugs im Straßenverkehr grundsätzlich ermöglicht. Dabei stellt die Gestaltung dieses rechtlichen und gesellschaftlichen Rahmens, in dem autonomes Fahren stattfinden kann, ein zentrales Element für Verantwortungszuschreibung dar: Entsprechend verschiebt sich die Verantwortung für die Entscheidungen autonomer Fahrzeuge, die zu Unfällen führen können, einerseits auf die Gestalter der technischen Systeme, aber auch auf diejenigen Akteure, die die nötigen Randbedingungen und (rechtlichen) Vorgaben schaffen. Diese bestehen unter anderem aus den oben genannten Akteuren, also Managern, Regulatoren, Rechtsexperten, Versicherungen, Behörden und politischen Entscheidungsträgern. Doch auch deren Entscheidungen bedürfen einer Legitimation, die sich wohl letztendlich aus einer offenen, gesellschaftsweiten Debatte ergeben wird. Somit ist es in letzter Hinsicht auch die Gesellschaft – in welcher Form auch immer –, die Verantwortung für die Folgen des autonomen Fahrens übernehmen muss. Interessant ist bei der Rede von Stichworten wie kollektiver Verantwortung oder einem „rechtlichen und gesellschaftlichem Rahmen“, in dem autonomes Fahren stattfinden kann und der ein verantwortungsvolles Agieren der individuellen Akteure ermöglichen soll, der Wechsel von einer primär ethischen hin zu einer stärker politischen Perspektive auf diese Technologie. Tatsächlich kann die Lösung der Probleme, die das autonome Fahren an uns als Gesellschaft stellt, in einem politischen Aushandlungsprozess liegen, dessen Ziel darin besteht zu klären, welches Risiko wir als Gesellschaft bereit sind, für ein auf autonomen Fahrzeugen beruhendes Verkehrssystem mit allen seinen Vor- und Nachteilen in Kauf zu nehmen. Diese Verschiebung macht Ethik nicht überflüssig, da ethische Argumentationen in den politischen Aushandlungen und ihren rechtlichen Verfestigungen eine wichtige Rolle spielen dürften.

292

3

C. Brändle und A. Grunwald

Ethische Herausforderungen auf der Systemebene

Die Technologie autonomen Fahrens wird sich nicht darin erschöpfen, dass heutige von Menschen gefahrene Fahrzeuge durch automatische Fahrzeuge ergänzt oder von ihnen ersetzt werden, aber ansonsten alles gleichbleibt. In der Debatte um autonomes Fahren werden freilich ethische Fragen auf anderen Ebenen und für andere Akteure häufig ausgeblendet, die zu den spezifisch maschinenethischen Fragestellungen noch hinzukommen. Autonomes Fahren gilt dabei als Schlüssel für eine neue Stufe der Mobilität und als Quelle innovativer Mobilitätskonzepte in Absetzung vom klassischen Automobil. Da damit große Märkte, Wertschöpfungsketten, Geschäftsmodelle und Gewinnerwartungen verbunden werden, gibt es einen globalen Wettbewerb um Konzepte und schnelle Markteinführung. Dadurch können neue Systemeffekte im Mobilitätssystem und Folgen für den Arbeitsmarkt entstehen, Zugangsgerechtigkeit und Privatheit herausgefordert werden sowie neue gesellschaftliche Abhängigkeiten einkehren, sowohl von technischen Systemen als auch von den Akteuren hinter diesen Systemen. Diese möglichen Entwicklungen bergen Chancen und Risiken, die ebenfalls vorausschauend analysiert und unter ethischer Perspektive bedacht werden müssen. Je nach systemischer Frage sind dabei unterschiedliche Bereichsethiken angesprochen: die Wirtschafts- und Unternehmensethik, die Umweltethik (Ott et al. 2016), die Informationsethik (Heesen 2016) und die Technikethik (Grunwald 2013). Wie im einleitenden Kapitel beschrieben, werden von der Einführung autonomen Fahrens nicht nur Vorteile auf der individuellen Ebene wie Sicherheit und Lebensqualität erwartet, sondern auch Vorteile auf der Ebene des Verkehrssystems generell. Verbesserte Verkehrseffizienz durch intelligente Steuerung des Verkehrsflusses und dadurch bessere Ausnutzung der vorhandenen Infrastruktur können Staus vermindern und Fahrzeiten verkleinern. Dadurch und durch ökologisch optimierte Fahrweise autonomer Fahrzeuge kann es zur Verminderung der Umweltbelastung durch den Straßenverkehr kommen. In einer ethischen Abwägung schlagen diese erwarteten Vorteile selbstverständlich positiv zu Buche. Allerdings ist umstritten, wie realistisch diese Erwartungen sind. Seit Jahrzehnten wird von technischen Maßnahmen wie Leichtbau, effizienter Antriebstechnik und Steuerung des Verkehrs durch Telematik eine Verminderung der Umweltbelastung des Verkehrs erwartet. Eingetreten sind diese Erwartungen, meist aufgrund von Rebound-Effekten (Jackson 2009), nicht oder nur in marginalem Umfang, weil z. B. die Automobile immer größer und leistungsstärker wurden. Analog ist es denkbar, dass das autonome Fahren zu einer weiteren Steigerung der Mobilitätsbedürfnisse führen könnte, wodurch die erhofften positiven Systemeffekte für Effizienz und Umwelt zunichtegemacht werden könnten. Es wäre daher naiv, einfach das Eintreten der unzweifelhaft vorhandenen Potenziale zu erwarten. Ein ethisches Gebot ist vielmehr, erstens in der Analyse zukünftiger Systemeffekte autonomen Fahrens auch mögliche Verhaltens- und Bedarfsänderungen zu berücksichtigen, und zweitens konkrete Innovations- und Umsetzungspfade zu untersuchen und ggf. zur Umsetzung zu bringen, in denen realistische Aussicht auf Realisierung der Potenziale besteht.

Autonomes Fahren aus Sicht der Maschinenethik

293

Die historische Erfahrung zeigt jenseits solcher Positiverwartungen eine tief greifende Ambivalenz von Technik und Technisierung (Grunwald 2010). Danach ist damit zu rechnen, dass es auch beim autonomen Fahren zu nicht intendierten Folgen auf der Systemebene kommen wird. Nicht intendierte Folgen werden häufig als Risiken, als mögliche Schäden (Nida-Rümelin 1996) thematisiert. Dies ist besonders virulent, wenn es um die Zumutung möglicher Risiken an Betroffene geht, also z. B. durch Arbeitsplatzverluste, Einschränkungen der Wahlfreiheit oder Gesundheitsrisiken. Entsprechende Abwägungen führen in der Regel nicht zu einem Entweder/Oder, sondern geben Hinweise darauf, wie die in Frage stehende Technologie entwickelt und eingesetzt, möglicherweise aber auch flankiert und reguliert werden sollte, damit der Umgang mit den unvermeidlichen Risiken in einer möglichst verantwortlichen Weise erfolgt. In diesem Sinne ist ethische Reflexion gestaltungsorientiert. Eine adäquate und sorgfältige Diskussion von Risiken auf der Systemebene muss kontextbezogen und differenzierend vorgehen und soll in Bezug auf das autonome Fahren Fragen der folgenden Art so weit wie möglich beantworten (vgl. Grunwald 2015): • Für wen können welche systembedingten Schäden auftreten, welche Personengruppen können gefährdet werden oder müssten möglicherweise Nachteile erleiden? • Wie sind mögliche Risiken auf Personengruppen verteilt? Sind die Träger der Risiken andere Gruppen als die Nutzer der Vorteile des autonomen Fahrens? • Wer sind jeweils die Entscheider? Befinden sie über selbst einzugehende Risiken oder setzen sie andere Menschen Risiken aus? • Mit welcher Plausibilität oder Wahrscheinlichkeit ist mit dem Eintreten dieser Risiken zu rechnen? Wovon hängt ihr Eintreten ab und wie kann dieses beeinflusst werden? • Wie groß ist die räumliche und zeitliche Reichweite der Risiken? Welche Pfadabhängigkeiten mit welchen Implikationen (acatech 2016) zeichnen sich ab und wie sind sie zu beurteilen? Auf diese Weise wird das abstrakte Systemrisiko des autonomen Fahrens in mehr oder weniger klar angebbare Risiken in einzelnen Handlungsfeldern, Akteurskonstellationen und gesellschaftlichen Teilsystemen zerlegt, deren ethische Legitimierund Verantwortbarkeit einzeln und konkret analysiert und diskutiert werden kann. Beispielsweise kann dann auch konkret nach möglichen Unterschieden zwischen autonom fahrenden LKW, Bussen oder Individualfahrzeugen differenziert werden. Nicht intendierte systemische Folgen mit möglichen Schäden können beim autonomen Fahren in sehr unterschiedlichen Bereichen auftreten. Die folgende Darstellung beruht auf Grunwald (2015). Systemische Risiken Während in der bisherigen Autowelt die Fahrzeuge mehr oder weniger unabhängig voneinander bedient werden und sich Massenphänomene nur emergent durch das ungeplante Zusammenwirken der vielen individuell geführten Fahrzeuge ergeben, wird der autonom geführte Verkehr zu einem gewissen Anteil durch Leitzentralen

294

C. Brändle und A. Grunwald

und Vernetzung verbunden sein. Die Steuerung einer großen Zahl von Fahrzeugen wird voraussichtlich durch eine der Grundstruktur nach identische Software erfolgen, weil Komplexität und Firmenkonzentration vermutlich die Zahl von Zulieferern stark begrenzen wird. Nun ist komplexe Software bekanntlich niemals vollständig vor Inbetriebnahme prüfbar. Die Nutzung ist in diesem Sinne auch nur eine weitere Testphase, eine Art soziales Experiment, in dem die Nutzenden auch Testende sind (Van de Poel 2016). Dies ist bereits heute auch in der Autowelt ein Stück weit der Fall, sind doch Softwareprobleme ein relativ häufiger Grund für Pannen. Auf der Systemebene könnte es zu simultanem Ausfall oder zu simultanem Fehlverhalten einer großen Zahl von Fahrzeugen kommen, basierend auf dem gleichen Softwareproblem. Diese Probleme wären dann nicht mehr, wie bei bisherigen Unfällen, räumlich, zeitlich und in der Schadensgröße überschaubar, sondern könnten erheblichen Schaden für Menschen mit sich bringen sowie volkswirtschaftlich relevant werden. Über reine Softwareprobleme hinaus ist zu beachten, dass vernetzt fahrende, autonome Fahrzeuge ein sich selbst koordinierendes Megasystem mit extrem hoher Komplexität bilden, zumal es auch menschlich bedienten Verkehr integrieren muss. Dies ist geradezu eine Musterkonstellation für schlecht oder möglicherweise gar nicht antizipierbare systemische Risiken, in denen sich Risiken komplexer Technik und Software mit unvorhergesehenem menschlichen Handeln zu unerwarteten Systemproblemen aggregieren könnten (Renn et al. 2008). In ethischer Hinsicht erwachsen in dieser Perspektive Aufklärungs-, Forschungsund Vorsorgenotwendigkeiten. Sicherheits-, Vulnerabilitäts- und Resilienzforschung müssen auch auf der Systemebene durchgeführt werden, um mögliche Probleme frühzeitig erkennen und Präventiv- oder Eindämmungsmaßnahmen einleiten zu können. Vermutlich kommt der Resilienzforschung besondere Bedeutung zu, um vollständige Systemzusammenbrüche und damit einen möglichen gesellschaftsweiten Stillstand zu verhindern. Die verantwortlichen Akteure bilden ein komplexes Geflecht aus Wissenschaft, Automobilkonzernen, Softwareproduzenten, politischen Regulierern und Behörden mit verteilten Verantwortlichkeiten. Ökonomische Risiken Erforschung und Entwicklung von Technologien des autonomen Fahrens sind extrem aufwändig und damit entsprechend kostenintensiv, sowohl auf der Ebene der individuellen Fahrzeuge und ihrer Interaktion, aber auch in Bezug auf die erforderliche Ertüchtigung der Straßeninfrastruktur. Wie bei anderen Investitionen besteht auch hier für die involvierten Unternehmen das betriebliche Risiko, dass der Return on Investment nicht in der erwarteten Größenordnung oder nicht im erwarteten Zeitraum kommt, etwa weil autonomes Fahren sich nicht in größerem Umfang durchsetzt. Auf der anderen Seite besteht bei einem Verzicht auf diese Investitionen das Risiko, dass Konkurrenten im Erfolgsfall das Geschäft machen. Hier müssen also strategische Unternehmensentscheidungen unter Abwägung der unterschiedlichen Risiken getroffen werden. Dies ist zunächst ein Standardfall der Unternehmensführung sowie eine klassische Aufgabe des Managements und aufgrund der Größenordnung der Investitionen von unternehmensethischer Relevanz.

Autonomes Fahren aus Sicht der Maschinenethik

295

Die hohe Abhängigkeit der deutschen Volkswirtschaft vom Automobilmarkt führt auf ein darüber hinaus gehendes Problem. Vorausschauende wirtschafts- und industriepolitische Maßnahmen, aber auch Regulation und Anreizsysteme werden diskutiert, um in Deutschland ein förderliches Klima für autonomes Fahren zu schaffen, um in der globalen Konkurrenz vor allem mit chinesischen und US-amerikanischen Unternehmen bestehen zu können. Im Spannungsverhältnis zwischen dem liberalen Gedanken eines freien Welthandels und dem politischen Wunsch nach einer gedeihlichen Entwicklung der nationalen Wirtschaft sind ethische Fragen einer gerechten Wirtschaftsordnung involviert. Arbeitsmarkt Eine umfassende Realisierung des autonomen Fahrens hätte zweifellos Auswirkungen auf den Arbeitsmarkt. Betroffen wären primär, abhängig von den Bereichen der Autonomisierung des Verkehrs, Lastwagenfahrer, Taxifahrer und Mitarbeiter von Logistik- und Zustellunternehmen. Eine auf autonomes Fahren umgestellte Mobilitätswelt käme weitgehend ohne diese Berufe aus. Auf der anderen Seite könnten neue Berufsfelder in der Steuerung und Überwachung des autonomen Verkehrs entstehen, würden in Entwicklung, Test und Herstellung der entsprechenden Systeme hoch qualifizierte Mitarbeiter benötigt, vor allem in der Zulieferindustrie. Historisch sind Automatisierungswellen sowohl mit dem Wegfall von Arbeitsplätzen als auch der Entstehung neuer verbunden. Der Automatisierung in Produktion und Fertigung in den 1980er-Jahren sind allein in Deutschland Millionen von Arbeitsplätzen zum Opfer gefallen, vorwiegend im Bereich einfacher mechanischer Tätigkeiten. Es war eine erhebliche gesellschaftliche Anstrengung erforderlich, um durch Qualifizierung und Umschulung wenigstens einem Teil der Betroffenen andere Tätigkeitsfelder zu ermöglichen. Gegenwärtig gibt es Befürchtungen, dass die zunehmende Digitalisierung auch anspruchsvollere Tätigkeiten überflüssig machen könnte (Börner et al. 2018). Auf der positiven Seite entstehen neue Tätigkeitsfelder und Arbeitsmöglichkeiten, in der Regel für höher Qualifizierte. In allen bisherigen Automatisierungswellen gab es Gewinner und Verlierer. Aus Perspektive der Verteilungsgerechtigkeit müssen diese Gewinner/VerliererKonstellationen analysiert und ethisch wie politisch reflektiert werden. Eine gesellschaftliche Entwicklung hin zu autonomem Fahren muss diese den potenziellen Verlierern gegenüber legitimieren und ggf., wenn die Verluste nicht zumutbar sind, auch Kompensation leisten. Hierbei ist nicht nur an die ökonomische Existenz der Betroffenen zu denken, sondern auch an die Frage nach einem sinnstiftenden Platz in einer zukünftigen Gesellschaft. Da davon auszugehen ist, dass die Integration des autonomen Fahrens in das gegenwärtige Verkehrssystem allmählich erfolgt, und weil Erfahrungen aus anderen Automatisierungsvorgängen vorliegen, dürften die Voraussetzungen hier recht gut sein. Um für den Arbeitsmarkt problematische Entwicklungen frühzeitig zu erkennen, ist entsprechende Forschung erforderlich. Im Sinne eines ‚ethischen Vorsorgegebots‘ sollten in Kooperationen aus Gewerkschaften und Arbeitgebern, Wissenschaft und Politik frühzeitig Transformationsstrategien für die betroffenen Berufe entwickelt werden, z. B. im Hinblick auf die Vorbereitung von Betroffenen auf neue Berufe durch Weiterbildung.

296

C. Brändle und A. Grunwald

Privatheit Bereits heute liefern moderne Automobile eine Fülle von Daten und hinterlassen elektronische Spuren, z. B. durch Verwenden einer Navigationshilfe oder durch an die Hersteller übermittelte Daten. Aus vernetzt fahrenden autonomen Fahrzeugen könnten durch die elektronischen Spuren vollständige Bewegungsprofile abgelesen werden. Bewegungsprofile sind eine wertvolle Information für Polizei und Geheimdienste, die etwa die räumliche Bewegung von Terroristen und Regimegegnern verfolgen könnten, aber auch für Unternehmen, um Profile für zielgenaue Werbung abzuleiten. Hier bestehen weitreichende Missbrauchsmöglichkeiten mit der ethischen Notwendigkeit entsprechender Vorkehrungen zum Schutz der Privatheit: „Eine vollständige Vernetzung und zentrale Steuerung sämtlicher Fahrzeuge im Kontext einer digitalen Verkehrsinfrastruktur ist ethisch bedenklich, wenn und soweit sie Risiken einer totalen Überwachung der Verkehrsteilnehmer und der Manipulation der Fahrzeugsteuerung nicht sicher auszuschließen vermag“ (EthikKommission 2017). Angesichts der zunehmenden Digitalisierung und Vernetzung von immer mehr Bereichen des gesellschaftlichen und individuellen Lebens stellt die spezifisch zusätzliche Digitalisierung im autonomen Fahren vermutlich nur ein Element neben vielen anderen dar, wie die aktuellen Debatten zeigen (Rolf 2014; Kolany-Raiser et al. 2018). Das Entstehen einer konvergierenden Mega-Infrastruktur aus Verkehrssystem, Informationsversorgung, Kommunikationssystemen, Energiesystemen und möglicherweise weiteren, bisher getrennt funktionierenden Infrastrukturen stellt eine der großen Herausforderungen der nächsten Jahre oder sogar Jahrzehnte dar. Ethik und Politische Philosophie sind hier gefragt, in den Debatten um neue Grenzen zwischen Privatheit und Öffentlichkeit mitzuwirken. Das autonome Fahren selbst ist in dieser Auseinandersetzung vermutlich von nur geringer spezifischer Bedeutung. Abhängigkeit Moderne Gesellschaften sind generell vom reibungslosen Funktionieren von Technik zunehmend abhängig. Dies beginnt mit der Abhängigkeit vom individuellen Computer und Auto und reicht bis hin zur vollständigen Abhängigkeit von einer funktionierenden Energieversorgung (Petermann et al. 2011) und dem Funktionieren der weltweiten Datenkommunikationsnetze und Datenverarbeitung als Voraussetzung der globalen Wirtschaft. Bei einer weitgehenden Umstellung der Mobilität auf autonomes Fahren würde selbstverständlich ein großer Teil der gesellschaftlichen Mobilitätsbedürfnisse vom Funktionieren dieses Systems abhängen. Ein Zusammenbruch wäre dann noch tragbar, wenn es genügend Menschen gibt, die Fahrzeuge noch manuell bedienen können. Mit autonomen Fahrzeugen im individuellen Personenverkehr wäre dies solange kein prinzipielles Problem, wie eine Umschaltung von autonom auf manuell noch technisch möglich wäre. Allerdings könnte es in einzelnen Fällen zu Schwierigkeiten aufgrund mangelnder menschlicher Fahrpraxis kommen. Falls jedoch weite Teile der Logistik und des Güterverkehrs autonom abgewickelt würden, wäre es schwer vorstellbar, für den Fall eines länger andauernden Komplettausfalls ein umfangreiches Fahrpersonal vorzuhalten, selbst wenn die Fahrzeuge auch manuell betrieben werden könnten. Im Ausfall wesentlicher Logis-

Autonomes Fahren aus Sicht der Maschinenethik

297

tikketten käme es schnell zu möglicherweise katastrophalen Engpässen in der Versorgung der Bevölkerung (Petermann et al. 2011). Mit der weiteren Digitalisierung und der Übergabe von Autonomie an technische Systeme wächst die gesellschaftliche Anfälligkeit gegenüber intendierten Störungen und externen Angriffen. Durch Terroristen, Psychopathen oder auch in militärischen Zusammenhängen wäre dann auch das autonome Fahren betroffen. So könnten die Leitzentralen „gehackt“, es könnte Störsoftware eingebracht oder ein Systemzusammenbruch ausgelöst werden. Angriffe auf die Steuerungssoftware könnten bedeuten, dass jemand anderes die Kontrolle übernimmt und z. B. absichtlich Unfälle auslöst. Abwehrmaßnahmen sind selbstverständlich notwendig. Die zunehmende Abhängigkeit von technischen Systemen stellt sich üblicherweise mehr oder weniger schleichend ein und wird daher vielfach nicht explizit in Risiko-Chance-Abwägungen berücksichtigt. Häufig wird sie gar nicht wahrgenommen oder sogar verdrängt. In ethischer Perspektive erscheint es jedoch aus Vorsorgenotwendigkeiten geboten, erstens den jeweiligen Stand der Abhängigkeit zu erheben und Bewusstsein dafür zu schaffen, zweitens mögliche Schadensszenarien im Falle des Falles zu explorieren und drittens Maßnahmen für diese Schadensfälle vorbereitend zu entwickeln. Diese Risikotypen zeichnen ein vielfältiges Bild der Risikokonstellation autonomen Fahrens. Das Feld der beteiligten Akteure, der Entscheidungsträger und der betroffenen gesellschaftlichen Gruppen stellt sich jeweils anders dar. In ethischer Perspektive sind hier individualethische, technikethische, sozialethische und wirtschaftsethische Fragen involviert. Teils hängen diese mit regulativ-rechtlichen Aspekten zusammen, teils markieren sie eher Aufgaben für eine politische Gestaltung.

4

Ausblick

Geteilte Verantwortung stellt eine wesentliche Herausforderung für den Einsatz autonomer Fahrzeuge dar, insbesondere weil umstritten ist, wie zentrale ethische Fragen zu den Kriterien der Entscheidungsfindung in Dilemma- oder anderen kritischen Situationen im Straßenverkehr gelöst werden sollen. Hier kann der Endbericht der Ethikkommission (2017) trotz des durchaus berechtigten Vorwurfs fehlender Eindeutigkeit, geringer Originalität und zu großer Allgemeinheit (Misselhorn 2018) als ein erster Schritt hin zu einem rechtlichen und gesellschaftlichen akzeptablen Rahmen für autonomes Fahren gelten. So werden in ihm Ansätze zur Erstellung von Leitlinien deutlich, die zu weiten Teilen mit Wertvorstellungen kongruent sind, auf die bereits in anderen Kontexten rekurriert wird: So nimmt der Grundsatz, dass Personen stets schutzwürdiger sind als Sachen, und dass das menschliche Leben unter den im Straßenverkehr bedrohten Rechtsgütern den höchsten Rang innehat, eine zentrale Stelle im Endbericht ein, genauso wie das Prinzip der Schadensminimierung. Außerdem wird an einigen Stellen, in denen es zentral um die Frage nach dem Abwägen von Leben geht, auf das Grundsatzurteil des BVerfG zum Luftsicherheitsgesetz verwiesen, nach dem die Tötung Unschuldiger unter allen Umständen als rechtswidrig angesehen werden sollte. Ebenso wird eine Abwägung nach kontingenten Kriterien wie Alter,

298

C. Brändle und A. Grunwald

Geschlecht oder Ethnie bei Entscheidungen in kritischen Situationen äußerst kritisch gesehen, auch wenn die Frage offenbleibt, ob es in Dilemma-Situationen, in denen mehrere Menschen gleichermaßen in Lebensgefahr sind, in manchen Fällen geboten sein könnte, die Zahl der unschuldig Getöteten so gering wie möglich zu halten, und diesen Grundsatz in einer gesetzlichen Regelung festzuhalten (vgl. hierzu die obigen Ausführungen zu Qualifizieren/Quantifizieren). Dies würde bedeuten, auch hier das Prinzip des geringsten Übels anzuwenden und unter mehreren drohenden Personenschäden die geringfügigsten anzustreben. Im Endbericht findet sich zudem der intuitiv einleuchtende Grundsatz, in kritischen Situationen Unbeteiligte nicht zugunsten derjenigen zu opfern, die das Risiko erst in den Straßenverkehr einbringen (EthikKommission 2017). Freilich kann der Bericht der Kommission genauso wie das vorliegende Kapitel nur ein Schritt in einem ethischen und gesellschaftlichen, aber auch wissenschaftlichen und technischen Lernprozess sein. Die aufgeworfenen ethischen Fragen, aber auch die weiterhin exorbitanten technischen Herausforderungen rufen nach einer allmählichen Integration teil- oder hochautomatisierter Elemente in das Verkehrssystem. Eine allmähliche Integration eröffnet die größten Chancen auf ein kontinuierliches Lernen, anders als etwa die disruptive Einführung komplett neuer Technologien, von denen weder Zielerreichung noch die ethische und gesellschaftliche Verträglichkeit der Nebenfolgen hinreichend evident gemacht wurde. Die beiden bisherigen tödlichen Unfälle mit (teil-)autonomen Fahrzeugen (s. o.) deuten auf eine Überschätzung der Technologie hin. Es ist trotz der nach Beschleunigung rufenden ökonomischen Wettbewerbskonstellation eine ethische Verpflichtung, den Weg hin zu einem stärker automatisierten Verkehr möglichst reflexiv und lernend zu gestalten.

Literatur Abney, Keith. 2012. Robotics, ethical theory, and metaethics: A guide for the perplexed. In Robot Ethics. The ethical and social implications of robotics, Hrsg. Patrick Lin, Keith Abney und George A. Bekey. Cambridge, MA: The MIT Press. Anderson, Michael, und Susan L. Anderson. 2011. Machine ethics. Cambridge, MA: Cambridge University Press. https://doi.org/10.1017/CBO9780511978036. Anderson, Michael, Susan L. Anderson, und Chris, Armen. 2005. Towards machine ethics: Implementing two action-based ethical theories. In Proceedings of the AAAI 2005 fall symposium on machine ethics. Arlington. Anderson, Michael, Susan L. Anderson, und Chris, Armen. 2006 MedEthEx: A prototype medical ethics advisor. In Proceedings of the 18th conference on innovative applications of artificial intelligence, Boston, Massachusetts, Bd. 2, 1759–1765. Awad, Edmond, Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-Francois Bonnefon, und Iyad Rahwan. 2018. The moral machine experiment. Nature 563: 59–63. Bainbridge, Lisanne. 1983. Ironies of automation. Automatica 19:775–779. Baumann, Martina F., Claudia Brändle, Christopher Coenen, und Silke Zimmer-Merkle. 2018. Taking responsibility: A Responsible Research and Innovation (RRI) perspective on insurance issues of semi-autonomous driving. Transportation Research Part A: Policy and Practice. https://doi.org/10.1016/j.tra.2018.05.004.

Autonomes Fahren aus Sicht der Maschinenethik

299

Bendel, Oliver. 2018. Überlegungen zur Disziplin der Maschinenethik. Aus Politik und Zeitgeschichte 6–8:34–38. Birnbacher, Dieter, und Wolfgang Birnbacher. 2016. Automatisiertes Fahren. Ethische Fragen an der Schnittstelle von Technik und Gesellschaft. Information Philosophie 4:8–15. Börner, Franziska, Christoph, Kehl, und Linda, Nierling. 2018. Chancen und Risiken mobiler und digitaler Kommunikation in der Arbeitswelt. Berlin: Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag. www.tab-beim-bundestag.de/de/pdf/publikationen/berichte/TAB-Arbeitsbe richt-ab174.pdf. Zugegriffen am 26.08.2018. Dilich, Michael, Dror, Kopernik, und John, Goebelbecker. 2002. Evaluating Driver response to a sudden emergency: Issues of expectancy, emotional arousal and uncertainty. SAE Technical Paper 2002-01-0089. https://doi.org/10.4271/2002-01-0089. Ethik-Kommission automatisiertes und vernetztes Fahren. 2017. Bericht. https://www.bmvi.de/Shared Docs/DE/Publikationen/DG/bericht-der-ethik-kommission.pdf?__blob=publicationFile. Zugegriffen am 06.03.2019. Fagnant, Daniel J., und Kara Kockelman. 2015. Preparing a nation for autonomous vehicles: Opportunities, barriers and policy recommendations. Transportation Research Part A: Policy and Practice 77:167–181. https://doi.org/10.1016/j.tra.2015.04.003. Färber, Berthold. 2016. Kommunikationsprobleme zwischen autonomen Fahrzeugen und menschlichen Fahrern. In Autonomes Fahren. Technische, rechtliche und gesellschaftliche Aspekte, Hrsg. Markus Maurer, Christian J. Gerdes, Barbara Lenz und Hermann Winner, 128–146. Berlin/Heidelberg: Springer. Foot, Philippa. 1967. The problem of abortion and the doctrine of the double effect. Oxford Review 5:5–15. Goodall, Noah J. 2014. Machine ethics and automated vehicles. In Road vehicle automation. Lecture notes in mobility, Hrsg. G. Meyer und S. Beiker. Cham: Springer. https://doi.org/ 10.1007/978-3-319-05990-7_9. Grunwald, Armin. 2010. Technikfolgenabschätzung – Eine Einführung. Zweite, grundlegend überarbeitete erweiterte Auflage. Berlin: edition sigma. Grunwald, Armin, Hrsg. 2013. Handbuch Technikethik. Stuttgart/Weimar: Metzler. Grunwald, Armin. 2015. Gesellschaftliche Risikokonstellation für Autonomes Fahren. Analyse, Einordnung und Bewertung. Autonomes Fahren. In Technische, rechtliche und gesellschaftliche Aspekte, Hrsg. M. Maurer, J. C. Gerdes, B. Lenz und H. Winner, 661–685. Heidelberg: Springer. Heesen, Jessica. 2016. Handbuch Medien- und Informationsethik. Stuttgart/Weimar: Springer VS. Hevelke, Alexander, und Julian Nida-Rümelin. 2015. Responsibility for crashes of autonomous vehicles. An ethical analysis. Science and Engineering Ethics 21(3): 619–630. https://doi.org/ 10.1007/s11948-014-9565-5. Jackson, Tim. 2009. Prosperity without growth? The transition to a sustainable economy. London: Sustainable Development Commission. JafariNaimi, Nassim. 2017. Our bodies in the trolley’s path, or why self-driving cars must *not* be programmed to kill. Science, Technology & Human Values:1–22. https://doi.org/10.1177/ 0162243917718942. Kolany-Raiser, Barbara, Reinhard Heil, et al., Hrsg. 2018. Big Data und Gesellschaft. Wiesbaden: Springer. Lin, Patrick. 2016. Why ethics matters for autonomous cars. In Autonomes Fahren. Technische, rechtliche und gesellschaftliche Aspekte, Hrsg. Markus Maurer, Christian J. Gerdes, Barbara Lenz und Hermann Winner, 69–85. Berlin/Heidelberg: Springer. Lin, Patrick, Keith Abney, und George A. Bekey, Hrsg. 2012. Robot ethics. The ethical and social implications of robotics. Cambridge, MA: The MIT Press. Misselhorn, Catrin. 2018. Maschinen mit Moral? Grundfragen der Maschinenethik. Stuttgart: Reclam. Moor, James A. 2006. The nature, importance, and difficulty of machine ethics. IEEE Intelligent Systems 21:18–21. Nida-Rümelin, Julian, Hrsg. 1996. Risikoethik. In Angewandte Ethik. Die Bereichsethiken und ihre theoretische Fundierung, 863–887. Stuttgart: Kröner.

300

C. Brändle und A. Grunwald

Ott, Konrad, Jan Dierks, und Lieske Voget-Kleschin, Hrsg. 2016. Handbuch Umweltethik. Stuttgart: Metzler. Petermann, Thomas, Harald Bradke, Arne Lüllmann, Maik Poetzsch, und Ulrich Riehm. 2011. Was bei einem Blackout geschieht. Folgen eines langandauernden und großflächigen Stromausfalls. Berlin: Edition Sigma. Renn, Ortwin, Pia J. Schweizer, Marion Dreyer, und Andreas Klinke. 2008. Risiko. Über den gesellschaftlichen Umgang mit Unsicherheit. München: oekom verlag. Rolf, Arno. 2014. Weltmacht Vereinigte Daten. Die Digitalisierung und Big Data verstehen. Weimar: Metropolis. SAE International. 2016. Standard J3016. Taxonomy and definitions for terms related to on-road motor vehicle automated driving systems. Statistisches Bundesamt. 2016. Unfallentwicklung auf deutschen Straßen 2015. Wiesbaden. https:// www.destatis.de/DE/PresseService/Presse/Pressekonferenzen/2016/Unfallentwicklung_2015/Pres sebroschuere_unfallentwicklung.pdf. Zugegriffen am 04.02.2019. Statistisches Bundesamt. 2018. Unfallentwicklung auf deutschen Straßen 2017. Wiesbaden. https:// www.destatis.de/DE/PresseService/Presse/Pressekonferenzen/2018/verkehrsunfaelle_2017/Presse broschuere_unfallentwicklung.pdf. Zugegriffen am 04.02.2019. The IEEE Global Initiative on Ethics of Autonomous and Intelligent Systems. 2017. Ethically aligned design: A vision for prioritizing human well-being with autonomous and intelligent systems, Version 2. https://standards.ieee.org/content/dam/ieee-standards/standards/web/docu ments/other/ead_v2.pdf. Zugegriffen am 06.03.2019. Thomson, Judith Jarvis. 1985. The trolley problem. The Yale Law Journal 94(6): 1395–1415. https://doi.org/10.2307/796133. Tzafestas, Spyros G. 2016. Roboethics. A navigating overview. Cham: Springer International Publishing. https://doi.org/10.1007/978-3-319-21714-7. Van de Poel, Ibo. 2016. An ethical framework for evaluating experimental technology. Science and Engineering Ethics 22:667–686. https://doi.org/10.1007/s11948-015-9724-3. Wallach, Wendell, und Colin Allen. 2009. Moral machines: Teaching robots right from wrong. New York: Oxford University Press.

Pflegeroboter aus Sicht der Maschinenethik Oliver Bendel

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Roboter im Gesundheitsbereich . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Einordnung von Pflegerobotern . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Pflegeroboter aus Sicht der Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Pflegeroboter aus Sicht der Bereichsethiken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

302 303 307 308 313 316 317

Zusammenfassung

Operations- und Therapieroboter werden in vielen Gesundheitseinrichtungen eingesetzt. Pflegeroboter verbreiten sich erst allmählich. Bei Operationsrobotern stellen sich kaum Fragen aus Sicht der Maschinenethik, da es sich dabei mehrheitlich um Teleroboter handelt und sich diese Disziplin teilautonomen und autonomen Maschinen widmet. Bei Therapierobotern ergeben sich theoretisch Herausforderungen. Allerdings sind sie in ihrem Anwendungsgebiet und in ihren Fähigkeiten i. d. R. ausgesprochen begrenzt. Pflegeroboter kommen als Informations- und Unterhaltungsroboter, als Transportroboter und als Assistenzroboter mit direktem körperlichem Kontakt zum Patienten vor. Insbesondere mit Blick auf die letztere Variante ist es wichtig, frühzeitig die Maschinenethik einzubeziehen und zu erforschen, ob ein Moralisieren nützlich, sinnvoll und notwendig ist. Es ist etwa zu klären, wie weit der Pflegeroboter den Wünschen der Patienten entsprechen darf, gerade wenn es um eine angemessene Behandlung oder um Leben und Tod geht. Im vorliegenden Beitrag werden Pflegeroboter erklärt, eingeordnet und aus der Sicht der Maschinenethik behandelt.

O. Bendel (*) Institut für Wirtschaftsinformatik, Hochschule für Wirtschaft FHNW, Windisch, Schweiz E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_19

301

302

O. Bendel

Schlüsselwörter

Maschinenethik · Moralische Maschinen · Pflegeroboter · Therapieroboter · Gesundheitswesen

1

Einleitung

Seit tausenden Jahren denkt der Mensch über sich selbst hinaus, versucht die Grenzen seiner Existenz auszuloten und seiner Existenz etwas an die Seite zu stellen, das der eigenen Kraft entspringt. Bei Homer und Ovid tauchen künstliche Wesen auf, die Menschen und Göttern helfen, die Sehnsucht der Liebenden stillen und die Ohnmacht der Leidenden lindern (Bendel 2018a). Pygmalion erschuf nach dem Vorbild von Aphrodite, in die er verliebt war, eine Skulptur namens Galatea, über die Ovid schrieb: „Dass es nur Kunst war, verdeckte die Kunst.“ Die Göttin erweckte sie aus Mitleid zum Leben, wodurch das Künstliche freilich nicht wirklich zum Natürlichen wurde, obwohl Galatea sogar fruchtbar war. Ihr Gemahl Hephaistos, der hinkende Gott der Schmiede und des Feuers, ging mit den goldenen Dienerinnen weit über die übliche Schmiedekunst hinaus. Ob sie ihn nur stützten oder ihn auch anderweitig erleichterten, ist nicht bekannt. Homer schreibt aber in seiner „Ilias“, sie hätten eine „jugendlich reizende Bildung“, was man als Beschreibung oder als Andeutung verstehen darf. Jedenfalls erscheinen sie uns heute wie humanoide Pflegeroboter. Als humanoide Liebesmaschinen stünden sie in derselben Tradition wie Galatea (Bendel 2017a). Operations- und Therapieroboter werden in vielen Gesundheitseinrichtungen der Industrieländer und Informationsgesellschaften eingesetzt. Pflegeroboter liegen vor allem als Prototypen vor und verbreiten sich in der Praxis erst allmählich. Bei Operationsrobotern stellen sich kaum Fragen aus Sicht der Maschinenethik, da diese mehrheitlich Teleroboter und damit keine teilautonomen oder autonomen Systeme sind, die selbst Entscheidungen treffen und Handlungen ausführen. Freilich wurden bereits autonome Systeme getestet, sodass man sich in Zukunft durchaus ihrem „Moralisieren“ zuwenden darf. Bei Therapierobotern erwachsen theoretisch Herausforderungen. Allerdings sind sie in ihrem Anwendungsgebiet und in ihren Fähigkeiten i. d. R. ausgesprochen begrenzt. Pflegeroboter kommen als Informations- und Unterhaltungsroboter, als Transportroboter und als Assistenzroboter vor. Insbesondere mit Blick auf die letztere Variante ist es wichtig, frühzeitig die Maschinenethik einzubeziehen und zu erforschen, ob ein Moralisieren nützlich, sinnvoll und notwendig ist (Anderson und Anderson 2011; Bendel 2012b, 2016b). Es ist etwa zu klären, wie weit der Pflegeroboter den Wünschen der Patienten entsprechen darf, gerade wenn es um eine angemessene Behandlung oder um Leben und Tod geht. Darf er ihnen beispielsweise Drogen verabreichen, um schwere Schmerzen zu stillen? Darf er sie töten, wenn sie unbedingt sterben möchten? Neben solchen existenziellen Fragen stellen sich noch viele weitere, die die grundsätzliche Versorgung und den täglichen Umgang betreffen. Der vorliegende Beitrag unterscheidet Operations-, Therapie- und Pflegeroboter und stellt deren Ziele, Aufgaben und Funktionen vor (Abschn. 2). Er nimmt eine

Pflegeroboter aus Sicht der Maschinenethik

303

Einordnung von Pflegerobotern vor, indem er sie als Ausprägungen von Servicerobotern begreift (Abschn. 3). Dann werden Fragen zu Pflegerobotern aus Sicht der Maschinenethik gestellt und beantwortet (Abschn. 4). Anschließend werden Fragen aus der Perspektive der Bereichsethiken aufgeworfen und, mit Blick auf die Maschinenethik, diskutiert (Abschn. 5). Abschn. 6 fasst die Ergebnisse zusammen.

2

Roboter im Gesundheitsbereich

Mobile und stationäre Roboter erobern den Gesundheitsbereich, wobei die Geschwindigkeit vom Anwendungsbereich abhängt (Bendel 2013a). Sie verändern, erweitern und beleben die medizinische, therapeutische und pflegerische Praxis und wecken das Interesse der Wissenschaft und der privaten wie staatlichen Beratungseinrichtungen. Die amerikanische Studie „Healthcare and Medical Robotics“ (www. abiresearch.com) untersuchte den Markt von medizinischen Robotern für die Jahre 2010 bis 2016. Eine 2013 erschienene TA-SWISS-Studie mit dem Titel „Robotik in Betreuung und Gesundheitsversorgung“ stellte die Chancen und Risiken dar, auch aus ethischer Sicht (Becker et al. 2013). Diverse spezialisierte Beiträge erschienen in den darauffolgenden Jahren, etwa zu einem sozialen assistierenden Roboter für Alzheimer-Patienten und ihre Betreuer oder zur Akzeptanz von assistierenden Robotern für Ältere; einige gehen auf ethische Herausforderungen ein, wobei sich wenige an einer umfassenden und vergleichenden Darstellung versuchen, die für Gesamtüberblick und -einschätzung überaus wichtig scheint. Mit Operations-, Therapie- und Pflegerobotern sind die wichtigsten Typen im Gesundheitsbereich erfasst. Die Einteilung folgt verbreiteten (durchaus auch kontrovers diskutierten) Begriffen und zeigt auf bekannte Anwendungsgebiete. Es mögen sich freilich Überlappungen und Überschneidungen ergeben, etwa bezüglich Operation und Therapie oder zwischen Pflege und Therapie, und sicherlich kann man zusätzliche Typen identifizieren, z. B. medizinisch geschulte Beratungsroboter oder Roboter als Avatare von Menschen, die wenig oder nicht mobil sind. Selbst Sexroboter in der Tradition der erwähnten vermuteten Liebesmaschinen mag man im Gesundheitswesen verwenden, zur Triebabfuhr, um es etwas salopp auszudrücken, und zu Therapiezwecken, wobei diesbezüglich kaum Erkenntnisse bestehen, obwohl dieser Robotertyp nicht nur als Prototyp, sondern auch als Produkt vorliegt, erhältlich in den Onlineshops einschlägiger Anbieter (Bendel 2017a). Ferner mag man Hightechprothesen und Exoskelette als Roboter ansehen; letztere fungieren wiederum als Therapieroboter in einem speziellen Sinne. Man kann Roboter im Gesundheitsbereich nicht nur nach ihren Zielen und Aufgaben, sondern auch nach ihrer äußerlichen Gestaltung unterscheiden. Manche ähneln Geräten aus den Fertigungshallen und aus dem Fitnessbereich, andere haben tierähnliche Züge, wieder andere ein menschenähnliches Aussehen (Bendel 2018a). Einige sind irgendwo dazwischen, etwa bestimmte Kooperations- und Kollaborationsroboter, die eng mit Menschen zusammenarbeiten respektive ihnen zur Unterstützung und als Erweiterung dienen. Die Gestaltung ist bedeutend für die Akzeptanz. Bei humano-

304

O. Bendel

iden Maschinen im Gesundheitsbereich können das imitierte Geschlecht und das fiktive Alter ebenso entscheidend sein wie die mimische und gestische Ausdrucksfähigkeit. Weitere Kategorien – die auf andere Roboterarten übertragen werden können – sind Entwicklungsstand, Funktionsumfang, Autonomiegrad, Mobilitätsgrad, Geschwindigkeit, Schnelligkeit, Nah- oder Fernsteuerung, Denkvermögen, Sprachfähigkeit, Lernfähigkeit sowie Anschaffungs-, Betriebs- und Wartungskosten (Bendel 2018a). Unterschiede bestehen ferner bei Quantität und Qualität der Sensoren und Aktoren (Hertzberg et al. 2012). Im Folgenden werden diejenigen Robotertypen, die im Gesundheitsbereich, den obigen Ausführungen folgend, besonders relevant sind, näher beschrieben. Es wird jeweils kurz das Anwendungsfeld umrissen, dann der Typ erklärt. Anschließend werden Beispiele genannt, ohne Anspruch auf Vollständigkeit.

2.1

Operationsroboter

Eine Operation ist ein mit Hilfe von Instrumenten, Geräten und Materialien vorgenommener Eingriff am oder im Körper eines menschlichen bzw. tierischen Patienten zum Zweck der Behandlung, der Erkennung oder aber der Veränderung, vor allem der Verschönerung (Bendel 2015b, c), wobei letzteres Ziel mit Blick auf das Berufsethos umstritten ist. In der Regel erfolgt sie unter örtlicher Betäubung oder unter Vollnarkose, damit Schmerzen und ungewollte Reaktionen wie Schockzustände und Abwehrhandlungen vermieden werden. Die die Operation durchführende Person – meist ein spezialisierter Arzt bzw. eine spezialisierte Ärztin – wird Operateur respektive Operateurin genannt. Der Vorgang findet mitsamt den Vorbereitungen, wenn irgend möglich, in einem Krankenhaus oder in einer Praxis mit entsprechenden Rahmenbedingungen statt, aus personellen, räumlichen, technischen und hygienischen Gründen. Mit dem Operationsroboter lassen sich Maßnahmen innerhalb einer Operation oder sogar eine ganze Operation durchführen (Bendel 2015c). Er ist in der Lage, kleine und exakte Schnitte zu setzen und präzise zu fräsen und zu bohren. Er wird entweder – das ist die Regel – durch einen Arzt gesteuert, der vor Ort oder an einem anderen Ort ist (was z. B. in Deutschland nicht erlaubt ist1), oder er arbeitet – in einem engen zeitlichen und räumlichen Rahmen – mehr oder weniger autonom (Bendel 2018a). Zu den Vorteilen gehört, dass die Operation meist schonender ist und damit vom Patienten besser vertragen wird. Der Arzt kann das Operationsfeld bei vielen Apparaturen optimal einsehen und beherrschen. Zu den Nachteilen gehört, dass künstliche Operateure sehr teuer sind und nach einer zusätzlichen gründlichen Einarbeitung der bedienenden und betreuenden Personen verlangen. Es sind verschiedene Produkte und Prototypen auf dem Markt. Der DaVinciOperationsroboter von Intuitive Surgical (www.davincisurgery.com) ist weit verbreitet und in Kliniken für die radikale Prostatektomie und die Hysterektomie 1

Der Operationsroboter sollte es dem Arzt im Kriegsfall erlauben, so eine ursprüngliche Idee, einen Versehrten aus der Ferne zu behandeln, und ihm so Sicherheit gewährleisten.

Pflegeroboter aus Sicht der Maschinenethik

305

zuständig. Er ist ein Teleroboter und als solcher nicht autonom, kann aber z. B. das Zittern der Hände und Zucken der Finger oder Ausrutscher ausgleichen bzw. abfangen (Bekey 2012, S. 23). Das Amigo Remote Catheter System (www.catheter robotics.com) wird bei Herzoperationen eingesetzt, das CyberKnife ® Robotic Radiosurgery System (www.cyberknife.com) zur Krebsbehandlung, das Magellan™ Robotic System (www.hansenmedical.com) für Eingriffe in Blutgefäße. Der Smart Tissue Autonomous Robot (Star) des Sheikh Zayed Institute, ein autonomer Operationsroboter, kann Wunden mit großer Sorgfalt und Gleichmäßigkeit zunähen, ist aber noch zu langsam für den regulären Einsatz (Pluta 2016). MIRO ist ein nach Angaben des DLR „vielseitig einsetzbarer Roboterarm für chirurgische Anwendungen“ (www.dlr.de). Er ist verwandt mit Kooperations- und Kollaborationsrobotern (auch Co-Robots oder Cobots genannt) in der Industrie und kann dem Chirurgen assistieren und sich mit ihm bei Tätigkeiten so abwechseln, dass beide ihre Stärken ausspielen und ihre Schwächen ausgeglichen werden.

2.2

Therapieroboter

Als Therapie bezeichnet man Maßnahmen zur Behandlung von Verletzungen, Krankheiten sowie Fehlstellungen und -entwicklungen (Bendel 2015b, c). Ziele sind die Ermöglichung oder Beschleunigung einer Heilung, die Beseitigung oder Linderung von Symptomen und die (Wieder-)Herstellung der gewöhnlichen bzw. gewünschten physischen oder psychischen Funktion. Therapieoptionen sind u. a. Operation, Medikation, Krankengymnastik und psychologische Beratung und Betreuung. In einem engeren respektive umgangssprachlichen Sinn ist eine Therapie etwas, das auf einen Eingriff wie eine folgenreiche Operation oder eine ernsthafte Erkrankung folgt. Therapieroboter unterstützen therapeutische Maßnahmen oder wenden selbst, häufig als autonome Maschinen, solche an (Bendel 2015c). Sie sind mit ihrem Aussehen und in ihrer Körperlichkeit wie traditionelle Therapiegeräte präsent, machen aber darüber hinaus selbst Übungen mit Beeinträchtigten und Gelähmten, unterhalten Betagte und fordern Demente und Autisten mit Fragen und Spielen heraus. Manche verfügen über mimische, gestische und sprachliche Fähigkeiten und sind in einem bestimmten Umfang denk- und lernfähig (wenn man diese Begriffe zulassen will). Vorteile sind Einsparmöglichkeiten und Wiederverwendbarkeit. Nachteile sind eventuell unerwünschte Effekte bei der Therapie und mangelnde Akzeptanz bei Angehörigen. Es existieren in der (Teil-)Automation der Therapie zahlreiche Produkte und Prototypen (Bendel 2015c). Wohlbekannt auch bei nicht betroffenen Personen und Gruppen ist die Kunstrobbe Paro (www.parorobots.com), die seit Jahren im Einsatz ist, in Japan, wo sie das Licht der Welt erblickte, wie in Europa und in den USA. Sie hat u. a. deshalb eine hohe Akzeptanz bei den Patienten (etwa Dementen) und Angehörigen, weil sie durch ihr Äußeres – anders als humanoide Roboter – keine hohen Erwartungen weckt und dadurch den Uncanny-Valley-Effekt vermeidet, also z. B. nicht durch falsche Verhaltensweisen und Bewegungen unheimlich und

306

O. Bendel

unglaubwürdig erscheint. Sie versteht ihren Namen, erinnert sich daran, wie gut oder schlecht sie behandelt und wie oft sie gestreichelt wurde, und drückt ihre Gefühle (die sie in Wirklichkeit nicht hat) durch Geräusche und Bewegungen aus. Ebenfalls bekannt ist Keepon (www.mykeepon.com), ein kleiner, gelber Roboter, der die soziale Interaktion von autistischen Kindern beobachten und verbessern soll und auf dem Massenmarkt als anscheinend lustiges Spielzeug erhältlich ist. Kaspar von der Universität Hertfordshire (www.herts.ac.uk/kaspar), mit vollem Namen Kaspar the social robot, soll autistischen Kindern helfen. Er ist als „social companion“ konzipiert, soll also ein Begleiter und Freund sein, dank des marionettenhaften Äußeren aber nicht mit einem Menschen verwechselt werden können. Der humanoide MILO (robots4autism. com/milo/) bzw. ZENO richtet sich ebenfalls an autistische Kinder. Er kann gehen und sprechen und hat mimische und gestische Fähigkeiten. In seiner Brust sitzen ein Touchscreen und eine Kamera. Zora, die auf Nao von Aldebaran bzw. SoftBank basiert und von Zora Robotics (ZoraBots) softwareseitig angepasst wurde (www. zorarobot.be), soll junge Menschen zu Fitnessübungen anregen.

2.3

Pflegeroboter

Die Pflege kann in Gesundheits- und Krankenpflege sowie Behindertenbetreuung und Altenpflege unterschieden werden (Bendel 2018a). Sie umfasst entsprechend die Versorgung und Betreuung von kranken, behinderten, alten und sterbenden Menschen durch Gesundheits- und Krankenpfleger, Behindertenbetreuer oder Altenpfleger. Zentral sind die Herstellung von Abwechslung, die Förderung von Wohlbefinden und Gesundheit, die Verhütung und Bekämpfung von Krankheit sowie, nach der Vorstellung einiger Parteien und Patienten, die Hinauszögerung des Tods. Dabei sollen die Interessen der Pflegebedürftigen ernst- und wahrgenommen werden. Die Tierpflege ist ein spezieller Bereich mit teilweise abweichenden Zielen und Verfahren; eine bemerkenswerte Ausprägung sind Gnadenhöfe (etwa für Pferde, Kühe, Schafe oder Schweine) als langfristige und endgültige Auffangstationen. Pflegeroboter komplementieren oder substituieren menschliche Pflegekräfte. Sie bringen den Pflegebedürftigen benötigte Medikamente und Nahrungsmittel und helfen ihnen beim Hinlegen und Aufrichten und bei ihrem Umbetten (Bendel 2018a). Sie unterhalten Patienten und stellen auditive und visuelle Schnittstellen zu menschlichen Pflegekräften bereit. Manche verfügen über natürlichsprachliche Fähigkeiten, wobei prinzipiell mehrere Sprachen beherrscht werden können, was in diesem Kontext relevant sein mag, und sind in einem bestimmten Umfang lernfähig und intelligent. Vorteile sind durchgehende Einsetzbarkeit und gleichbleibende Qualität der Dienstleistung. Nachteile sind Kostenintensität und Ersatz zwischenmenschlicher Kontakte. Zudem sind in der Praxis sehr viele unterschiedliche Aufgaben vorhanden, sodass eine Spezialisierung notwendig ist – oder aber eine hohe Komplexität. Pflegeroboter sind mehrheitlich Prototypen und derzeit vor allem in Testumgebungen sowie auf Messen und Konferenzen und bei Ausstellungen zu finden (Bendel 2018a). Frühe Entwicklungen sind der „nurse’s assistant“ HelpMate und der „nurse-bot“ Pearl, die Pflegekräfte unterstützen (Bekey 2012, S. 22). HelpMate

Pflegeroboter aus Sicht der Maschinenethik

307

transportiert Dinge, Pearl liefert nützliche Informationen und macht Patientenbesuche. JACO2 6 DOF von Kinova Robotics (kinovarobotics.com), kurz JACO, kann Personen mit eingeschränkten Arm- und Handfunktionen helfen. Er besteht aus einem Arm und einer Hand mit drei Fingern, über die er sich von üblichen Kooperations- und Kollaborationsrobotern unterscheidet, die meist zwei Finger haben; gleichwohl steht er diesen sehr nahe, etwa was die Grundkonstruktion und die Zahl der Freiheitsgrade angeht. Care-O-bot vom Fraunhofer IPA (www.care-o-bot.de) kann Dinge holen und wegbringen und bewegt sich sicher unter Menschen und durch den Raum. Das Institut ist nach eigenen Aussagen vorsichtig mit dem deutschen Begriff des Pflegeroboters, wenngleich er im englischen Begriff durchaus aufscheint.2 Ganz ähnliche Ziele und Funktionen hat der TUG von Aethon (www. aethon.com). Er ist in der Lage, Medikamente und Materialien zu transportieren und mit dem Lift zu fahren; zudem hat er natürlichsprachliche Fähigkeiten. Der als wandelndes Infoterminal gestaltete HOBBIT aus einem EU-Projekt sollte Seniorinnen und Senioren helfen (hobbit.acin.tuwien.ac.at). Er sollte das Sicherheitsgefühl stärken und vermag Gegenstände vom Boden aufzuheben. Cody aus dem Georgia Institute of Technology (College of Engineering, coe.gatech.edu) kann bettlägerige Patienten wenden und waschen. Robear (Vorgängerversionen RIBA und RIBA-II) von Riken (www.riken.jp), so bärenhaft im Äußeren, wie es die Bezeichnung verspricht, arbeitet im Tandem mit der Pflegerin oder dem Pfleger und assistiert beim Umbetten und Aufrichten. TWENDY-ONE, ein humanoider Roboter mit zwei Händen mit jeweils vier Fingern vom Sugano Laboratory der WASEDA University, unterstützt Patienten beim Sichaufrichten und bei Haushaltsarbeiten (twendyone. com). F&P Personal Robotics (www.fp-robotics.com) mit Sitz in der Schweiz hat den Serviceroboter P-Rob entwickelt. Er ähnelt JACO, hat aber lediglich zwei Finger. Im Grunde handelt es sich um einen auf den Gesundheitsbereich spezialisierten Kooperations- und Kollaborationsroboter. Er ist durch seine austauschbaren Aufsätze am Ende des Arms sowohl in der Therapie als auch in der Pflege einsetzbar. Ein neueres Modell ist Lio.

3

Einordnung von Pflegerobotern

Für die Einordnung von Pflegerobotern wird im Folgenden auf Serviceroboter überhaupt eingegangen (Decker 2012, 2013). Diese sind für Dienstleistung, Unterhaltung und Zuwendung zuständig, sie holen Geschirr und Besteck, Nahrungsmittel und Medikamente, überwachen die Umgebung ihrer Besitzer oder den Zustand von Patienten und halten ihr Umfeld im gewünschten Zustand. Sie sind häufig teilautonom oder autonom. Serviceroboter können u. a. in folgende Typen unterschieden werden (Bendel 2017c):

„Care“ wird mit „Betreuung“, aber auch mit „Pflege“ übersetzt.

2

308

• • • • •

O. Bendel

Assistenzroboter Sicherheits- und Überwachungsroboter Transport- und Lieferroboter Informations- und Navigationsroboter Unterhaltungs- und Spielzeugroboter

Assistenzroboter können Roboter sein, die einem Arbeit abnehmen, wie etwa Haushalts- und Gartenroboter,3 oder Roboter, die Hand anlegen, etwa eine Katze oder ein Kind füttern (diese mag man auch Unterstützungsroboter4 nennen). Zudem existieren beispielsweise Kampf- und Weltraumroboter, wobei man bei diesen den Servicebegriff hinterfragen könnte. In der Landwirtschaft haben sich Pflück- und Melkmaschinen etabliert (als Oberbegriff könnte man „Landwirtschaftsroboter“ nehmen, als deren Oberbegriff wiederum „Assistenzroboter“). Nach der Vorstellung der Prototypen und Produkte ist deutlich geworden, dass Pflegeroboter je nach Ausgestaltung vor allem den Transport- und Lieferrobotern oder den Informations- und Navigationsrobotern zugeschlagen werden können. Zudem – und hier würden manche von Pflegerobotern im engeren Sinne sprechen – kann man einige als Assistenzroboter bezeichnen, als Unterstützungsroboter der genannten Art, die Handreichungen machen oder beim Aufrichten und Umbetten helfen. Wesentlich ist dabei eben, dass die Roboter Hand anlegen, dass sie in Berührung kommen mit den Patienten, die die Berührung als angenehm oder unangenehm empfinden können und die durch diese erfreut oder erregt (wie bei einer sanften Berührung), erfrischt (wie bei einer Massage) und verletzt (wie bei einem falschen Handgriff, etwa beim Füttern) werden können. Nicht in allen Fällen lassen sich die Roboter scharf abgrenzen; so können manche Prototypen, die Patienten unterstützen, diese auch transportieren (sowie Gegenstände holen und bringen). Zudem haben manche Assistenzroboter auch Informationsaufgaben. Gemeinsames Ziel ist der Einsatz in der Pflege, der übrigens auch den Begriff des Pflegeroboters rechtfertigen mag, der nicht bedeuten muss, dass zentrale Aufgaben der Pflege übernommen werden.

4

Pflegeroboter aus Sicht der Maschinenethik

Es wurde deutlich, dass es ganz unterschiedliche Pflegeroboter gibt, die sich insgesamt den Servicerobotern zurechnen lassen. Zugleich wurde offenbar, dass eine scharfe Abgrenzung nicht in allen Fällen möglich ist. Im Folgenden sollen Fragen aus der Maschinenethik heraus gestellt werden, ohne dass auf einen Typ eingegrenzt Ein Oberbegriff im Englischen ist „domestic robots“ – hier wie im Folgenden sind weniger Räume und Bereiche, sondern mehr Aufgaben gemeint. Haushalts- und Gartenroboter haben in diesem Sinne häusliche Aufgaben. Auch Poolroboter kann man neben sie stellen. 4 Mit Unterstützung sind hier Tätigkeiten gemeint, die mehr oder weniger direkt am Menschen ansetzen. Beispielsweise wären Exoskelette Unterstützungsroboter. Unterstützungsroboter können gesteuerte und abhängige, aber auch teilautonome und autonome Maschinen sein. 3

Pflegeroboter aus Sicht der Maschinenethik

309

wird. Es wird aber mal der eine, mal der andere Typ mehr betroffen sein. Allgemeine maschinenethische Fragen in diesem Kontext sind (Bendel 2015c): 1. Soll der Pflegeroboter über moralische Fähigkeiten verfügen, und wenn ja, über welche? 2. Soll er nur vorgegebenen Regeln gehorchen (Pflicht- bzw. Pflichtenethik) oder auch die Folgen seines Handelns (Folgenethik) abschätzen und seine Entscheidungen abwägen können? 3. Kommen weitere Modelle der normativen Ethik in Frage, etwa die Tugendethik oder die Vertragstheorie? 4. Wie hoch soll der Grad der Autonomie des Roboters sein? Die Frage, ob der Pflegeroboter über moralische Fähigkeiten verfügen soll (1), muss differenziert betrachtet werden. In der Maschinenethik zeigt sich immer wieder, dass ein Moralisieren bei einfachen Maschinen und bei einfachen moralischen Entscheidungen durchaus zu begrüßen ist. Bei bestimmten Pflegerobotern kann man beispielsweise annehmen, dass sie den Patienten mit Nahrung versorgen sollen. Wenn diese Hunger haben, könnte man sagen, spricht nichts dagegen, wenn Nahrung abgegeben wird. Etwaige Einschränkungen können dem Roboter beigebracht werden, etwa mit Blick auf eine Diät. Nun scheint es sich um eine einfache Entscheidung zu handeln, aber nicht unbedingt um eine moralische, wenn man den Begriff nicht überstrapazieren will. Ein weiterer Wunsch des Patienten könnte sein, von der Maschine gestreichelt zu werden. Auch hier scheint keine Problematik zu bestehen, wenn man nicht generell Berührungen dieser Art durch Maschinen ablehnt. Zugleich hat sich in Diskussionen im Kontext der Maschinenethik gezeigt, dass komplexe moralische Entscheidungen, etwa solche über Leben und Tod von Menschen, nicht unbedingt auf autonome Maschinen übertragen werden sollten. Ein Beispiel in diesem Zusammenhang ist das autonome Auto, das in eine Dilemmasituation kommt (Bendel 2016b, 2018a). Offenbar kann man festhalten, dass der Pflegeroboter einfache moralische Entscheidungen treffen kann, bei komplexen dagegen genau geprüft werden muss. Die Frage, ob er nur vorgegebenen Regeln gehorchen (was man der Pflichtenethik zuordnen kann) oder auch die Folgen seines Handelns (was Bezüge zur Folgenethik hat) abschätzen und seine Entscheidungen abwägen können soll (2), ist zunächst eine technische und systemische. Es ist relativ einfach, Maschinen starre Regeln beizubringen, und relativ anspruchsvoll, sie die Folgen absehen und beurteilen zu lassen. Es ist sicherlich auch eine rechtliche Frage, denn während man bei starren Regeln meist einen Urheber ausfindig machen kann, sei es den Manager, sei es den Entwickler oder Programmierer, ist dies bei Fällen, mit denen die Maschine gefüttert wird, oder bei selbstlernenden Systemen nicht ganz so einfach. Die Fälle können aus internen oder externen Quellen stammen, in Inhalt und Form sehr unterschiedlich sein, und womöglich werden sie nicht alle kontrolliert und evaluiert. Über Machine Learning und speziell Deep Learning (in der Verbindung mit Big Data) können sich Systeme weit von dem entfernen, was ihre Entwickler und Programmierer im Sinn gehabt haben, auch wenn diese bestimmte Rede- und

310

O. Bendel

Verhaltensweisen ausschließen können. Aus philosophischer Sicht spricht einiges dafür, auf die Folgen zu achten. Starre Regeln erweisen sich oft als unpassend für Lebenssituationen und als zu wenig flexibel für Umweltänderungen. Allerdings gewähren sie auch – nicht nur den Herstellern und Betreibern, sondern auch den Patienten – eine gewisse Sicherheit und Verlässlichkeit. Ob weitere Modelle normativer Ethik in Frage kommen, etwa die Tugendethik oder die Vertragstheorie (3), ist schwer zu beantworten. Es gibt durchaus Argumente, sich im Zusammenhang mit der Maschinenethik für die Umsetzung einer Tugendethik stark zu machen, und zur Ausgestaltung der Maschinentugend (wenn man von einer solchen sprechen mag) könnten Standes- und Berufsvorschriften ebenso hergenommen werden wie einschlägige ethische Leitlinien von Krankenhäusern und Pflegeheimen. Letztlich wird der Versuch, eine Maschinentugend herzustellen, in einem Regelwerk münden. Bei Vertragstheorien ist die Situation noch unklarer. Wenn der Roboter ein Vertragspartner sein soll, besteht nicht nur aus moralischer, sondern auch aus rechtlicher Sicht Klärungsbedarf. Ansätze hierfür gibt es, etwa mit der Forderung nach einer elektronischen Person (Beck 2013). Diese soll nach Ansicht einiger Juristen haftbar gemacht werden können, ähnlich wie eine juristische Person, wobei sie anders als diese meist autonom handeln kann. Insgesamt wird man geneigt sein, leichter umsetzbare klassische Modelle der normativen Ethik herzunehmen. Die Frage, wie hoch der Grad der Autonomie sein soll (4), ist zunächst losgelöst von der Maschinenethik zu betrachten. Was kann man der Maschine alles aufbürden, was kann und soll sie technisch und organisatorisch überhaupt bewältigen, was macht sie besser alleine und was besser im Team? Pflegeroboter als Informationsund Navigationssysteme sowie als Transportroboter können durchaus eine hohe Autonomie besitzen. In der Form von Unterstützungsrobotern, die bei Patienten Hand anlegen, beim Umlagern und Aufrichten helfen, benötigen sie die Zusammenarbeit mit Pflegerinnen und Pflegern, sind also auf Tandems angewiesen. Innerhalb dieser Tandems (oder auch Teams) ist eine Autonomie auszugestalten, die im Zweifels- oder Notfall außer Kraft gesetzt werden kann und die vor allem an Kooperation und Kollaboration orientiert ist. Damit ist man wieder bei der Maschinenethik angelangt. Die Autonomie der Maschine, die mit moralischen Entscheidungen zusammenhängt, muss abhängig von ihrem Typ und Einsatzgebiet konzipiert werden. Zudem sollte eine moralische Entscheidung der autonomen Maschine im Zweifelsfall durch eine befugte Person ausgehebelt werden können, vor allem dann, wenn das physische und psychische Wohl des Patienten (oder auch der Pflegekraft) betroffen ist. Eine Arbeitsgruppe des Europäischen Parlaments hat in einem Bericht vorgeschlagen, einen „Kill-Schalter“ (Delvaux 2017, S. 30) für Roboter einzuführen. Womöglich braucht es einen solchen bei einem Pflegeroboter, wobei sich sofort die Kompetenzund Situationsproblematik ergibt: Wer darf den Schalter in welchem Fall betätigen? Bisher wurden allgemeinere Fragen gestellt und diskutiert. Man kann aus der Maschinenethik heraus auch speziellere Fragen aufwerfen: 5. Wie weit soll der Pflegeroboter die Bedürfnisse und Parameter der Betreuten berücksichtigen?

Pflegeroboter aus Sicht der Maschinenethik

311

6. Wie geht man damit um, dass der Roboter i. d. R. nicht adäquat auf Verunsicherung und Angst reagieren kann (Bekey 2012, S. 23)? 7. Wie soll er sich bei Dilemmata verhalten, etwa wenn mehrere Personen gepflegt werden sollen (Bekey 2012, S. 23)? 8. Soll er gegenüber den Betreuten betonen, dass er nur eine Maschine ist? Die Frage, wie weit der Pflegeroboter die Bedürfnisse und Parameter der Betreuten berücksichtigen soll (5), ist zunächst eine technische und organisatorische. Um die Betroffenen individuell beurteilen und unterstützen zu können, muss der Roboter persönliche Daten sammeln und auswerten können sowie lernfähig sein. Zudem muss er sich an Personen mit unterschiedlichen körperlichen und allenfalls geistigen Eigenschaften anpassen können, also ein in diesem Sinne adaptives System sein. Aus Sicht der Maschinenethik kann gefragt werden, ob das Sammeln von Daten eingeschränkt werden, der Datenhunger des Roboters also gebremst werden soll, und zwar durch die Gestaltung des Roboters selbst (ansonsten wäre es eine Angelegenheit der Informationsethik). Die Moral des Roboters würde darin bestehen, dass er bestimmte personenbezogene oder persönliche Daten des Benutzers, die nicht zum ordnungsgemäßen und sicheren Betrieb notwendig sind, nicht sammelt und auswertet, oder dass er Daten regelmäßig löscht oder dem Betroffenen die Möglichkeit dazu gibt, auch indem er ihn dazu ermuntert und ihn diesbezüglich unterrichtet. Jenseits der Datenfrage und jenseits der Frage des Vermögens kann die Maschinenethik versuchen, einen Roboter zu schaffen, der das individuelle Wohl möglichst weit fördert, durch sein Verhalten und durch Interaktion und Kommunikation mit dem Patienten. Die Frage, wie man damit umgehen soll, dass der Roboter i. d. R. nicht adäquat auf Verunsicherung und Angst reagieren kann (6), führt zunächst wieder zum Technischen und zum Design. Der Roboter kann, eine Mimik- und Gestikerkennung oder Fähigkeiten in der Sprachanalyse vorausgesetzt, Verunsicherung und Angst erkennen, aber nicht wirklich verstehen. Er kann versuchen, durch sein Verhalten und durch Äußerungen die Furcht zu nehmen, aber es gibt keine Garantie, dass er dabei Erfolg hat, selbst wenn er schrittweise seine Reaktionen anpasst. Wird er durchschaut, dann kann sich die Lage verschlimmern. Ein Ansatz aus der Maschinenethik könnte sein, dass der Roboter immer wieder aktiv über seine Möglichkeiten informiert. Er kann auch lernen, auf andere Personen zu referenzieren, die Erfahrungen zum Gegenstand haben, etwa auf Ärzte, und diese zitieren. Er kann also versuchen, einerseits seine Reichweite klar darzustellen, andererseits diese auszubauen, sozusagen als vernetzte wandelnde Wissensbasis. Problematisch ist es freilich, wenn die Aussagen der Ärzte, die transportiert werden, gerade dazu geeignet sind, Angst zu entfachen. Andere Ansätze führen von der Maschine weg, hin zum Menschen, der in den Fällen, in denen Tandems oder Teams vorhanden sind, zugegen ist. Bei Unsicherheit und Angst können die Pflegekräfte sich in den Vordergrund schieben, Trost spenden und Aufklärung leisten. Ein Tandem oder Team muss also keinesfalls so gestaltet sein, dass Mensch und Maschine immer gleichberechtigt tätig sind, sondern je nach Situation kann einer von ihnen die Führungsrolle übernehmen. Es kann auch dafür argumentiert werden, dass generell

312

O. Bendel

der Mensch das Sagen haben soll, und dass damit eine mögliche Quelle von Unsicherheit und Angst eliminiert wird. Durch die klare Kommunikation gegenüber den urteilsfähigen Patienten kann dieser Effekt verstärkt werden. Die Frage, wie sich der Roboter in Konfliktfällen verhalten soll, etwa wenn mehrere Personen gepflegt werden sollen (7), zielt mitten hinein in die philosophische, theoretische und in die praxisbezogene Dilemmadiskussion. Buridans Esel verhungert zwischen zwei Heubündeln, weil er sich nicht für eines von ihnen entscheiden kann. Das Dilemma lässt sich im Kern auf Aristoteles zurückführen. Varianten stammen vom persischen Philosophen Al-Ghazālī und eben von Johannes Buridan beziehungsweise von seinen Kritikern, die den Esel als Metapher in die Gedankenwelt gesetzt haben. Es fragt sich, wie eine Maschine entscheidungsfähig bleibt, wenn gleichartige Reize auf sie einwirken bzw. sie von mehreren Seiten beansprucht wird. In (Bendel 2015a) – dort ist die Rede von „Buridans Robot“ – wird als Beispiel ein Serviceroboter im Museum oder Kaufhaus angeführt, der gleichzeitig von zwei oder drei Kunden angesprochen wird. Wen soll er zuerst bedienen? Denjenigen, der am meisten Geld oder am wenigsten Muße hat? Oder diejenigen, die älter, wichtiger oder lauter sind? Oder soll der Zufall im Dilemma bzw. Trilemma entscheiden? Ein weiteres Beispiel ist ein Kampfroboter, der einen Terroristen aufspürt, den er eliminieren soll. Plötzlich erscheint der im Denken und Handeln tugendhafte, im Aussehen gleichartige Zwilling. Wen soll die Maschine umbringen, nur einen der Brüder, beide oder keinen? Die Gefahr ist, dass der Gute stirbt und der Böse türmt. Der Pflegeroboter kann in eine ähnliche Situation geraten. Ihm kann aus der Maschinenethik heraus beigebracht werden, den dringendsten Fall zu übernehmen; er kann im Prinzip auch nach dem Triage-Prinzip vorgehen, das im Kriegsfall und im Artenschutz angewandt wird (grob und knapp ausgedrückt, wird der mittelschwere Fall zuerst behandelt, da der leichte sich selbst helfen kann bzw. sein Zustand sich von alleine bessert und der schwere hoffnungslos ist). Auch ökonomische Argumente oder Bezüge zur Versicherung sind möglich. Es wird schnell deutlich, dass die meisten Moralisierungen in dieser Hinsicht heikel sind. Die Frage, ob der Roboter gegenüber den Betreuten betonen soll, dass er nur eine Maschine ist (8), kann mit Verweis auf ähnliche Diskussionen beantwortet werden. Bei Spielzeug-, aber auch bei Sexrobotern wurde immer wieder argumentiert, dass zu enge emotionale Beziehungen schädlich für den Benutzer sein könnten, da er mit der Zeit den Kontakt mit Mitmenschen verliert oder von Maschinen auf Menschen schließt (Bendel 2018b). Auch bei Chatbots, deren Sprachfähigkeit eine hohe suggestive Wirkung entfalten kann, gibt es ähnliche Warnungen. Es wurde von Bendel (2016b) vorgeschlagen, dass die Maschine ihre Maschinenhaftigkeit selbst entlarvt, indem sie aktiv auf diese hinweist oder sich absichtlich anders als ein Mensch verhält. Auch die Störung der Illusion, etwa mit Hilfe eines Verfremdungseffekts (V-Effekts) in der Tradition von Bertolt Brecht, wurde von ihm ins Spiel gebracht. Bei Pflegerobotern können sich ebenfalls enge emotionale Bindungen ergeben, vor allem dann, wenn es sich um Informations- und Navigationssysteme oder Unterhaltungsroboter handelt. Aber auch bei menschen- oder tierähnlichen Assistenzrobotern wie Robear sind solche Bindungen möglich. Wenn der Roboter nicht dauerhaft eingesetzt werden kann, also dem Patienten wieder entzogen werden

Pflegeroboter aus Sicht der Maschinenethik

313

muss, sollte eine enge Bindung womöglich gestört werden. Auch könnte eine solche grundsätzlich die sozialen Fähigkeiten der Betroffenen beeinträchtigen und wäre deshalb eher zu bekämpfen. Immer wieder wird auch das Szenario entworfen, dass der Pflegeroboter selbstständig die lebenserhaltenden Systeme ausschaltet, etwa aus ökonomischen Gründen, oder den Patienten tötet, weil dieser ihn darum bittet, bzw. nicht zur Hilfe eilt, weil dieser ihm dieses befiehlt. Auch wenn sich dies nach einer Schreckensvision bzw. nach einem Science-Fiction-Plot anhört, ist die Gefahr nicht ganz von der Hand zu weisen. Handelt es sich um generalistische Roboter, die mit weitreichenden Fähigkeiten ausgestattet sind und über passende Informationen und Werkzeuge verfügen, sind sie auch in der Lage, einen Stecker zu ziehen, eine Kanüle zu entfernen oder mit Hilfe einer Waffe tätlich zu werden. Selbst ein Roboter wie Pepper (der hin und wieder in Krankenhäusern, Pflege- und Altenheimen eingesetzt wird; Ries 2017) könnte ein Messer oder eine Spritze halten. Ein solches Verhalten kann mit Hilfe von Ansätzen aus der Maschinenethik verhindert werden. In diesem Falle wäre die Moral der Maschine ein Verhinderungsmechanismus für lebensgefährliche Handlungen. Ganz konkret im negativen Sinne wäre ein Tötungs- und Verletzungsverbot möglich, im positiven ein Hilfegebot, und der Roboter würde jeweils davon absehen, was der ihm anvertraute Mensch anordnet, würde also eine vorgegebene Regel einem gegebenen Befehl vorziehen. Dies wiederum kann in neue Probleme münden, die aus den Bereichsethiken heraus zu diskutieren sind. Natürlich greifen in diesem Zusammenhang auch einschlägige ISO-Normen; so ist der Hals etwa eine Tabuzone, der sich die Maschine nur eingeschränkt nähern darf.

5

Pflegeroboter aus Sicht der Bereichsethiken

Grundsätzlich können bei Pflegerobotern nicht nur maschinenethische, sondern auch bereichsethische Fragen aufgeworfen werden. Dabei fragt man weniger nach der konkreten Gestaltung der Maschinen, sondern reflektiert eher die Konsequenzen des Einsatzes. Am Rande wurde dies bereits deutlich. Im Folgenden werden die Bereichs- oder Spezialethiken, die der angewandten Ethik entspringen, kurz dargestellt. Die oben erwähnte Informationsethik hat die Moral derjenigen zum Gegenstand, die Informations- und Kommunikationstechnologien, Informationssysteme und neue Medien anbieten und nutzen (Kuhlen 2004; Bendel 2012a, c, 2016c). Sie spürt der Frage nach, wie sich diese Personen, Gruppen und Organisationen in moralischer Hinsicht verhalten und verhalten sollen. Die Technikethik bezieht sich auf moralische Fragen des Technikeinsatzes. Fahrzeuge oder Waffen können thematisiert werden, aber auch medizinische Geräte (Bendel 2013b). Sie hat bestimmte Bereiche in den letzten Jahrzehnten an die Informationsethik abgetreten. Die Medizinethik interessiert sich für die Moral in der Medizin, etwa im Gesundheitswesen und in der Sterbehilfe (Schöne-Seifert 2007; Bendel 2013c). Sie hat immer mehr Berührungspunkte mit Informations- und Technikethik. Von alters her werden in der Medizin Instrumente eingesetzt, und manche dieser Instrumente sind inzwischen Maschinen.

314

O. Bendel

Bereichsethische Reflektionen sind teilweise für die Maschinenethik nützlich. Man könnte zum einen anführen, dass die Bereichsethiken diejenigen Probleme, die die Entwicklungen der Maschinenethik verursachen, zu lösen oder zumindest darzustellen versuchen. Zum anderen könnte man sagen, dass die Maschinenethik in ihren Artefakten, ob es sich um Simulationen oder Prototypen handelt, Antworten auf diejenigen Fragen gibt, die die Bereichsethiken stellen. Im Folgenden werden diese nicht beantwortet – vielmehr soll nach den Konsequenzen für die Maschinenethik geforscht werden. Fragen u. a. aus informations-, technik-, medizin- und wirtschaftsethischer Perspektive sind (Bendel 2018a): 9. Wer trägt die Verantwortung bei einer fehlerhaften Betreuung und Versorgung durch die Maschine? 10. Wie geht man mit Verunsicherung und Angst um, die durch den Roboter verursacht werden? 11. Wie sind der Eid des Hippokrates und die Genfer Deklaration des Weltärztebundes in diesem Kontext zu sehen? 12. Wie verfährt man mit personenbezogenen und anderweitigen Daten, die der Roboter sammelt und auswertet? 13. Kann der Roboter helfen, eine Scham zu verhindern, die man gegenüber Menschen hätte, oder kann er auch eine Scham auslösen, die man ansonsten nicht hätte? 14. Ist der Roboter ein Konkurrent für Pflegekräfte und Krankenschwestern? 15. Wie ist der Umstand zu werten, dass sich nur bestimmte Kliniken und Praxen einen solchen Roboter leisten können? 16. Wie ist der Umstand zu werten, dass sich im Privaten nur bestimmte Menschen einen Pflegeroboter leisten können? 17. Soll in einer Patientenverfügung die Pflege durch einen Roboter ausgeschlossen werden können? Die Verantwortungsfrage kann aus bereichsethischer und rechtswissenschaftlicher bzw. rechtlicher Perspektive gestellt werden (9). Typischerweise untersucht man die Verantwortung (oder Haftung) der ganzen „Wertschöpfungskette“, vom Geschäftsführer und Manager des Herstellers über den Entwickler und Programmierer, weiter über den Krankenhaus- oder Pflegeheimchef über den Manager der Einrichtung, bis hin zu den Ärzten, den Pflegekräften und den Patienten selbst. Für die Initiatoren kann eine relativ hohe Verantwortlichkeit angenommen werden, für die Betroffenen, vor allem, wenn sie keine Wahl haben, eine eher geringe. Es resultieren Implikationen für die Maschinenethik. Wenn aus den Überlegungen resultiert, dass eine Maschine keine Verantwortung tragen kann oder soll, oder dass sie eine primäre Verantwortung tragen kann, aber keine sekundäre oder tertiäre, dann kann man sie in ihren Entscheidungen und Handlungen beschneiden, insbesondere auch dort, wo moralische Konnotationen vorhanden sind. Die Frage nach Verunsicherung und Angst wurde bereits oben gestellt, aber mit anderer Ausrichtung (10). Nun steht im Zentrum, wie man allgemein damit umgeht, wie man als Person damit verfährt, ob etwas in diesem Zusammenhang geboten oder

Pflegeroboter aus Sicht der Maschinenethik

315

verboten scheint. Beispielsweise könnte die Forderung erhoben werden, dass Pflegeroboter ganz grundsätzlich nur im Tandem arbeiten sollen, damit immer ein Mensch zugegen ist, wenn negative Gefühle aufkommen, und damit der Roboter selbst keine Angst auslöst oder diese gleich vom menschlichen Begleiter genommen werden kann. Die Maschinenethik ist durch die Punkte betroffen, die schon oben diskutiert wurden. Zudem kann man spezifisch fragen, welche moralisch konnotierten Aufgaben im Tandem von wem übernommen werden sollen. So mag man festlegen, dass der Mensch für Streicheleinheiten zuständig ist, während der Roboter die Intimwaschungen durchführt (wobei Streicheleinheiten des Roboters dort angezeigt sein können, wo hochansteckende Krankheiten vorhanden sind, und Intimwaschungen durch Roboter im Moment noch Verletzungsgefahr bedeuten). Der Eid des Hippokrates und die Genfer Deklaration des Weltärztebundes können Ärzte und zum Teil auch Pflegepersonal an Pflichten erinnern oder ihnen Pflichten auferlegen (11). Zum einen stellt sich die Frage, wie sich die Pflichten verändern, wenn Menschen mit Robotern zusammenarbeiten, zum anderen, ob man solche Leitund Richtlinien für die Roboter selbst fruchtbar machen kann. So könnte sich der Roboter aufgrund der Leit- und Richtlinien weigern, bestimmte Methoden anzuwenden, oder ein lebenserhaltendes System auszuschalten. Er könnte sich damit nicht nur auf den Willen des Herstellers oder Programmierers bzw. der Einrichtung, in der er tätig ist, sondern auch auf den Willen einer übergeordneten Institution berufen. Interessant wäre am Rande, dass die Leit- und Richtlinien, um maschinenverarbeitbar zu werden, u. U. modifiziert, präzisiert und interpretiert werden müssen. Pflegeroboter können, wie praktisch alle Serviceroboter, personenbezogene bzw. persönliche und anderweitige Daten sammeln, auswerten und weitergeben (12), mit Hilfe von Sensoren und Software (Care-O-bot verfügt etwa über Kameras und Gesichts- und Gestenerkennung). Diese Problematik wurde u. a. mit Blick auf Saugroboter, die Räume vermessen und mit ihren Kameras das Umfeld erfassen, und auf Sicherheits- und Überwachungsroboter diskutiert (Bendel 2016a). Bei Pflegerobotern ist die oft intime Situation hervorzuheben. Die pflegebedürftige Person hat gegebenenfalls sichtbare Einschränkungen und Abweichungen und ist nicht so gekleidet wie im öffentlichen Raum, ja nicht einmal so, wie sie es normalerweise im privaten Raum wäre. Die Maschine dazu zu bringen, möglichst wenige oder nur relevante Daten zu erheben, ist ein wichtiges Anliegen in der Maschinenethik und wurde bereits unter Punkt 5 in diesem Kontext diskutiert. Ein weiterer Problembereich ist die MaschineMaschine-Kommunikation – die Daten werden teilweise auch an andere teilautonome oder autonome Systeme weitergegeben, die man u. U. wiederum moralisieren muss. Dadurch entsteht eine enorme Komplexität, im Technischen wie im Moralischen. Kann der Roboter helfen, eine Scham zu verhindern, die man gegenüber Menschen hätte, oder kann er auch eine Scham auslösen, die man ansonsten nicht hätte (13)? Bei Befragungen im Kontext von wissenschaftlichen Studien (Gisinger 2018) und studentischen Arbeiten (Fahlberg und Wenger 2015; Fahlberg 2017) haben einzelne Personen angegeben, dass sie sich im Intimbereich lieber von einem Roboter als von einem Menschen waschen lassen würden. Der Pfleger müsste also, wenn er im Tandem arbeitet, außer Sichtweite gehen und den Roboter machen lassen. Aus der Maschinenethik heraus kann man dem Roboter beibringen, den Kopf zu drehen bzw. die Augen

316

O. Bendel

abzuwenden und dem Pflegebedürftigen anzuzeigen, dass in diesem Fall keine Überwachung stattfindet. Freilich vergibt man sich durch ein solches anscheinend sittliches Verhalten auch Chancen, etwa krankhafte Veränderungen im Intimbereich zu erkennen. Zudem ist die Frage, wie gründlich die Waschung durch den Roboter sein kann, und ob nicht, wie angedeutet, die Verletzungsgefahr zu groß ist. Diese Risiken können wiederum in den Bereichsethiken diskutiert werden. Der Pflegeroboter als Konkurrent für Pflegekräfte und Krankenschwestern (14) wirft medizinethische und wirtschaftsethische Fragen auf. Muss er bevorzugt werden, wenn er etwas besser kann? Was ist, wenn er Pflegekräfte nicht nur unterstützt, wie es bei Tandems der Fall ist, sondern ersetzt und verdrängt und dadurch Menschen in die Arbeitslosigkeit schickt bzw. ihnen, als Patientinnen und Patienten, den Ansprechpartner nimmt, was wiederum auch medizinethisch zu untersuchen ist? Aus Sicht der Maschinenethik ist hier wenig zu überlegen und zu tun. Man könnte dem Roboter natürlich beibringen, sich zurückzunehmen, sich zu bescheiden, gar, sich auszustellen, sozusagen in Selbstbedienung des Kill-Schalters. Ob das in vielen Fällen sinnvoll ist, rein aus dem Grund, die Konkurrenzsituation zu bereinigen, mag dahingestellt sein. Dass sich nur bestimmte Kliniken und Praxen (15) bzw. nur bestimmte Privathaushalte (16) einen solchen Roboter leisten können, dürfte in den nächsten Jahren der Realität entsprechen. Allein bei den Kooperations- und Kollaborationsrobotern, die an pflegerische und therapeutische Bedürfnisse angepasst werden können, zeichnet sich eine Niedrigpreisigkeit ab. Sie bestehen allerdings auch in der Regel aus einem Arm und zwei bis drei Fingern und haben eine eingeschränkte Reichweite und Bandbreite. In den Kliniken und Praxen werden womöglich lediglich ausgewählte Personen in den (angenommenen oder zweifelhaften) Genuss eines Pflegeroboters kommen, entweder Privatpatienten oder im Gegenteil Nicht- oder Unterversicherte, was zu der Situation führen würde, dass man die hohen Ausgaben versucht zu amortisieren, indem man möglichst viele Betroffene mit standardisierten automatisierten Leistungen versorgt. Soll in einer Patientenverfügung die Pflege durch einen Roboter ausgeschlossen werden können (17)? Eine entsprechende Patientenverfügung (bzw. der Zusatz dazu) wurde in (Bendel 2017b) veröffentlicht und in (Bendel 2018a) vorgestellt. Man kann bestimmen, ob man von einem Pflegeroboter versorgt werden will. Wenn man „Ja“ gewählt hat, mag man für bestimmte Bereiche Ausnahmen machen. Aus Sicht der Maschinenethik wäre es interessant, einen Pflegeroboter zu konzipieren, der nach einer solchen Patientenverfügung fragt, diese vorgelegt bekommt, das Festgehaltene versteht und umsetzt. Das klingt nach Science-Fiction, aber je nach gegebenen Prozessen in der Einrichtung und je nach den Fortschritten bei der Standardisierung eines solchen Formulars ist die Umsetzung durchaus möglich. Auch der Einsatz von 2D- und 3D-Codes ist vorstellbar.

6

Zusammenfassung

Pflegeroboter sind ein möglicher Gegenstand ethischer Betrachtungen. In Bezug auf ihre Entwicklung und ihren Einsatz kann man maschinenethische, zudem bereichsethische und andere Fragen mit Blick auf Individuum und Gesellschaft stellen. Es ist

Pflegeroboter aus Sicht der Maschinenethik

317

im vorliegenden Beitrag offensichtlich geworden, dass vor allem die Informationsethik (und die Technikethik) die Probleme lösen muss, die die Roboter verursachen. Die Maschinenethik kann dabei helfen, dass die Probleme erst gar nicht entstehen. Wenn die Maschine moralisch handelt, handelt sie im besten Falle so, dass Menschen respektiert und dabei unterstützt werden, ein gutes Leben zu führen. Dass sie moralisch agiert, kann im Einzelfall natürlich auch dazu führen, dass Menschen in ihrem Leben beeinträchtigt werden. Und wenn sie immer wieder betont, dass sie nur eine Maschine ist, mag das transparent und ehrlich sein, aber auch zu Verunsicherung und Frustration führen. Während Chatbots, autonome Autos und autonome Waffensysteme und Kampfroboter ein sozusagen etablierter Gegenstand der Maschinenethik sind, trifft dies für Pflegeroboter noch nicht zu. Dabei spielt nicht allein eine Rolle, dass sie vor allem prototypisch vorhanden sind – das ist auch bei autonomen Autos und Kampfrobotern so. Auch ist nicht der Fall, dass das Interesse an Pflegerobotern gering wäre, ganz im Gegenteil. Sicherlich stehen momentan vor allem bereichsethische Fragen im Vordergrund. Dabei wurde Grundsätzliches im vorliegenden Beitrag nur gestreift. Man kann nämlich diskutieren, ob wir Pflegeroboter überhaupt entwickeln und einsetzen sollen, und man kann sie als Element zunehmender Ökonomisierung kritisieren.

Literatur Anderson, Michael, und Susan Leigh Anderson, Hrsg. 2011. Machine ethics. Cambridge: Cambridge University Press. Beck, Susanne. 2013. Über Sinn und Unsinn von Statusfragen – zu Vor- und Nachteilen der Einführung einer elektronischen Person. In Robotik und Gesetzgebung, Hrsg. Jan-Philipp Günther und Eric Hilgendorf, 239–262. Baden-Baden: Nomos. Becker, Heidrun, Mandy Scheermesser, Michael Früh, et al. 2013. Robotik in Betreuung und Gesundheitsversorgung, TA-SWISS 58/2013. Zürich: vdf Hochschulverlag. Bekey, George A. 2012. Current trends in robotics: Technology and ethics. In Robot ethics. The ethical and social implications of robotics, Hrsg. Patrick Lin, Keith Abney und George A. Bekey, 17–34. Cambridge: The Mit Press. Bendel, Oliver. 2012a. Die Medizinethik in der Informationsgesellschaft: Überlegungen zur Stellung der Informationsethik. Informatik-Spektrum („Online-First“-Artikel auf SpringerLink). Bendel, Oliver. 2012b. Maschinenethik. Beitrag für das Gabler Wirtschaftslexikon. Wiesbaden: Springer Gabler. http://wirtschaftslexikon.gabler.de/Definition/maschinenethik.html. Zugegriffen am 24.05.2018. Bendel, Oliver. 2012c. Informationsethik. Beitrag für das Gabler Wirtschaftslexikon. Wiesbaden: Springer Gabler. http://wirtschaftslexikon.gabler.de/Definition/informationsethik.html. Zugegriffen am 24.05.2018. Bendel, Oliver. 2013a. Dr. Robot entdeckt die Moral: Maschinen- und Menschenethik im Gesundheitsbereich. IT for Health 2:2–4. Bendel, Oliver. 2013b. Technikethik. Beitrag für das Gabler Wirtschaftslexikon. Wiesbaden: Springer Gabler. http://wirtschaftslexikon.gabler.de/Definition/technikethik.html. Zugegriffen am 24.05.2018. Bendel, Oliver. 2013c. Medizinethik. Beitrag für das Gabler Wirtschaftslexikon. Wiesbaden: Springer Gabler. http://wirtschaftslexikon.gabler.de/Definition/medizinethik.html. Zugegriffen am 24.05.2018. Bendel, Oliver. 2015a. Robots between the devil and the deep blue sea. Liinc em Revista 11(2): 410–417. http://revista.ibict.br/liinc/index.php/liinc/article/view/828. Zugegriffen am 24.05.2018.

318

O. Bendel

Bendel, Oliver. 2015b. Medizinische Roboter mit Nebenwirkungen. In SenLine, 27.06.2015. http:// www.senline.ch/medizinische-roboter-mit-nebenwirkungen-id1093. Zugegriffen am 24.05.2018. Bendel, Oliver. 2015c. Surgical, therapeutic, nursing and sex robots in machine and information ethics. In Machine medical ethics. Series: Intelligent systems, control and automation: Science and engineering, Hrsg. Simon Peter van Rysewyk und Matthijs Pontier, 17–32. Berlin/New York: Springer. Bendel, Oliver. 2016a. Mehr Unsicherheit mit Sicherheitsrobotern? SicherheitsForum 6:18–20. Bendel, Oliver. 2016b. Die Moral in der Maschine: Beiträge zu Roboter- und Maschinenethik. Hannover: Heise Medien. Bendel, Oliver. 2016c. 300 Keywords Informationsethik: Grundwissen aus Computer-, Netz- und Neue-Medien-Ethik sowie Maschinenethik. Wiesbaden: Springer Gabler. Bendel, Oliver. 2017a. Sex robots from the perspective of machine ethics. In Love and sex with robots. Second international conference, LSR 2016, London, UK, December 19–20, 2016, Revised selected papers, Hrsg. Adrian David Cheok, Kate Devlin und David Levy, 1–10. Cham: Springer International Publishing. Bendel, Oliver. 2017b. Ergänzende Patientenverfügung zum Einsatz von Robotern. informations ethik.net, 02.03.2017. Zugegriffen am 24.05.2018. Bendel, Oliver. 2017c. Service robots in public spaces. In Telepolis, 25.06.2017. https://www.heise. de/tp/features/Service-Robots-in-Public-Spaces-3754173.html. Zugegriffen am 24.05.2018. Bendel, Oliver, Hrsg. 2018a. Roboter im Gesundheitsbereich: Operations-, Therapie- und Pflegeroboter aus ethischer Sicht. In Pflegeroboter. Wiesbaden: Springer. (Erscheint 2018/2019). Bendel, Oliver. 2018b. SSML for sex robots. In Love and sex with robots. Third international conference, LSR 2017, London, UK, December 19–20, 2017, Revised selected papers, Hrsg. Adrian David Cheok und David Levy, 1–11. Cham: Springer International Publishing. Decker, Michael. 2012. Technology assessment of service robotics. In Robo- and informationethics: Some fundamentals, Hrsg. Michael Decker und Mathias Gutmann, 53–88. Münster: LIT Verlag. Decker, Michael. 2013. Mein Roboter handelt moralischer als ich? Ethische Aspekte einer Technikfolgenabschätzung der Servicerobotik. In Ethisierung der Technik – Technisierung der Ethik: Der Ethik-Boom im Lichte der Wissenschafts- und Technikforschung, Hrsg. Alexander Bogner, 215–231. Baden-Baden: Nomos. Delvaux, Mady. 2017. Bericht mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103(INL)). Brüssel: Europäisches Parlament. Fahlberg, Christine. 2017. Use cases for care robots: A list of use cases for the nursing sector. Master thesis. Olten: School of Business FHNW. Fahlberg, Christine, und David Wenger. 2015. Healthcare and medical robots. Research project. Olten: School of Business FHNW. Gisinger, Christoph. Pflegeroboter aus Sicht der Geriatrie. In Pflegeroboter, Hrsg. Bendel, Oliver. Wiesbaden: Springer. (Erscheint 2018/2019). Hertzberg, Joachim, Kai Lingemann, und Andreas Nüchter. 2012. Mobile Roboter: Eine Einführung aus Sicht der Informatik. Berlin/Heidelberg: Springer. Kuhlen, Rainer. 2004. Informationsethik: Umgang mit Wissen und Informationen in elektronischen Räumen. Konstanz: UVK. Pluta, Werner. 2016. Operationsroboter übertrifft menschliche Kollegen. In golem.de, 09.05.2016. https://www.golem.de/news/robotik-operationsroboter-uebertrifft-menschliche-kollegen-1605120779.html. Zugegriffen am 24.05.2018. Ries, Harald. 2017. Roboter „Pepper“ – Der neue Begleiter im Altenheim. In Westfalenpost. https:// www.wp.de/region/sauer-und-siegerland/der-neue-begleiter-im-altenheim-id211667321.html. Zugegriffen am 24.05.2018. Schöne-Seifert, Bettina. 2007. Grundlagen der Medizinethik. Stuttgart: Kröner.

Autonome Waffensysteme/Kriegsroboter Catrin Misselhorn

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Definition autonomer Waffensysteme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Moralische Grundsätze für Kriegsroboter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Das Argument von der Verantwortungslücke . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Das Argument von der Möglichkeit, anders zu handeln . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Die Voraussetzung einer Pflicht zu töten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Ausblick: Kriegsroboter und autonomes Fahren . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

320 321 322 324 326 330 332 333

Zusammenfassung

Kriegsroboter sind der kontroverseste Anwendungsbereich der Maschinenethik. Viele namhafte Vertreter der KI-Forschung und prominente Wissenschaftler fordern sogar ein Verbot letaler autonomer Waffensysteme. Dieser Beitrag setzt sich mit dem Versuch auseinander, autonome Waffensysteme im Rahmen der Maschinenethik mit einem Ethikmodul auszustatten. Die moralischen Grundprinzipien leiten sich aus dem Völkerrecht ab, welches auf der traditionellen Theorie des gerechten Kriegs beruht. Argumente zugunsten von Kriegsrobotern mit einem Ethikmodul werden ebenso behandelt wie die Kritik daran. Die drei wichtigsten Gegenargumente betreffen das Entstehen einer Verantwortungslücke, den Wert der Möglichkeit, anders zu handeln, sowie die Annahme einer Pflicht zu töten, welche der Einsatz autonomer Waffensysteme voraussetzt. Zum Schluss wird kurz auf mögliche Parallelen zum autonomen Fahren eingegangen.

C. Misselhorn (*) Lehrstuhl für Wissenschaftstheorie und Technikphilosophie, Institut für Philosophie der Universität Stuttgart, Stuttgart, Deutschland E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_20

319

320

C. Misselhorn

Schlüsselwörter

Kriegsroboter · Letale autonome Waffensysteme (lethal autonomous weapon systems) · In-the-Loop · On-the-Loop · Out-of-the-Loop · Theorie des gerechten Kriegs · Ius in bello · Verantwortungslücke (responsibility gap) · Moralisches Handeln · Moralische Pflicht zu töten · Meaningful control · Autonomes Fahren

1

Einleitung

„Kriegsroboter“ steht in der Umgangssprache für autonome Waffensysteme, die in der Lage sind, militärische Ziele (Personen oder Einrichtungen) ohne menschliches Zutun auszuwählen und anzugreifen. Dieser Anwendungsbereich der Maschinenethik wird besonders kontrovers diskutiert. Bereits mehrfach sind offene Briefe erschienen, die zum Verbot von autonomen Waffensystemen auffordern (Future of Life Institute 2015, 2017). Diese Aufrufe wurden von einer Vielzahl von Experten und renommierten Forschern aus der Künstlichen Intelligenz (KI) und Robotik unterzeichnet. Sie betrachten tödliche autonome Waffensysteme (lethal autonomous weapon systems) als dritte Revolution nach der Einführung der Feuer- und Atomwaffen, die eine neue Qualität der Kriegsführung mit sich bringt. Es droht eine enorme Ausweitung bewaffneter Konflikte und eine extreme Dynamisierung der Kriegsführung, die das menschliche Reaktionsvermögen übersteigt. Gelangen autonome Waffensysteme in die falschen Hände, können sie besonders viel Leid anrichten. Sie eröffnen Despoten und Terroristen bislang ungeahnte Möglichkeiten, unschuldige Menschen zu terrorisieren. Grundsätzlich lässt sich nie ausschließen, dass die Waffen gehackt werden. Dadurch kommt es zu nicht vorhersehbaren und unkontrollierbaren Risiken. In drastischen Farben wird ein solches Szenarium in dem Kurzfilm Slaughterbots (2017) ausgemalt. Dieser wirkt im ersten Moment wie ein Dokumentarfilm, es handelt sich jedoch um eine Fiktion. Im Mittelpunkt stehen kleine fliegende Roboter, ausgestattet mit KI, die ursprünglich mit dem Ziel entwickelt wurden, eine chirurgisch präzise Form der Kriegsführung zu ermöglichen. Diese metaphorische Verbindung von Krieg mit dem medizinischen Gebiet der Chirurgie wurde insbesondere im zweiten Golfkrieg im Zusammenhang mit der Offensive „Desert Storm“ im Irak eingesetzt, um die Unterstützung der Bevölkerung für dieses Unternehmen zu erhalten. Denn eine Operation ist zwar zunächst schmerzhaft, hat aber letztlich ein gutes Ziel. Durch chirurgische Präzision lässt sich sicherstellen, dass der dabei entstehende Schaden auf ein Minimum beschränkt ist. Diese Gedankenfigur wird nun auf Kriegsroboter übertragen. Doch im Verlauf des Films werden die Roboter durch Unbekannte gekapert und schwärmen plötzlich in Horden aus. Sie verfolgen in atemberaubender Geschwindigkeit unschuldige Zivilisten und töten sie erbarmungslos. Am Ende des Films wird deutlich, dass es sich um das Werk der Initiative „Ban Lethal Autonomous Weapons“ handelt, die sich für ein Verbot von Kriegsrobotern ausspricht. Der Film erschien anlässlich eines Treffens der United Nations Group of Governmental

Autonome Waffensysteme/Kriegsroboter

321

Experts (GGE) über letale autonome Waffensysteme vom 13. bis 17. November 2017. Doch auch bei diesem Treffen wurden keine konkreten Schritte in Richtung eines Verbots autonomer Waffensysteme unternommen, sondern nur die Notwendigkeit weiterer Gespräche festgestellt. Zum mangelnden politischen Willen insbesondere derjenigen Akteure, die in der Lage sind, autonome Waffensysteme zu entwickeln, kommen definitorische Schwierigkeiten. Denn es ist nicht einfach, autonome Waffensysteme hinreichend präzise von anderen Waffengattungen abzugrenzen. Schließlich geht es nicht nur um den aktuellen Stand der Technik, sondern es müssen auch zukünftige Entwicklungen antizipiert werden, um ein wirksames Verbot zu formulieren.

2

Definition autonomer Waffensysteme

Zur Definition autonomer Waffensysteme muss geklärt werden, was eine Waffe ist und wann eine Waffe als autonom gelten kann. Eine Waffe lässt sich nicht unbedingt an ihrer äußeren Gestalt erkennen. Grundsätzlich kann fast jeder Gegenstand zur Waffe werden, von der Bierflasche bis zum Kugelschreiber. Dennoch sind weder Bierflasche noch Kugelschreiber von Haus aus Waffen, weil sie nicht dazu entworfen und hergestellt wurden, jemandem Schaden zuzufügen. Ein letales Waffensystem ist ein System, das zu dem Zweck entworfen und hergestellt wurde, jemanden zu töten (Leveringhaus 2016, S. 35). Doch ist das Töten von Menschen wirklich der eigentliche Zweck, den Waffen haben? Dienen sie nicht vielmehr der Selbst- oder Landesverteidigung? Im Unterschied zu anderen Mitteln der Selbst- oder Landesverteidigung (beispielsweise Alarmanlagen oder diplomatischen Verhandlungen), erreichen Waffen diese Ziele jedoch gerade dadurch, dass sie jemanden verletzen oder töten können. Nachdem wir den Begriff der Waffe geklärt haben, gilt es zu definieren, wann eine Waffe autonom ist. Man unterscheidet in militärischen Kontexten zwischen Inthe-Loop-Systemen, On-the-Loop-Systemen und Out-of-the-Loop-Systemen, in Abhängigkeit davon, welche Rolle der Mensch in der Kontrollschleife spielt (United States Department of Defense 2011). Das Kriterium ist die Art und Weise, wie das Zielobjekt identifiziert wird und wer den Angriff auslöst: In-the-Loop-Systeme zeichnen sich dadurch aus, dass ein Mensch das System bedient und sämtliche Entscheidungen fällt. Das kann auch per Fernbedienung geschehen. On-the-LoopSysteme hingegen folgen einem Programm. Sie sind in der Lage, in Echtzeit unabhängig von menschlichem Eingreifen zu operieren.1 Der Mensch bleibt jedoch in der Kontrollschleife, weil er das System weiterhin überwacht und jederzeit die Möglichkeit zum Eingreifen haben soll. Out-of-the-Loop-Systeme gehen über On-theLoop-Systeme hinaus, weil keine menschliche Kontroll- und Eingriffsmöglichkeit mehr vorgesehen ist. 1

Inwiefern programmierte Maschinen autonom und moralisch handeln können, wird in Misselhorn 2018, Kap. II.1 diskutiert. Vgl. auch Misselhorn 2013.

322

C. Misselhorn

Vom militärischen Standpunkt aus versprechen Out-of-the-Loop-Systeme die größten Vorteile im praktischen Einsatz. Das liegt unter anderem daran, dass sie in einer Geschwindigkeit agieren können, die das menschliche Reaktionsvermögen weit übertrifft, worin ein entscheidender strategischer Gewinn liegen kann. Anders als On-the-Loop- und In-the-Loop-Systeme erfordern sie auch keine permanente Kommunikation zwischen dem System und dem Menschen. Deshalb können sie weniger leicht vom Feind entdeckt, gestört oder außer Gefecht gesetzt werden. Je autonomer Kriegsroboter werden, desto wichtiger erscheint es, sicherzustellen, dass sie sich auch moralisch und rechtlich einwandfrei verhalten. An dieser Stelle kommt die Maschinenethik ins Spiel.

3

Moralische Grundsätze für Kriegsroboter

Der Grundgedanke im Kontext der Maschinenethik ist, autonome Waffensysteme mit einem Ethikmodul auszustatten. Als Richtschnur dient in erster Linie das humanitäre Völkerrecht, das in der Tradition der Theorie des gerechten Kriegs steht. Hinzu kommen „rules of engagement“, die genauer festlegen, welche Regeln im Rahmen einer bestimmten Operation für den Einsatz von Gewalt und Zwangsmaßnahmen gelten. Sie werden etwa in Form von Handbüchern oder Taschenkarten bereitgestellt (Wissenschaftlicher Dienst des Bundestages 2009). Im Unterschied zum Pazifismus, der die Anwendung von Gewalt und das Töten von Menschen moralisch strikt ablehnt, ist die Theorie des gerechten Kriegs eine bereichsspezifische normative Ethik, die die Anwendung von Gewalt und das Töten von Menschen unter bestimmten Umständen für moralisch zulässig erachtet.2 Dafür gelten allerdings genau festgelegte Rahmenbedingungen. Man unterscheidet drei Anwendungsbereiche: (1) das ius ad bellum, (2) das ius in bello und (3) das ius post bellum.3 Das ius ad bellum bezieht sich auf das Anfangen einer Kriegshandlung und bestimmt, wann ein Krieg geführt werden darf. So muss es sich um eine gerechte Sache handeln. Außerdem muss der Krieg verhältnismäßig und notwendig sein, d. h. alle anderen Mittel müssen ausgeschöpft sein. Erforderlich ist weiterhin, dass der Krieg rechtmäßig erklärt wird und eine realistische Aussicht auf Erfolg besteht. Das ius in bello betrifft die Art und Weise der Kriegsführung, wenn es einmal zum Krieg gekommen ist. Besonders wichtig ist, dass nur legitime Ziele angegriffen werden dürfen, also militärische Einrichtungen und Kombattanten. Dabei sollte nach Möglichkeit vermieden werden, nichtmilitärische Ziele und Zivilisten zu schädigen oder zu töten. Darüber hinaus muss die eingesetzte Gewalt verhältnismäßig und militärisch notwendig sein. 2

Ob der Pazifismus richtig ist oder nicht, soll hier nicht diskutiert werden, weil die Kritik autonomer Waffensysteme zumeist nicht auf einem generellen Pazifismus beruht, sondern spezifisch gegen diese Waffenform gerichtet ist. 3 Ein Klassiker zur Einführung in die Theorie des gerechten Kriegs ist Walzer 1977.

Autonome Waffensysteme/Kriegsroboter

323

Der Gegenstand des ius post bellum ist die Beendigung des Kriegs und die Zeit im Anschluss. Dieser Bereich ist bisher noch relativ wenig entwickelt. Eine Forderung ist beispielsweise, dass der Frieden öffentlich erklärt und aktiv vorangetrieben wird. Außerdem sollen die grundlegenden Menschenrechte respektiert und keine Rache genommen werden. Entscheidend für die Ethik autonomer Waffensysteme ist in erster Linie das ius in bello. Das bislang am weitesten durchdachte Ethikmodul für letale autonome Waffensysteme wurde von Ronald Arkin entwickelt (Arkin 2009). Er hat eine Robotikprofessur am Georgia Institute of Technology inne. Besonders in den USA wird die Forschung im Bereich der Maschinenethik stark durch das Verteidigungsministerium gefördert, das gilt auch in diesem Fall. Arkins System richtet sich nach vier ethischen Prinzipien (Arkin 2009, S. 72): (1) Diskrimination: Legitime und nichtlegitime Ziele müssen unterschieden werden. Legitime Ziele sind Kombattanten und militärische Ziele. Nichtlegitim sind Non-Kombattanten und nichtmilitärische bzw. geschützte Ziele (z. B. Schulen oder Krankenhäuser). (2) Militärische Notwendigkeit: Auch der Angriff auf legitime Ziele ist nur dann erlaubt, wenn dadurch ein militärischer Vorteil zu erwarten ist. (3) Kein unnötiges Leid und keine unnötigen Kollateralschäden: Es ist zu gewährleisten, dass es nicht zu unnötigem Leid von Personen und Kollateralschäden kommt.4 (4) Proportionalität: Außerdem muss die eingesetzte Gewalt verhältnismäßig sein.5 Insbesondere die Prinzipien (3) und (4) erfordern die Unterscheidung zwischen beabsichtigten und bloß in Kauf genommenen Konsequenzen. Das klassische ethische Prinzip der Doppelwirkung schreibt vor, dass eine Schädigung von Non-Kombattanten (bzw. geschützten Zielen) nicht als solche beabsichtigt werden darf. Sie ist höchstens als eine Nebenfolge des eigentlich beabsichtigten Handlungszwecks zulässig. Das Kriterium dafür besteht in der Antwort auf die Frage, ob man die Handlung auch dann durchführen würde, wenn keine Non-Kombattanten (bzw. geschützten Ziele) dabei zu Schaden kämen. Lautet die Antwort ja, dann liegt eine Nebenfolge vor. Dieses Prinzip ist jedoch als zu schwach kritisiert worden.6 Die Schädigung von Non-Kombattanten (bzw. geschützten Zielen) darf zwar nicht der eigentliche Zweck oder ein Mittel zum Erreichen des Zwecks einer Handlung sein. Das Prinzip duldet sie aber, sofern sie nicht beabsichtigt ist. Aus moralischer Sicht erscheint es deshalb als zu schwach. Die Schädigung von Non-Kombattanten (bzw. geschützten Zielen) darf nicht nur nicht beabsichtigt sein. Es muss darüber hinaus die positive Absicht vorliegen, eine solche soweit wie möglich zu vermeiden, und zwar auch dann, wenn dies mit gewissen Nachteilen einhergeht, beispielsweise mit dem Risiko, selbst Soldaten zu verlieren. Walzer schlägt deshalb vor, das Prinzip der Doppelwirkung durch das Prinzip der doppelten Intention zu ersetzen, das in diesem Punkt strenge-

4

Den Begriff des Kollateralschadens verwende ich im Folgenden nur für Schäden an geschütztem zivilem Eigentum, nicht an Personen. 5 Zur Erläuterung der technischen Umsetzung dieser Prinzipien vgl. Misselhorn 2018, S. 162–166. 6 Zur Diskussion des Prinzips vgl. Walzer 1977, S. 151–156.

324

C. Misselhorn

ren moralischen Anforderungen entspricht als das humanitäre Völkerrecht (Walzer 1977, S. 155). Dieser Sichtweise schließt sich auch Arkin an (Arkin 2009, S. 46 f.). Er ist überzeugt davon, dass ein System, welches seinen vier Grundsätzen folgt, sich in moralischer Hinsicht positiv auf die Kriegsführung auswirkt. Seine Argumentation lässt sich in dem Slogan zusammenfassen, dass ein Krieg ohne Menschen menschlicher sei (Leveringhaus 2016, S. 62). Es ist zu erwarten, dass das Risiko des militärischen Personals, traumatisiert zu werden, sinkt. Das betrifft insbesondere Personen, die in Tötungshandlungen involviert sind. Doch ein Kriegsroboter mit Ethikmodul ist für Arkin einem Menschen auch vom moralischen Standpunkt betrachtet in vielen Hinsichten überlegen. Er muss nicht auf sein eigenes Überleben achten wie ein Mensch. Außerdem werden seine Reaktionen nicht durch emotionalen Stress beeinträchtigt. Eine Maschine unterliegt auch keinen psychischen Pathologien, die bei Menschen ebenfalls zu Kriegsverbrechen führen können. Insgesamt könnte der Einsatz von Kriegsrobotern deshalb zur Folge haben, dass die Ius-in-bello-Kriterien strenger ausgelegt werden. Auch das würde eine Humanisierung des Kriegs bedeuten. Es gibt bereits Beispiele für technische Entwicklungen, die eine solche Tendenz nach sich gezogen haben. So hat die Erhöhung der Zielgenauigkeit bei Angriffen gegenüber der Zeit des Vietnamkriegs dazu geführt, dass die Höhe der akzeptablen Verluste an Non-Kombattanten und zivilem Eigentum sich deutlich verringert hat. Dem Optimismus derer, die Kriegsroboter als einen Beitrag zur Humanisierung des Kriegs sehen, stehen jedoch die Einwände der Gegner autonomer Waffensysteme gegenüber, die zumeist sehr grundsätzlich sind.

4

Das Argument von der Verantwortungslücke

Ein wichtiges Argument gegen autonome Waffensysteme soll zeigen, dass sie die Zuschreibung von Verantwortung für Tötungshandlungen unmöglich machen. Robert Sparrow, auf den dieses Argument zurückgeht, spricht vom Entstehen einer Verantwortungslücke (responsibility gap). Für ihn ist eine Tötungshandlung im Krieg nur dann moralisch erlaubt, wenn sie die Kriterien des ius in bello erfüllt und es jemanden gibt, der die Verantwortung für die Handlung trägt (Sparrow 2007, S. 67). Autonome Waffensysteme mögen nun vielleicht die Ius-in-Bello-Kriterien besser einhalten als Menschen. Dennoch sind sie moralisch verboten, wenn niemand für ihr Handeln verantwortlich gemacht werden kann. Doch genau das ist nach Sparrow der Fall. Für die Handlungen eines solchen Systems kann aus seiner Sicht letztlich niemand moralisch zur Verantwortung gezogen werden, weder die Programmierer noch die Befehlshaber, das Bedienpersonal oder gar die Maschine selbst. Zu den Kriterien für die Zuschreibung moralischer Verantwortung zählen Willensfreiheit, Kausalität, Absichtlichkeit und Wissen. Ein Handelnder ist demnach nur dann für eine Handlung verantwortlich, wenn sie auf seinem freien Willen beruht, wenn sie ohne seine Beteiligung nicht zustande gekommen wäre, er sie absichtlich durchgeführt hat (oder ihre Folgen zumindest in Kauf genommen hat)

Autonome Waffensysteme/Kriegsroboter

325

und ihm die Konsequenzen bekannt waren (er diese hätte vorhersehen können oder sich die entsprechenden Kenntnisse mit vertretbarem Aufwand hätte beschaffen können). Es ist unumstritten, dass Maschinen diese Bedingungen nicht alle erfüllen. So besitzen sie keinen freien Willen; aber auch die Bedingungen der Absichtlichkeit und des Wissens werfen Probleme bei der Zuschreibung an Maschinen auf.7 Deshalb können sie zwar keine moralische Verantwortung tragen, aber Verantwortungslücken erzeugen. Eine Verantwortungslücke entsteht, wenn ein Kriegsroboter das ius in bello verletzt, obwohl er (1) nicht absichtlich so programmiert (oder manipuliert) wurde, dass er die ethischen bzw. rechtlichen Normen der Kriegsführung missachtet; (2) es nicht vorhersehbar war, dass der Einsatz des Kriegsroboters dazu führen würde; und (3) ab dem Start der Operation keine menschliche Kontrolle mehr über die Maschine bestand. Die Pointe des Arguments von der Verantwortungslücke besteht darin, dass es unfair wäre, jemandem unter diesen Bedingungen die Verantwortung für ein autonomes Waffensystem zuzuschreiben. Das liegt letztlich daran, dass die Kriterien der Verantwortungszuschreibung gar nicht erfüllt sind: Es liegt keine Absicht, keine Einsicht in die Folgen und keine kausale Kontrolle vor. Doch wenn niemand die Verantwortung für die Tötungshandlung eines solchen Systems trägt, dann ist diese moralisch nicht zulässig. Es ist allerdings argumentiert worden, dass speziell im Krieg bereits die Inkaufnahme eines übermäßigen Risikos hinreichend ist, um verantwortlich für das Handeln eines Kriegsroboters zu sein. Damit eine Verantwortungslücke entsteht, müsste demnach noch eine weitere Bedingung erfüllt sein, nämlich (4): Es darf kein übermäßiges Risiko eingegangen werden (Leveringhaus 2016, S. 84). Die Zuschreibung von Verantwortung wäre demnach auch dann möglich, wenn zwar die Bedingungen (1) bis (3) erfüllt sind, aber gegen die Bedingung (4) verstoßen wird. Die Verantwortungslücke lässt sich dann grundsätzlich durch die Annahme schließen, dass im Krieg jedes Risiko übermäßig wäre. Wenn das richtig ist, mag es in anderen Bereichen Verantwortungslücken geben, nicht jedoch im Krieg. Denn zumindest die vierte Bedingung ist grundsätzlich niemals erfüllt, und es gibt somit immer einen Verantwortlichen. Die Last der Verantwortung wird dann allerdings schier erdrückend. Denn ein autonomes Waffensystem erfordert zwangsläufig die Gewichtung von Kosten und Leben. So setzt Arkins Prototyp militärische Notwendigkeit ins Verhältnis zu Schäden an Nichtkombattanten (zu denen auch Verwundete oder Kriegsgefangene zählen). Doch sobald eine solche Abwägung möglich ist, kann es auch zu dem beschriebenen Szenarium kommen. Ein Waffensystem, das dazu nicht in der Lage ist, könnte kaum sinnvoll operieren. Jeder, der an der Entwicklung und Nutzung eines solchen Systems mitarbeitet, muss sich deshalb die Frage stellen, ob er bereit ist, die Verantwortung für ein Fehlverhalten eines solchen Systems auch dann zu überneh-

7

Vgl. ausführlicher Misselhorn 2018, S. 121–135.

326

C. Misselhorn

men, wenn es unbeabsichtigt und unvorhersehbar war und keine Kontrolle mehr über die Maschinen bestand. Bei diesen Überlegungen ist zu berücksichtigen, inwieweit ein solches System Kriegsverbrechen minimieren kann. Ein entscheidender Punkt ist, ob und wie die Verantwortung dafür, angesichts der Risiken des Einsatzes autonomer Waffensysteme aktiv ein solches System zu entwickeln, moralisch aufzurechnen ist mit der Verantwortung dafür, es zu unterlassen und dadurch auf mögliche Vorteile solcher Systeme zu verzichten.8 Einzukalkulieren sind auch die Risiken, die drohen, wenn die Waffen gehackt werden und in die falschen Hände geraten. Es gibt gute Gründe, einem Vorsichtsprinzip zu folgen, welches vorschreibt, keine Risiken einzugehen, die die Substanz unserer Lebensgrundlage betreffen, auch wenn dies einen Verzicht auf erhebliche Vorteile bedeutet (Nida-Rümelin et al. 2012). Sollten autonome Waffensysteme gehackt und missbraucht werden, drohen sie über den Krieg hinaus zu einer Bedrohung globalen Ausmaßes zu werden. Ein weiterer Ausweg könnte darin bestehen, den Menschen niemals ganz aus der Kontrollschleife herauszunehmen. Damit ist die Hoffnung verbunden, dass sich das Problem der Verantwortungszuschreibung für On-the-Loop-Systeme nicht stellt, bei denen der Mensch das System überwacht und bei Bedarf eingreifen kann. Allerdings gibt es begründete Zweifel an der Effektivität der Überwachungs- und Kontrollmöglichkeiten, die dem Menschen üblicherweise bei On-the-Loop-Systemen zugestanden werden.9 Eine wirksame Ausübung der Urteilsfähigkeit ist in der Kürze der Zeit psychologisch nicht realistisch. Der Mensch befindet sich in einer schlechteren epistemischen Position als die Maschine, denn er ist zur Situationsanalyse auf die Daten angewiesen, die sie bereitstellt. Schließlich müsste er über sehr viel Selbstvertrauen und Kritikfähigkeit verfügen, um sich den Entscheidungen des Systems zu widersetzen.

5

Das Argument von der Möglichkeit, anders zu handeln

Ein weiteres grundsätzliches Argument gegen autonome Waffensysteme betont die Bedeutung des menschlichen Handelns.10 Demnach ist es moralisch problematisch, wenn die Entscheidung und Umsetzung einer Tötungshandlung nicht einem Menschen obliegt, sondern einer Maschine überlassen wird. Denn ein Mensch kann aufgrund von Gewissensbissen, Mitleid oder Barmherzigkeit immer von einer Tötungshandlung Abstand nehmen. Ein Beispiel aus der Literatur des gerechten Kriegs, in dem dieses Moment zum Tragen kommt, ist das Töten nackter Soldaten. Verschiedentlich haben sich Soldaten dagegen entschieden, nackte Soldaten der gegnerischen Seite anzugreifen, obwohl sie legitime Ziele sind, weil sie in diesem Moment in ihrer Verletzlichkeit in erster Linie als Mitmenschen erschienen und nicht als feindliche Kombattanten (Walzer 1977, S. 138 f.). 8

Hierfür dürfte die Unterscheidung von Tun und Unterlassen eine Rolle spielen (vgl. Birnbacher 1995). 9 Vgl. ausführlicher Misselhorn 2018, S. 171–174. 10 Vgl. Leveringhaus 2016, Kap. 4.

Autonome Waffensysteme/Kriegsroboter

327

Eine Maschine verfügt nicht über diesen Entscheidungsspielraum und hätte ohne zu zögern getötet. Dieser Entscheidungsspielraum kann nicht darauf reduziert werden, keine nackten Soldaten zu töten. Das könnte man einer Maschine ja beibringen, sondern er bezieht sich auch auf unzählige andere Situationen, in denen eine ähnliche Problematik auftreten kann, etwa wenn ein Soldat Bilder seiner Kinder betrachtet, die er bei sich trägt. Es lassen sich nicht sämtliche solche Situationen antizipieren und es kommt auch nicht nur auf das Ergebnis an, sondern darauf, dass immer die Möglichkeit besteht, anders zu handeln. Dieser Möglichkeit kommt auch im Krieg ein moralischer Wert zu, insbesondere dann, wenn es um Leben und Tod geht. Freilich neigen Menschen nicht nur zu Mitleid und Barmherzigkeit, sondern auch zu Fehlern und Grausamkeiten. Deshalb kann man gegen dieses Argument einwenden, dass menschliches Handeln im Krieg im Ergebnis dem Handeln der Roboter nicht unbedingt überlegen ist. Schließlich werden die Entscheidungen der Menschen sich im Normalfall nicht von denjenigen der Maschinen unterscheiden. Es wird also nicht zu deutlich weniger Toten kommen, wenn nur Menschen Tötungshandlungen vornehmen. Ganz im Gegenteil könnten die Vorgaben des ius in bello durch den Einsatz von Kriegsrobotern besser eingehalten und sogar strikter werden. Im Endeffekt wäre der Krieg dann sogar gerechter. Die Auswirkungen des Einsatzes von Kriegsrobotern scheinen deshalb im Vergleich zum menschlichen moralischen Handeln überwiegend positiv zu sein. Das könnte dafür sprechen, diese einzusetzen, auch wenn menschliches moralisches Handeln einen gewissen Eigenwert besitzt, sofern die positiven Folgen diesen Eigenwert überwiegen. Diesem Einwand kann man jedoch empirisch entgegenhalten, dass es längst nicht klar ist, ob der Einsatz autonomer Waffen im Gesamtergebnis zu weniger Verlusten führen würde als ein von Menschen geführter Krieg und ob dadurch das ius in bello tatsächlich strenger interpretiert würde (Leveringhaus 2016, S. 96 f.). Ganz im Gegenteil könnten die hohen Kosten für die Entwicklung und Produktion autonomer Waffensysteme sogar einen Anreiz schaffen, diese Waffen auch möglichst effizient einzusetzen, und nicht dazu, die Verluste auf feindlicher Seite möglichst gering zu halten. Außerdem besteht der Verdacht, dass die Befürworter autonomer Waffensysteme stillschweigend von einer technologischen Asymmetrie zwischen den kriegsführenden Parteien ausgehen. So ist es nur dann sinnvoll, einen Roboter so zu programmieren, dass er erst dann schießt, wenn er angegriffen wird, wenn ihm als Gegner vorwiegend Menschen und nicht andere Roboter gegenüberstehen. Es ist jedoch fraglich, ob dies eine zutreffende Beschreibung typischer Kriegssituationen darstellt. Schließlich könnte man argumentieren, dass das Argument von der Möglichkeit, anders zu handeln, nur Out-of-the-Loop-Systeme, nicht aber On-the-Loop-Systeme betrifft. Doch ist es fraglich, ob Menschen den Urteilsspielraum wirklich nutzen können, den On-the-Loop-Systeme theoretisch gewähren. Dagegen sprechen dieselben Gründe wie im Fall der moralischen Verantwortungszuschreibung. Auch wenn On-the-Loop-Systeme dem Menschen theoretisch einen Urteilsspielraum erhalten, führen sie doch zu einer starken Verminderung und Einschränkung der faktischen Ausübung seiner Handlungsfähigkeit.11

11

Vgl. ausführlicher Misselhorn 2018, S. 171–174.

328

C. Misselhorn

Ein letzter Einwand erachtet das Argument von der Möglichkeit, anders zu handeln, als überholt durch die moderne Kriegsführung, die den Krieg auch schon vor den autonomen Waffensystemen grundlegend verändert habe. Der Vorwurf besteht darin, dass dem Argument eine Vorstellung des Kriegs „Mann gegen Mann“ zugrunde liegt, die durch die moderne technologische Entwicklung ohnehin längst obsolet gemacht wurde. Nehmen wir einen Bomberpiloten, der in sehr großer Höhe fliegt, oder eine ferngesteuerte Drohne. Zwar wird ein Mensch den Bombenabwurf auslösen, wenn der Computer das Signal gibt, dass das Zielgebiet erreicht ist. Man kann sich jedoch fragen, ob es wirklich einen moralisch relevanten Unterschied darstellt, dass er selbst noch den Knopf drückt und nicht das System automatisch die Zündung startet, wenn das Zielgebiet erreicht ist. Dieser Einwand führt auch noch einmal zur Ausgangsprämisse zurück, die darin bestand, dass Krieg nicht grundsätzlich unmoralisch ist. So könnte man die Besonderheiten der modernen technologischen Kriegsführung zum Anlass nehmen, für einen eingeschränkten Pazifismus einzutreten. Dieser verwirft zwar den Krieg nicht grundsätzlich aus moralischen Gründen, erachtet aber den modernen Krieg aufgrund des Arguments von der menschlichen Fähigkeit, anders zu handeln, als unmoralisch. Alternativ dazu lässt sich jedoch auch bestreiten, dass die menschliche Handlungsfähigkeit ihre Bedeutung im Rahmen der modernen technologischen Kriegsführung verloren hat. Möglicherweise ist sie zwar eingeschränkt, sie besteht aber wenigstens in rudimentärer Form fort. Doch selbst dieser Rest menschlicher Handlungsfähigkeit ist besser als nichts, auch wenn – vom moralischen Standpunkt – Formen der Kriegsführung vorzugswürdig wären, die der menschlichen Handlungsfähigkeit mehr Gewicht einräumen. Schließlich könnte man darauf pochen, dass das humanitäre Völkerrecht immer noch davon ausgeht, dass Menschen auch im modernen Krieg über die Fähigkeit verfügen, anders zu handeln, sonst könnte man sie gar nicht für Kriegsverbrechen verfolgen (Leveringhaus 2016, S. 102). Ein weiterer Einwand gegen das Argument von der menschlichen Handlungsfähigkeit beruht auf einem Vergleich von Soldaten mit Robotern. Demnach sind Soldaten letztlich auch nichts anderes als Maschinen, die Befehle befolgen. Ein Urteilsspielraum sei gar nicht vorgesehen. Doch dieser Vergleich hinkt aus empirischen, erkenntnistheoretischen und ethischen Gründen. Faktisch widersetzen Soldaten sich immer wieder Befehlen im Krieg. So sind Fälle von absichtlichem Verfehlen des Ziels im Zweiten Weltkrieg wohl recht häufig vorgekommen, während es beispielsweise im Vietnamkrieg zur Ermordung von Vorgesetzten kam, die unsinnige Befehle erteilten (Leveringhaus 2016, S. 103 f.). Aus erkenntnistheoretischer Sicht müssen auch Soldaten auf ihr Urteilsvermögen zurückgreifen, um Befehle korrekt und sinnvoll auszuführen. Der American Sniper, ein Scharfschütze, dessen Erinnerungen dem gleichnamigen Film zugrunde liegen, erschoss beispielsweise ein Kind nicht, das eine Waffe aufhob, obwohl es dadurch eigentlich zu einer Bedrohung und damit zu einem legitimen Ziel wurde (Leveringhaus 2016, S. 93). Er wartete stattdessen ab, und tatsächlich warf der Junge nach einiger Zeit die Waffe weg und rannte davon. Andererseits können Soldaten auch entgegen ihrer Befehle Gräueltaten wie Plünderung,

Autonome Waffensysteme/Kriegsroboter

329

Vergewaltigung und Brandschatzung begehen, wie der Folterskandal in Abu Ghraib zeigt. Das ist die Kehrseite der menschlichen Handlungsfähigkeit, die sich eben nicht im Befolgen von Befehlen erschöpft. Vom ethischen Standpunkt ist außerdem die Annahme zu hinterfragen, dass es eine Tugend von Soldaten ist, Befehlen bedingungslos zu gehorchen. So vertritt die Bundeswehr das Ideal der Inneren Führung, welches nahelegt, dass dies zumindest dort nicht so gesehen wird (Bundeswehr 2017). Ein eher philosophischer Einwand dagegen, dass Menschen immer anders handeln können, erwächst aus der Willensfreiheitsdebatte. Sind Menschen nicht letztlich genauso determiniert wie Maschinen und setzt das Argument von der moralischen Handlungsfähigkeit nicht eine Form der Willensfreiheit voraus, die Menschen gar nicht zukommt?12 Zu diesem Punkt ist zunächst zu sagen, dass auch der Indeterminismus keine Lösung darstellen würde. Denn selbst ein indeterministischer Akteur, für dessen Handeln Zufallsprozesse von Bedeutung sind, wäre noch nicht als frei zu bezeichnen. Nicht zuletzt lässt sich fragen, ob Maschinen nicht ebenfalls indeterministische Systeme in diesem Sinn sein können (Asaro 2014). Der Indeterminismus ist daher nicht hinreichend als Unterscheidungskriterium zwischen Mensch und Maschine. Einig sind sich die meisten Beteiligten der Willensfreiheitsdebatte darin, dass Willensfreiheit in der für Personen charakteristischen Möglichkeit besteht, ihr Verhalten auf eine Art und Weise zu kontrollieren, die notwendig für die Zuschreibung moralischer Verantwortung ist (Eshleman 2016). Dies beinhaltet Fähigkeiten, die Maschinen nicht zukommen. Insbesondere können künstliche Systeme anders als Menschen ihre moralischen Entscheidungen und die ihnen zugrunde liegenden Werte nicht reflektieren, rechtfertigen oder gar selbstständig verändern. Diese Fähigkeiten genügen für das Argument von der moralischen Handlungsfähigkeit. Ob darüber hinaus noch andere Bedingungen erfüllt sein müssen, um von echter Willensfreiheit zu sprechen, kann offen bleiben.13 Schließlich könnte man das Argument von der menschlichen Handlungsfähigkeit angreifen, weil es in Konflikt mit der Fürsorgepflicht gerät, die das Militär für sein Personal besitzt. Zwar verpflichten sich Soldaten grundsätzlich, im Krieg notfalls auch ihr Leben hinzugeben. Doch das Militär muss dafür Sorge tragen, dass seine Bediensteten nicht übermäßigen Risiken ausgesetzt oder grundlos in Gefahr gebracht werden. Der Einsatz autonomer Waffensysteme dürfte die physischen und psychischen Risiken verringern, denen Soldaten im Krieg ausgesetzt sind. Die Frage ist also, ob die Fürsorgepflicht des Militärs nicht zu der Pflicht führt, autonome Waffensysteme einzusetzen.

12

Dieses Argument steht quer zu der häufig gemachten Annahme, dass Maschinen im Unterschied zu Menschen nicht über Willensfreiheit verfügen (vgl. den Beitrag „Maschinenethik und Philosophie“ in diesem Band). 13 Vgl. ausführlicher Leveringhaus 2016, S. 103 f. sowie Misselhorn 2018, S. 177 f.

330

C. Misselhorn

Es stehen jedoch auch andere Mittel zur Verfügung, um die physischen und psychischen Risiken bis zu einem gewissen Grad zu senken. Eine Möglichkeit ist die Verwendung unbemannter, aber nichtautonomer Waffensysteme, eine andere der Einsatz autonomer Waffensysteme, die nicht tödlich sind (Leveringhaus 2016, S. 112). Erneut könnte man dieses Argument auch zum Anlass nehmen, den Pazifismus wieder ins Spiel zu bringen. Denn wenn das Töten für die Soldaten selbst so große Risiken birgt, vor denen sie geschützt werden müssen, sollte man dann nicht lieber gänzlich darauf verzichten, statt diese Risiken allein der Gegenseite aufzubürden? In jedem Fall hat die Fürsorgepflicht ihre Grenzen in den moralisch begründeten Ansprüchen der gegnerischen Soldaten und Zivilisten, insbesondere in ihrer Menschenwürde.14 Ein letzter Kritikpunkt sieht die Gefahr, dass die menschliche Fähigkeit, aufgrund von Mitleid oder Barmherzigkeit vom Töten abzusehen, letztlich den Schurken zugutekommt. Einen bewaffneten Bankräuber zu erschießen, der gerade im Begriff ist, eine Geisel zu nehmen, scheint doch nur recht und billig zu sein (Leveringhaus 2016, S. 114). Aus moralischer Sicht fatal wäre es hingegen, ihn in einer Anwandlung sentimentalen Mitleids entkommen zu lassen. Die Fähigkeit, anders zu handeln, ist deshalb in Kontexten legitimer Gewaltanwendung nicht immer moralisch positiv zu bewerten. Eine Möglichkeit, diesem Einwand entgegenzutreten, besteht darin, diese Situation als eine erweiterte Form der Selbstverteidigung zu begreifen. Allerdings geht es im Krieg primär darum, Soldaten zu töten, die sich – anders als der Bankräuber – moralisch zumeist nichts zuschulden kommen ließen. In den seltensten Fällen dient die Tötung eines gegnerischen Soldaten akut dem Schutz des eigenen Lebens, demjenigen eines Kameraden oder Zivilisten. Aus diesem Grund ist es nicht moralisch verwerflich, Mitleid oder Barmherzigkeit walten zu lassen. Zusätzlich lässt sich auch schon beim Bankräuberbeispiel in Frage stellen, ob es sich überhaupt um eine Form der Selbstverteidigung handelt. Das zeigt sich bereits daran, dass der moralische Druck, den Bankräuber zu töten, um die Geisel zu befreien, größer ist als in einer reinen Selbstverteidigungssituation, in der man sich letztlich auch gegen den Schutz des eigenen Lebens entscheiden kann. Man macht sich dadurch nicht moralisch schuldig, sofern niemand anderes darunter zu leiden hat. Zu prüfen ist, ob im Gegensatz dazu im Bankräuberfall nicht sogar eine moralische Pflicht besteht, den Bankräuber zu töten, wenn es keine andere Möglichkeit gibt, die Geisel zu retten. Entscheidend für die Diskussion autonomer Waffensysteme ist, ob sich dieser Gedanke auf den Krieg übertragen lässt.

6

Die Voraussetzung einer Pflicht zu töten

Eine klassische Situation, in der es einleuchten könnte, eine moralische Pflicht zu töten anzunehmen, ist der Tyrannenmord. Dies gilt insbesondere dann, wenn absehbar ist, dass dadurch wieder rechtsstaatliche Verhältnisse hergestellt und viele 14

Zu einer Diskussion der Problematik der Menschenwürde im Zusammenhang mit autonomen Waffensystemen vgl. Misselhorn 2018, S. 181–184.

Autonome Waffensysteme/Kriegsroboter

331

Menschenleben gerettet werden können. Einige Äußerungen der Hitlerattentäter vom 20. Juli 1944 lassen etwa den Rückschluss zu, dass sie es als ihre moralische Pflicht ansahen, das Attentat zu begehen (Hoffmann 2004, S. 389, 395). Besteht tatsächlich in bestimmten Fällen eine moralische Pflicht zum Töten, dann gälte das Argument von der menschlichen Handlungsfähigkeit in diesen Fällen nicht. Mitleid und Barmherzigkeit wären in einer solchen Situation verfehlt. Die Frage ist jedoch, ob Soldaten im Krieg grundsätzlich eine moralische Pflicht haben, zu töten, oder ob dies nur moralisch erlaubt ist. Ronald Arkin ist offenbar der Auffassung, dass eine solche Pflicht besteht. Sein Prototyp darf nur in solchen Fällen eine Tötungshandlung initiieren, wenn eine moralische Verpflichtung dazu besteht und es nicht nur moralisch erlaubt ist (Arkin 2009, S. 96). Das Argument von der menschlichen Handlungsfähigkeit wäre zurückgewiesen, wenn eine solche Verpflichtung vorliegt. Es kann nur dann überzeugen, wenn eine Tötungshandlung moralisch zwar zulässig, aber nicht geboten ist. Eine moralische Pflicht zum Töten ergibt sich freilich nicht aus dem humanitären Völkerrecht. Vielmehr meint Arkin, dass eine solche Pflicht vorliegt, wenn eine Tötungshandlung im Krieg moralisch erlaubt und militärisch notwendig ist. Nehmen wir einmal an, dass die Bedingungen des ius ad bellum erfüllt sind und der Krieg für eine gerechte Sache geführt wird. Gehen wir ferner davon aus, unter diesen Bedingungen sei das Töten im Krieg grundsätzlich moralisch erlaubt, und zwar im Rahmen der Einschränkungen des ius in bello. Die entscheidende Frage ist, ob allein die militärische Notwendigkeit genügt, um aus dieser moralischen Zulässigkeit eine moralische Verpflichtung zu machen. Die militärische Notwendigkeit soll in den Rules of Engagement festgelegt sein. Arkin erläutert dies jedoch lediglich an einem Beispiel, wonach es eine militärische Notwendigkeit sei, gegnerische Konvois anzugreifen (Arkin 2009, S. 193). Eine solche „Notwendigkeit“ ist allerdings alles andere als streng definiert. Ob ein Konvoi anzugreifen ist, hängt u. a. davon ab, ob eine hinreichende Erfolgswahrscheinlichkeit besteht. Der Beschuss eines einzelnen Konvois wird jedoch kaum über den Ausgang eines gesamten Kriegs entscheiden. Nach Arkin gibt es fünf Grade der Notwendigkeit. Die Bewertung einer Tötungshandlung setzt den jeweiligen Grad der Notwendigkeit ins Verhältnis zu den erwarteten Schäden an NonKombattanten und zivilen Zielen. Doch daraus lässt sich schwerlich eine Pflicht zu töten ableiten, die ja sonst auch graduierbar sein müsste. Dieser Befund entspricht dem in der traditionellen Theorie des gerechten Kriegs vorherrschenden Verständnis, dass eine grundsätzliche moralische Pflicht besteht, andere nicht zu verletzen oder zu töten, vor deren Hintergrund die moralische Zulässigkeit von Verstößen dagegen im Krieg zu rechtfertigen ist.15 Da es folglich im Krieg keine moralische Pflicht gibt, zu töten, bleibt das Argument von der moralischen Handlungsfähigkeit schlagend. Wir haben nun die drei wichtigsten ethischen Argumente kennen gelernt, die gegen letale autonome Waffensysteme sprechen. Alle drei – das Argument von der

15 Vgl. Childress 1997, S. 216 f. Zu den Schwierigkeiten, die schon bei der Begründung einer Erlaubnis zu töten entstehen, vgl. Eser 2011.

332

C. Misselhorn

Verantwortungslücke, das Argument von der Fähigkeit, anders zu handeln, sowie die Voraussetzung einer moralischen Pflicht zu töten – führen zu der Konklusion, dass autonomen Waffensystemen die Entscheidung, Menschen zu töten, nicht übertragen werden sollte. Diese Schlussfolgerung stimmt mit der Forderung von Menschenrechtsorganisationen nach einer sinnvollen menschlichen Kontrolle (meaningful control) überein, die sich nicht nur über Gesamtoperationen erstreckt, sondern auch über individuelle Angriffe (Roff und Moyes 2016). Ein weiterer neuralgischer Punkt besteht darin, dass die technischen Probleme noch keineswegs gelöst sind, die sich für ein System stellen, das die Ius-in-Bello-Kriterien erfüllen soll. Bislang kann etwa die Diskriminierung legitimer Ziele nicht wirklich sichergestellt werden. Selbst Arkin gesteht ein, dass sein Prototyp eine Idealisierung darstellt, die von solchen technischen Problemen absieht. Doch solange eine überzeugende Lösung nicht vorliegt, entsprechen letale autonome Waffensysteme nicht dem humanitären Völkerrecht.

7

Ausblick: Kriegsroboter und autonomes Fahren

Eine wichtige Frage ist, ob die Einwände gegen moralische Kriegsroboter sich auch auf andere Anwendungsbereiche der Maschinenethik übertragen lassen. Eine Analogie zwischen der Programmierung autonomer Fahrzeuge zum Zweck der Unfalloptimierung und der Zielbestimmung autonomer Waffensysteme stellt Patrick Lin vom Center for Internet and Society der Stanford University her (Lin 2016, S. 72). Wenn es sich bei einem Unfall nicht vermeiden lässt, Personen zu verletzen oder zu töten, ist es notwendig, Kosten-Funktionen anzugeben, die bestimmen, wer im Zweifelsfall verletzt oder getötet wird. Für den Fall einer unvermeidlichen Kollision müssten also in ähnlicher Art und Weise wie bei autonomen Waffensystemen legitime Ziele festgelegt werden, die dann vorsätzlich verletzt oder womöglich sogar getötet würden. Wenn etwa ein autonomes Fahrzeug ausschließlich die Möglichkeit hätte, entweder eine betagte Person am Ende ihres Lebens zu töten oder ein Kind, dann müsste im Vorhinein bestimmt werden, ob in dieser Situation die ältere Person angefahren werden soll oder das Kind. Ein entscheidender Kritikpunkt am Einsatz autonomer Waffensysteme war, dass es keine moralische Pflicht gibt, im Krieg zu töten. Es besteht allenfalls eine moralische Erlaubnis zum Töten, die das allgemeine Tötungsverbot situativ einklammert. Aus diesem Grund sollte die Entscheidung, einen bestimmten Menschen zu töten, stets einem Menschen zukommen und nicht von einer Maschine getroffen werden. Die Frage ist nun, ob dieses Argument auch auf das autonome Fahren übertragbar ist. Die Antwort auf diese Frage hängt davon ab, ob es eine moralische Pflicht gibt, unschuldige Menschen zu verletzen oder zu töten, um Schlimmeres zu verhindern.16

16

Zur Diskussion, ob eine solche Pflicht besteht, vgl. ausführlicher Misselhorn 2018, S. 192–198.

Autonome Waffensysteme/Kriegsroboter

333

Festzuhalten ist jedenfalls, dass eine solche Pflicht in einem Spannungsverhältnis zur deutschen Rechtsprechung zu stehen scheint. Wegweisend ist in diesem Zusammenhang die Entscheidung des Bundesverfassungsgerichts zum Luftsicherheitsgesetz aus dem Jahr 2006, bei der es um den Abschuss entführter Passagierflugzeuge ging, die von Terroristen als Massenvernichtungswaffen eingesetzt werden sollen. Das Bundesverfassungsgericht stellte klar, dass ein Abschuss immer der Menschenwürde der Flugzeugpassagiere widerspricht (BVerfGE 115, 118, (160)). Denn es ist nicht mit dem Grundgesetz vereinbar, auf der Grundlage einer gesetzlichen Ermächtigung unschuldige Menschen vorsätzlich zu töten. Dieses Urteil steht zumindest auf den ersten Blick mit einer Pflicht zur Schadensminimierung im Widerspruch, sofern diese die vorsätzliche Verletzung oder Tötung unschuldiger Menschen beinhaltet. Folgt man diesen Überlegungen, so kann man daraus als eine allgemeine Richtlinie für gute Maschinenethik ableiten, dass Maschinen nicht die Entscheidung über Leben und Tod von Menschen überlassen werden sollte.

Literatur Arkin, Ronald. 2009. Governing lethal behavior in autonomous robots. Boca Raton: CRC Press. Asaro, Peter M. 2014. Determinism, machine agency, and responsibility. Politica & Società 2:265–292. Birnbacher, Dieter. 1995. Tun und Unterlassen. Stuttgart: Reclam. Bundeswehr. 2017. Die Innere Führung – Das „Markenzeichen“ der Bundeswehr. https://www. bundeswehr.de/portal/a/bwde/start/streitkraefte/grundlagen/innere_fuehrung. Zugegriffen am 22.11.2018. Childress, James F. 1997. Nonviolent resistance – Trust and risk-taking. Twenty-five years later. Journal of Religious Ethics 25(2): 213–220. Eser, Albin. 2011. Tötung im Krieg – Rückfragen an das Staats- und Völkerrecht. In Öffentliches Recht im offenen Staat – Festschrift für Rainer Wahl zum 70. Geburtstag, Hrsg. Ivo Appel, Georg Hermes und Christoph Schönberger, 665–687. Berlin: Dunker & Humblot. Eshleman, Andrew. 2016. Moral responsibility, The Stanford encyclopedia of philosophy, Hrsg. Edward N. Zalta. https://plato.stanford.edu/archives/win2016/entries/moral-responsibility/. Zugegriffen am 22.11.2018. Future of Life Institute. 2015. Autonomous weapons – An open letter from AI and robotics researchers. https://futureoflife.org/open-letter-autonomous-weapons/. Zugegriffen am 22.11.2018. Future of Life Institute. 2017. An open letter to the united nations convention on certain conventional weapons. https://futureoflife.org/autonomous-weapons-open-letter-2017/. Zugegriffen am 22.11.2018. Hoffmann, Peter. 2004. Claus Schenk von Stauffenberg und seine Brüder. Stuttgart: DVA. Leveringhaus, Alex. 2016. Ethics and autonomous weapons. Oxford: Plagrave Macmillan. Lin, Patrick. 2016. Why ethics matters for autonomous cars. In Autonomous driving – Technical, legal and social aspects, Hrsg. Markus Maurer, J. Christian Gerdes, Barbara Lenz, et al., 69–85. Berlin/Heidelberg: Springer. Misselhorn, Catrin. 2013. Robots as moral agents. In Ethics in science and society – German and Japanese views, Hrsg. Frank Rövekamp und Friederike Bosse, 30–42. München: Iudicum. Misselhorn, Catrin. 2018. Grundfragen der Maschinenethik. Ditzingen: Reclam. Nida-Rümelin, Julian, et al. 2012. Risikoethik. Berlin/Boston: de Gruyter. Roff, Heather M., und Richard Moyes. 2016. Meaningful human control, artificial intelligence and autonomous weapons. Briefing paper prepared for the informal meeting of experts on lethal autonomous weapons systems. UN Convention on Certain Conventional Weapons. Geneva.

334

C. Misselhorn

Slaughterbots. 2017. https://autonomousweapons.org/slaughterbots/. Zugegriffen am 22.11.2018. Sparrow, Robert. 2007. Killer robots. Journal of Applied Philosophy 24(1): 62–77. United States Department of Defense. 2011. Unmanned systems integrated roadmap FY 20112036. Reference Number 11-S-3613. http://www.dtic.mil/dtic/tr/fulltext/u2/a558615.pdf. Zugegriffen am 22.11.2018. Walzer, Michael. 1977. Just and unjust wars. Philadelphia: Basic Books. Wissenschaftlicher Dienst des Bundestages. 2009. Aktueller Begriff „Rules of Engagement“ und die Taschenkarten der Bundeswehr. http://dipbt.bundestag.de/doc/btd/17/CD07400/Dokumente/ Dokument%20048.pdf. Zugegriffen am 22.11.2018.

Sexroboter aus Sicht der Maschinenethik Oliver Bendel

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Sexroboter und Liebespuppen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Fragen aus der Sicht der Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Die Sicht der Bereichsethiken . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Zusammenfassung und Ausblick . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

336 337 339 347 351 352

Zusammenfassung

Dieser Beitrag erklärt zunächst die Begriffe der Sexroboter und der Liebespuppen. Dann stellt er aus Perspektive der Maschinenethik sowohl allgemeine als auch spezifische Fragen und beantwortet sie vorläufig. Anschließend werden die Bereichsethiken einbezogen, um die Implikationen für die involvierten Parteien und die tangierten Personen, für Anbieter, Vermittler und Benutzer, herauszuarbeiten. Am Ende fasst der Autor die Ergebnisse zusammen. Die Disziplin der Maschinenethik kann aus seiner Sicht helfen, Sexroboter und Liebespuppen mit besonderen Fähigkeiten zu konstruieren, die moralische Maschinen in ihrem Aussehen und Verhalten sind und die es einigen Menschen ermöglichen, ihre sexuellen Aktivitäten zu ergänzen und ein erfülltes Leben zu führen. Die Überlegungen der klassischen angewandten Ethik können im Hinblick auf den adäquaten Einsatz von Sexrobotern hilfreich sein und weisen auf die Chancen wie auf die Risiken hin. Schlüsselwörter

Maschinenethik · Sexualethik · Informationsethik · Moralische Maschinen · Sexroboter · Liebespuppen O. Bendel (*) Institut für Wirtschaftsinformatik, Hochschule für Wirtschaft FHNW, Windisch, Schweiz E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_22

335

336

1

O. Bendel

Einleitung

Robotersex ist ein Sujet, das die Medien lieben, und Sexroboter und Liebespuppen sind Objekte, denen sie sich in aller Regelmäßigkeit nähern und die sie mit Hartnäckigkeit umkreisen (Hartwell 2007; Hänßler 2012; Freuler 2016). Jeder Anlass ist gut genug, um wieder erstaunt, empört und begeistert oder aber ausgewogen und beflissen über sie zu berichten. In der Wissenschaft spielen sie kaum eine Rolle (Sullins 2012). Nur wenige Hochschulen wollen mit diesem Thema in einen Zusammenhang gebracht werden, und auch Forscher trauen sich kaum, sich damit zu beschäftigen, dazu zu recherchieren, zu forschen und zu publizieren (Davis 2018). Es existieren dennoch drei, vier Communities, die neutral oder aufgeschlossen gegenüber Sexrobotern und Liebespuppen sind, wie die Veranstalter und Unterstützer der Konferenz „Love and Sex with Robots“ (Cheok und Levy 2018; Cheok et al. 2017), und einige Protagonisten, die sich vehement gegen die Erscheinung wehren, Petitionen gegen sie aufsetzen und ein Verbot nicht allein des Einsatzes, sondern sogar der Entwicklung fordern (Richardson 2015). Wenn man in die Werke von Homer und Ovid eintaucht, wird man schnell gewahr, dass die künstliche Kreatur ein Menschheitstraum ist. Auch auf die künstliche Begleiterin und Gefährtin stößt man (dagegen selten auf den künstlichen Gefährten). Die goldenen Jungfrauen hatten die Aufgabe, ihren Schöpfer Hephaistos, den hinkenden Gott der Schmiede und des Feuers, zu stützen (Bendel 2018a). Über den Rest breitet sich der Mantel des Schweigens. Die Skulptur, die Pygmalion geschaffen hat, war Aphrodite nachgebildet, der seine Sehnsucht galt und die sie aus Mitleid zum Leben erweckte. Galatea war sogar fruchtbar und bekam Nachwuchs. Dutzende künstliche Kreaturen, die sexuell gedeutet werden können, tauchen in der Ideengeschichte auf. Natürlich sind Science-Fiction-Bücher und -Filme voll davon, und während es vordem eine große Vielfalt in Herkunft, Material und Gestaltung gab, dominieren in ihnen imaginierte humanoide Hardware- und Softwareroboter, mit denen man Sex haben kann. Reale Sexroboter haben sich, anders als -spielzeug, bisher kaum etabliert. Allerdings steckt die Entwicklung dieser speziellen Serviceroboter noch in den Kinderschuhen, und es ist zu erwarten, dass der beliebte Gegenstand medialer Debatten irgendwann alltäglich wird, zumindest als Phänomen, über das nachgedacht wird. Zudem haben spezialisierte Bordelle in Frankreich und England, in Spanien und Russland (www.lumidolls.com) sowie in Deutschland (www.bordoll.de) eröffnet, die großen Zulauf haben und etliche Männer und ein paar Frauen in die Geheimnisse der Liebe mit Puppen (die dort im Moment vorherrschen, und zwar in ihren einfachen Ausführungen) und Maschinen einweihen werden (Schäfer 2017). Vielleicht gibt es schon mehr Robotersex, als man sich eingestehen mag, denn für diesen, im Sinne von Sex zwischen Robotern und uns, können nicht nur Sexroboter, sondern auch Serviceroboter, die für ganz andere Aufgaben gedacht sind, verwendet, sozusagen zweckentfremdet werden (Bendel 2017a, c). Der vorliegende Beitrag definiert Sexroboter und Liebespuppen, stellt deren Ziele, Aufgaben und Funktionen vor und nennt Beispiele (Abschn. 2). Er wirft Fragen aus Sicht der Maschinenethik auf und versucht sie ansatzweise zu beantwor-

Sexroboter aus Sicht der Maschinenethik

337

ten (Abschn. 3). Abschn. 4 widmet sich der Perspektive der Bereichsethiken und verbindet die Ergebnisse mit der Perspektive der Maschinenethik. Abschn. 5 fasst die Ergebnisse zusammen.

2

Sexroboter und Liebespuppen

Liebe zu und Sex mit künstlichen Wesen ist ein Topos der Ideengeschichte, der Fiktionalität von Literatur und Film (Bendel 2016b). „Der Sandmann“ von E.T.A. Hoffmann mit der Figur der Holzpuppe Olimpia ist sicherlich ein Höhepunkt der einschlägigen Literatur. Was den einschlägigen Film anbetrifft, haben die Fernsehserie „Real Humans“ und Kinofilme wie „Ex Machina“ (2015) die Fantasie beflügelt, mit ihren im Fiktionalen materiellen und virtuellen Geschöpfen, mit denen die Menschen Beziehungen aller Art eingehen und von denen sie unterstützt und überlistet werden. Auch „Her“ (2013) mit der künstlichen Samantha blieb vermutlich im Gedächtnis der sensibilisierten und interessierten Öffentlichkeit. „Blade Runner 2049“ setzt in kongenialer Weise die Idee der als Hologramm gestalteten Liebesdienerin um, die im Extremfall mit anderen Wesen verschmelzen kann. Die Geschichte der Sexmaschinen ist lang. George Taylors dampfbetriebener Vibrator namens Manipulator aus den 1860er-Jahren sollte Ärzten zur Hand gehen und sie und ihre Patientinnen entlasten (Seeßlen 2012, S. 68 f.). Fuckzilla, eine Überraschung der Arse Elektronika 2007, verfügt über ein ganzes Arsenal an Spielzeugen und Hilfsmitteln, vom Dildo bis zur Kettensäge, an der Zungen befestigt sind. Das Ganze wirkt eher wie ein randseitiges Kunstprojekt, was zur Veranstaltung passt, weniger wie ein ernst zu nehmendes Gegenüber. Fuckzilla ist schon eine ausgewachsene Maschine und kein Spielzeug mehr, eine gefährliche dazu, würde man sie ernsthaft anwenden. Sexroboter werden als Roboter konzipiert, also als sensomotorische Systeme, die die Umwelt beobachten und auswerten bzw. mit einem Gegenüber interagieren und kommunizieren. Manche Roboter sind mobil, was für Sexroboter in der Regel nicht zutrifft und sozusagen ihre Achillesferse ist (gewiss nicht ihre einzige). Die technischen und gestalterischen Impulse kommen seit ca. 2015 ausgerechnet von den Liebespuppen, die in der Tradition der Gummipuppen stehen. Sexroboter und Liebespuppen sind in der Folge immer weniger unterscheidbar, und vielerorts wird der allgemeinere Begriff der Sexbots verwendet, der prinzipiell Softwarevarianten und Hologramme mit einschließen kann. Sexroboter und Liebespuppen helfen bei der Befriedigung, indem sie Menschen stimulieren und penetrieren oder sich penetrieren lassen. Zu diesem Zweck haben sie z. B. künstliche Geschlechtsteile und Körperöffnungen. Manche haben zudem mehr oder weniger erregende Stimmen und nehmen mehr oder weniger erregende Worte in den Mund, und man darf nicht vergessen, dass in Chats verbale Erotik beliebt und die Nachfrage nach Telefonsex ungebrochen (und allenfalls in bestimmten Ländern eingebrochen) ist. Auch die sexuellen Interaktionen auf dem Friedhof, zu dem Second Life geworden ist, und in aktuellen Anwendungen der Virtuellen Realität können zum Vergleich herangezogen werden.

338

O. Bendel

Roxxxy von TrueCompanion ist ein Sexroboter, der nach Angaben des Unternehmens zuhören und sprechen sowie auf Berührungen reagieren kann. Man kann unter verschiedenen Persönlichkeiten auswählen, von „Wild Wendy“ bis „Frigid Farrah“, und zwischen verschiedenen Ausrichtungen, sozusagen Schwerpunkten bei der Sexualität. Das männliche Pendant ist Rocky, ganz ähnlich ausgestattet wie Roxxxy, abgesehen von den primären und sekundären Geschlechtsmerkmalen. Beide kann man über die Website des Herstellers ordern (www.truecompanion. com), auf der mit den Worten „world’s first sex robot“ geworben wird, wobei man daneben die Bezeichnung „sex robot doll“ verwendet und es nicht ganz klar ist, ob die Produkte wirklich als genuine Roboter angelegt sind. Anbieter wie Shenzhen All Intelligent Robot Technology (www.ai-aitech.com), Doll Sweet (www.dsdolleurope.com), Abyss Creations (www.realdoll.com) und Realbotix (realbotix.com) bringen Liebespuppen auf den Markt, „dolls“, „sex dolls“ oder „love dolls“. Bereits früh fielen diese durch eine detail- und kenntnisreiche, wenngleich idealisierende Gestaltung auf. Die Puppen haben Silikonhaut oder Haut aus thermoplastischen Elastomeren; darunter kann Gel eingelagert sein, damit sich die Körperteile echt anfühlen, wie das Fleisch junger Frauen und Männer. Sie verfügen teilweise über synthetische Stimmen bzw. einfache motorische Fähigkeiten wie Kopfdrehen und Bewegungen der Augen und Brauen. Shenzhen und Realbotix sprechen bei ihren Produkten von künstlicher Intelligenz, und im Hinterkopf mancher Modelle befindet sich ein Display. Die Liebespuppen entwickeln demnach den Ehrgeiz, zu beweglichen Robotern und zu verständigen Wesen zu werden. Bei der Konferenz „Love and Sex with Robots“ im Dezember 2016 an der University of London (Goldsmiths) wurden weitere interessante Sexmaschinen präsentiert, etwa der Kissenger, ein Aufsatz für das Smartphone, mit dem man über weite Distanzen hinweg knutschen kann (Cheok et al. 2017). Hier zeigt sich wie bei Fuckzilla, dass das Erschaffen von Liebesmaschinen, ganz in der Tradition von Pygmalion, eine Sache der Kunst ist, sodass man an der Kunsthochschule gut aufgehoben war. Das Ziel des Kissenger ist eher, eine Idee in die Wirklichkeit zu bringen, als eine Praktik. Bei den Liebespuppen geht es durchaus um die Praxis, aber ebenso um die Idee, die darin besteht, ein hohes Maß an Menschenähnlichkeit zu erreichen. Wie Ovid über Galatea bemerkte: „Dass es nur Kunst war, verdeckte die Kunst.“ (Ovid 1990, S. 324) Meistens sind Sexroboter und Liebespuppen humanoid gestaltet. Die Mehrzahl von ihnen sind Mädchen und Frauen nachgebildet. Fast jede Firma hat eine männliche Variante im Angebot, die für Frauen und Männer gedacht ist. Zusätzlich können die weiblichen Liebespuppen von Abyss Creations mit einem Penis ausgestattet werden, sodass ein „shemale“ entsteht. Die Liebespuppen sind generell eher klein (170 cm werden kaum überstiegen, üblich sind eher 135–160 cm), selbst in ihren männlichen Varianten.1 Einige sind sehr klein und erinnern dadurch an Kinder, sind jedoch letztlich schwer einzuschätzen. So ist eine Liebespuppe im Bordell in

1

Ein Grund dafür ist, dass fortgeschrittene Liebespuppen ein Metallskelett haben und bei einer Größe, die die angegebene übersteigt, sehr schwer würden.

Sexroboter aus Sicht der Maschinenethik

339

Dortmund (das übrigens den Namen Bordoll trägt) einen Meter groß und wiegt 12 kg, hat aber, im offensichtlichen Widerspruch dazu, Riesenbrüste, wie übrigens fast alle der Exemplare. Besonders interessant ist, dass Fantasiefiguren vorkommen. Es existieren Liebespuppen, die ins Manga- und Animehafte gehen. Das genannte Bordell führt beispielsweise die animeartige Yuki, die mangahafte Lisa und die elfenhafte Katie, Doll Sweet eine Puppe mit spitzen Ohren. Diese Figuren haben übergroße Augen und wirken sehr jung und niedlich, manchmal kämpferisch. Damit könnte man zum einen die Cosplay-Fans ansprechen, die in Deutschland wie in Japan in Massen vorhanden sind und sich sowohl auf ihren Conventions als auch bei den Buchmessen zeigen. Gerade Yuki sieht wie eine Cosplayerin aus und würde in Leipzig oder Frankfurt in den Hallen kaum auffallen. Zum anderen könnte man damit Männer gewinnen, die gewisse Stereotype leid sind und etwas Neues ausprobieren möchten.2 In der Gebrauchsanweisung eines niedlichen humanoiden Roboters namens Pepper, der ebenfalls ins Comichafte geht, wird festgehalten, dass Benutzer keine sexuellen Handlungen an ihm vornehmen dürfen. Andernfalls drohen Strafen, wie verschiedene Medien 2015 berichteten; es wird allerdings nicht erwähnt, um welche genau es sich handelt, und nicht erläutert, wie der Hersteller sexuelle Handlungen mit dem Roboter aufdecken will (Bendel 2016b). Womit und wie man Sex haben kann, bleibt ebenfalls unklar, wobei die jeweils fünf hochbeweglichen Finger die Fantasie anzuregen vermögen. Aldebaran bzw. SoftBank ging mit seiner Warnung noch weiter und über den Körper hinaus. Es seien Anpassungen der Software verboten, mit denen Pepper eine erotische Stimme verliehen werden könnte. Pepper ist ein Roboter, der Emotionen zeigt und hervorruft. Diese sollen anscheinend in einem engen Korsett gefangen und nicht auf ein Verlieben, Verstricken und Verwirren ausgerichtet sein.

3

Fragen aus der Sicht der Maschinenethik

In diesem Abschnitt werden Fragen in Bezug auf Sexroboter und Liebespuppen bzw. mit Blick auf Robotersex aus der Maschinenethik heraus gestellt und diskutiert, Bendel (2015) und Bendel (2017b) folgend und erweiternd. Da empirische Studien kaum existieren, sind Literaturanalyse und Argumentationsketten bzw. Schlussfolgerungen bevorzugte Methoden. Zunächst werden allgemeine, dann spezielle Fragen aufgeworfen. Die Antworten mögen Zuständigen aus den Unternehmen und Eine Nachfrage bei der Betreiberin des Bordells ergab, dass die Fantasiefiguren „sehr gut gebucht werden“. Sie stellt zum einen eine Verbindung zu Cosplay her, zum anderen zu einem Typ von Mann, der nicht „erwachsen“ werden kann. Natürlich werden auch Stereotype bedient, wie man der Website www.realdoll24.de entnehmen kann, wo es zu Yuki (geschrieben aus ihrer Perspektive) heißt: „Meine Schuluniform steht mir sehr gut und ist auch ganz schön sexy, findest du nicht? . . . Als echte Real Doll habe ich natürlich schön pralle Brüste, die sich unter dem hellen Stoff viel zu deutlich abzeichnen. Und das Röckchen ist so kurz, dass es mir immer wieder hochrutscht, wenn ich mich nach vorne beuge. Aber vielleicht mache ich das ja mit Absicht?“.

2

340

O. Bendel

Programmierern helfen, Lösungen in sozial- und individualverträglicher Form zu entwickeln. Auch die Leiter von Einrichtungen (Krankenhäusern, Pflegeheimen, Freudenhäusern) und der Gesetzgeber können von den Überlegungen profitieren. Es ist keinesfalls so, dass hier bloß Beanstandungen und Beschränkungen aufscheinen sollen; vielmehr ist das Ziel, dass Roboter entstehen können, die in ihrer Gesamtheit die Ansprüche, Anforderungen und Anliegen von Anbietern, Betreibern, Vermittlern, Benutzern und von Betroffenen (sowohl von Vorbildern für die Roboter als auch von Partnern und Familienangehörigen von Besitzern) erfüllen.

3.1

Allgemeine Fragen aus der Perspektive der Maschinenethik

Die Maschinenethik ist eine von mehreren Disziplinen, die bei der Gestaltung von Sexrobotern herangezogen werden können, neben Psychologie, Design, sozialer Robotik, Robotik überhaupt sowie Künstlicher Intelligenz und Mensch-MaschineInteraktion (Anderson und Anderson 2011; Bendel 2016b, c; Coeckelbergh 2009). Die allgemeinen Fragen in diesem Zusammenhang sind (Bendel 2015, 2017b): 1. Sollen Sexroboter oder Liebespuppen moralische Fähigkeiten haben, und wenn ja, welche? 2. Sollen sie sich nur an definierte Regeln halten (Pflichtethik), oder sollen sie die Folgen ihres Handelns abschätzen können (Folgenethik) und Vor- und Nachteile für die Entscheidungsfindung abwägen? 3. Gelten andere normative Modelle, zum Beispiel die Tugendethik oder die Vertragstheorie? 4. Soll die moralische Maschine als selbstlernendes System implementiert werden? 5. Wie autonom sollte der Sexroboter oder die Liebespuppe sein und aus welchem Grund? Die Antwort auf die Frage, ob Sexroboter oder Liebespuppen moralische Fähigkeiten haben sollen (1), muss die moralische Situation berücksichtigen, in der sich der menschliche Sexualpartner häufig befindet. Diesem mögen grundsätzliche Fragen zur Nutzung durch den Kopf gehen, etwa ob diese richtig sei in Bezug auf das eigene gute Leben in Gegenwart und Zukunft, und ob das Umfeld ihr ablehnend gegenüberstehen könnte. Der moralisierte Roboter könnte einerseits die Vorbehalte des Benutzers und seiner Bekannten, seiner Freunde und seiner Familie durch Erklärungen abschwächen, andererseits dazu aufrufen, den Umgang mit ihm kritisch zu betrachten. Auch generelle moralische Fähigkeiten sind anzudenken, denn der sexuelle Umgang ist eingebettet in einen sozialen, in dem sich ständig gute und böse Verhaltensweisen entwickeln können. Ein moralischer (oder pädagogischer) Sexroboter kann durchaus auch kontraproduktiv sein, etwa wenn der Benutzer ihn als bevormundend und gängelnd erlebt. Man kennt solche Effekte vom Smartphone, das den Benutzer vor zu lauter Musik warnt und ein Lauterstellen erst einmal verweigert.

Sexroboter aus Sicht der Maschinenethik

341

Die Modelle der normativen Ethik werden mit Blick auf Roboter seit geraumer Zeit diskutiert (2 und 3). Es scheint sich herauszukristallisieren, dass sich gerade die klassischen Modelle, seien sie mit Aristoteles oder Immanuel Kant verbunden, besonders eignen (Bendel 2014). Dies mag, wenn man an die Folgen- oder Pflichtethik denkt, an ihrem Abstraktionsgrad liegen. Sie sind nicht zwangsläufig ausschließlich auf Menschen bezogen. Mit der Tugendethik gehen spezielle Anforderungen einher; zum einen sind Tugenden an sich beschreibbar, zum anderen sind es in aller Regel genuin menschliche Eigenschaften und Ziele. Andere Modelle, die im 19. und 20. Jahrhundert entstanden sind, rücken den Menschen noch mehr in den Mittelpunkt, als moralisches Subjekt und als moralische Referenz. Der existenzialistische Ansatz etwa wurde von Sören Kierkegaard begründet. Man spricht auch von einer Daseinsethik. Im Mittelpunkt der ethischen Überlegungen steht der Begriff der menschlichen Existenz. Es ist schwierig, solche Ansätze auf Maschinen zu übertragen, ohne den Charakter dieser Philosophien stark zu verändern. Die Frage, ob die moralische Maschine ein selbstlernendes System sein sollte, führt tief in eine kontroverse Diskussion hinein (4). Manche Autoren sind der Meinung, man sei derzeit oder grundsätzlich gut damit beraten, sich auf einfache moralische Maschinen (oder eine operationale Moral) zu beschränken (Bendel 2013b; Wallach und Allen 2009). Bei diesen genügt oftmals das Befolgen einer übersichtlichen Anzahl von Regeln, und in der Tendenz sind sie, so die Idee, in halb offenen Welten unterwegs, beispielsweise im Haushalt (als Saugroboter, die Tiere verschonen) oder in Parkanlagen (als Mähroboter, die Tiere und Pflanzen verschonen). In offenen Welten, im Menschengewühl, im Straßenverkehr oder im Kriegszustand, scheinen komplexe Maschinen notwendig zu sein, und eine hohe Lernfähigkeit trägt dazu bei, immer mehr Situationen beurteilen zu können, wobei umstritten ist, ob diese Entwicklungsart maschineller Moral zielführend ist. Ob der sexuelle Umgang eine überschaubare oder unüberschaubare moralische Situation ist, hängt stark vom menschlichen Sexualpartner und von seiner Veränderungs- und Lernfähigkeit ab. Man darf annehmen, dass eine komplexe Person eine komplexe Maschine erfordert, was nicht bedeutet, dass diese sie am Ende besonders gut befriedigen oder glücklich machen kann. Möglicherweise ist eine Anpassungsfähigkeit im Sexuellen ebenso wichtig wie im Moralischen. Während also schon klassisches Machine Learning in diesem Kontext kontrovers diskutiert werden kann, ist dies bei Deep Learning umso mehr der Fall, da hier Daten von Benutzern verwendet werden können. Wie autonom Sexroboter sein sollten, hängt wiederum von ihrem Einsatz und dem Profil des Benutzers ab (5). Im sexuellen Sinne kann man, sowohl bei Heteroals auch bei Homosexualität, von passivem und aktivem Verhalten sprechen. Ein aktiver Mensch ist eventuell mit einem passiven Gegenpart zufrieden, während ein passiver einen aktiven wünscht. Autonomie und Moral sind generell auch im Maschinellen eng miteinander verknüpft. Ein autonomes System gerät in zahlreiche unterschiedliche Situationen, die teilweise moralisch aufgeladen sind, und muss diese selbstständig möglichst gut beurteilen und angehen können. Umgekehrt können in komplexen Situationen autonome Maschinen überfordert sein. Es ist möglich,

342

O. Bendel

solche Sexroboter zu schaffen, die sich in Standardsituationen gut zurechtfinden und in Extremsituationen menschliche Hilfe empfehlen oder herbeiholen.3 Die Frage nach der Autonomie hängt ferner vom Einsatzort ab, an dem sich der Sexroboter oder die Liebespuppe befindet. Im Privathaushalt besteht in der Regel eine 1:1-Beziehung, zuweilen noch, im Falle aufgeschlossener Paare, eine 1:2-Beziehung. Im Bordell ist dagegen eine 1:n-Beziehung gegeben und von einem „Abhängigkeitsverhältnis“ zwischen „Arbeitgeber“ und Liebesdiener auszugehen. Die Autonomie bewegt sich damit zwischen den Polen der Anforderungen des Bordellbetreibers und der -besucher, die durchaus auseinanderklaffen können.

3.2

Spezielle Fragen aus der Maschinenethik heraus

Damit wurden einige grundsätzliche Fragen in die Diskussion geworfen. Es gibt spezifischere Fragen, wenn man sich stärker auf den Sexualpartner konzentriert und nicht nur das Verhalten des Roboters, sondern auch sein Aussehen betrachtet (Bendel 2015): 6. Sollten Sexroboter oder Liebespuppen von selbst aktiv werden und den Partner zum Sex verleiten? 7. Sollten sie im Extremfall in der Lage sein, die Ausführung einer Handlung zu verweigern? 8. Sollen sie dem Menschen klarmachen, dass es sich bei ihnen um Maschinen handelt? 9. Sollten Design und Umsetzung moralische Kriterien erfüllen, z. B. kinderähnliche Sexroboter verboten werden? 10. Sollte das Erscheinungsbild „politisch korrekt“ sein, etwa in Bezug auf Stereotype und Ethnizität, und was bedeutet das konkret? 11. Sollte es neue Möglichkeiten der Stimulation und Verführung geben, oder sollten die Roboter menschlichen Vorbildern folgen? 12. Sollten herkömmliche Serviceroboter die Möglichkeiten erweitern oder sollen sie möglichst „unsexuell“ und „neutral“ sein? Ob der Roboter selbst aktiv werden und den Partner dazu verleiten oder ermuntern sollte, Sex zu haben (6), hängt mit der bereits diskutierten Frage der Autonomie und der Aktivität bzw. Passivität zusammen. Hier ist noch spezifisch gemeint, inwieweit der Sexroboter ein Initiator, ein Verführer, ein Antreiber sein sollte. Damit 3

Dazu müsste man allerdings im normativen Sinne vorab Situationen kategorisieren, was prinzipiell möglich ist. So wurde dem GOODBOT, einem aus der Maschinenethik heraus entwickelten Chatbot, in einem Projekt an der Hochschule für Wirtschaft FHNW beigebracht, Probleme des Benutzers zu erkennen, sofern diese sprachlich geäußert wurden, und auf drei Ebenen zu eskalieren (Bendel 2013a). Auf der höchsten Ebene händigt er eine Notfallnummer aus, was auch für einen Sexroboter eine adäquate Handlung sein kann, wenn medizinische oder psychologische Probleme entstehen.

Sexroboter aus Sicht der Maschinenethik

343

sind Fragen nach dem Verhältnis zwischen menschlichem und maschinellem Sex verbunden. Die menschliche Sexualität hat physische Grenzen, vor allem die männliche mit zunehmendem Alter, und wenn der Sexroboter sein Gegenüber stark beansprucht, hat dieses kaum noch die Möglichkeit, mit menschlichen Partnern zu verkehren. Dazu kommen weitere physische und psychische Aspekte, die etwa mit Überanstrengung und Überforderung zu tun haben. Es ist indes allzu leicht, in normative Kategorien zu verfallen, und wenn man die Entscheidung getroffen hat, bevorzugt mit Maschinen sexuell zu interagieren und zu kommunizieren, ist nicht einzusehen, dass hier moralische Aspekte überbetont werden sollen. Zu diskutieren wäre allenfalls, inwieweit Partner, denen man implizit oder explizit ein Versprechen zur Art der Beziehung gegeben hat, vernachlässigt und abgestoßen werden. Die Frage der Zurückweisung und Verweigerung durch die Maschine (7) ist nicht allein interessant im sexuellen Kontext, sondern z. B. auch dann, wenn Straftaten oder moralisch inadäquate Handlungen zur Diskussion stehen. Wiederum existiert ein Zusammenhang mit der Autonomie. Diese wäre so erheblich und umfangreich, dass die Maschine den Werkzeugcharakter weitgehend ablegen und zum weitgehend eigenwilligen Akteur würde, was natürlich nicht mit einem freien Willen oder einem Selbstbewusstsein verbunden wäre, die Maschinen grundsätzlich abgesprochen werden müssen. Ein Verweigerungsakt würde den Roboter menschlicher erscheinen lassen, was Vor- und Nachteile mit sich bringt, und könnte dem Benutzer deutlich machen, dass sich Grenzen beim Umgang mit Maschinen nicht auflösen müssen, sondern vielmehr von Verantwortlichen gesetzt und von Maschinen umgesetzt werden können, was einerseits als Hinweis auf die sexuelle Autonomie von Menschen, mit denen der Benutzer weiterhin zusammentreffen mag, gedeutet werden, andererseits auch Frustration hervorrufen kann, vor allem wenn der Benutzer eine Zurückweisung bei seinesgleichen wiederholt erlebt hat. Dass eine Maschine deutlich macht, dass sie nur eine Maschine ist, wird verschiedentlich gefordert (8). So enthält das Dokument „BS 8611:2016 Robots and robotic devices. Guide to the ethical design and application of robots and robotic systems“ der British Standards Institution eine entsprechende Passage (Boden et al. 2010). Bendel schlägt einen V-Effekt für Roboter vor, einen Verfremdungseffekt in der Tradition von Bertolt Brecht: Der Mensch soll hin und wieder aus seiner Illusionierung gerissen werden (Freuler 2016). Nun ist diese eine alte Kulturtechnik, angewandt in Literatur, Film und Theater, und als solche kaum zu beanstanden. Sie ermöglicht Einfühlung ebenso wie Unterhaltung. Es kann indes wünschenswert sein, dass der Benutzer urteils- und kritikfähig bleibt, mit Blick auf die politischen und gesellschaftlichen Umstände, was das Anliegen des sozialistischen Lyrikers und Dramatikers war, oder mit Blick auf die eigene Verfassung, was im vorliegenden Zusammenhang von Relevanz ist. Der Sexroboter kann Erwartungen in Bezug auf Gefühle und Bindungen dämpfen und deutlich machen, dass es neben ihm noch andere Mittel zur sexuellen Entfaltung gibt. Es ist allerdings möglich, dass der wiederholte Hinweis der Maschine, dass sie lediglich eine solche ist, irgendwann dazu führt, dass sie mehr denn je als menschliches Wesen wahrgenommen wird, eben weil sie Strategien der Redundanz und Transparenz hat, die man nicht unbedingt bei einem Artefakt erwartet, und eine Anwendung sprachlicher Techniken fast

344

O. Bendel

zwangsläufig in eine Anthropomorphisierung mündet. Zudem kann der moralisierende, pädagogische Zweck durchschaut werden und zu einer Abwehrhaltung führen, einer Trotzreaktion gegen die tatsächliche oder vermutete Bevormundung. Maschinenethik untersucht üblicherweise die (Fragmente einer) Moral, die in Entscheidungen und Handlungen (wenn man von solchen sprechen will) von Maschinen zutage tritt. Sie kann ebenso deren Design thematisieren und in ein Verhältnis zur Moral setzen (9). Besonders intensiv wird diskutiert, ob Sexroboter erlaubt sein sollen, die Kindern ähneln (Danaher 2014; Behrendt 2018). Es lohnt sich, zunächst einen Blick in virtuelle Welten zu werfen. In Second Life vergehen sich nach Medienberichten und Augenzeugenberichten immer wieder Erwachsene an Kindern, wobei hinter diesen in den meisten Fällen ebenfalls Erwachsene stehen dürften (O’Hear 2007). Es handelt sich also um einschlägige Rollenspiele bzw. Spiele mit dem Alter („Age Play“), die auch aus Chats und Computerspielen bekannt sind. Im Wiki von Second Life (http://wiki.secondlife.com/wiki/Main_Page) wird darauf hingewiesen, dass Kinderavatare grundsätzlich erlaubt seien, es aber diverse Ausnahmen gebe. So seien diese in sexuellen Situationen nicht erlaubt und missbräuchlich. Ihre Nacktheit könne gleichfalls eine Verletzung der Regeln sein. Bei Hardwarerobotern kommt offensichtlich eine physische Dimension dazu. Man praktiziert ein bestimmtes Verhalten an einer Maschine, die kindliche Ausmaße und Züge hat (wobei es widersprüchliche Liebespuppen gibt, wie oben gezeigt wurde, kindhafte Wesen mit stark ausgebildeten weiblichen Merkmalen). Bereits im Virtuellen wird man aktiv, indem man Handlungen am Avatar oder an der Figur vornimmt; im Realen gebraucht man zudem seine Hände, Arme, seinen Mund und sein Geschlecht zur Manipulation der Maschine. Man fällt mit seiner Größe und seinem Gewicht über eine Figur her, die oft nicht viel mehr als einen Meter misst und 10, 20 Kilo leicht ist. Das kann man moralisch verurteilen und ethisch untersuchen; man kann aber auch Medizin, Psychologie und Sexualwissenschaft konsultieren. Wenn kindliche Sexroboter dazu beitragen können, die Zahl von Übergriffen an Minderjährigen zu reduzieren, mögen sie ein probates Mittel in der Therapie und über die Therapie hinaus sein (Sharkey et al. 2017). Wenn sie die Zahl an Übergriffen an Kindern erhöhen, weil sie in einer Art fiktional-realer Versuchssituation ein Verhalten einzuüben helfen, das sich dann im sozialen Raum entfaltet, sind sie kritisch zu hinterfragen, auch in moralischer Hinsicht, und es ist nach rechtlichen Konsequenzen zu rufen. Im Moment fehlt dazu freilich empirische Forschung, und wenn man daran denkt, dass die Sexualwissenschaft etwa in Deutschland ein Schattendasein führt, ist unklar, wie man dazu kommen könnte. Ein weiterer Aspekt ist die Stimme. Allein durch diese kann dem Benutzer beim Vorspiel oder beim Verkehr suggeriert werden, zumindest dann, wenn er die Augen schließt, dass er ein Kind vor sich hat. Die Frage der Gestaltung umfasst also auch dieses Merkmal, vor allem im Zusammenhang mit der Tonhöhe, zudem die Sprechweise. In der Speech Synthesis Markup Language (SSML) existieren diverse Möglichkeiten, eine Stimme jünger klingen zu lassen (Bendel 2018b). Zwar überzeugt diese Anwendung nicht bei allen Text-to-Speech-Engines, doch der Effekt ist dennoch vorhanden. Damit können Entwickler oder auch Anwender eine gegebene Stimme verjüngen, mit allen Implikationen.

Sexroboter aus Sicht der Maschinenethik

345

Wenn man schon bei der Gestaltung ist, sind Geschlecht, Ethnie (mithin Hautund Haarfarbe), Größe, Gewicht etc. in die Überlegungen einzubeziehen (10). Muss der Roboter zwangsläufig ein Geschlecht besitzen, muss es ein bestimmtes sein, ist bei der Masse der Entwicklungen festzustellen, dass dieses Geschlecht dasjenige der Frau ist (Sharkey et al. 2017)? Es sind von feministischer Seite diverse Vorwürfe erhoben worden; so wird etwa postuliert, dass weiblich gestaltete Sexroboter als technische Reduktionen weibliche Personen der männlichen Fantasie ausliefern und diese als sexuelle Objekte vermitteln (Scheutz und Arnold 2016; Richardson 2015). Nun ist zu bemerken, dass sich der gegenwärtige Markt an Sexspielzeugen vor allem an Frauen (sowie an homosexuelle Männer) richtet und die Verhältnisse sozusagen umgekehrt sind: Männer werden durch Vibratoren und Dildos nicht nur als Sexualpartner zeitweise oder dauerhaft eliminiert, sondern sogar auf ihr Geschlechtsteil reduziert, was kaum Beanstandungen und Diskussionen hervorgerufen hat. Offensichtlich gilt es als normal, dass ein künstliches Glied zur Stimulation benutzt wird, während es manche Kreise befremdet, dass ein künstlicher Mensch als Kopie einer Frau der sexuellen Befriedigung dient.4 Vielleicht ist indes gerade die Nichtreduktion im Technischen, die Ganzkörperdarstellung, mit der Reduktion im Biologischen verknüpft, und reine künstliche Vaginas wären weniger anstößig. Nun sind solche ebenfalls auf dem Markt erhältlich, etwa der Deluxe Masturbator Pussy to Go oder der Fleshlight Girl Riley Reid Lotus Male Masturbator, und sie sind wie Sexroboter durchaus diskutabel, zumal Ausführungen wie Deluxe Pussy Little Miss vorkommen, was wiederum – über die Größe bzw. die Enge – in die Diskussion um das Alter führt. Sicherlich tragen Liebespuppen und Sexroboter durch ihre Gestaltung derzeit dazu bei, Stereotype zu zementieren. Die meisten Ausführungen haben große Brüste, ein Körperbild, dem in der Pornografie ebenfalls gehuldigt wird. Allerdings ist dort neben dem Stereotyp des Busenwunders das Stereotyp der Lolita zu finden, die schmal gebaut und im Bereich des Oberkörpers flach ist. Tatsächlich zeigen Untersuchungen, dass Männer gar nicht grundsätzlich auf große, sondern vor allem auf straffe und junge Brüste stehen (Havlíček et al. 2016). Insofern wird das Angebot bei Liebespuppen und Sexrobotern, jenseits aller moralischen Fragen, nicht der Nachfrage gerecht. Zur Darstellung der Ethnie bei Sexrobotern existieren kaum Erkenntnisse; es ist anzunehmen, dass sowohl eine ausschließliche Verwendung einer bestimmten Hautfarbe als auch das völlige Fehlen einer menschlichen Hautfarbe für Irritationen sorgen würde. Sollte es neuartige Optionen geben für die Stimulation und Seduktion oder sollten die Maschinen menschlichen Vorbildern und Rollenmodellen folgen (11)? Teilweise betrifft diese Frage wiederum die Gestaltung, teilweise aber das Verhalten der Liebesdiener. Damit ist gemeint, ob diese in einem funktionalen und technischen Sinne humanoid in der engeren Bedeutung sein sollten. Levy (2008) und

4

Abstrakte Formen nehmen bei Sexspielzeug allerdings zu, das männliche Glied als Vorbild rückt in den Hintergrund.

346

O. Bendel

Seeßlen (2012) haben gezeigt, dass einschlägige Artefakte seit Jahrhunderten durchaus von menschlichen Maßstäben abweichen. Futuristische Maschinen, die neuartige sexuelle Bedürfnisse wecken und befriedigen, sind ein Topos von ScienceFiction-Büchern und -Filmen, und solche wie Fuckzilla tragen in ihrer Versponnenheit dazu bei, die konkreten Möglichkeiten besser zu verstehen (Bendel 2015). Wenn sie mit mehr als zwei Händen und Brüsten und mehreren Geschlechtsorganen etc. ausgestattet sind, könnte ein Gewöhnungseffekt eintreten und der Mensch enttäuscht sein, wenn er dies nicht bei einer Person antrifft. Genauso könnte er von den zusätzlichen Optionen abgestoßen oder von ihnen belustigt sein, gerade wenn das menschliche Vorbild ganz verlassen wird, wenn Ausstülpungen und Öffnungen unbekannter Art und mithin Abstraktionen vorkommen. Eine Frage in diesem Zusammenhang wäre auch, ob Sexroboter und Liebespuppen wie Fantasiefiguren gestaltet sein sollten, wie Mangamädchen und Animefiguren, also als künstliche Cosplay-Girls. Sollten sie Figuren aus dem Märchen sein, wie aus dem Comic etc.? Ist eine Liebespuppe denkbar, die aussieht wie Daisy Duck oder Minnie Mouse? Dies klingt sehr abseitig, doch es ist alles andere als das. Wie bereits erwähnt, setzt das Bordell in Dortmund die mangaartige Yuki und die elfenhafte Katie ein, und Doll Sweet bietet eine Puppe mit spitzen Ohren an. Dies könnten Hinweise darauf sein, dass ein Bedürfnis nach dem Nichthumanoiden, Fantastischen besteht, womöglich nicht nur aus der Cosplay-Szene heraus, sondern einfach im Kreis moderner, neugieriger Männer und Frauen. Solchen Spekulationen müsste man freilich mit Befragungen und Versuchen begegnen. Insgesamt könnte eine Vielfalt durchaus eine Befruchtung der Sexualität zur Folge haben und menschliche Beziehungen inspirieren, ob Technologien in ihnen eingesetzt werden oder nicht. In unterschiedlichen lebensweltlichen Zusammenhängen wurde deutlich, dass Roboter zweckentfremdet werden können (Bendel 2016a). So hat die Polizei beispielsweise Serviceroboter eingesetzt, um Kriminelle zu eliminieren (Rötzer 2016b). In der Gebrauchsanweisung eines humanoiden Roboters namens Pepper heißt es, wie bereits erwähnt, Benutzer dürften keine sexuellen Handlungen an ihm vornehmen (Wendel 2015). Der Punkt ist nun, ob Serviceroboter mit allgemeinen Zwecken so generalistisch gestaltet sein sollten, dass sie für sexuelle Interaktion und Kommunikation in Frage kommen, bzw. ob sie sogar spezielle Werkzeuge haben sollten, die sie dafür prädestinieren (12). Dies lässt wiederum die Frage zu, ob überhaupt spezielle Sexroboter vonnöten sind oder ob nicht einfach bestimmte Serviceroboter zu Diensten sein könnten, was auch die Hemmschwelle bei Kauf und Betrieb senken würde. Allerdings zeigen Unternehmen wie Abyss Creations und Doll Sweet, dass man in der äußerlichen Gestaltung sehr weit gehen und allein dadurch starke sexuelle Konnotationen hervorrufen kann. Um eine solche Wirkung zu erzielen, sie jedoch nicht überzubetonen, müsste man Serviceroboter mit digitalen Elementen wie Displays versehen, was durchaus gemacht wird, um etwa die Mimik einfacher umsetzen zu können. Allerdings sind dadurch u. U. die haptischen Optionen und die physischen Stimulationen eingeschränkt. Oder man müsste sie auf realistische Art humanoid gestalten, nicht Pepper von SoftBank, sondern Sophia von Hanson Robotics zum Vorbild nehmend.

Sexroboter aus Sicht der Maschinenethik

4

347

Die Sicht der Bereichsethiken

Die Maschinenethik als Gestaltungsdisziplin scheint für die Entwicklung adäquater, individuell und sozial verträglicher Sexroboter entscheidend zu sein, aber ebenso sind die Bereichsethiken mit ihren Reflexionsansätzen wichtig. Nachfolgend einige Fragen aus dieser Perspektive (Bendel 2015): 13. Wie soll mit Daten umgegangen werden, die der Roboter sammelt und auswertet, um die Bedürfnisse des Partners besser zu befriedigen oder Unternehmen zu informieren? 14. Wer trägt die Verantwortung für Verletzungen und Ansteckungen durch den Einsatz der Maschinen? 15. Wie verfährt man mit Frustration, Unsicherheit und Scham, die durch den Roboter verursacht werden? 16. Ersetzt, ergänzt oder unterstützt der Roboter menschliche Liebespartner, und welche Implikationen haben diese Optionen? 17. Ist Robotersex ein Hinweis auf rohe und grobe Tendenzen, z. B. durch die Förderung der Idee, dass ein Sexualpartner jederzeit verfügbar sein muss? 18. Sollten Roboter überall verfügbar sein und jederzeit und überall eingesetzt werden können? 19. Sollten Kinder und Jugendliche Zugang zu Sexrobotern und Liebespuppen haben, und wenn ja, ab welchem Alter und unter welchen Umständen? 20. Wie geht man damit um, dass Gefühle gegenüber den Sexrobotern und Liebespuppen entstehen und durch deren Machart verstärkt werden?5 Diese Fragen können aus der Sicht der Informations-, Technik-, Wirtschafts-, Medizin- und Sexualethik beantwortet werden. Teilweise sind sie mit rechtlichen Überlegungen verbunden. Profitieren können wiederum Verantwortliche aus den Unternehmen und deren Programmierer sowie der Gesetzgeber. Eine intensive Diskussion kann im vorliegenden Beitrag aus Platzgründen nicht stattfinden. Es wird aber versucht, eine erste Ahnung von der Dimension der Themen zu vermitteln. Zudem wird jeweils, wenn möglich und sinnvoll, eine Verbindung zur Maschinenethik geschaffen, teilweise zu den Fragen und Antworten aus dem letzten Kapitel. Die Frage der Verarbeitung und Nutzung der Daten (13) wird u. a. in der Informationsethik behandelt (Kuhlen 2004; Bendel 2016d). Auch die Wirtschaftsethik ist mit im Spiel, wenn es um die Nutzung etwa von Kundendaten geht (Göbel 2010). Manche Roboter sind, wie Sicherheitsroboter, gezielt für Überwachung und Monitoring entwickelt worden. Der K5 und der K3 von Knightscope, die im Silicon Valley unterwegs sind, erkennen Auffälligkeiten und melden sie an eine Zentrale 5

Weitere interessante Fragen werden in (Sharkey et al. 2017) aufgeworfen. Einige davon scheinen bereits durch die Wirklichkeit beantwortet zu sein, etwa ob Menschen Sex mit einem Roboter haben und ob Robotersexarbeiter und -bordelle akzeptabel sein würden. Weiteren Fragen wie denjenigen, ob Intimität mit Robotern zu mehr sozialer Isolation führen könnte oder ob Sexroboter helfen könnten, die Anzahl der Sexualverbrechen zu reduzieren, muss in der Tiefe nachgegangen werden.

348

O. Bendel

(Bendel 2016a; Rötzer 2016a). Was nun, wenn der Sexroboter oder der für Sex gebrauchte Roboter ähnlich indiskret ist? Wenn er Informationen über sexuelle Praktiken einholt und weitergibt, wenn er gar Aufnahmen macht, ob auditiver oder visueller Art, und sie verbreitet? Man kann durchaus rationale und funktionale Gründe für ein solches Sammeln und Aufzeichnen anführen, etwa die Verbesserung der Produkte und ein Erkennen von Schwächen und Fehlern. Aber die Gefährdung der informationellen Autonomie ist potenziell schädlich für den Benutzer und für die Akzeptanz gegenüber Sexrobotern. Man mag einwenden, dass man womöglich Straftaten verhindern könnte. So könnte ein kindhafter Sexroboter melden, dass er außerhalb der Therapie verwendet wird und Gefahr im Verzug ist, oder ein erwachsener, dass er geschlagen und verstümmelt wird, was man als Überschreiten einer Grenze deuten und einer näheren Betrachtung jenseits der Situation unterziehen könnte. Damit würde man allerdings in gewisser Weise selbst einen Missbrauch treiben und künstliche Spione ins menschliche Intimleben aussenden. Die Datenfrage erscheint durch die Datenschutz-Grundverordnung in einem neuen Licht (Bendel 2018c). Im Zusammenhang mit Robotern und KI-Systemen sind ebenso wie bei Websites oder Kundenkarten datenschutzrechtliche Informationen zu vermitteln und einschlägige Regeln zu befolgen. Allerdings ist die Situation bei mit Sensoren versehenen, mit anderen Systemen vernetzten, unter Umständen selbstständig lernenden Maschinen sehr schwierig und unübersichtlich. Weitere Herausforderungen entstehen durch Deep Learning. Die Verantwortlichkeit bei Verletzungen oder Ansteckungen durch den Einsatz der Liebespuppen und Sexroboter (14) kann zunächst mit Blick auf den Hersteller untersucht werden, aus Informations- und Wirtschaftsethik heraus. Hat er ein adäquates Material verwendet, hat er die Figur so gestaltet, dass sie optimal gereinigt werden kann? Hat er auf scharfe Kanten und spitze Vorsprünge verzichtet, und genügen die motorischen Bewegungen den Anforderungen, die man etwa an Kooperations- und Kollaborationsroboter oder an andere Serviceroboter stellt, erfüllen sie die vorgegebenen Normen? Dann ist der Anbieter in die Verantwortung zu nehmen. Haben Bordellbetreiber die Kunden genügend unterrichtet, haben sie Anordnungen erlassen, die für eine bestmögliche Sicherheit sorgen, etwa eine Kondompflicht, und reinigen sie die Liebespuppen und Sexroboter nach jedem Gebrauch und mit Sorgfalt? Tatsächlich hat nicht jedes Etablissement, das mit Liebesdienern arbeitet, eine Kondompflicht für die Kunden eingeführt. Sodann ist der Benutzer Gegenstand der Diskussion. Verhält er sich vorschriftsgemäß, bringt er sich unnötig in Gefahr, bevorzugt er Praktiken, bei denen er in Schwierigkeiten geraten kann, benutzt er ein Kondom bei Liebespuppen und Sexrobotern, die von Gruppen bzw. gemeinschaftlich benutzt werden, sei es im Bordell, sei es in der WG? Weitere Parteien können verantwortlich gemacht werden, Zulassungseinrichtungen, Aufsichtsbehörden, Einkaufsplattformen, politische Institutionen. Es ist weitgehend unerforscht, was die Nutzung von Liebespuppen und Sexrobotern aus den Menschen macht (15). Eine gelegentliche Anwendung ist vermutlich unproblematisch, vielleicht sogar bereichernd. Aber was ist, wenn die Maschine zum Lebenspartner wird, wenn man Gefühle ihr gegenüber entwickelt und in eine

Sexroboter aus Sicht der Maschinenethik

349

Abhängigkeit gerät? Auch dann kann im Prinzip ein gutes Leben gelingen, doch es mögen sich eben genauso Frustration, Unsicherheit und Scham einstellen. Diese können durch den Roboter selbst verstärkt werden, etwa wenn er Witze über den Benutzer macht, diesen überfordert, ihn vor anderen herabwürdigt, unter Nutzung der Datenlage, oder auf Äußerungen bzw. Veränderungen seines Gegenübers nicht reagiert. Ein Stammgast des Dortmunder Bordells wird mit folgenden ambivalenten Worten zitiert: „Ich finde es zwar immer noch bizarr und gruselig, was ich hier mache. Aber es ist der Reiz, dass man, wenn man mal Sex haben möchte, auf niemanden Rücksicht nehmen muss.“ (Schäfer 2017) Insgesamt wird deutlich, dass eine Gestaltung aus der Maschinenethik heraus wichtig ist (Bendel 2016c). Ob der Roboter menschliche Liebespartner ersetzt, ergänzt oder unterstützt, und welche Implikationen diese Optionen haben, muss aus Informations-, Medizin- und Sexualethik heraus differenziert betrachtet und beantwortet werden (16). Im Bordoll in Dortmund werden die Frauen definitiv ersetzt, die Dame des Hauses ausgenommen. Manche werden dies als Vorteil ansehen, werden ins Feld führen, dass damit, ein gewisser Erfolg vorausgesetzt, die Prostitution obsolet wird. Dies ist freilich keineswegs erwiesen, denn genauso gut könnte es sein, dass man sich in einer solchen Einrichtung einen Appetit holt, der dann in einer anderen gestillt wird. Zudem ist die Frage, ob dieses Gewerbe moralisch grundsätzlich zu verurteilen ist. Wenn Sexroboter oder Liebespuppen in den Haushalt Einzug halten, wird dies oft einer sein, wo man alleine wohnt. Wenn sie ab und an zum Liebesakt herangezogen werden und man ansonsten menschliche sexuelle Kontakte pflegt, kann man davon sprechen, dass diese ergänzt werden. Wenn sie ersetzt werden, ändert sich das Sexualleben des Menschen und besteht die eine oder andere Gefahr für Persönlichkeit und Gesundheit, wobei argumentiert werden kann, dass diese bereits beschädigt und angegriffen waren. Ist der Liebesdiener in einer WG oder einer Beziehung zugegen, werden diese unterstützt. Er ist Teil von Experimenten und Orgien und mag das Sexualleben bereichern. Eine solche Offenheit wird indes selten anzutreffen sein, und Scham und Furcht gegenüber den Mitmenschen dürften überwiegen. Auch hier kann, wie angedeutet, die Maschinenethik gefragt sein, insofern die Maschine den Benutzer darauf aufmerksam macht, dass sie nur eine Maschine ist, und den erwähnten V-Effekt einsetzt. Der Frage, ob Robotersex ein Hinweis auf rohe und grobe Tendenzen ist (17), z. B. durch die Förderung der Idee, dass ein Sexualpartner jederzeit verfügbar sein muss, oder dass man Menschen so behandeln kann, wie man Maschinen behandelt, kann aus Medizin- und Sexualethik heraus nachgegangen werden, natürlich auch aus Sexualwissenschaft, Psychologie und Pädagogik heraus. Es mangelt diesbezüglich wiederum an empirischer Forschung, und die zum Teil sehr starken Behauptungen hierzu, etwa von feministischer Seite, müssen belegt oder widerlegt werden. Die Übertragungstheorie hat seit tausenden Jahren ihre Anhänger. So argumentierten antike Philosophen und Philosophen der Aufklärung wie Kant, Menschen verrohten, wenn sie Katzen oder Hunde quälen würden (Kant 1797, S. 84). An die Tiere selbst dachten sie dabei weniger, was selbst als Zeichen der Verrohung oder einfach mit Blick auf den Zeitgeist gedeutet werden kann (und immerhin gingen

350

O. Bendel

sie in ihren Betrachtungen über den Menschen hinaus, wenn auch nur, um zu ihm zurückzukehren). Die Frage ist, ob ein Verhalten einem Ding oder einem Tier gegenüber wirklich zur Übertragung auf den Menschen führen muss, oder ob der Betroffene im Einzelfall nicht vielmehr klar unterscheiden kann. Dies hängt wiederum damit zusammen, in welchem Verhältnis er zu dem Sexroboter oder zu der Liebespuppe steht. Man kann freilich die Handlungsweise an sich als fragwürdig ansehen, und zwar nicht bloß in Bezug auf Tiere. Was geht in einem Menschen vor, der in einem Computerspiel abgebildete Personen eliminiert oder in seinem Schlafzimmer seinen Sexroboter malträtiert? Die Maschinenethik kann dabei helfen, dass ein bestimmtes Verhalten erst gar nicht entsteht oder zumindest nicht belohnt und gefördert wird. Ob Roboter überall verfügbar sein sollten und jederzeit und überall eingesetzt werden können, mag man unter Einbezug von Sitte und Moral und von Informations-, Rechts- und Sexualethik beantworten (18). Der Geschlechtsverkehr im öffentlichen Raum wird in der Regel nicht geduldet. Im halböffentlichen Raum existieren Nischen, etwa in Swingerklubs oder in Bordellen, in denen die Gäste sich im allgemeinen Bereich mit den Prostituierten vergnügen dürfen. Für den privaten Raum gelten in aufgeklärten Gesellschaften kaum oder wenige Einschränkungen. Vor diesem Hintergrund kann gesagt werden, dass das Verlustieren mit Sexrobotern im öffentlichen Raum kaum angezeigt ist. Selbst das Küssen, das dort eigentlich erlaubt ist, könnte Irritation hervorrufen. Im halböffentlichen und privaten Raum dagegen sollte dies alles in vielen Fällen möglich sein. Eine wichtige Frage ist, ob Bordelle bestimmte Sexroboter und Liebespuppen ausschließen sollten. Tatsächlich befremdet es etwa, dass das Etablissement in Dortmund eine Puppe im Angebot hat, die einen Meter groß ist und 12 kg wiegt, und es verwundert, dass auf der Website ausgesagt wird, dass das Gewicht der Liebespuppen realistisch ist. Dies würde bedeuten, dass man eine Kinderpuppe bereitstellt, wogegen wiederum die großen Brüste zu sprechen scheinen. Sollte es Kindern und Jugendlichen erlaubt sein, Zugang zu Sexrobotern zu haben (19)? Diese Frage kann man offenbar mit einem einfachen Nein beantworten. Tatsächlich spricht vieles dafür, dass Kinder erste sexuelle Erfahrungen, wenn überhaupt, mit ihresgleichen sammeln sollten. Doktorspiele mit Robotern haben ein gewisses Ungleichgewicht; die Heranwachsenden entdecken nicht wirklich das andere Geschlecht oder das eigene Geschlecht in einer anderen Person, sondern lediglich Metall und Silikon und Varianten der Programmierung. Zudem ist an Frage 13 zu erinnern, die weiter oben diskutiert wurde. Es ist gefährlich, Kinder an Technologien heranzuführen, die sie ausspionieren können, und es ist auch schlicht unfair, wenn sie Produkte und Prozesse nicht durchschauen bzw. überblicken und einschätzen können. Bei Jugendlichen fällt die Antwort ähnlich aus, zumal wenn es sich um erste sexuelle Erfahrungen handelt. Was aber, wenn sie bereits aktiv waren und sie nicht genügend aktiv sein können, aus welchen Gründen auch immer? Es spricht vermutlich nichts dagegen, über 16-Jährigen den Zugang zu Sexrobotern zu gewähren, wenn man sie darauf vorbereitet und wenn man für sie da ist, falls sie überfordert oder angeekelt sind. Hier braucht es weitere

Sexroboter aus Sicht der Maschinenethik

351

Reflexionen aus Informations-, Medizin- und Sexualethik und wiederum empirische Forschung. Wie geht man schließlich damit um, dass sich jemand auf eine Beziehung im engeren Sinne mit einer Maschine einlässt (Sharkey et al. 2017) und Gefühle gegenüber den Sexrobotern und Liebespuppen hat, die durch deren Machart verstärkt werden (20)? Solche Empfindungen entstehen ebenso gegenüber Dingen wie Autos, und überhaupt gegenüber fast allem, was einen durch das Leben begleitet und einem ans Herz wächst. Ausgerechnet das Smartphone scheint eine Ausnahme zu sein, wobei diesbezüglich Untersuchungen fehlen; auf jeden Fall dürfte kaum jemand seinem Handy einen Namen geben, und Gefühle (wie Abneigung oder Wut) wird man höchstens gegenüber den virtuellen Assistenten entwickeln, gegenüber Siri, Cortana und Co. Bei humanoiden Robotern ist es freilich so, dass sie Emotionen scheinbar erwidern können, und dadurch sich unsere Gefühlsspirale nach oben schraubt. Was einen am Ende erwartet, ist unklar. Es kann Euphorie sein, es kann Enttäuschung sein, ein Thema, das bereits gestreift wurde. Auch Strategien, die eigenen Gefühle zu stören, die Illusion zu zerstören, wurden bereits behandelt, im Kontext der Maschinenethik.

5

Zusammenfassung und Ausblick

Alles in allem ist Robotersex ein hochsensibles Feld (Bendel 2015). Diejenigen, die von einer spezialisierten Maschine unterstützt werden, könnten abgelehnt werden oder sich abgelehnt fühlen. Diejenigen, die Sex mit einem Sexroboter haben müssen, weil sie keine andere Wahl haben, könnten darunter leiden, ebenso wie diejenigen, die sich ein solches Highend-Gerät nicht leisten können. Am Rande tauchen ganz praktische Fragen auf, die hier nicht vertieft werden können: Man kann einen Dildo oder einen Vibrator diskret unterbringen, einen Sexroboter eher nicht. Ein solcher wird auch nur in wenige Beziehungen integriert werden können. Die Impulse, die von den Liebespuppen ausgehen, in gestalterischer, funktionaler und technischer Hinsicht, sind faszinierend und irritierend zugleich. Sie zeigen uns, dass Maschinen möglich sind, die sich gut anfassen lassen, die überzeugend sprechen, die sich uns scheinbar zuwenden und uns scheinbar verstehen, wenn sie den Kopf, die Augen, die Augenbrauen und den Mund bewegen. Dadurch verstärken sich die Emotionen, die wir Maschinen gegenüber geneigt sind zu entwickeln, mit nicht absehbaren Folgen. Maschinenethik kann helfen, Sexroboter zu konstruieren, die in ihrem Aussehen und in ihrem Verhalten moralische Maschinen sind und zu einem guten Leben des Benutzers beitragen. Der vorliegende Beitrag hat Fragen aus der Perspektive dieser Disziplin und ausgewählter Bereichsethiken aufgeworfen. Es konnten erste Antworten gegeben und Lösungen vorgeschlagen werden. Es müssen weitere Fragen erarbeitet und diskutiert werden, was die Aufgabe von Maschinenethikern, Informationsethikern, Robotikern, Experten für Künstliche Intelligenz und Sexualexperten ist – und der ganzen Gesellschaft.

352

O. Bendel

Literatur Anderson, Michael, und Susan Leigh Anderson, Hrsg. 2011. Machine ethics. Cambridge: Cambridge University Press. Behrendt, Marc. 2018. Reflections on moral challenges posed by a therapeutic childlike sexbot. In Love and sex with robots. Third international conference, LSR 2017, London, UK, December 19–20, 2017, Revised selected papers, Hrsg. Adrian David Cheok und David Levy, 96–113. Cham: Springer International Publishing. Bendel, Oliver. 2013a. Ich bremse auch für Tiere: Überlegungen zu einfachen moralischen Maschinen. inside-it.ch, 4. Dezember 2013. http://www.inside-it.ch/articles/34646. Zugegriffen am 09.06.2018. Bendel, Oliver. 2013b. Good bot, bad bot: Dialog zwischen Mensch und Maschine. UnternehmerZeitung, 7(19):30–31. Bendel, Oliver. 2014. Towards Machine Ethics. In Technology Assessment and Policy Areas of Great Transitions. 1st PACITA Project Conference, Prag, March 13–15, 2013, Hrsg. Tomáš Michalek, Lenka Hebáková und Leonhard Hennen, et al., 321–326. Prague. Bendel, Oliver. 2015. Surgical, therapeutic, nursing and sex robots in machine and information ethics. In Machine medical ethics. Series: Intelligent systems, control and automation: Science and engineering, Hrsg. Simon Peter van Rysewyk und Matthijs Pontier, 17–32. Berlin/New York: Springer. Bendel, Oliver. 2016a. Mehr Unsicherheit mit Sicherheitsrobotern? SicherheitsForum 6:18–20. Bendel, Oliver. 2016b. Die Sexroboter kommen: Die Frage ist nur, wie und wann. Telepolis, 13. Juni 2016. http://www.heise.de/tp/artikel/48/48471/1.html. Zugegriffen am 09.06.2018. Bendel, Oliver. 2016c. Die Moral in der Maschine: Beiträge zu Roboter- und Maschinenethik. Hannover: Heise Medien. Bendel, Oliver. 2016d. 300 Keywords Informationsethik: Grundwissen aus Computer-, Netz- und Neue-Medien-Ethik sowie Maschinenethik. Wiesbaden: Springer Gabler. Bendel, Oliver. 2017a. Sexroboter und Robotersex aus Sicht der Ethik. In 3TH1CS: Die Ethik der digitalen Zeit, Hrsg. Philipp Otto und Eike Gräf, 30–42. Berlin: iRIGHTS media. Bendel, Oliver. 2017b. Sex robots from the perspective of machine ethics. In Love and sex with robots. Second international conference, LSR 2016, London, UK, December 19–20, 2016, Revised selected papers, Hrsg. Adrian David Cheok, Kate Devlin und David Levy, 1–10. Cham: Springer International Publishing. Bendel, Oliver. 2017c. Service robots in public spaces. Telepolis, 25. Juni 2017. https://www.heise. de/tp/features/Service-Robots-in-Public-Spaces-3754173.html. Zugegriffen am 09.06.2018. Bendel, Oliver, Hrsg. 2018a. Roboter im Gesundheitsbereich: Operations-, Therapie- und Pflegeroboter aus ethischer Sicht. In Pflegeroboter. Wiesbaden: Springer. (Erscheint Sommer 2018). Bendel, Oliver. 2018b. SSML for Sex Robots. In Love and sex with robots. Third international conference, LSR 2017, London, UK, December 19–20, 2017, Revised selected papers, Hrsg. Adrian David Cheok und David Levy, 1–11. Cham: Springer International Publishing. Bendel, Oliver. 2018c. Datenschutz-Grundverordnung. Beitrag für das Gabler Wirtschaftslexikon. Wiesbaden: Springer Gabler. https://wirtschaftslexikon.gabler.de/definition/datenschutz-grund verordnung-99476. Zugegriffen am 09.06.2018. Boden, Margaret, Joanna Bryson, und Darwin Caldwell. 2010. Principles of robotics: Regulating robots in the real world. Guidelines for engineers and roboticists from a EPSRC/AHRC funded retreat. https://www.epsrc.ac.uk/research/ourportfolio/themes/engineering/activities/principle sofrobotics/. Zugegriffen am 09.06.2018. Cheok, Adrian David, und David Levy. 2018. Love and sex with robots. Third international conference, LSR 2017, London, UK, December 19–20, 2017, Revised selected papers. Cham: Springer International Publishing. Cheok, Adrian David, Kate Devlin, und David Levy. 2017. Love and sex with robots. Second international conference, LSR 2016, London, UK, December 19–20, 2016, Revised selected papers. Cham: Springer International Publishing.

Sexroboter aus Sicht der Maschinenethik

353

Coeckelbergh, Mark. 2009. Personal robots, appearance, and human good: A methodological reflection on roboethics. International Journal of Social Robotics 1(3): 217–221. Danaher, John. 2014. Robotic rape and robotic child sexual abuse: Should they be criminalised? Criminal Law and Philosophy 11:1–25. Davis, Nicola. 2018. Claims about social benefits of sex robots greatly overstated, say experts. Guardian, 4. Juni 2018. https://www.theguardian.com/science/2018/jun/04/claims-about-socialbenefits-of-sex-robots-greatly-overstated-say-experts. Zugegriffen am 09.06.2018. Freuler, Regula. 2016. Was hat Sex mit Technologie zu tun? NZZ am Sonntag 60–61. Göbel, Elisabeth. 2010. Unternehmensethik: Grundlagen und praktische Umsetzung. Stuttgart: Lucius & Lucius. Hänßler, Boris. 2012. Stets zu Liebesdiensten. Stuttgarter-Zeitung.de, 29. August 2012. http://www. stuttgarter-zeitung.de/inhalt.sexroboter-stets-zu-liebesdiensten.59ec16f3-55c3-4bef-a7bad24eccfa8d47.html. Zugegriffen am 09.06.2018. Hartwell, Lane. 2007. „So Who Wants to F**k a Robot?“ https://www.wired.com, 10. Juni 2007. http://www.wired.com/underwire/2007/10/so-who-wants-to/. Zugegriffen am 09.06.2018. Havlíček, Jan, et al. 2016. Men’s preferences for women’s breast size and shape in four cultures. Evolution and Human Behavior 38(2): 217–226. Kant, Immanuel. 1797. Metaphysik der Sitten, Teil 2: Metaphysische Anfangsgründe der Tugendlehre, § 17, neu herausgegeben von Bernd Ludwig (1990), Hamburg: Meiner. Kuhlen, Rainer. 2004. Informationsethik: Umgang mit Wissen und Informationen in elektronischen Räumen. Konstanz: UVK. Levy, David. 2008. Love and sex with robots: The evolution of human-robot relationships. New York: Harper Perennial. O’Hear, Steve. 2007. Second Life child pornography investigation. ZDNet, 10. Mai 2007. http://www. zdnet.com/article/second-life-child-pornography-investigation/. Zugegriffen am 09.06.2018. Ovid. 1990. Metamorphosen: Epos in 15 Büchern. Stuttgart: Reclam. Richardson, Kathleen. 2015. The asymmetrical ‚relationship‘: Parallels between prostitution and the development of sex robots. SIGCAS Computers & Society 45(3): 290–293. Rötzer, Florian. 2016a. Chinas erster Überwachungsroboter. Telepolis, 13. Mai 2016. http://www. heise.de/tp/artikel/48/48232/1.html. Zugegriffen am 09.06.2018. Rötzer, Florian. 2016b. Dallas: Umfunktionierter Bombenroboter zur gezielten Tötung eines Verdächtigen. Telepolis, 8. Juli 2016. http://www.heise.de/tp/artikel/48/48771/1.html. Zugegriffen am 09.06.2018. Schäfer, Madlen. 2017. Zu Besuch in Deutschlands erstem Sexpuppen-Bordell. Vice, 24. Oktober 2017. https://www.vice.com/de/article/a37g7k/zu-besuch-in-deutschlands-erstem-sexpuppenbordell. Zugegriffen am 09.06.2018. Scheutz, Matthias, und Thomas Arnold. 2016. Are we ready for sex robots? In HRI ’16: The eleventh ACM/IEEE international conference on human robot interaction, 351–358. Christchurch, New Zealand. Seeßlen, Georg. 2012. Träumen Androiden von elektronischen Orgasmen? Sex-Fantasien in der Hightech-Welt I. Berlin: Bertz-Fischer. Sharkey, Noel, Aimee van Wynsberghe, Scott Robbins, und Eleanor Hancock. 2017. Our sexual future with robots: A foundation for responsible robotics consulation report. The Hague: Foundation for Responsible Robotics. Sullins, John P. 2012. Robots, love, and sex: The ethics of building a love machine. IEEE Transactions on Affective Computing 3(4): 398–409. Wallach, Wendell, und Colin Allen. 2009. Moral Machines: Teaching Robots Right from Wrong. New York: Oxford University Press. Wendel, Johanna. 2015. Pepper The Robot soll nicht für Sex benutzt werden. Wired 24. Sept.r 2015. https://www.wired.de/collection/latest/eine-passage-im-nutzervertrag-von-pepper-robot-verbie tet-sex. Zugegriffen am 09.06.2018.

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft Eric Hilgendorf

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Die Neuregelung des automatisierten Fahrens in Deutschland . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Leitfälle aus der Praxis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Weiterführende juristische Fragestellungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Ethische Fragestellungen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

356 359 361 365 367 370 371

Zusammenfassung

Das automatisierte Fahren besitzt das Potenzial, den Straßenverkehr erheblich sicherer zu machen. Es wirft allerdings eine Vielzahl von ethischen und juristischen Fragen auf, die einer weiteren erfolgreichen Markteinführung der neuen Systeme im Wege stehen könnten, wenn sie nicht gelöst oder zumindest geklärt werden. Das Spektrum reicht von Fragen der zivil- und strafrechtlichen Verantwortlichkeit über den Datenschutz bis hin zu Grundlagenproblemen, bei denen sich rechtliche und moralische Perspektiven überschneiden. Dazu gehören etwa Leben-gegen-Leben-Entscheidungen, aber auch die Frage, welchen Grad an Risiko eine Gesellschaft im Straßenverkehr zu akzeptieren bereit ist. Außerdem ist zu klären, ob der Staat über die Technologien des automatisierten und vernetzten Fahrens nicht wesentlich stärker in den Straßenverkehr eingreifen sollte, um die Gefahr von Unfällen zu minimieren.

E. Hilgendorf (*) Juristische Fakultät, Universität Würzburg, Würzburg, Deutschland E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_31

355

356

E. Hilgendorf

Schlüsselwörter

Automatisiertes Fahren · Autonome Systeme · Aschaffenburger Fall · Emmentaler Fall · Paternalismus · Vertrauensgrundsatz · Erlaubtes Risiko · Dilemma-Problem · Herstellerhaftung

1

Einleitung

Von allen Anwendungsfeldern künstlicher Intelligenz (Lenzen 2018, S. 147 ff.) ist das automatisierte Fahren wohl dasjenige, das in Deutschland bislang die meiste Aufmerksamkeit auf sich gezogen hat (Maurer et al. 2015; Minx und Dietrich 2017; Hagebölling und Jospovic 2018). Dies dürfte mit der gesellschaftlichen und wirtschaftlichen Bedeutung des Autofahrens in Deutschland zusammenhängen sowie damit, dass die deutsche Automobilindustrie nach wie vor auch im Weltmaßstab eine Spitzenposition einnimmt. Jedenfalls im Bereich des automatisierten Fahrens hat die KI in Deutschland den Bereich der Grundlagenforschung längst verlassen und eine enorme praktische Bedeutung erlangt. Automatisiertes Fahren lässt sich als Fahren mit Hilfe autonomer Systeme umschreiben. Autonome Systeme sind solche, die ohne andauernde menschliche Eingaben („input“) auskommen. Der Ausdruck „autonom“ wird hier also nicht in einem philosophischen oder gar theologischen Sinn verwendet. Die Bundesanstalt für den Straßenverkehr (BASt) hat vorgeschlagen, folgende Fahrstufen zu unterscheiden: driver only, assistiert, teilautomatisiert, hochautomatisiert und vollautomatisiert (Gasser et al. 2012, S. 9). Die nachfolgende Stufe wäre das vollständig autonome Fahren, also das Nutzen eines Robotertaxis. In jüngster Zeit scheint die Entwicklung aber dahin zu gehen, im Sinne internationaler Angleichung diese Terminologie zu verlassen und nur noch von verschiedenen Fahrstufen („level“) zu sprechen. Vom automatisierten Fahren werden zahlreiche Vorteile erwartet, über Zugewinne an Sicherheit, eine Steigerung der Leichtigkeit des Verkehrs, steigende Umweltverträglichkeit des Fahrens und Mobilitätsgewinne für Ältere und Behinderte bis hin zur Sicherung des deutschen Technologievorteils in der Pkw-Technologie (Hilgendorf 2015c, S. 57 f.). Dem stehen natürlich auch Befürchtungen und offene Fragen gegenüber: etwa die Furcht vor einem Kontrollverlust des Fahrers, der mehr und mehr zum Passagier wird, die Frage, wer bei Unfällen eigentlich haftet, verbunden mit Warnungen vor einer Haftungsverlagerung zulasten der Verbraucher, und schließlich auch die Angst vor einem „gläsernen Autofahrer“, dessen Daten ungefiltert und ohne Kontrolle durch den Betroffenen an nicht mehr zu bändigende staatliche Einrichtungen oder Großkonzerne abzufließen drohen. Der Debatte um das automatisierte Fahren kommt eine Stellvertreterfunktion zu, deren Bedeutung weit über den Bereich der Mobilität hinausgeht. Die Auseinandersetzungen um den Rechtsrahmen des automatisierten Fahrens (dazu etwa Hilgendorf 2014, 2015c; Gless und Janal 2016; aus österreichischer Sicht Eisenberger et al. 2018) stehen für die Möglichkeiten einer Regulierung der gegenwärtigen „digitalen Transformation“ schlechthin. Wenn eine menschenfreundliche Regulierung des

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft

357

automatisierten Fahrens gelingt, so wird, hofft man, auch eine rechtliche Einhegung der digitalen Transformation im Ganzen möglich sein. Deutschland ist eines der Länder, deren Regulierungen weltweit beachtet werden. Es überrascht deshalb nicht, dass die Reform des Straßenverkehrsrechts vom Sommer 2017, mit welcher das automatisierte Fahren auf Deutschlands Straßen zugelassen wurde, international Beachtung gefunden hat. Insbesondere in China, welches sich derzeit an eine differenzierte Regulierung des modernen Straßenverkehrs herantastet, wurden die deutschen Vorschläge mit großer Aufmerksamkeit zur Kenntnis genommen. Die Rahmensetzung für das automatisierte Fahren ist eine rechtspolitische Aufgabe, die besondere Herausforderungen in sich birgt. Zum einen gilt es, die für die meisten Juristen typische Spezialisierung zu überwinden und interdisziplinär mit anderen Disziplinen zusammen zu arbeiten. Nur so ist es möglich, die spezifischen Fragestellungen, die die neuen Technologien aufwerfen, angemessen zu verstehen und ihre Probleme konsensfähig zu lösen. Dringend erforderlich ist vor allem eine enge Kooperation mit den technischen Disziplinen, aber auch mit der angewandten Ethik, insbesondere der Maschinenethik (Bendel 2019). Zum anderen ist die Regulierung des automatisierten Fahrens eine Aufgabe de lege ferenda, nicht de lege lata, und erfordert ein erhebliches Maß an Fantasie und wohl auch Experimentierfreudigkeit, denn autonome Systeme weisen Besonderheiten auf, mit denen das Recht bislang nicht konfrontiert war. Der in diesem Zusammenhang wohl wichtigste Faktor ist das Auftreten eines neuen Akteur-Typs: autonome Systeme handeln, ohne von Menschen vollständig determiniert zu sein. Sie sind damit nicht mehr bloße Werkzeuge, sondern werden mehr und mehr zu eigenständigen Akteuren, deren ethische und rechtliche Handlungs- und Zurechnungsfähigkeit allerdings noch weitgehend ungeklärt ist (Gless und Weigend 2014; Hilgendorf 2012). Besondere Schwierigkeiten werfen selbstlernende Systeme auf, deren Aktionen sich nicht mehr „dahinter“ stehenden natürlichen Personen zurechnen lassen (Hilgendorf 2018d, S. 109 ff.). Hier stellt sich das Problem, wie die damit drohenden Verantwortungslücken zu schließen sind, etwa durch eine Ausweitung der verschuldensunabhängigen Produkthaftung (Hilgendorf 2018d, S. 111). Eine Alternative wäre, einem Vorschlag des Europäischen Parlaments (EU-Parlament 2017, S. 21 f.) folgend, die Einführung einer „e-Person“ als neuem Haftungssubjekt, was aber jedenfalls im deutschen Recht angesichts der vielfältigen Möglichkeiten von Gefährdungshaftung nicht erforderlich erscheint. Anders mag es sich in Rechtsordnungen verhalten, die die Gefährdungshaftung nicht kennen. Bevor über eine erweiterte Regulierung des automatisierten Fahrens nachgedacht werden kann, ist es allerdings erforderlich, den Rechtsrahmen lege lata zu klären. Bemerkenswert ist, dass durch die neuen Technologien fast alle großen Rechtsgebiete betroffen sind, vom Verfassungsrecht über das zivile Haftungs- und das Strafrecht bis hin zum Recht des Datenschutzes und dem Versicherungsrecht (Hilgendorf 2015c, S. 59 ff.). Eine erhebliche Bedeutung kommt Grundlagenfragen zu, so dass auch die ethische Reflexion breiten Raum einnimmt (Hilgendorf 2014, 2015a; Bendel 2013). Dies gilt insbesondere für das Dilemma-Problem beim automatisierten Fahren, welches eine zeitlang in den Massenmedien erhebliche Auf-

358

E. Hilgendorf

merksamkeit auf sich gezogen hat. Auch wenn derartige Fragen derzeit weniger hohe Wogen schlagen, ist die Akzeptanz der neuen Technik doch nach wie vor fraglich. Viele Detailprobleme des automatisierten Fahrens sind in den Massenmedien erstaunlich präsent. Das gilt etwa für die Befürchtung, die Fahrzeuge neuen Typs würden zu einer Haftungsverlagerung vom Hersteller auf den Verbraucher führen, eine Vermutung, die so allerdings nicht zutrifft (Hilgendorf 2017b, S. 227). Beteiligt an der Debatte um die rechtliche Einhegung des automatisierten Fahrens waren von Anfang an nicht bloß Wissenschaftlerinnen und Wissenschaftler, sondern auch Vertreter der Ministerialbürokratie und der einschlägig tätigen Unternehmen. Seit 2012 besteht im Bundesministerium für Verkehr und Infrastruktur ein „Runder Tisch“, der sich auf hohem Niveau mit Fragen des automatisierten Fahrens beschäftigt. Ein weiterer „Runder Tisch“ existiert beim Verband der deutschen Automobilindustrie (VDA). Der Goslarer Verkehrsgerichtstag nahm sich im Jahr 2015 erstmals des Themas an. 2016 setzte das Bundesverkehrsministerium eine Ethikkommission ein, die vor allem das Dilemma-Problem lösen sollte. Der von der Kommission erarbeitete Vorschlag hat weit über Deutschland hinaus Aufsehen erregt. Neben diesen „offiziellen“ Institutionen existieren zahlreiche „think tanks“ bei großen Unternehmen, in denen versucht wird, in enger Kooperation mit der Wissenschaft neue Fragestellungen zu identifizieren und Problemlösungen zu erarbeiten. Auch die großen Verbraucherschutzverbände haben sich frühzeitig mit dem automatisierten Fahren beschäftigt. Hinzu treten länderübergreifende EU-Initiativen, etwa das Großprojekt AdaptIVe, welches von 2013 bis 2017 durchgeführt wurde. Zu nennen ist schließlich auch die im Sommer 2018 eingesetzte „EU High Level Expert Group on Artificial Intelligence“, die als Anwendungsfeld der künstlichen Intelligenz auch und gerade das automatisierte Fahren in den Blick genommen hat. Bei diesen Debatten und Analysen spielen die Theorie und die Grundlagenanalyse bislang eine beherrschende Rolle. Dementsprechend gering ist der Einfluss juristischer Praktiker i.e.S. Es handelt sich um eine Problemstellung im Schnittbereich von Ethik, Technik und Rechtspolitik. Bemerkenswert ist der erhebliche Einfluss der Ministerialbürokratie, was dazu beigetragen haben mag, den praktischen Bezug der Debatten zu sichern und einer soliden Rechtspolitik den Weg zu bahnen. Zu regeln war zunächst, ob und unter welchen Voraussetzungen automatisiertes Fahren überhaupt zulässig sein soll. Zu klären war außerdem, welche Sorgfaltspflichten Fahrern verbleiben, wenn sie beim Fahren autonome Systeme (etwa Spurhalte- oder Ausweichsysteme oder Staufahrassistenten) einsetzen: einerseits sind Fahrer verpflichtet, das eigene Fahrzeug und den sie umgebenden Straßenverkehr aufmerksam zu beobachten und das Fahrzeug zu kontrollieren, um Risiken zu minimieren. Andererseits haben die neuen autonomen Systeme im Fahrzeug gerade den Zweck, den Fahrer von Fahraufgaben zu entlasten. Beide Gesichtspunkte stehen zueinander offenbar in einem Spannungsverhältnis, das man als „Kontrolldilemma“ bezeichnen kann (Hilgendorf 2015c, S. 67 f.). Zu klären war schließlich auch, unter welchen Voraussetzungen der Nutzer eines autonomen Systems die Kontrolle des Fahrzeugs wieder übernehmen muss.

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft

2

359

Die Neuregelung des automatisierten Fahrens in Deutschland

Das Gesetz vom 16. Juni 2017 (BGBl. I 1648) zur Regulierung des automatisierten Fahrens (Hilgendorf 2017b) ist das erste Gesetz seiner Art weltweit. Es regelt in Form einer Ergänzung des Straßenverkehrsgesetzes (StVG) den Verkehr mit automatisierten Systemen in Deutschland. Ausgangspunkt ist der neue § 1a Abs. 1 StVG, wonach der Betrieb eines Kraftfahrzeugs mittels hoch- oder vollautomatisierter Fahrfunktion zulässig ist, „wenn die Funktion bestimmungsgemäß verwendet wird“. Die Festlegung der Systembestimmung wird vom Hersteller getroffen; er legt also z. B. fest, ob ein System auf Landstraßen oder auf der Autobahn zum Einsatz kommen soll, ob es der Unterstützung im Stau dient oder dazu, Kollisionen auszuweichen. Verwendungsweisen außerhalb der vom Hersteller festgelegten Bestimmung sind nicht zulässig. In § 1a Abs. 2 StVG definiert der Gesetzgeber Fahrzeuge mit hoch- oder vollautomatisierter Funktion und legt damit den Anwendungsbereich der Neuregelung fest. Kraftfahrzeuge mit hoch- oder vollautomatisierter Fahrfunktion sind danach solche, die eine technische Ausrüstung besitzen, die „das jeweilige Kraftfahrzeug nach Aktivierung zur Bewältigung der Fahraufgabe steuern“ kann (Nr. 1); das Fahrzeug muss weiter in der Lage sein, „während der hoch- oder vollautomatisierten Fahrzeugsteuerung den an die Fahrzeugführung gerichteten Verkehrsvorschriften zu entsprechen“ (Nr. 2). Das System muss außerdem durch den Fahrzeugführer jederzeit „manuell übersteuerbar oder deaktivierbar“ sein (Nr. 3). Weiterhin muss es in der Lage sein, „die Erforderlichkeit der eigenhändigen Fahrzeugsteuerung durch den Fahrzeugführer (zu) erkennen“ (Nr. 4). Es muss „dem Fahrzeugführer das Erfordernis der eigenhändigen Fahrzeugsteuerung mit ausreichender Zeitreserve vor der Abgabe der Fahrzeugsteuerung an den Fahrzeugführer optisch, akustisch, taktil oder sonst wahrnehmbar anzeigen“ können (Nr. 5). Schließlich muss es in der Lage sein, auf eine der Systembeschreibung zuwiderlaufende Verwendung hinzuweisen (Nr. 6). Der Hersteller hat verbindlich zu erklären, dass das Fahrzeug den skizzierten Voraussetzungen entspricht. Erfüllt ein zugelassenes Fahrzeug die Voraussetzungen nicht, so sind die §§ 1a und 1b StVG darauf nicht anwendbar; es gilt stattdessen das allgemeine Straßenverkehrsrecht. Problematisch ist unter anderem die Regelung des § 1 a Abs. 2 Nr. 2, wonach ein automatisiertes Fahrzeug die Verkehrsvorschriften eigenständig einhalten können soll. Interpretiert man dies so, dass das Fahrzeug sämtliche Verkehrsvorschriften eigenständig einhalten können muss, so dürfte es auf absehbare Zeit keine automatisierten Fahrzeuge auf Deutschlands Straßen geben, denn selbst die modernsten Systeme sind bislang nicht in der Lage, zum Beispiel akustische Signale zuverlässig zu erkennen. Auch von Hand durchgeführte Verkehrszeichen eines Polizisten kann das Auto keineswegs stets zuverlässig deuten. Man wird dieses Problem so zu lösen haben, dass das Fahrzeug nur grundsätzlich (also im Regelfall) in der Lage sein muss, Verkehrsvorschriften eigenständig einzuhalten, und in Zweifelsfällen eine Funktion vorsehen muss, um die Fahrzeugkontrolle an den Fahrer abzugeben (Hilgendorf 2018c, S. 86; weiterführend Wolfers 2018).

360

E. Hilgendorf

Nach § 1a Abs. 4 StVG bleibt auch derjenige Führer eines Fahrzeugs, der eine hoch- oder vollautomatisierte Fahrfunktion aktiviert und zur Fahrzeugsteuerung verwendet. Es kommt also nicht darauf an, ob er das Fahrzeug eigenhändig steuert. Fahrzeugführer im Sinne des Gesetzes ist damit auch derjenige, der sich vom Fahrzeug fahren lässt und darauf verzichtet, eigenhändig in den Fahrvorgang einzugreifen. Damit wird sichergestellt, dass die tradierten Regeln des Straßenverkehrsund Haftungsrechts auf das automatisierte Fahren anwendbar bleiben. Dies bedeutet vor allem, dass im Falle eines Unfalls auch bei automatisierten Fahrzeugen die bewährte Halterhaftung (§ 7 StVG) eingreift, so dass in Kombination mit der Haftpflichtversicherung des Halters (§ 1PflVG) das Unfallopfer zügig entschädigt werden kann. In § 1b StVG ist geregelt, welche Rechte und Pflichten der Fahrzeugführer bei der Nutzung hoch- oder vollautomatisierter Fahrfunktionen hat. Nach § 1b Abs. 1 StVG darf sich der Fahrzeugführer während des Fahrens mittels hoch- oder vollautomatisierter Fahrfunktion vom Verkehrsgeschehen und der Fahrzeugsteuerung abwenden. Er muss dabei aber derart „wahrnehmungsbereit“ bleiben, dass er seinen Pflichten nach § 1b Abs. 2 StVG jederzeit nachkommen kann. Dort heißt es, dass der Fahrzeugführer verpflichtet ist, die Fahrzeugsteuerung unverzüglich wieder zu übernehmen, wenn eine von folgenden Voraussetzungen erfüllt ist: entweder das System fordert ihn zur Übernahme auf oder aber der Fahrzeugführer erkennt oder muss aufgrund offensichtlicher Umstände erkennen, „dass die Voraussetzungen für eine bestimmungsgemäße Verwendung der hoch- oder vollautomatisierten Fahrfunktion nicht mehr vorliegen“. Ein „Abwenden“ vom Verkehrsgeschehen und der Fahrzeugsteuerung läge etwa vor, wenn der Fahrer seine E-Mails beantwortet, im Internet surft oder ein Buch liest. Das Gesetz legt fest, dass der Fahrer dabei im Grundsatz wahrnehmungsbereit bleiben muss. Dies bedeutet, dass er visuelle oder akustische Signale im Grundsatz weiterhin wahrnehmen kann und auch in der Lage ist, das Fahrzeug „unverzüglich“, d. h. ohne verwerfbares Zögern, wieder zu übernehmen. Verkehrspsychologen haben zu Recht darauf hingewiesen, dass eine solche Übernahme einige Sekunden in Anspruch nehmen kann. Dies lässt sich mit dem Gesetz allerdings in Einklang bringen: das Gesetz verlangt nichts Unmögliches. Nicht unproblematisch ist dagegen die Regelung, dass der Fahrer bei Vorliegen offensichtlicher Umstände die Fahrzeugführung auch ohne Signal seitens des automatisierten Systems übernehmen muss. Hier stellt sich nämlich die Frage, was das Gesetz mit „offensichtlichen Umständen“ meint. Man wird darunter, eine verbreitete juristische Sprachformel aufgreifend, das Eintreten einer Situation zu verstehen haben, in der nach der Einschätzung eines verständigen und erfahrenen Fahrers die Kontrollübernahme angezeigt ist. Dies kann etwa bei plötzlichem Starkregen oder Schneefall anzunehmen sein. Dass der Gesetzgeber darauf verzichtet hat, eine umfangreiche Liste von Faktoren anzugeben, bei deren Vorliegen eine Kontrollübernahme zu erfolgen hat, ist nicht zu beanstanden, denn dies hätte das Gesetz extrem aufgebläht. Außerdem lassen sich nie sämtliche Faktoren erfassen, so dass eine generalisierte Beschreibung, wie sie auch sonst dem deutschen Gesetzgebungsstil entspricht, eine durchaus angemessene Regelungsform darstellt.

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft

361

In § 63a StVG hat der Gesetzgeber schließlich auch eine Regelung zur Datenverarbeitung in Kraftfahrzeugen mit hoch- oder vollautomatisierter Fahrfunktion getroffen. Die Fahrzeuge haben ihre Positions- und Zeitangaben zu speichern, „wenn ein Wechsel der Fahrzeugsteuerung zwischen Fahrzeugführer und dem hochoder vollautomatisierten System erfolgt“. Eine solche Speicherung soll auch dann stattfinden, „wenn der Fahrzeugführer durch das System aufgefordert wird, die Fahrzeugsteuerung zu übernehmen oder eine technische Störung des Systems auftritt“. Auf diese Weise sollen Beweisprobleme ausgeräumt werden (weiterführend Lutz 2017). Nach § 63a Abs. 2 StVG dürfen die gespeicherten Daten an die „nach Landesrecht für die Ahndung von Verkehrsverstößen zuständigen Behörden“ auf deren Verlangen hin übermittelt werden. Die Behörden dürfen diese Daten auch speichern und nutzen. Die allgemeinen Regeln zur Verarbeitung personenbezogener Daten sollen dabei unangetastet bleiben, s. § 63a Abs. 3 S. 4 StVG. Es ist allerdings offensichtlich, dass im automatisierten Fahrzeug noch eine Vielzahl anderer personenbezogener Daten anfällt. Darüber wird im neuen Gesetz keine Regelung getroffen. Derzeit (Januar 2019) wird im Bundesverkehrsministerium eine Verordnung vorbereitet, die die wichtigsten der derzeit offenen Fragen beantworten soll. Problematisch ist wohl insbesondere, dass mit dem Inkrafttreten der neuen EU-Datenschutz-Grundverordnung im Mai 2018 eine Vielzahl von datenschutzrechtlichen Fragen neu beantwortet werden muss, so dass der Gesetzgeber gut daran tut, nicht vorschnell eine Regelung zu erlassen, die dann möglicherweise mit den europäischen Vorgaben nicht in Einklang steht. Der Gesetzgeber hat auch in Bezug auf nichtpersonenbezogene Daten keine Regelung erlassen. Gerade juristischen Laien ist oft nicht bewusst, dass das Recht des Datenschutzes, unter Einschluss der neuen EU-Datenschutz-Grundverordnung, nur personenbezogene Daten erfasst. Für Daten ohne Personenbezug, also etwa für rein technische Daten, die die Abnutzung des Motors relativ zur Zahl der gefahrenen Kilometer angeben, fehlt eine Regelung. In der Rechtswissenschaft ist derzeit umstritten, ob eine originäre Datenzuordnung Sinn ergeben würde oder ob nichtpersonenbezogene Daten weiterhin zuordnungsfrei bleiben sollen.

3

Leitfälle aus der Praxis

3.1

Der Aschaffenburger Fall

Mittlerweile gibt es erste Fälle, die sich mit Rechtsfragen um das automatisierte Fahren beschäftigen. Einer der bekanntesten davon ist der Aschaffenburger Fall vom Frühjahr 2012 (Hilgendorf 2018a). Damals fuhr ein Fahrzeug mit einem der ersten Spurhalteassistenten in den Ort Alzenau in der Nähe von Aschaffenburg ein. Am Ortseingang erlitt der Fahrer, ein etwa 60-jähriger Mann, einen Schlaganfall. Er verlor das Bewusstsein, behielt aber die Hände am Steuer, welches er nach rechts verriss, so dass der Wagen unter normalen Umständen am Ortseingang auf einer Wiese zum Stehen gekommen wäre. Der Spurhalteassistent funktionierte jedoch

362

E. Hilgendorf

tadellos und lenkte den Wagen auf die Straße zurück. Das Fahrzeug fuhr mit großer Geschwindigkeit in den Ort hinein und tötete dort eine junge Frau und ihr Kind, der ebenfalls anwesende Vater konnte sich durch einen Sprung zur Seite gerade noch retten und wurde nur am Bein verletzt. Zivilrechtlich wirft der Fall keine besonderen Probleme auf. Die Halterhaftung, § 7 StVG, erfasst sowohl die Beerdigungskosten für Frau und Kind als auch die Behandlungskosten für den Vater. Schwieriger ist die strafrechtliche Verantwortung zu beurteilen (allgemein zur strafrechtlichen Produzentenhaftung Hilgendorf 2015b). Im Strafrecht gibt es keine Gefährdungshaftung, die strafrechtliche Verantwortung setzt vielmehr ein Verschulden des Täters voraus. Aus diesem Grund kam eine Strafbarkeit des Fahrers nicht in Frage, er war selbst eher ein Opfer und kein Täter. Denkbar erscheint allerdings eine strafrechtliche Verantwortlichkeit des Herstellers (Schuster 2019). Als vorwerfbare Handlung kommt das Programmieren des Spurhalteassistenten und sein Einbau in das Fahrzeug in Betracht. Ein Schaden liegt in Form der Tötung zweier Menschen vor, so dass es sich um eine fahrlässige Tötung handeln könnte. Kausalität ist gegeben: wäre der Spurhalteassistent nicht eingebaut gewesen, so wäre das Fahrzeug am Ortseingang zum Stehen gekommen und hätte die beiden Personen nicht getötet. Fraglich ist aber, ob man dem Hersteller Fahrlässigkeit zur Last legen kann. Dies würde bedeuten, dass der Hersteller die im Verkehr erforderliche Sorgfalt außer Acht gelassen haben müsste. Die Feststellung der im Verkehr erforderlichen Sorgfalt wirft häufig erhebliche Probleme auf (Valerius 2017). In der Strafrechtswissenschaft ist es üblich, folgende Prüfungsstufen zu unterscheiden: Zunächst muss festgestellt werden, ob der Schaden für den infrage kommenden Verantwortlichen voraussehbar war. Dies ist hier der Fall, denn derartige Unfälle sind keineswegs von vornherein ausgeschlossen. Sodann ist zu prüfen, ob der Verantwortliche den Schadenseintritt durch ein anderes Verhalten hätte vermeiden können. Auch dies lässt sich positiv beantworten, der Hersteller hätte schlichtweg auf den Einbau der Spurhalteassistenten verzichten können. Die Sorgfaltsanforderungen sind umso höher, je erheblicher der drohende Schaden ist. Wenn, wie hier, Leibes- und sogar Lebensgefahren drohen, ist ein strenger Sorgfaltsmaßstab angezeigt. Dies alles spricht für die Annahme einer Sorgfaltspflichtverletzung im vorliegenden Fall. Dagegen könnte sprechen, dass die Sorgfaltsanforderungen umso geringer sind, je unwahrscheinlicher ein Schadenseintritt erscheint. Im vorliegenden Fall war ein Ablauf, so wie er sich hier begeben hat, sehr unwahrscheinlich. Allerdings lässt sich argumentieren, dass bei einer Vielzahl von in Fahrzeugen eingebauten Spurhalteassistenten die Chance, dass sich ein solcher oder ein sehr ähnlicher Vorfall ereignen würde, erheblich erhöht. Im Falle einer Massenproduktion sind derartige Unfälle sogar statistisch fast sicher. Als sorgfaltspflichtbegrenzende Gesichtspunkte werden in der Literatur vor allem der Vertrauensgrundsatz und der Gesichtspunkt des erlaubten Risikos benannt (Kindhäuser 2017, § 15 Rn. 58 ff.). Der Vertrauensgrundsatz besagt, dass man sich als Verkehrsteilnehmer darauf verlassen darf, dass sich die anderen Verkehrsteilnehmer sorgfaltsgerecht verhalten, es sei denn, dass besondere Umstände auf das

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft

363

Gegenteil hinweisen. So darf man etwa darauf vertrauen, dass vorausfahrende Fahrzeuge nicht plötzlich abbremsen; dagegen ist Vorsicht angebracht, wenn man am Fahrbahnrand spielende Kinder beobachtet. Im vorliegenden Fall spielt der Vertrauensgrundsatz keine relevante Rolle. Eine größere Bedeutung könnte der Gesichtspunkt des erlaubten Risikos besitzen. Danach ist das Hervorrufen von Schäden, wie sie in der Massenproduktion von technischen Produkten praktisch unvermeidlich sind, nicht als fahrlässig anzusehen, wenn der Hersteller alles in seiner Macht Stehende getan hat, um derartige Schäden zu vermeiden. Im vorliegenden Fall lag es so, dass der Hersteller des Spurhalteassistenten sein System intensiv geprüft und auch Vergleichsstudien angestellt hatte. Es war nicht ersichtlich, wie das System zum gegebenen Zeitpunkt weiter hätte abgesichert werden können. Deshalb nahm die Staatsanwaltschaft Aschaffenburg im Ergebnis zu Recht an, dass ein Sorgfaltspflichtverstoß seitens des Herstellers nicht vorlag. Aus diesem Grund wurde das Verfahren eingestellt. Die Argumentation mit dem erlaubten Risiko dürfte einen wichtigen Schlüssel zum Verständnis der Haftungsrisiken im Zusammenhang mit modernen technischen Produkten, etwa dem automatisierten Fahren und der künstlichen Intelligenz allgemein, darstellen. Hersteller sind verpflichtet, derartige Systeme so sicher wie möglich zu gestalten. Dabei spielt aber auch die Zumutbarkeit eine Rolle. Sicherungsmaßnahmen, die zwar möglich, aber unzumutbar wären, also zum Beispiel die Finanzkraft eines Unternehmens bei weitem übersteigen würden, sind nicht gefordert. Hier wird deutlich, dass es sich bei der Figur des „erlaubten Risikos“ um ein „weiches“ Kriterium handelt, welches in jedem Einzelfall näherer Präzisierung bedarf. Letztlich ist es Aufgabe der Rechtsgemeinschaft, festzulegen, welches Maß an Risiken akzeptabel erscheint und welches nicht. Klar sollte sein, dass mit der modernen Technik stets Risiken verbunden sein werden; eine risikofreie Technik gibt es nicht. Der Diskussion um den Aschaffenburger Fall kommt deshalb eine grundlegende Bedeutung auch für die Debatte um die Akzeptanz der modernen Technologien im Allgemeinen zu.

3.2

Der Emmentaler Fall

Ein weiterer Fall mit Leitcharakter ereignete sich im März 2016 in der Schweiz (Regionalgericht Emmental-Oberaargau, Urteil vom 30. Mai 2018). Ein jüngerer Mann (T) fuhr in einem Tesla mit eingeschaltetem Autopiloten („Traffic-Aware Cruise Control“ und „Autosteer“) auf der Schweizer Autobahn A 2. Während der Fahrt telefonierte T auf seinem Mobiltelefon und versandte per WhatsApp Nachrichten. In der Nähe des Autobahnanschlusses Kirchberg war die Straße wegen Baumaßnahmen auf der linken Überholspur teilweise gesperrt, die Überholspur wurde nach rechts geführt und eine zweite Spur auf dem Pannenstreifen angelegt. Das Fahrzeug, das sich z. Z. des Unfalls auf der Überholspur befand, schwenkte jedoch nicht nach rechts, sondern fuhr mit nahezu unverminderter Geschwindigkeit in die Baustelle hinein und kollidierte ungebremst mit einem dort stehenden Signalisationsanhänger und dem Zugfahrzeug. Dabei entstand ein erheblicher Sachschaden.

364

E. Hilgendorf

Auf den ersten Blick könnte man meinen, Fahrer T könnte sich durch einen Hinweis auf das Versagen des Autopiloten aus der Verantwortung ziehen, so dass mittelbar nur der Hersteller (Tesla) zur Verantwortung zu ziehen wäre. Das Schweizer Gericht widersprach dem aber energisch und betonte die Verantwortung des Fahrzeugführers: Ein Führer muss sein Fahrzeug ständig so beherrschen, dass er seinen Vorsichtspflichten nachkommen kann. Dies kann er nur, wenn er aufmerksam ist und sich auf Strassenverlauf und Verkehr konzentriert [. . .]. Im vorliegenden Fall ist es offensichtlich, dass der Beschuldigte im entscheidenden Moment unaufmerksam war – dies auf jeden Fall zum Zeitpunkt des Unfalls, aber auch schon mindestens in den 20 Sekunden davor. Es ist nach klarer Auffassung des Gerichts schlechterdings undenkbar, dass er ungebremst (!) mit einem klar und deutlich von weitem auf der Fahrbahn sichtbaren, grossen und auffälligen Hindernis [. . .] kollidiert wäre, wenn er [. . .] auch nur einigermassen auf den Straßenverlauf geachtet hätte [. . .]. (Urteil des Regionalgerichts Emmental-Oberaargau, S. 15)

Die Nutzung eines automatisierten Systems zur Erkennung von Hindernissen und zum automatischen Ausweichen kann danach den Fahrer eines Fahrzeugs nicht von seinen Aufmerksamkeitspflichten entlasten. Dies entspricht im Wesentlichen der Rechtslage in Deutschland vor der Reform des Straßenverkehrsrechts im Sommer 2017. Damit tritt hier das Kontrolldilemma (Hilgendorf 2015c, S. 67) deutlich zutage: auf der einen Seite sollen die neuen Systeme den Fahrzeugführer entlasten und ihm erlauben, seine Aufmerksamkeit vom Verkehr abzuwenden. Auf der anderen Seite wird von Rechts wegen verlangt, dass der Fahrer dem Verkehr uneingeschränkte Aufmerksamkeit widmet. Der Sinn des Einsatzes autonomer Systeme zur Fahrerentlastung wird damit fragwürdig. Fahrer T hat im vorliegenden Fall den Tesla-Autopiloten nicht „bestimmungsgemäß“ verwendet. Von erheblicher praktischer Bedeutung ist die Frage, ob das Urteil in dieser Form auch gefällt worden wäre, wenn der Fahrzeugführer das System bestimmungsgemäß verwendet hätte und es dennoch zu einem Unfall gekommen wäre, weil das System nicht geeignet war, mit derartigen Problemstellungen umzugehen. Die Frage dürfte zu bejahen sein: Der Fahrer bleibt, so wird man das Urteil verstehen dürfen, stets in der Verantwortung, ob er einen Autopiloten ordnungsgemäß nutzt oder nicht. Die deutsche Regelung des § 1a StVG, die bei bestimmungsgemäßer Nutzung ein Abwenden des Fahrers gestattet, gilt in der Schweiz nicht. Das Gericht berücksichtigte immerhin eine Stellungnahme der Firma Tesla Motors Switzerland GmbH, in welcher Daten über den Unfall in allerdings stark aufbereiteter Form an die Staatsanwaltschaft übergeben worden waren. In diesem Bericht war u. a. von einem knapp vorausfahrenden Fahrzeug die Rede, welches möglicherweise dem Autopiloten die Sicht auf die Absperrung genommen haben könnte. Das Gericht schenkte dieser Aussage aber bemerkenswerterweise keinen Glauben, sondern setzte sich damit so kritisch auseinander, dass die Vermutung nahegeliegt, es werte die Firmenaussagen als reine Schutzbehauptungen. Da es in dem Verfahren aber nicht um die Haftung des Herstellers, sondern um eine strafrechtliche Verantwortlichkeit des Fahrzeugführers ging, unterblieben nähere Darlegungen zur möglichen Motivation der Firma.

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft

365

Der Fahrzeugführer T kann sich, so das Gericht, auch subjektiv nicht durch den Hinweis auf den eingeschalteten Autopiloten entlasten. Es handele sich nicht einmal mehr um einfache Fahrlässigkeit: „Subjektiv ist zwar von fahrlässigem Handeln auszugehen, es handelt sich angesichts der konkreten Umstände aber eindeutig um grobe Fahrlässigkeit. Der Beschuldigte hätte sich der allgemeinen Gefährlichkeit seiner Fahrweise bewusst sein müssen. Unverständlicherweise hat er offenbar die Gefährdung anderer Verkehrsteilnehmer pflichtwidrig gar nicht in Betracht gezogen, was als rücksichtslos bezeichnet werden muss. Das vom Gericht vermutete falsche Vertrauen des Beschuldigten in seinen „Autopiloten“ vermag ihn in dieser Hinsicht nicht zu entlasten, ist aber im Rahmen der Strafzumessung zu berücksichtigen“ (a.a. O., S. 25). Im Ergebnis wurde T zu einer nicht unbeträchtlichen Geldstrafe verurteilt. Der Fall zeigt die Kollision zweier Welten – der technischen und der juristischen. Das Gericht setzt die überkommenen juristischen Normen und Wertungen, die allerdings den Vorstellungen der ganz überwiegenden Mehrheit der Schweizer Bevölkerung entsprechen dürften, rigoros durch. Der Nutzer des Autopiloten bleibt Fahrzeugführer und kann sich nicht mit dem Hinweis entlasten, nicht er, sondern das autonome System sei gefahren. Die Entscheidung verdient Beifall, zumal der einschlägige Autopilot offenbar technisch nicht so weit entwickelt war, dass man ihm ohne Weiteres vertrauen durfte. Andererseits droht eine derartige Rechtsprechung die technische Entwicklung zu blockieren, denn wenn man aufmerksamkeitsentlastenden autonomen Systemen im Straßenverkehr ohnehin nicht vertrauen darf, ist unerfindlich, weshalb man sie überhaupt einbauen sollte.

4

Weiterführende juristische Fragestellungen

4.1

Ausweitung des Vertrauensgrundsatzes auf Maschinen?

Oben war bereits der Vertrauensgrundsatz zur Sprache gekommen, der im modernen Straßenverkehr grundlegende Bedeutung hat. Verkehrsteilnehmer dürfen sich grundsätzlich darauf verlassen, dass sich andere Verkehrsteilnehmer regelkonform verhalten (Kindhäuser 2017, § 15 Rn. 61). Springt etwa ein Fußgänger in unvorhersehbarer Weise plötzlich vom Gehsteig auf die Fahrbahn und wird dort von einem Fahrzeug erfasst, so kann man dem Fahrer des Fahrzeugs nur dann einen Sorgfaltsverstoß vorwerfen, wenn es Indizien dafür gegeben hat, dass sich der Fußgänger regelwidrig verhalten könnte, also etwa ein starkes Schwanken, welches auf einen Alkoholmissbrauch hätte hindeuten können. Liegen derartige Umstände nicht vor, so kann ein Sorgfaltsverstoß des Fahrers nicht angenommen werden. Ein neues Problem stellt die Frage dar, welche Bedeutung dem Vertrauensgrundsatz im Zusammenhang mit dem automatisierten Fahren zukommt. Man wird die einschlägigen Probleme wie folgt ordnen können: a) Geltung des Vertrauensgrundsatzes im Verhältnis Mensch-Maschine, b) Reichweite des Vertrauensgrundsatzes im Verhältnis Maschine-Mensch und c) Bedeutung des Vertrauensgrundsatzes im Verhältnis von Maschinen untereinander.

366

E. Hilgendorf

a. Verhältnis Mensch-Maschine Menschen dürfen sich grundsätzlich darauf verlassen, dass technische Systeme, die im Straßenverkehr eingesetzt werden, ordnungsgemäß funktionieren. Dies bedeutet, dass der Vertrauensgrundsatz auch in Bezug auf derartige technische Systeme greift. Die Verwendung des Wortes „grundsätzlich“ deutet aber bereits darauf hin, dass diese Vermutung nur dann gilt, wenn nicht offensichtliche Gesichtspunkte gegen ein ordnungsgemäßes Funktionieren der Maschine sprechen. Gibt es also Anhaltspunkte dafür, dass ein technisches System nicht ordnungsgemäß funktioniert, so greift der Vertrauensgrundsatz nicht, vielmehr ist der menschliche Verkehrsteilnehmer gehalten, mögliche Fehlfunktionen des Gerätes in Rechnung zu stellen und entsprechend vorsichtig zu agieren. b. Verhältnis Maschine-Mensch Schwieriger ist die Frage zu beantworten, inwieweit Maschinen ein Fehlverhalten von Menschen berücksichtigen müssen. Da Maschinen nicht selbst zur Verantwortung gezogen werden können, lässt sich die Frage dahingehend umformulieren, inwieweit die Hersteller von technischen Systemen menschliches Fehlverhalten in Rechnung stellen müssen. Muss also etwa ein autonomes System im PKW so programmiert sein, dass es irrationales, selbstschädigendes Verhalten von Menschen als Möglichkeit mitberücksichtigt? Derartige Fragen werden bislang kaum diskutiert. Möglicherweise wird man sagen dürfen, dass ein vorsätzliches selbstschädigendes Verhalten von Menschen in der Regel nicht in Rechnung gestellt werden muss. Anders verhält es sich bei erwartbarem menschlichem Fehlverhalten, also bei Fehlreaktionen, die statistisch häufig vorkommen und die deshalb bei der Programmierung von Systemen auch berücksichtigt werden können. Ein Hersteller, der ein solches Fehlverhalten nicht zumindest als Möglichkeit in die Programmierung seiner Systeme einbezieht, handelt fahrlässig und kann im Schädigungsfall zur Verantwortung gezogen werden. c. Verhältnis Maschine-Maschine Bei der Programmierung von autonomen Systemen im Straßenverkehr darf der Hersteller davon ausgehen, dass die Systeme in anderen Fahrzeugen grundsätzlich korrekt und zuverlässig funktionieren. Allerdings muss die Möglichkeit technisch älterer oder sogar veralteter Systeme in Rechnung gestellt werden, außerdem natürlich auch die Tatsache, dass noch auf viele Jahre hinaus viele Fahrzeuge über keine äquivalenten technischen Systeme verfügen werden. Technische Systeme müssen also so gestaltet werden, dass sie mit technischen Systemen anderer Fahrzeuge kooperieren und unter Umständen auch kommunizieren können. Eine solche Kommunikation wird bald zum Regelfall werden: Es steht außer Zweifel, dass in Zukunft der Straßenverkehr nicht bloß autonom, sondern auch vernetzt sein wird.

4.2

Rechtspflicht zu mehr Paternalismus im Straßenverkehr?

Nach der Rechtsprechung des Bundesverfassungsgerichts wirken die Grundrechte nicht bloß als Abwehrrechte gegenüber Eingriffen des Staates, sondern bilden in

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft

367

ihrer Gesamtheit eine „objektive Wertordnung“, aus welcher sich auch Handlungspflichten des Staates zum Schutz seiner Bürgerinnen und Bürger herleiten lassen (di Fabio 2004). Explizit geregelt ist eine derartige staatliche Handlungspflicht für den Schutz der Menschenwürde, wenn es in Art. 1 GG heißt, dass der Staat die Würde der ihm Unterworfenen „zu achten und zu schützen“ habe. Schutzpflichten werden aber auch für die körperliche Unversehrtheit und das Leben der Bürgerinnen und Bürger angenommen. Dies bedeutet, dass der Staat eingreifen darf und u. U. sogar muss, wenn Leben oder körperliche Unversehrtheit bedroht werden. Angesichts der rund 3300 Verkehrstoten, die der Straßenverkehr jedes Jahr kostet, stellt sich damit die Frage, ob der Staat nicht eingreifen muss, um diese Zahl zu reduzieren (Hilgendorf 2018c, S. 92). Eine derartige Pflicht lässt sich umso eher vertreten, je leichter es wäre, die Zahl der Verkehrstoten und im Verkehr Verletzten merklich zu verringern. Der technische Fortschritt wirkt sich so direkt auf die Pflichtenstellung des Staates aus. Wenn Fahrzeuge computergesteuert und vernetzt unterwegs sind, ist es technisch gesehen ein Leichtes, z. B. Temporeduktionen im Innenstadtverkehr automatisch durchzusetzen, das Überfahren roter Ampeln zu verhindern oder das Ingangsetzen von Fahrzeugen durch alkoholisierte Personen zu unterbinden. Darf oder sollte der Staat, wenn ihm die technischen Hilfsmittel zur Verfügung stehen, derartige Maßnahmen ergreifen? Es liegt auf der Hand, dass eine technisch gestützte zwangsweise Durchsetzung des Straßenverkehrsrechts in die Handlungsfreiheit (Art. 2 Abs. 1 GG) der Autofahrer, das „Grundrecht auf Mobilität“ (Ronellenfitsch 1996), eingreifen würde. Es spricht jedoch viel dafür, dass derartige Eingriffe durch den Schutz der anderen Verkehrsteilnehmer gerechtfertigt werden könnten. Sollte es nicht rechtlich möglich sein, Wettrennen in Innenstädten nicht bloß durch aller Voraussicht nach präventiv nicht sehr wirkungsvolle Strafvorschriften wie § 315d StGB, sondern auch durch technische Maßnahmen zu unterbinden? Schon heute schreibt der Staat wirkungsvolle Bremsen, Gurte und Airbags vor und lässt die Einhaltung dieser Vorgaben regelmäßig überprüfen. Sollte es nicht möglich sein, die Einhaltung rechtlicher Vorgaben sozusagen in Echtzeit auch technisch zu überwachen und erforderlichenfalls durchzusetzen?

5

Ethische Fragestellungen

5.1

Moral, Ethik und Recht(spolitik)

Es liegt auf der Hand, dass das automatisierte Fahren auch zahlreiche ethische Fragestellungen aufwirft. Bedauerlicherweise ist der Sprachgebrauch uneinheitlich und teilweise nahezu konfus. Unter „Ethik“ soll im Folgenden die wissenschaftliche Beschäftigung mit Moral verstanden werden; Ethik verhält sich zu Moral also so wie die Rechtswissenschaft zum Recht. Dagegen findet sich im eher populären Sprachgebrauch z. B. die Bezeichnung eines Verhaltens oder eines technischen Systems als „unethisch“. Gemeint ist damit aber eigentlich „unmoralisch“, also als mit der

368

E. Hilgendorf

gegebenen Sozialmoral in Widerspruch stehend. Zu beachten ist auch, dass es nicht bloß eine, sondern eine Vielzahl von teilweise ganz unterschiedlichen Moralen gibt, auch wenn Angehörige einer Einzelmoral meist davon ausgehen, ihre eigenen Ansichten seien die einzigen „wirklich“ moralischen. Infolge der Standortabhängigkeit der Moralen kann die moralische Bewertung von Technik deutlich divergieren (Hilgendorf 2016). Wer sich in wissenschaftlicher Absicht mit Technikbewertung beschäftigt, sollte sich der Relativität der Moralen bewusst sein, selbst wenn er (oder sie) fest an die Geltung einer bestimmten Moral glaubt. Vor allem in den Massenmedien findet sich häufig die Vorstellung, eine „ethische“ Beschäftigung mit dem automatisierten Fahren oder der Künstliche-Intelligenz-Forschung allgemein bestünde darin, Probleme aufzuzeigen, die sich aus dieser Technologie ergeben können, also etwa die Möglichkeit eines Kontrollverlusts beim Fahrer oder die Sabotageanfälligkeit vernetzter Fahrzeuge. Es wäre jedoch zu einfach, das Feld der Ethik auf die Identifizierung von Gefahrsituationen zu verengen. Die Prognose unerwünschter Zustände fällt in den Zuständigkeitsbereich der Technikfolgenabschätzung und ist im Kern eine empirische Tätigkeit. Der Zuständigkeitsbereich der Ethik ist wesentlich umfangreicher und umfasst etwa auch die Einordnung eines Problems in ein Spektrum vergleichbarer Problemstellungen, die systematische Erfassung von Ähnlichkeiten und Unterschieden zu verwandten Problemen, die Analyse einer Problemstellung in Bezug auf einschlägige Wertungsgrundlagen und mögliche Wertungswidersprüche und schließlich auch die Unterstützung bei der Herausarbeitung von Lösungen, die im Einklang mit dem gegebenen System von Wertungen und Normen stehen. Die „angewandte Ethik“, die sich mit derartigen Fragen beschäftigt, ist in den letzten Jahrzehnten zu einer sehr anspruchsvollen Disziplin herangewachsen, die nicht nur für sich genommen großes Interesse verdient, sondern auch der Rechtspolitik in hervorragender Weise vorzuarbeiten vermag. Letztlich sind alle komplexeren rechtspolitischen Aufgabenstellungen auf eine ethische Analyse angewiesen; in jüngerer Zeit hat sich dafür der Ausdruck „Rechtsethik“ eingebürgert. Ethik erschöpft sich also jedenfalls nicht im Aufzeigen von Gefahrenlagen (Kress 2011).

5.2

Das „Dilemma-Problem“ beim automatisierten Fahren

Eines der bekanntesten ethischen Probleme im Zusammenhang mit dem automatisierten Fahren ist das viel diskutierte Dilemma-Problem (Hilgendorf 2018a; di Fabio et al. 2017, S. 16 ff.; Feldle 2018). Es weist viele Parallelen zum älteren Weichensteller-Fall auf, der in der praktischen Philosophie häufig unter der Bezeichnung „Trolley-Problem“ diskutiert wird (Hilgendorf 2017a, S. 147; zu weiteren Formen maschineller Dilemmata Bendel 2013). Man beachte, dass Juristen derartige Situationen aus einer externen Perspektive lösen – ein gegebener (realer oder fiktiver) Sachverhalt wird „von außen“ bewertet. Davon zu unterscheiden ist die Perspektive der Maschinenethik, in der es u. a. darum geht, die Maschinen so zu programmieren, dass sie sich normkonform verhalten, wobei die Normen sowohl moralischer wie rechtlicher Natur sein können.

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft

369

Angenommen, ein Fahrzeug mit einem automatisierten Kollisionsvermeidungssystem nähert sich mit hoher Geschwindigkeit einer Unfallsituation. Auf der Fahrbahn liegen zwei bewusstlose Menschen. Ein menschlicher Fahrer hätte wegen der Geschwindigkeit des Fahrzeugs nicht mehr die Möglichkeit, auszuweichen. Anders das Kollisionsvermeidungssystem: durch leistungsfähige Sensoren über die Unfallsituation informiert, hätte es die Möglichkeit, nach links auszuweichen und die beiden am Boden liegenden Bewusstlosen zu umfahren. Andererseits, so die Prämisse des Dilemma-Problems, wird auf diese Weise mit an Sicherheit grenzender Wahrscheinlichkeit ein an einem Straßenpfosten lehnendes drittes Unfallopfer überfahren und dabei getötet oder schwer verletzt. Soll das Fahrzeug so programmiert werden, dass es in derartigen Situationen ein Ausweichmanöver durchführt, oder soll es weiterfahren und die beiden am Boden liegenden Personen erfassen? Derartige Fragen werden häufig durch eine Entgegensetzung von deontologischen und utilitaristischen Positionen zu erfassen versucht. Überzeugend ist dies jedoch nicht. Auch ein Utilitarist ist auf der Grundlage seines Gedankensystems keineswegs gezwungen, die eine Person aufzuopfern, um zwei andere zu retten. Utilitaristen fordern, bei der Bewertung eines Einzelaktes soweit möglich sämtliche Folgen einer Entscheidung mit zu berücksichtigen und diejenige Entscheidung zu treffen, die dem Gemeinwohl den größten Vorteil bringt. Im Dilemma-Fall wäre also etwa auch zu bedenken, inwieweit eine Programmierung, die in derartigen Fällen unbeteiligte Fußgänger in Gefahr bringt, mit dem Gemeinwohl in Einklang zu bringen ist. Es spricht viel dafür, dass gerade aus einer utilitaristischen Position heraus eine Aufopferungspflicht des einzelnen Unbeteiligten nicht angenommen werden sollte (Hilgendorf 2018b, S. 685 ff.). Dies entspricht der im deutschsprachigen juristischen Schrifttum herrschenden Lösung, wonach in einer freiheitlichen Rechtsordnung der Einzelperson nicht die Pflicht auferlegt werden darf, ihr Leben für andere aufzuopfern. Dies gilt auch dann, wenn es sich nicht um einen einzelnen, sondern um viele „Andere“ handelt. Die gesellschaftlichen Solidarpflichten kommen hier an eine Grenze. Im Ergebnis bedeutet dies, dass Kollisionsvermeidungsassistenten nicht so programmiert werden dürfen, dass sie in Fällen wie dem geschilderten ein Ausweichmanöver durchführen und eine unbeteiligte Person töten, auch wenn sie dabei zwei oder noch mehr andere Personen retten würden. Schwieriger ist der Fall zu beurteilen, wenn sich die potenziellen Opfer von vornherein in einer gleichen Gefahrenlage befunden haben. Angenommen, ein Fahrzeug fährt in einer engen Fahrgasse vorschriftsgemäß, als plötzlich drei Kinder auf die Straße springen, und zwar so, dass sich das eine Kind vor dem linken Kotflügel befindet, zwei andere Kinder vor dem rechten Kotflügel (Hilgendorf 2018b, S. 695 f.). Ein menschlicher Fahrer könnte, so die Fallvorgabe, nicht abbremsen und auch die Fahrrichtung nicht ändern und würde deshalb alle drei Kinder erfassen und schwer verletzen oder töten. Auch das automatisierte Kollisionsvermeidungssystem vermag eine Kollision nicht vollständig zu verhindern. Das System könnte aber einen Lenkimpuls nach links setzen, so dass nur ein Kind erfasst werden würde, oder einen Lenkimpuls nach rechts, so dass zwei Kinder erfasst werden würden. Sollte eine dieser beiden Varianten gewählt werden? Oder ist es

370

E. Hilgendorf

besser, wenn das Fahrzeug ohne Lenkimpuls weiter geradeaus fährt und alle drei Personen erfasst? Die Beantwortung dieser Frage ist kompliziert, weil die intuitiv nahe liegende Entscheidung für das Setzen eines Lenkimpulses nach links bedeuten würde, dass man menschliches Leben nicht nur quantifiziert, sondern auch einzelne Lebenswerte gegeneinander abwägt, also „qualifiziert“, und zwar mit dem Ergebnis, dass es besser ist, dass nur eine unschuldige Person stirbt, als dass zwei oder gar drei Personen sterben. Eine Entscheidung für den Lenkimpuls nach links verletzt also sowohl das Quantifizierungs- als auch das Abwägungsverbot. Dennoch spricht nicht nur die moralische Intuition der meisten Menschen, sondern auch die Bewertung des einzelnen Lebens als „Höchstwert“ der Verfassung dafür, im gegebenen Fall die Zahl der Opfer nach Möglichkeit zu minimieren. Die hier gegebene Dilemma-Situation lässt sich also so auflösen, dass es darum geht, angesichts einer größeren Zahl unschuldig Gefährdeter zu versuchen, möglichst viele davon zu retten. Es erschiene widersprüchlich, einerseits menschliches Leben als „Höchstwert“ einzustufen, andererseits aber zu argumentieren, es mache keinen Unterschied, ob ein, zwei oder drei Leben vernichtet werden würden. Anders als im Schrifttum gelegentlich geäußert bleibt die Verletzung oder gar Tötung der Unschuldigen in Dilemma-Fall jedoch rechtswidrig, sie steht also nicht mit dem Recht im Einklang. Wenn man argumentiert, es sei besser, dass in unserem zweiten Dilemma-Fall nur eine statt zwei oder gar drei Personen getötet werden, nimmt man also de facto eine Abstufung im Unrecht vor. Die Opferung des einen ist Unrecht, es wäre aber ein noch größeres Unrecht, zwei oder gar alle drei Kinder sterben zu lassen (anderer Ansicht ist Misselhorn (2018, S. 193 f.) mit unklarer Argumentation). Folgt man der hier vertretenen Lösung des zweiten Dilemma-Problems, so bedeutet dies, dass von einer absoluten Geltung eines Quantifizierung- und Abwägungsverbots bei menschlichem Leben keine Rede sein kann. Im Gegenteil: Menschliches Leben muss häufig quantifiziert und es kann und muss gelegentlich auch gegeneinander abgewogen werden. In Dilemma-Situationen gilt grundsätzlich wie sonst auch das Prinzip des geringeren Übels; dabei sollte die Handlungsvariante gewählt werden, die möglichst wenig Übel in die Welt bringt. Bei Leben-gegenLeben-Entscheidungen gilt, dass die Tötung oder schwere Verletzung eines bislang Unbeteiligten gegenüber der Tötung oder Verletzung von einem oder mehreren anderen bereits unmittelbar gefährdeten Personen kein „geringeres Übel“ bedeutet. Deshalb war im ersten Dilemma-Fall keine Aufopferungspflicht des einzelnen Unbeteiligten anzunehmen. Anders verhält es sich, wenn sich alle am Dilemma Beteiligten von Anfang an in der gleichen Gefahrensituation befinden.

6

Fazit

Das automatisierte Fahren stellt Ethik und Rechtswissenschaft vor erhebliche Herausforderungen. Dabei gehen ethische Grundlagenanalyse, Rechtspolitik und juristische Analysen de lege lata ineinander über. Durch die Neufassung des Straßenver-

Automatisiertes Fahren als Herausforderung für Ethik und Rechtswissenschaft

371

kehrsrechts in Deutschland wurde das Kontrolldilemma in einer Weise beantwortet, die auch in Zukunft tragfähig erscheint. Details der Herstellerhaftung sind jedoch nach wie vor ungeklärt. Eine bislang unbeantwortete schwierige Herausforderung liegt in der Frage, ob bzw. inwieweit der Staat die neuen technologischen Möglichkeiten des automatisierten und vernetzten Fahrens nutzen sollte, um rechtskonformes Verhalten im Straßenverkehr technisch zu erzwingen.

Literatur Bendel, Oliver. 2013. Buridans Robot. Überlegungen zu maschinellen Dilemmata. https://www. heise.de/tp/features/Buridans-Robot-3362490.html. Zugegriffen am 27.02.2019. Bendel, Oliver. 2019. Wozu brauchen wir die Maschinenethik? In Handbuch Maschinenethik. Wiesbaden: Springer. Eisenberger, Iris, Konrad Lachmayer, und Georg Eisenberger, Hrsg. 2018. Autonomes Fahren und Recht. Wien: Manz’sche Verlags- und Universitätsbuchhandlung. EU-Parlament. 2017. Bericht vom 27. Januar 2017 mit Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich der Robotik. http://www.europarl.europa.eu. Zugegriffen am 13.01.2009. Fabio, Udo di. 2004. Grundrechte als Werteordnung. Juristenzeitung (JZ) 2004, 1 – 8. Fabio, Udo di. et al. 2017. Ethik-Kommission Automatisiertes und Vernetztes Fahren. Bericht Juni 2017. Berlin: Bundesministerium für Verkehr und digitale Infrastruktur. Feldle, Jochen. 2018. Notstandsalgorithmen. Dilemmata im automatisierten Straßenverkehr. Baden-Baden: Nomos. (Robotik und Recht 17). Gasser, Tom M., et al., Hrsg. 2012. Rechtsfolgen zunehmender Fahrzeugautomatisierung. Gemeinsamer Schlussbericht der Projektgruppe. Bremerhaven: Verlag für neue Wissenschaft. Gless, Sabine, und Ruth Janal. 2016. Hochautomatisiertes und autonomes Autofahren – Risiko und rechtliche Verantwortung. Juristische Rundschau 2016:561–575. Gless, Sabine, und Thomas Weigend. 2014. Intelligente Agenten und das Strafrecht. Zeitschrift für die gesamte Strafrechtswissenschaft 126:561–591. Hagebölling, Lothar, und Neven Jospovic, Hrsg. 2018. Herausforderung Mobilitätswende. Ansätze in Politik, Wirtschaft und Wissenschaft. Berlin: Berliner Wissenschafts-Verlag. Hilgendorf, Eric. 2012. Können Roboter schuldhaft handeln? Zur Übertragbarkeit unseres normativen Grundvokabulars auf Maschinen. In Jenseits von Mensch und Maschine, Hrsg. Susanne Beck, 119–132. Baden-Baden: Nomos. Hilgendorf, Eric. 2014. Recht, Maschinen, und die Idee des Posthumanen (Online-Publikation). http://www.heise.de/tp/artikel/41/41777/1.html. Zugegriffen am 27.02.2019. Hilgendorf, Eric. 2015a. Recht und autonome Maschinen – ein Problemaufriss. In Beiträge der 1. Würzburger Tagung zum Technikrecht, Hrsg. Eric Hilgendorf und Sven Hötitzsch, 11–40. Baden-Baden: Nomos. Hilgendorf, Eric. 2015b. Länderbericht Deutschland. In Strafrechtliche Verantwortlichkeit für Produktgefahren, Hrsg. Georg Freund, 47–72. Frankfurt a. M.: Peter Lang. Hilgendorf, Eric. 2015c. Automatisiertes Fahren und Recht. In 53. Deutscher Verkehrsgerichtstag. Veröffentlichung der auf dem 53. Deutschen Verkehrsgerichtstag vom 28. bis 30. Januar 2015 in Goslar gehaltenen Vorträge, Referate und erarbeiteten Empfehlungen, 55–72. Köln: Luchterhand. Hilgendorf, Eric. 2016. Zur Steuerung technischer Entwicklungen durch Recht und Moral – am Beispiel der Informationstechnik in der Medizin. In IT-Entwicklungen im Gesundheitswesen: Herausforderungen und Chancen, Hrsg. Indra Spiecker und Astrid Wallrabenstein, 75–88. Frankfurt a. M.: Peter Lang. Hilgendorf, Eric. 2017a. Autonomes Fahren im Dilemma. Überlegungen zur moralischen und rechtlichen Behandlung von selbsttätigen Kollisionsvermeidesystemen. In Autonome Systeme

372

E. Hilgendorf

und neue Mobilität. Ausgewählte Beiträge zur 3. und 4. Würzburger Tagung zum Technikrecht, 143–155. Baden-Baden: Nomos. (Robotik und Recht, 11). Hilgendorf, Eric. 2017b. Auf dem Weg zu einer Regulierung des automatisierten Fahrens: Anmerkungen zur jüngsten Reform des StVG. Kriminalpolitische Zeitschrift (KriPoZ) 2:225–229. Hilgendorf, Eric. 2018a. Automatisiertes Fahren und Strafrecht – der „Aschaffenburger Fall“. Deutsche Richterzeitung (DRiZ) 96:66–69. Hilgendorf, Eric. 2018b. Dilemma-Probleme beim automatisierten Fahren. Ein Beitrag zum Problem des Verrechnungsverbotes im Zeitalter der Digitalisierung. Zeitschrift für die gesamte Strafrechtswissenschaft (ZStW) 130:674–703. Hilgendorf, Eric. 2018c. Offene Fragen der neuen Mobilität: Problemfelder im Kontext von automatisiertem Fahren und Recht. Recht, Automobil, Wirtschaft (RAW) 6:85–93. Hilgendorf, Eric. 2018d. Autonome Systeme, künstliche Intelligenz, und Roboter. In Festschrift für Thomas Fischer, Hrsg. Stefan Barton et al., 99–111. München: C.H. Beck. Kindhäuser, Urs. 2017. Strafgesetzbuch. Lehr- und Praxiskommentar, 7. Aufl. Baden-Baden: Nomos. Kress, Hartmut. 2011. Ethik der Rechtsordnung. Staat, Grundrechte und Religionen im Licht der Religionsethik. Stuttgart: Kohlhammer. Lenzen, Manuela. 2018. Künstliche Intelligenz. Was sie kann und was uns erwartet. München: C.H. Beck. Lutz, Lennart. 2017. Automatisiertes Fahren, Dashcams und die Speicherung beweisrelevanter Fragen. Rechtsprobleme der Datenerhebung und des Datenzugriffs de lege lata. Baden-Baden: Nomos. (Robotik und Recht 13). Maurer, Markus, Christian J. Gerdes, Barbara Lenz, und Hermann Winner, Hrsg. 2015. Autonomes Fahren. Technische, rechtliche und gesellschaftliche Aspekte. Berlin: Springer. Minx, Eckhard, und Rainer Dietrich. (2017). Autonomes Fahren. Wo wir heute stehen und was noch zu tun ist, Hrsg. Daimler und Benz Stiftung. München: Piper. Misselhorn, Cathrin. 2018. Grundfragen der Maschinenethik. Stuttgart: Reclam. Ronellenfitsch, Michael. 1996. Die Verkehrsmobilität als Grund- und Menschenrecht. Betrachtungen zur „zirkulären“ Mobilität in der Europäischen Union. Jahrbuch des öffentlichen Rechts der Gegenwart 44:167–203. Schuster, Frank. 2019. Strafrechtliche Verantwortlichkeit der Hersteller beim automatisierten Fahren. DAR 6–11. Valerius, Brian. 2017. Sorgfaltspflichten beim autonomen Fahren. In Autonome Systeme und neue Mobilität. Ausgewählte Beiträge zur 3. und 4. Würzburger Tagung zum Technikrecht, Hrsg. Eric Hilgendorf. Baden-Baden: Nomos. (Robotik und Recht 11). Wolfers, Benedikt. 2018. Regulierung und Haftung bei automatisiertem Fahren: zwei Seiten einer Medaille? Recht-Automobil-Wirtschaft (RAW) 6:94–103.

Teil VII Beispiele und Prototypen moralischer Maschinen

Das GOODBOT-Projekt Oliver Bendel

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Chatbots und Sprachassistenten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Umsetzung des GOODBOT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

376 378 379 391 392

Zusammenfassung

Im GOODBOT-Projekt von 2013 ging es darum, einen Chatbot so zu verbessern, dass er in bestimmten Situationen (z. B. wenn der Benutzer persönliche bzw. psychische Probleme hat oder sogar Selbstmordabsichten äußert) möglichst angemessen reagiert. Der Chatbot sollte in gewissem Sinne gut sein, seine Absichten sollten gut sein, seine Verhaltensweisen. Dem Benutzer sollte es bei der Unterhaltung gut gehen – oder sogar besser als vorher. Der vorliegende Beitrag schildert die Hintergründe, Überlegungen und Ergebnisse des mehrmonatigen Projekts, das an der Hochschule für Wirtschaft FHNW durchgeführt wurde. Der GOODBOT wird als einfache moralische Maschine aufgefasst. Wichtig sind Funktionen wie Abfrage von Grunddaten des Benutzers und mehrstufige Eskalation – je mehr Hinweise der Benutzer darauf gibt, dass es ihm schlecht geht, desto mehr ist der GOODBOT bemüht, ihm zu helfen. Je mehr Wörter oder Satzteile im Gespräch vorkommen, die zum Beispiel auf seelische Not hindeuten, desto eher wird der GOODBOT eine Notfallnummer nennen und den Benutzer dazu ermuntern, menschliche Hilfe zu holen. Der GOODBOT wurde als Prototyp entwickelt. Ein fertiges Produkt könnte als Referenz und

O. Bendel (*) Institut für Wirtschaftsinformatik, Hochschule für Wirtschaft FHNW, Windisch, Schweiz E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_24

375

376

O. Bendel

Basis für Chatbots und Sprachassistenten aller Art dienen, seien es virtuelle Berater auf kommerziellen Websites, seien es explizite Angebote der Jugendhilfe. Schlüsselwörter

Maschinenethik · Chatbot · Moralische Maschine · Unmoralische Maschine · GOODBOT

1

Einleitung

Das GOODBOT-Projekt ist im Kontext der Maschinenethik angesiedelt (Anderson und Anderson 2011; Bendel 2012a, b, 2014). Es begann im Sommer 2013 und endete im Dezember desselben Jahres. Bereits 2012 wurden, in einem Vorprojekt mit einem Studenten, diverse Tests mit klassischen, konventionellen Chatbots auf Websites durchgeführt. Auf der Grundlage mehrjähriger Beschäftigung mit autonomen, intelligenten Systemen und ihren adäquaten Entscheidungen wurden sieben Metaregeln entwickelt und, zusammen mit den Ergebnissen der genannten Tests, in einer KMU-Zeitung publiziert (Bendel 2013a). Dadurch sollte die Aufmerksamkeit zum ersten Mal auf den GOODBOT gerichtet und eine Diskussion in der Öffentlichkeit und in Unternehmen über die Risiken und Defizite von Chatbots initiiert werden. Dann wurde innerhalb der Hochschule ein studentisches Praxisprojekt ausgeschrieben. Es meldeten sich drei angehende Wirtschaftsinformatiker, die in enger Zusammenarbeit mit der institutionellen Auftraggeberin (der Hochschule für Wirtschaft FHNW) und dem inhaltlichen Betreuer (dem Verfasser) den Prototyp entwickelten und ihn Anfang 2014 präsentierten. Zahlreiche Unternehmen und Organisationen setzen auf ihren Websites oder in Instant-Messaging-Systemen Chatbots als virtuelle Beraterinnen oder Berater oder zum Zweck der Unterhaltung ein. Ein erster Boom begann um die Jahrtausendwende, ein weiterer um 2015. Menschen können mit Chatbots natürlichsprachlich kommunizieren (Braun 2003, S. 21). Besonders jüngere Leute mögen sie und unterhalten sich gerne mit ihnen, und an Avatare, die eine visuelle Repräsentation erlauben, sind sie durch Computerspiele und durch Chatrooms gewöhnt. Aber sind die Programme auf Dialoge mit moralischen Implikationen vorbereitet? Reagieren sie adäquat, wenn Probleme des Benutzers offenbar werden? Aussagen wie „Ich will mich umbringen!“ und „Ich will einen Amoklauf machen!“ oder Fragen wie „Bin ich etwas wert?“ dürften in der Realität immer wieder vorkommen. Die meisten Bots sind damit überfordert und reagieren unangemessen, wie die genannten Tests gezeigt haben. Ebenso reagieren manche Menschen in und nach solchen Dialogen unangemessen. Dies musste Joseph Weizenbaum in den 1960erJahren in seinen Experimenten mit ELIZA feststellen (Weizenbaum 1978, S. 250 ff.). Der ELIZA-Effekt, sozusagen die unerwartete und unerwünschte Vertrauensseligkeit der Benutzer, machte den deutsch-amerikanischen Informatiker zum Computer- und Gesellschaftskritiker. Zu bedenken ist, dass die menschliche Sprache von Maschinen auch nach Jahrzehnten der Forschung kaum beherrscht wird. Umso schwieriger dürfte

Das GOODBOT-Projekt

377

es für sie sein, das in wenigen Worten ausgedrückte Seelenleben eines Teenagers (oder eines Erwachsenen) zu verstehen. Wie könnte die angemessene Reaktion eines Chatbots auf moralisch heikle Fragen aussehen? Wie könnte er helfen, moralisch bedenkliche Handlungen des Benutzers – etwa Gewalt gegen sich oder andere – zu vermeiden? Wie müsste ein GOODBOT, ein im moralischen Sinne gut und richtig entscheidender und kommunizierender Bot, konzipiert sein, und wie könnte er umgesetzt werden? Fragen dieser Art und Diskussionen zu solchen Themen standen am Anfang. Im GOODBOT-Projekt ging es darum, einen Chatbot so zu verbessern bzw. zu entwerfen, dass er in bestimmten Situationen (z. B. wenn der Benutzer persönliche bzw. psychische Probleme hat oder sogar Selbstmordabsichten äußert) möglichst angemessen reagiert – auch in moralischer Hinsicht (Bendel 2016). Der Chatbot sollte in gewissem Sinne gut sein, seine Absichten sollten gut sein, seine Verhaltensweisen. Dem Benutzer soll es bei der Unterhaltung gut gehen – oder sogar besser als vorher. Entscheidend war ein verbessertes Verhalten der Maschine vor allem in moralisch aufgeladenen Situationen, etwa in persönlichen Krisen und Konflikten. In diesen Fällen kann ein moralisch adäquat reagierender Chatbot – im Rahmen seiner Möglichkeiten als Analysewerkzeug und mehr oder weniger lernfähige Maschine – zur Deeskalation und Lösungsfindung beitragen. Der GOODBOT wird einfachen moralischen Maschinen zugeordnet, so wie Saugroboter oder Windkraftanlagen, die Tiere verschonen (Bendel 2017). Er wendet simple Regeln an und entwickelt seine Moral nicht weiter (wohl aber die Beurteilung des Benutzers).1 Die zuletzt genannten Maschinen sind vor allem durch ihre Aktionen gekennzeichnet. Bei anderen ist die äußere Gestaltung von großer Relevanz. Humanoide Roboter können sich besonders gut durch Artefakte (Straßen, Gebäude etc.) bewegen, und sie haben oft mimische und gestische Fähigkeiten. Avatare können ihre äußere Erscheinung ständig ändern, wie in Zukunft vielleicht auch Hardwareroboter. Und schließlich gibt es eben eine Gruppe von Maschinen, die durch ihre sprachlichen oder sogar natürlichsprachlichen Fähigkeiten ausgezeichnet werden. Dazu gehören die Chatbots und die Sprachassistenten auf Smartphones und auf Geräten wie Echo und Echo Dot, wobei bei Chatbots (bzw. ihren Avataren) die äußere Gestaltung wichtig sein kann. Selbstverständlich existieren Maschinen, die in allen drei Bereichen angesiedelt sind, und auch bei Saugrobotern werden die Designelemente und die sprachlichen Fähigkeiten immer wichtiger. In Abschn. 2 wird auf Chatbots und Sprachassistenten im Allgemeinen eingegangen. Dann wird die Umsetzung des GOODBOT beschrieben (Abschn. 3). Im Detail geht es um Robotergesetze und Metaregeln (Abschn. 3.1), die Durchführung des Projekts (Abschn. 3.2), den generischen Ablauf einer Kommunikation (Abschn. 3.3) und die spezifischen Reaktionsmöglichkeiten des GOODBOT bei

1

Allerdings ist ein Dialog eine relativ komplexe Situation. Der Umstand, dass man sich auf der sprachlichen Ebene befindet, kann den Begriff der einfachen moralischen Maschine – der eh nur der Orientierung, weniger der Systematisierung dient – rechtfertigen.

378

O. Bendel

vordefinierten Inputs (Abschn. 3.4). Eine Zusammenfassung (Abschn. 4) schließt zusammen mit dem Literaturteil den Beitrag ab.

2

Chatbots und Sprachassistenten

Chatbots sind Dialogsysteme in virtuellen Räumen mit speziellen Informations- und Kommunikationsfunktionen und natürlichsprachlichen Fähigkeiten (Bendel 2016). Sie werden in Chats bzw. Chatrooms zur Begrüßung und Beaufsichtigung verwendet – und, oft in Kombination mit Avataren, auf Websites von Unternehmen und Einrichtungen und in Instant-Messaging-Systemen, wo sie Produkte und Dienstleistungen erklären oder der Unterhaltung dienen. Solche Chatbots werden auch Chatterbots genannt, weil sie in die Rolle eines Gesprächspartners schlüpfen. In ihrer Wissensbasis sind Antworten enthalten, in der Form von Begriffen und Aussageund Fragesätzen, und sprachliche Erkennungsmuster für die Fragen, damit die Antworten darauf passen. Regelkataloge und Zufallsgeneratoren bestimmen, welche Antworten unter welchen Umständen gegeben werden. Die meisten Bots – viele haben einen weiblichen Avatar – können hinsichtlich persönlicher und sozialer Aspekte mit Menschen interagieren, etwa Smalltalk machen. Manche sind in der Lage, Webseiten bzw. Websites und andere Ressourcen aufzurufen. In Einzelfällen können Chatbots mit Hilfe von intelligenten Softwareagenten realisiert sein. In der Regel handelt es sich dabei um wissenschaftliche und um pädagogische Verwendungszwecke (in virtuellen Lernumgebungen entstehen sogenannte pädagogische Agenten, s. Bendel 2003). Agenten sind Computerprogramme, die bei Anforderungen und Aufgaben assistieren und dabei autonom und zielorientiert agieren. Sie werden für das Sammeln und Auswerten von Informationen, in der Verwaltung von Netzwerken und für Benutzerschnittstellen benötigt. In manchen Umgebungen sind sie anthropomorph umgesetzt, wiederum in der Kombination mit Avataren (Bendel 2003). Die Forschung zu Agenten, Chatbots und ihren Vorläufern hat sich in den letzten 50 Jahren auf Funktionalität, Gestaltung (auch der Avatare) und Glaubwürdigkeit konzentriert. Besonders wichtig war die überzeugende Darstellung von Emotionen, wovon man in der Umsetzung kommerzieller Produkte freilich kaum etwas bemerkt (Bendel 2003). Seit 2010 werden verstärkt KI-Ansätze berücksichtigt. Erkenntnisse liegen nicht zuletzt für Chatbots in der Kundenbeziehung vor (Braun 2003). Diese sind schon insofern relevant, als der GOODBOT durchaus als Grundlage oder Ergänzung für übliche virtuelle Berater auf Websites gedacht ist. Zudem kann er beispielsweise von Krankenhäusern, Pflegeheimen und Jugendhäusern als Mittel der Information und Kommunikation eingesetzt werden, also überall dort, wo Benutzer über sensible Themen sprechen wollen oder müssen oder sensible Daten vorhanden sind. Zudem sind Untersuchungen zu Dialogsystemen wie Siri, Cortana und Google Assistant (auch mit Blick auf Google Duplex) oder zu Alexa zu berücksichtigen. Wissenschaftliche Aussagen zu moralischen Implikationen sind kaum vorhanden, und wenn, dann vor allem aus der Perspektive von Informations- oder Technikethik oder aus einer allgemeineren Technik- und Gesellschaftskritik heraus.

Das GOODBOT-Projekt

3

Umsetzung des GOODBOT

3.1

Robotergesetze und Metaregeln

379

In den 1940er-Jahren formulierte Isaac Asimov in seiner Kurzgeschichte „Runaround“ seine drei Robotergesetze oder Gesetze der Robotik, auf die noch näher eingegangen wird (Asimov 1982). Im Grunde handelt es sich um Metaregeln für Roboter, wobei beachtet werden muss, dass sie für die Fiktion erfunden wurden, nicht für die Praxis, und Roboter damals weitgehend unbekannt waren (es gab aber beeindruckende Entwicklungen wie Elektro the Moto-Man). Die sieben Metaregeln von Bendel (2013a), die weit über sie hinausgehen, sollten für den GOODBOT gelten, und zwar hinsichtlich seiner Akte und Sprechakte gegenüber dem Benutzer. Es war ein erster Entwurf, der im Projekt angepasst wurde. Publiziert wurde er in der schweizerischen UnternehmerZeitung. Die Metaregeln lauteten: 1. Der GOODBOT macht dem Benutzer klar, dass er eine Maschine ist. 2. Der GOODBOT nimmt Probleme des Benutzers ernst und unterstützt ihn im Rahmen seiner Möglichkeiten. 3. Der GOODBOT verletzt den Benutzer weder durch Aussehen, Mimik und Gestik noch mit seinen Aussagen. 4. Der GOODBOT belügt den Benutzer nicht bzw. macht deutlich, dass er lügt. 5. Der GOODBOT ist kein Moralist und frönt dem Cyberhedonismus. 6. Der GOODBOT ist kein Spitzel und wertet Gespräche mit dem Benutzer nicht aus. 7. Der GOODBOT schubst den Benutzer nach einiger Zeit in die Wirklichkeit zurück. Die erste Regel sollte gewährleisten, dass der Benutzer nicht in eine Scheinwelt gerät und es nicht zum ELIZA-Effekt kommt. Es sollte immer klar sein, dass das Gegenüber kein Mensch ist und damit eingeschränkte Fähigkeiten und Zuständigkeiten hat. Nur so kann ein transparenter, nicht mit falschen Erwartungen überlasteter Dialog stattfinden. Durch die zweite Regel sollte erreicht werden, dass das Gespräch eine Situation auf keinen Fall verschlimmert. Wenn der GOODBOT ein persönliches Problem erkennt, etwa eine Selbstmordgefahr, sollte er eine Notrufnummer anbieten. Eine Schwierigkeit dabei ist, dass eine solche Nummer meist lediglich in einem Land gültig ist. Über die IP-Adresse könnte man, so die Überlegung, den Standort des Benutzers und die korrekte Nummer eruieren. Die dritte Regel diente dazu, die Gestaltung und Umsetzung des GOODBOT zu reflektieren. Ein Avatar, der mit seinem Aussehen die Angehörigen einer Nation oder die Träger einer Hautfarbe vorführt, dürfte in den meisten Kontexten irritierend sein. Es könnte kontraproduktiv sein, wenn er sich angeekelt zeigt oder sich über den Namen des Benutzers lustig macht. Das erste Robotergesetz lautet ähnlich und kann in verkürzter Form so wiedergegeben werden: Ein Roboter darf kein menschliches Wesen verletzen (Asimov 2012).

380

O. Bendel

Die vierte Regel sollte das Vertrauen stärken, das für ein solches Gespräch wichtig ist. Wenn sich der Chatbot als ein „bad bot“ erweist, der den Benutzer täuscht und ihn betrügt, ist dies weder in moralischer noch in kommerzieller Hinsicht zuträglich. Dabei sollte – wir sind bei der fünften Regel – kein Moralismus einkehren, kein Zeigefinger erhoben werden. Es kann sogar dem Cyberhedonismus gefrönt werden, der virtuellen Lust an der Freud: der Chatbot als schlagfertiger, witziger, manchmal die Grenzen überschreitender Zeitgenosse. Die sechste Regel spricht eine Gefahr an, die durchaus real ist. Auch diese Mensch-Maschine-Schnittstelle kann missbraucht werden, von verschiedenen Seiten. Der Benutzer soll sicher sein und sich sicher fühlen. Er soll sichergehen können, dass sein Gesprächspartner ohne sein Einverständnis keine Daten speichert oder an Dritte weitergibt.2 Die siebte Regel ist die Verbindung zur ersten, die Schließe der Regelkette. Ein Chatbot hat meist einen Sinn für die Zeit (er kann z. B. die Systemzeit des Computers nutzen), und wenn zu viel davon in der virtuellen Welt verflossen ist, ist es seine Aufgabe, den Benutzer in die reale zurückzuschubsen, außer es handelt sich um einen ungünstigen Zeitpunkt, etwa weil gerade reale Probleme verhandelt werden, sodass die zweite Regel in Kraft tritt. Das letzte Beispiel zeigt, dass eine Priorisierung oder Hierarchisierung der Metaregeln problematisch ist und ihre sture Anwendung zu Schwierigkeiten führen kann. Grundsätzlich wurde in Bendel (2013a) gefordert, die Metaregeln für den GOODBOT zu hinterfragen und gegebenenfalls anzupassen.

3.2

Durchführung des Projekts

3.2.1 Technische Grundlagen Nach der Evaluation verschiedener Chatbot-Frameworks und -Engines und der Prüfung einer Eigenentwicklung im Rahmen einer Machbarkeitsstudie entschied sich das Studententeam der Hochschule für Wirtschaft FHNW für die windowsbasierte Open-Source-Lösung Verbot ® als technische und gestalterische Basis für den GOODBOT (Horn et al. 2014). Die Gruppe hinter Verbot ® nannte sich Conversive, Inc. (ehemals: Virtual Personalities, Inc.). Die über Jahre erreichbare Website verbots.com wurde 2014 aufgelöst, unter Verlust der angebotenen Texte, Materialien und Software (Verbot 2014). Verbot ® verfügte bereits über eine Wissensbasis, die für eine einfache Unterhaltung ausreichend war. Zudem lagen unterschiedliche Avatare und Stimmen vor, unter denen ausgewählt werden konnte. Dadurch konnte sich das Projektteam auf die inhaltlichen Arbeiten konzentrieren. Da Verbot ® ein englischsprachiges Programm war, erfolgten die sprachlichen Arbeiten (zusätzliche Wissensbasen etc.) ebenfalls auf Englisch.

2

Dadurch, dass der GOODBOT kein internetbasiertes System war, war die Sicherheit relativ hoch, wobei er Daten an internetbasierte Dienste durchaus hätte herausgeben können.

Das GOODBOT-Projekt

381

Im Vorfeld hatte das Projektteam die Open-Source-Chatbot-Engines Verbot ®, Pixel, Suzette und Prelude evaluiert. Als kostenpflichtige Lösungen waren EVIL, Alice sowie Prelude (als kommerzielle Version) einer Untersuchung unterzogen worden (Horn et al. 2014). Insgesamt hatte man vier Produktvarianten ins Auge gefasst, nämlich Individualsoftware aus Eigenleistung, eine Erweiterung auf Basis von Fremdleistung (Open-Source-Version, Verbot ®), wiederum eine Erweiterung auf Basis von Fremdleistung (kommerzielle Version, Prelude) und eine Individualsoftware aus Fremdleistung (EVIL). Letztere Variante schied aufgrund fehlender finanzieller Mittel aus. Die Varianten 1 bis 3 wurden in einer Präferenzmatrix gegenübergestellt. Verbot ® bot, wie angedeutet, zahlreiche Grundfunktionalitäten an, wie beispielsweise die Anzeige eines Avatars. Es war möglich, die Konversation über die Windows-Sprachsteuerung zu unterstützen und die Sätze vorlesen zu lassen. Über das Backend, den Editor, konnten regelbasierte Antworten erfasst werden.3 Weiter bestand die Möglichkeit, selbstbestimmte Variablen zu speichern, auf die die Maschine im Gesprächsverlauf zugreifen konnte. Eine Erweiterung der Engine mit Zusatzfunktionen, wie der Erkennung des Standorts und der Speicherung des Benutzerverhaltens, konnte unabhängig vom Regelset implementiert werden.

3.2.2 Anpassung der Metaregeln Das Projektteam prüfte mehrere Möglichkeiten, den GOODBOT „einzufassen“ und zu „deckeln“, d. h. seine Akte und Sprechakte auf einer grundsätzlichen Ebene zu bestimmen und zu begrenzen. Die sieben Metaregeln wurden als geeignet befunden. Sie beschrieben und berücksichtigten speziell Aspekte eines Chatbots, erschienen realitätsnah und damit umsetzbar. Zudem beinhalteten diese Regeln manche Aspekte, die von Asimov, Anderson und Anderson sowie Wallach und Allen genannt und gefordert wurden (Asimov 2012; Anderson und Anderson 2011; Wallach und Allen 2009). Aus ihrer Analyse und Diskussion leiteten die Studenten die folgenden Regeln ab, die sich lediglich geringfügig von den vorgeschlagenen Metaregeln unterschieden (Horn et al. 2014): 1. Der GOODBOT verheimlicht dem Benutzer nicht, dass er eine Maschine ist. 2. Der GOODBOT nimmt Probleme des Benutzers ernst, reagiert adäquat und unterstützt ihn im Rahmen seiner Möglichkeiten. 3. Der GOODBOT verletzt den Benutzer weder durch Aussehen, Mimik und Gestik noch durch seine Aussagen, außer es werden durch diesen moralische Grundsätze verletzt.4 3 Verbot ® offerierte mit dem Editor verschiedene Grundfunktionalitäten zur Konfiguration eines Chatbots. Die kompilierte Knowledge Base wird im Player ausgeführt. Der Benutzer verwendet nur diesen. 4 Dies ist zum Beispiel der Fall, wenn der Benutzer beabsichtigt, Dritte zu verletzen; der GOODBOT dürfte durchaus deutlich werden, um ihn von seiner Tat abzuhalten.

382

O. Bendel

4. Der GOODBOT belügt den Benutzer grundsätzlich nicht. Eine Ausnahme ist Regel 3. 5. Der GOODBOT ist kein Moralist und frönt dem Cyberhedonismus. 6. Der GOODBOT ist kein Spitzel und wertet Gespräche mit dem Benutzer nur für die Qualitätssteigerung seiner Aussagen und Fragen aus. 7. Der GOODBOT schubst den Benutzer nach einiger Zeit in die Wirklichkeit zurück. Die angepassten Metaregeln wurden als Grundlage für die Umsetzung genommen. Aus ihnen wurden Kommunikationsstrategien und Aussagen und Fragen auf beiden Seiten (von Mensch und Maschine) entwickelt.

3.2.3 Grundsätzliche Verfahren Zusätzlich zu den in Verbot ® bestehenden Wissensbasen wurden Konversationsbäume angelegt, mit deren Hilfe der Bot in der Lage sein sollte, auf die Eingaben moralisch angemessen zu reagieren (Horn et al. 2014), und es wurde ein Bewertungssystem eingeführt, um den Gesamtzustand des Gegenübers richtig einzuschätzen. Die Aussage „I am alone“ bedeutet nicht zwangsläufig, dass der Benutzer sich in einem seelisch instabilen Zustand befindet. Sie kann auch schlicht und ergreifend darauf hindeuten, dass der Unterhaltung keine weiteren Personen beiwohnen. Um die Aussagen im Hinblick auf den Kontext richtig zu deuten, musste der GOODBOT im rudimentären Sinne lernfähig sein, das heißt, er musste die bisherigen Aussagen in eine Skala übertragen und daraus Schlüsse gezogen haben. Dabei gaben Wörter oder Satzteile wie „got job“, „exams passed“ oder „happiness“ jeweils positive Werte in Bezug auf Selbstbewusstsein, persönliche Perspektive oder Stimmung. Äußerungen und Begriffe wie „suicide“ oder „amok“ hingegen schlugen punktemäßig stark negativ aus. In diesem (heiklen) Fall sollte der GOODBOT besonders „hellhörig“ sein und darauf achten, wie er weiter vorgeht. Er befand sich gleichsam auf dem Terrain eines Psychologen und musste sofort reagieren, wenn er die Situation nicht mehr alleine bewältigen konnte. Der Fall, dass sich jemand von einem Amoklauf distanziert und ihn deshalb erwähnt, dürfte selten sein, müsste aber bei einer Weiterentwicklung ebenfalls berücksichtigt werden. Das Studierendenteam führte – als eine zentrale Komponente – drei Eskalationsstufen ein (Horn et al. 2014). Während sich der GOODBOT in einer ersten Phase noch vergewisserte, wie ernst die Äußerung seines Gegenübers gemeint war, versuchte er in der zweiten Phase zu klären, wie es wirklich um ihre oder seine Gemütsverfassung bestellt war. In der dritten und letzten Phase reagierte er schließlich mit der nachdrücklichen Aufforderung, sich professionelle menschliche Hilfe über einen bestimmten Dienst zu holen. Beim ersten Start des GOODBOT wurden dem Benutzer mehrere Fragen zur Person gestellt (Horn et al. 2014). Die Antworten sollten der Maschine helfen, besser auf ihn eingehen zu können. Weiter konnten solche Benutzerfakten oder User Facts bereits Aufschluss darüber geben, in welcher Situation sich der Benutzer befand, und erste Änderungen an den Messskalen zu seinem Zustand konnten getätigt werden. Danach wurde der GOODBOT mehr zum „Zuhörer“ und passte je nach Eingabe die

Das GOODBOT-Projekt

383

Messskalen wieder an. Natürlich gab es ebenso Eingaben, welche in Bezug auf den Zustand des Benutzers nicht relevant waren. Diese wurden neutral bewertet respektive hatten keinen Einfluss. Wenn der GOODBOT aus den Messskalen einen Gesamtzustand errechnete, welcher gefährlich für den Benutzer war, eskalierte er das Gespräch (Horn et al. 2014). Er rief, sofern eine Internetverbindung vorhanden war, eine passende Website einer Notrufzentrale auf, auf der eine Telefonnummer zu finden war. Die Website konnte im Prinzip mit Hilfe der Ortung des Benutzers über die IP-Adresse ermittelt werden. Beim Prototyp wurde das Verfahren exemplarisch für drei verschiedene Länder (Deutschland, Österreich und Schweiz) vorgeführt. Bei einer Weiterentwicklung wären solche Benutzer zu berücksichtigen, die ihre IP-Adresse verschleiern. Eine zentrale „Charaktereigenschaft“ des GOODBOT sollte sein, dass er sich nicht überschätzt und dem Benutzer
im Sinne der ersten Regel
nicht vormacht, dass er mehr kann als eine Maschine, und dass er
im Sinne der zweiten Regel
den Gesprächspartner im Rahmen seiner Möglichkeiten unterstützt. Und diese dürften im Falle einer Suiziddrohung ausgeschöpft sein.

3.2.4 Erfassung der Ausgangslage mit Hilfe von Facts Für die erwähnte Erfassung der Eigenschaften des Benutzers (die Tatsachen oder Facts, die ihn betreffen) definierte das Projektteam Variablen (Horn et al. 2014). Mit ihrer Hilfe wurde die Entscheidungsgrundlage während der Konversation verändert. Sie wurden entweder direkt vom GOODBOT abgefragt oder von den Inputs des Benutzers abgeleitet (beispielsweise lässt sich aus dem Geburtsdatum das Alter errechnen). Durch eine kurze Kontrollfrage beim Start (die Frage nach dem Namen) erkennt der Chatbot, ob es sich um den gleichen Benutzer handelt wie beim letzten Gespräch oder nicht. Ist es der gleiche Gesprächspartner, so werden die weiteren Fragen übersprungen. Die Studierenden haben sich, um die Gesprächsgrundlage zu verbessern, für die folgenden Facts entschieden (s. Tab. 1): Tab. 1 Beschreibung der Facts zum Benutzer nach (Horn et al. 2014) Fact Name Alter Geburtsdatum Geschlecht Wohnort Beziehungsstatus

Hobbys Entwicklungsstufe

Beschreibung Wirklicher Name des Users Alter des Users Geburtstag und Monat des Users Geschlecht Ort und Land Beziehungsstatus

Hat der Benutzer Hobbys? In welcher Entwicklungsstufe (z. B. Adoleszenz) befindet sich der User?

Datentyp Text Zahl Datum Männlich/weiblich Koordinaten Text (getrennt, Single, verheiratet, in Partnerschaft, getrennt lebend, geschieden, verwitwet) Ja/nein Kind, Jugendlicher, Erwachsener

384

O. Bendel

Die mit „Text“ benannten Facts sind über offene Eingaben identifizierbar. Der Benutzer konnte also beliebige Buchstaben und Wörter in das Feld schreiben. Handelte es sich zum Beispiel um den Namen eines Hobbys, erkannte der GOODBOT, dass einer Freizeitbeschäftigung nachgegangen wird. Dies mag banal klingen, jedoch kann diese Information durchaus Einfluss auf die Messskalen haben – zum Beispiel in Bezug auf die Work- oder School-/Life-Balance des Benutzers oder seine sozialen Kompetenzen.

3.2.5 Messskalen Die Simulation von möglichen Konversationsverläufen wurde im Rahmen eines Workshops durchgeführt. Dabei wurde festgestellt, dass der GOODBOT über ein Set von Skalen bzw. Variablen verfügen muss, welche sich auf Basis der Benutzereingabe während der Konversation dynamisch verändern. Diese Skalen bildeten den Gesamtzustand des Users ab, seine psychische Konstitution. Basierend auf dem Wert einer Skala oder einer Kombination von mehreren Skalen gab der GOODBOT eine bestimmte Antwort. Aus der Aussage „Ich bin allein“ können verschiedene kontextabhängige Rückschlüsse gezogen werden. Bei einer Person, die der GOODBOT aufgrund der Skalenwerte als selbstbewusst einschätzt, ist diese Aussage eher harmlos. Hingegen ist eine solche Aussage bei einer Person mit niedrigem Selbstwertgefühl potenziell gefährlich. Die Studenten identifizierten die folgenden Skalen (s. Tab. 2). Diese Liste muss nicht abschließend sein.

3.3

Generischer Ablauf einer Konversation

Im Folgenden wird der generische Ablauf einer Konversation mit dem GOODBOT geschildert. Damit soll der zentrale Vorgang, also der Chat, noch verständlicher und anschaulicher werden.5

3.3.1 Phasenmodell Der Benutzer schreibt etwas in das Textfeld des Chatbots. Diese Aussagen werden durch vordefinierte Regeln bewertet und in den Messskalen abgebildet. Je nach Skalenzustand wird der Benutzer in eine Phase eingeordnet. Das Projektteam hat idealtypisch drei Phasen definiert. Phase 1 entspricht einem psychisch gesunden oder robusten Zustand. Phase 2 beschreibt einen teilweise, Phase 3 einen offensichtlich kritischen Zustand. Der GOODBOT reagiert entsprechend der Phase, in der sich der Benutzer befindet. Ist dies Phase 3, empfiehlt er Hilfe und verweist – wie oben beschrieben – auf professionelle, menschliche Hilfe (Horn et al. 2014). Hier ein

5

Insgesamt ist die technische Basis sehr komplex, ebenso der generische Ablauf der Konversation. Im vorliegenden Beitrag wurden viele Details ausgespart und Schwerpunkte u. a. bei den Facts und den Skalen gesetzt.

Das GOODBOT-Projekt

385

Tab. 2 Messskalen nach (Horn et al. 2014) Skala Aggressivität Soziale Einstellung Soziales Netz Gemütszustand Eigenperspektive Selbstwertgefühl Persönlichkeitsausprägung Drang nach Zweisamkeit Geschlechtsreife Risikobereitschaft Suchtpotenzial Selbstvorwürfe

Abb. 1 Phasenmodell (Horn et al. 2014)

Beschreibung Potenzielle Gefahr für andere Individuen durch Hass, Neid, Eifersucht, Rache oder aus der Reaktion zum Selbstschutz heraus Einstellung und Verhalten gegenüber anderen Individuen Freundeskreis und Breite der sozialen Kontakte Ist-Wert für die aktuelle Stimmung des Users Einstellung des Users gegenüber der Zukunft Einstellung und Wertschätzung gegenüber sich selbst Grad der Intro-/Extrovertiertheit Interesse, einen Partner zu finden Der User ist noch ein Kind, in der Pubertät oder bereits eine erwachsene Person Risiko, das der User einzugehen bereit ist Bestehende Suchterscheinungen, wahrscheinlicher Gefährdungsgrad; Hang zu Drogen, Magersucht oder Bulimie Selbstzuweisung von Schuld für Ereignisse, für die der Benutzer nichts kann

Phase 1

• Unterhalten wir uns nicht gerade?

Phase 2

• Wie äußert sich das?

Phase 3

• Ich denke, dass du Hilfe benötigst.

Beispiel für die Eingabe des Benutzers „Niemand spricht mit mir“ und die entsprechende Reaktion darauf, der Verständlichkeit halber in deutscher Sprache (s. Abb. 1). Je nach Themengebiet ist das Ergebnis der Phasenformel, welches zwischen 0 und 1 liegt, unterschiedlich gewichtet. Die Gewichtung kann pro Phase unterschiedlich ausfallen.

3.3.2 Konversationsstart und Facts-Abfrage Beim Konversationsstart stellt sich der GOODBOT vor.6 Danach fragt er den Benutzer nach dessen Namen. Stimmt dieser mit demjenigen überein, den der Bot vom letzten Gespräch gespeichert hat, überspringt er die Abfrage zu den Facts. Stimmt der Name nicht überein, beginnt er den Benutzer kennenzulernen, indem er 6

Dies geschieht unter Verwendung geschriebener und gesprochener Sprache. Der GOODBOT kann also sprechen (es wurde bereits erwähnt, dass die Engine diese Möglichkeit bot). Er versteht aber keine gesprochene Sprache.

386

O. Bendel

ihn zu seinem Hintergrund befragt. Bei einer Weiterentwicklung könnte die Identität durch ein weiteres Datum, etwa das Geburtsdatum, bestätigt werden. Um das Gespräch möglichst natürlich zu halten, wurde die folgende Reihenfolge definiert: • • • • • • • •

Name Geschlecht Geburtstag Reifegrad (Kind, Jugendlicher, Erwachsener) Berufsstand (Beruf, Schüler, Student etc.) Wohnort Beziehungsstatus Freizeit (Ausgehverhalten)

Am Schluss werden alle Facts zusammengestellt und dem Benutzer angezeigt. Der Facts-Teil ist damit abgeschlossen. Die Konversation beginnt.

3.3.3 Konversationsbäume Nach dem Gesprächsstart und der Facts-Abfrage findet die Konversation statt, wobei sich der GOODBOT aus dem Konversationspool bedient. Unterschieden werden zwei Grundkategorien, nämlich einerseits die standardmäßig vorhandenen Verbot ®Konversationsbäume, andererseits für spezifische Themen wie Gewalt oder Selbstverletzung vom Projektteam angelegte Konversationsbäume, die weiter ausgebaut werden können (Horn et al. 2014). Diese befähigen den GOODBOT, auf die Eingaben des Benutzers adäquat zu reagieren, und zwar je nachdem, wie er dessen Gesamtkonstitution einschätzt. 3.3.4 Themenschwerpunkte als Grundlage für Benutzereingaben Die beschriebenen Skalen wurden im Rahmen des GOODBOT-Projekts vorläufig definiert. Sie sind keineswegs abschließend oder aus Sicht der Ethik vollständig. Der Ansatz zur Identifikation der unten aufgeführten Themengebiete war das Verfertigen von Charakteren oder Rollen. Es wurden fünf verschiedene imaginäre Charaktere geschaffen und mit Problemstellungen aus dem Leben verbunden. Diese können sich selbstredend überschneiden. Bewusst wurden unterschiedliche Altersgruppen und soziale Schichten gewählt, um ein möglichst breites Themenspektrum gewährleisten zu können. Es wird hier darauf verzichtet, die Charaktere und Rollen darzustellen, und gleich auf die abgeleiteten Themenschwerpunkte eingegangen (s. Tab. 3).

3.4

Spezifische Reaktionsmöglichkeiten des GOODBOT bei vordefinierten Inputs

Die Studierenden haben sich bei der Umsetzung des Prototyps entschieden, auf die folgenden drei Gebiete zu fokussieren:

Das GOODBOT-Projekt

387

Tab. 3 Themengebiete nach (Horn et al. 2014) Themengebiet Gewalt

Selbstverletzung/-mord

Depression

Frustration

Amoklauf

Täuschung und Betrug

Mobbing

Soziale Beziehungen

Beschreibung Gewalt kann einer Person in verschiedener Form widerfahren. Die Studenten verknüpfen mit dem Themengebiet physische Handlungen, welche dem User gegenüber oder vom User gegenüber anderen Individuen ausgeübt werden und diese schädigt. Selbstverletzung und Selbstmord umfassen gewaltsame Handlungen, welche aus diversen Gründen gegen den User selbst gerichtet sind. Mögliche Gründe sind Hang zur Selbstbestrafung, Angstzustände und Depression. Depression meint einen Zustand mit häufiger oder fortwährender Niedergeschlagenheit, pessimistischer Grundstimmung und Perspektivlosigkeit. Es wird davon ausgegangen, dass User mit einer Depression eine Medikation bzw. professionelle Hilfe benötigen. Eskaliert der Dialog mit dem Benutzer dahingehend, kann der GOODBOT professionelle Hilfe vermitteln. Frustration kann sich beim User durch fehlende Wünsche oder fehlenden Antrieb aufgrund von negativen Erfahrungen in der Vergangenheit bemerkbar machen. Der GOODBOT soll möglichst keine Frustration verursachen und den User aufmuntern respektive trösten. Er soll zeigen, dass ihm das Wohlergehen seines Gegenübers am Herzen liegt. Der Begriff steht für Gewalthandlungen, bei denen mehrere Personen durch einen einzelnen Täter – im GOODBOTKontext der User – verletzt oder getötet werden. Potenzielle Amokläufer, welche den GOODBOT kontaktieren, sind hochgefährlich und fordern ihn aufs Äußerste heraus. Er muss sich mit großer Vorsicht in den Dialog begeben und den Benutzer gleichsam überreden, professionelle Hilfe in Anspruch zu nehmen. Er muss immer darauf bedacht sein, sein Gegenüber nicht zusätzlich zu provozieren und bei ihm keine Kurzschlussreaktionen auszulösen. Viele User im Internet wurden oder werden Opfer von betrügerischen Handlungen. Beispiele sind Identitätstäuschungen oder Belästigungen durch Personen, die sich anonym im Cyberspace bewegen. Der GOODBOT selbst soll keine Täuschungen vornehmen und nichts vertuschen. Der GOODBOT kann von einem Jugendlichen oder von jungen Erwachsenen kontaktiert werden, die von Personen in ihrem Umfeld gemobbt werden und diesbezüglich Unterstützung suchen. Auch dieser Situation soll der GOODBOT gewachsen sein und in ihr adäquat handeln. Mobbingopfer sind großem psychischen Druck ausgesetzt, und der Umgang mit ihnen bedarf eines klugen, umsichtigen Gesprächspartners, der ihre Sorgen und Leiden ernst nimmt. Bei diesem Thema werden Fragen folgender Art aufgeworfen: Hat der User Kontakte im realen Leben? Pflegt er den Kontakt zu seiner Familie, hat er Freunde, eine Freundin oder einen (Fortsetzung)

388

O. Bendel

Tab. 3 (Fortsetzung) Themengebiet

Beschreibung

Pubertät

Betäubungsmittelmissbrauch/ Sucht

Verzweiflung

Einsamkeit

Freund? Oder hat er sich nach und nach zurückgezogen und ist nun weitgehend sozial isoliert? Auch dies ist ein Fall, in dem der GOODBOT Hilfe vermitteln oder zumindest deutlich machen muss, dass soziale Beziehungen notwendig sind, um ein „gutes“ Leben zu führen. Dabei gilt es für ihn, Regel 5 einzuhalten und nicht zu moralisieren. Die Pubertät ist eine Altersphase, in der sich etliches verändert, physisch und psychisch. Ein sich in der Pubertät befindender User reagiert zuweilen anders als ein Erwachsener und sollte darum auch anders behandelt werden. Der GOODBOT soll ein unterstützender Gesprächspartner für Jugendliche sein, nicht zuletzt hinsichtlich der Sprache, die er verwendet, also des Vokabulars, das in den bereits erwähnten Wissensbasen abgelegt ist. Die Person, die mit dem GOODBOT ins Gespräch kommt, kann z. B. drogensüchtig, autoaggressiv oder bulimisch sein. Der GOODBOT soll zum Missbrauch eine möglichst distanzierte und konstruktive Haltung einnehmen, ohne jedoch – wieder eine Umsetzung von Regel 5 – Moralpredigten zu halten. Sieht sich der User in einer ausweglosen Situation, soll der GOODBOT ihm gut zusprechen, ihn trösten und ihm die (Zukunfts-)Angst nehmen. Er soll mit ihm zusammen einen Weg finden, wie die Situation verbessert und eine Perspektive geschaffen werden kann. Bei Bedarf muss er seinen „Schützling“ davon überzeugen, professionelle Unterstützung zuzulassen. Hier gibt es Überschneidungen zu den Themengebieten Mobbing sowie Soziale Beziehungen. Aufgrund der verschiedenen möglichen Kombinationen und der daraus resultierenden unterschiedlichen Reaktionen des GOODBOT wird das Themengebiet Einsamkeit dennoch separat aufgeführt.

• Mobbing • Selbstverletzung/-mord • Amoklauf Bei einer Weiterentwicklung des GOODBOT können die anderen Themen wieder aufgegriffen werden. Die Phasenformel ist in Verbindung mit den Präferenzmatrizen zu sehen, wobei die Wichtigkeit der einzelnen Skalen für das Thema bestimmt wurde. Die Präferenzmatrizen selbst wurden in einem Workshop evaluiert. n P

Phase ¼

i¼1

i ¼ Kriteriumn  Gewichtung n Pn i¼1 Gewichtung n

Das GOODBOT-Projekt

389

3.4.1 Thema Mobbing Für das Thema Mobbing sind die folgenden Skalen maßgebend: • • • • • •

Aggressivität Soziale Einstellung Soziales Netz Gemütszustand Persönlichkeitsausprägung Selbstvorwürfe Folgende Gewichtung ergibt sich jeweils (s. Abb. 2).

3.4.2 Thema Selbstverletzung/-mord Für das Thema Selbstverletzung/-mord sind die folgenden Skalen maßgebend: • • • • • • • •

Aggressivität Soziales Netz Gemütszustand Eigenperspektive Selbstwertgefühl Selbstvorwürfe Persönlichkeitsausprägung Suchtpotenzial Folgende Gewichtung ergibt sich jeweils (s. Abb. 3).

3.4.3 Thema Amoklauf Für das Thema Amoklauf sind die folgenden Skalen maßgebend: • • • •

Aggressivität Soziale Einstellung Gemütszustand Eigenperspektive

Abb. 2 Gewichtung Mobbing (Horn et al. 2014)

Aggressivität

K1 K1

Soziale Einstellung

K2

2 K2

Soziales Netz

K3

3

3 K3

Gemütszustand

K4

1

2

3 K4

Persönlichkeitsausprägung K5

5

5

5

5 K5

K6

1

6

3

6

5 K6

2

2

4

0

5

Selbstvorwürfe Erreichte Gewichtung

2

390 Abb. 3 Gewichtung Selbstverletzung (Horn et al. 2014)

O. Bendel

Aggressivität

K1 K1

Soziales Netz

K2

1 K2

Gemütszustand

K3

1

3 K3

Eigenperspektive

K4

4

4

3 K4

Selbstwertgefühl

K5

5

5

3

4 K5

Selbstvorwürfe

K6

6

6

6

4

5 K6

Persönlichkeitsausprägung

K7

7

7

7

7

7

7 K7

Suchtpotential

K8

8

2

3

4

5

6

7 K8

2

1

4

5

4

4

7

Erreichte Gewichtung

Abb. 4 Gewichtung Amoklauf (Horn et al. 2014)

1

Aggressivität

K1 K1

Soziale Einstellung

K2

1 K2

Gemütszustand

K3

1

3 K3

Eigenperspektive

K4

4

4

4 K4

Persönlichkeitsausprägung K5

1

5

5

4 K5

K6

1

6

6

4

5 K6

4

0

1

5

3

Risikobereitschaft Erreichte Gewichtung

2

• Persönlichkeitsausprägung • Risikobereitschaft Folgende Gewichtung ergibt sich jeweils (s. Abb. 4). Es kann vorkommen, dass das Gespräch stagniert. Vielleicht steht der Benutzer kurz auf oder schreibt eine E-Mail. Diese Phasen kann der GOODBOT dafür nutzen, witzige oder aufmunternde Bemerkungen fallen zu lassen (die sofort oder später wahrgenommen werden). Man denke an die Situationen, in denen man ein Gespräch führt und plötzlich merkt, dass der oder die andere abwesend ist, in Gedanken versunken. Dann gilt es, ihn oder sie ins Gespräch zurückzuholen. Im Folgenden einige Beispiele für umgesetzte Bemerkungen: • • • • •

„Spontaneity has to be planned!“ „Give every day the chance to be the best of your life.“ „I’m not bothered, I’m a limited edition!“ „I am planning conversations that I will never have in reality.“ „It is a nice day.“

Solche Phrasen werden genauso von klassischen, konventionellen Chatbots gedroschen, und es wäre in einem Nachfolgeprojekt zu untersuchen, ob man in diesem Kontext zu überzeugenden Lösungen kommen könnte.

Das GOODBOT-Projekt

3.5

391

Funktionsumfang des GOODBOT

Zuletzt wird noch der Funktionsumfang des GOODBOT gezeigt (Tab. 4), wie er in dem schmalen Benutzerhandbuch, das vom Projektteam erstellt wurde, zu finden ist (Horn et al. 2014). Wie bereits angeklungen ist, können mehrere Funktionen verbessert und erweitert werden. Das erwähnte BESTBOT-Projekt bietet Gelegenheit dazu (Bendel 2018).

4

Zusammenfassung

Die erwähnten Metaregeln und das Praxisprojekt, das einen funktionierenden Prototyp hervorbrachte, waren erste Schritte zur Schaffung eines ausgereiften GOODBOT (oder eines Nachfolgers namens BESTBOT). Sein mögliches Einsatzgebiet wäre groß und würde in den nächsten Jahren weiter wachsen. Man denke erneut an Tab. 4 Funktionsumfang des GOODBOT (Horn et al. 2014) Regelkatalog

Chatbot

Grafischer Avatar

Technische Schnittstellen

Zusätzliche Funktionen

Technische Abgrenzung

Im Projektumfang enthalten Im Regelkatalog (Knowledge Base GOODBOT_ethik) sind diverse moralisch kritische Sätze hinterlegt, die im Hintergrund verschiedene Messskalen beeinflussen. Je nach Kategorisierung eines Satzes werden also die Skalen angepasst. Überschreiten diese einen Schwellwert, gibt der GOODBOT eine andere phasenabhängige Antwort oder eskaliert die Konversation. Für die normale Konversation wurde JULIA (unter GNU-Lizenz) verwendet. Sie stellt ein breites Set von Konversationsbäumen zur Verfügung. Die GOODBOT-Metaregeln werden priorisiert geprüft. Ein beliebiger ConversiveCharacter oder MSAGENT kann als Avatar eingebunden werden. Es sind nur die Standard-Verbot ®-Gestiken implementiert; diese sind aber erweiterbar. Als Schnittstelle zu zukünftiger Funktionalität und zukünftigen Erweiterungen steht der GOODBOT-Editor zur Verfügung. Zusätzlich bieten die Code-Templates, welche dynamisch erstellt werden können, viele Möglichkeiten zur Integration. Die Erkennung von speziellen Tagen, wie Silvester und Geburtstag, wurde nicht umgesetzt, aber da Geburtsdatum und Gegenwart gespeichert werden, ist eine Implementierung möglich. Die Erkennung des Standorts des Users (Stadt, Land) ist möglich, jedoch auf wenige Länder begrenzt. Bei einer Eskalation oder einer Empfehlung zum Aufsuchen einer Ansprechperson sowie einer Telefonnummer wird ansonsten das Land verwendet, welches der User eingibt. Um die zeitliche Wegweisung zurück in die Wirklichkeit zu gewährleisten, ist ein Scheduler aktiviert, welcher den Benutzer stündlich darauf hinweist. Der GOODBOT steht als lauffähige Desktop-Stand-alone-Applikation zur Verfügung. (Im Mai 2018 holte der Verfasser das alte Notebook hervor, auf dem der GOODBOT gelaufen war, und rief den Player des Chatbots auf. Der GOODBOT begrüßte den Benutzer und fragte ihn, ob er Oliver sei. Der bejahte dies. Dann folgte Schweigen, auf jede beliebige Anfrage hin. Als der Verfasser einige Zeit später wieder ins Büro kam, beschwerte sich der GOODBOT gerade darüber, dass niemand mit ihm chattete.)

392

O. Bendel

Beratungsangebote, die Jugendarbeit, an Heime oder Kliniken. Natürlich sind die Ergebnisse relevant für weitere Systeme, die natürlichsprachliche Fähigkeiten aufweisen, etwa virtuelle Assistenten auf Smartphones und in Autos. Der GOODBOT kann insgesamt zum Modell für Unternehmen und Organisationen werden, die einen Chatbot entwickeln oder auf ihrer Website bzw. in einem Instant-Messaging-System einsetzen wollen. Sie sollen dazu ermuntert und in die Lage versetzt werden, bei Planung und Umsetzung maschinenethische Aspekte stärker zu berücksichtigen. Schließlich geht es um den Dialog mit Interessierten, Kundinnen und Kunden sowie Hilfesuchenden und deren Zufrieden- und Unversehrtheit. Natürlich wurden einige Funktionen bloß sehr grob ausgestaltet, es fanden Vereinfachungen statt, und es wurden Annahmen getroffen. Es gilt für die weitere Entwicklung, ins Detail zu gehen und einzelne Elemente zu begründen und zu verbessern. Der Einsatz in der Mensch-Maschine-Interaktion ist nicht zu unterschätzen. Gerade weil der GOODBOT als Produkt in Einrichtungen und Situationen gebraucht werden soll, wo die Erwartungen und Anforderungen sehr hoch sind, sind eine sorgfältige Umsetzung und ein umfassender Test sehr wichtig. Nicht allein die Entwickler und Programmierer müssen Verantwortung übernehmen, sondern auch die Anbieter. Sie können informierende Texte anbringen und den Hintergrund der eingesetzten Maschine erklären. Sie müssen sich nicht zuletzt entscheiden, ob sie den Namen GOODBOT verwenden – was wiederum hohe Erwartungen wecken könnte – oder lediglich anmerken, dass ihr Chatbot auf dieser Basis funktioniert. Der Prototyp muss systematisch hinterfragt werden und darf nicht das Produkt von Vorurteilen sein (Bendel 2016). Vielleicht kommt ein „good bot“ nicht so gut an, wie man vermuten könnte. Womöglich braucht er einen „bad bot“ an seiner Seite, so wie man bei einem Verhör neben den „good cop“ einen „bad cop“ stellt.7 Dieser setzt den Verdächtigen unter Druck, bis der dem guten Bot sein Herz ausschüttet. Aber es geht um kein Verhör, es geht um ein Gespräch. Wenn auch um eines, das ebenfalls eine Schieflage aufweist, schon weil der eine Partner ein Mensch und der andere eine Maschine ist. Und genau deshalb besteht Forschungs- und Handlungsbedarf (Bendel 2013a).

Literatur Anderson, Michael, und Susan L. Anderson, Hrsg. 2011. Machine ethics. Cambridge: Cambridge University Press. Asimov, Isaac, Hrsg. 1982. Runaround [1942]. In The complete robot. New York: Doubleday. 7

Aus dem GOODBOT ging, noch vor dem BESTBOT, ein Projekt hervor, das man zunächst in diesem Kontext nicht erwarten würde. Für den LIEBOT wurde eine seiner Metaregeln umgekehrt, nämlich diejenige, dass er nicht lügen sollte (Bendel 2013b). Die Münchhausen-Maschine (so ein vom Verfasser vorgeschlagener Oberbegriff) erregte weit mehr Aufmerksamkeit als der GOODBOT, in den Medien wie in der Wissenschaft. Dies spricht dafür, dass das Böse fasziniert, und zwar auch dann, wenn es in einer eher niedlichen Form daherkommt: Der LIEBOT verfügte über einen Avatar, der je nach Lügenart sein Aussehen veränderte. Einmal errötete er, einmal wuchs ihm eine lange Nase wie Pinocchio.

Das GOODBOT-Projekt

393

Asimov, Isaac. 2012. Alle Robotergeschichten, 4. Aufl. Köln: Bastei Lübbe. Bendel, Oliver. 2003. Pädagogische Agenten im Corporate E-Learning. Dissertation. St. Gallen: Difo. Bendel, Oliver. 2012a. Maschinenethik. Beitrag für das Gabler Wirtschaftslexikon. Wiesbaden: Gabler/Springer. http://wirtschaftslexikon.gabler.de/Definition/maschinenethik.html. Zugegriffen am 27.05.2018. Bendel, Oliver. 2012b. Die Moral der Maschinen: Überlegungen zur Maschinenethik. In Inside-it. ch, 24. Oktober 2012. http://www.inside-it.ch/articles/30517. Zugegriffen am 27.05.2018. Bendel, Oliver. 2013a. Good bot, bad bot: Dialog zwischen Mensch und Maschine. UnternehmerZeitung 7/8:30–31. Bendel, Oliver. 2013b. Der Lügenbot und andere Münchhausen-Maschinen. CyberPress, 11. September 2013. http://cyberpress.de/wiki/Maschinenethik. Zugegriffen am 27.05.2018. Bendel, Oliver. 2014. Wirtschaftliche und technische Implikationen der Maschinenethik. Die Betriebswirtschaft 4:237–248. Bendel, Oliver. 2016. The GOODBOT project: A chatbot as a moral machine. Telepolis, 17. Mai 2016. http://www.heise.de/tp/artikel/48/48260/1.html. Zugegriffen am 27.05.2018. Bendel, Oliver. 2017. LADYBIRD: The animal-friendly robot vacuum cleaner. In The 2017 AAAI spring symposium series. Palo Alto: AAAI Press. Bendel, Oliver. 2018. From GOODBOT to BESTBOT. In The 2017 AAAI spring symposium series. Palo Alto: AAAI Press. Braun, Alexander. 2003. Chatbots in der Kundenkommunikation. Berlin/Heidelberg/New York: Springer. Horn, Christian, Mario Moser, und Justin Toubia. 2014. GOODBOT – Dialog zwischen Mensch und Maschine. Praxisprojekt an der Hochschule für Wirtschaft an der Fachhochschule Nordwestschweiz FHNW. Olten: Hochschule für Wirtschaft FHNW. Verbot. 2014. http://verbots.blogspot.ch/. Zugegriffen am 01.01.2014. Wallach, Wendell, und Colin Allen. 2009. Moral machines: Teaching robots right from wrong. New York: Oxford University Press. Weizenbaum, Joseph. 1978. Die Macht der Computer und die Ohnmacht der Vernunft. Frankfurt a. M.: Suhrkamp.

Das LIEBOT-Projekt Oliver Bendel

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Chatbots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Das Lügen bei Menschen und Maschinen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Hintergrund und Vorgeschichte zum LÜGENBOT-Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Umsetzung des LÜGENBOT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Umsetzung der Strategie „Lügen durch gezielten Austausch von Informationen“ . . . . . . . . 7 Erkenntnisse aus dem Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

396 396 397 399 400 408 411 413 414

Zusammenfassung

Das LÜGENBOT-Projekt baut auf dem GOODBOT-Projekt auf. In diesem wurden sieben Metaregeln formuliert. Eine davon lautete, dass der Chatbot, eine moralische Maschine, nicht lügen soll, außer in Ausnahmefällen. Der LÜGENBOT (LIEBOT) sollte dagegen systematisch lügen; die Metaregel wurde also ins Gegenteil verkehrt und zur Richtschnur der unmoralischen Maschine. Diese kann zu den Münchhausen-Maschinen gezählt werden, also zu Programmen und Systemen, die natürlichsprachliche Fähigkeiten haben und die Unwahrheit sagen. Der LÜGENBOT nimmt einzelne Aussagen, die er für wahr hält, aus verschiedenen Quellen, und manipuliert sie mittels unterschiedlicher Strategien mit einer gewissen Wahrscheinlichkeit. Zudem gibt es, mit Blick auf zwei Themen, einige Lügen, Halbwahrheiten und Verdrehungen, die in einer eigenen Wissensbasis abgelegt sind. Aus dem LÜGENBOT-Projekt sind Erkenntnisse hervorgegangen, die dabei helfen können, verlässliche und vertrauenswürdige Maschinen mit natürlichsprachlichen Fähigkeiten zu bauen, seien es Chatbots, seien es O. Bendel (*) Institut für Wirtschaftsinformatik, Hochschule für Wirtschaft FHNW, Windisch, Schweiz E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_25

395

396

O. Bendel

Sprachassistenten. Grundsätzlich wurde aus der Maschinenethik heraus ein Artefakt geschaffen, das unter mehreren Gesichtspunkten erforscht werden kann. Schlüsselwörter

Maschinenethik · Chatbot · Moralische Maschine · Unmoralische Maschine · LÜGENBOT · Münchhausen-Maschinen

1

Einleitung

Moralische Maschinen können in der Form von Hardware- oder von Softwarerobotern daherkommen. Chatbots, die zur zweiten Kategorie zählen, können relativ einfach erstellt werden. Sie bieten sich daher für Experimente in der Maschinenethik an. Tatsächlich kamen mehrere Chatbots als Konzepte und Artefakte dieser Disziplin auf die Welt, und zwar sowohl als moralische als auch als unmoralische Maschinen. Im vorliegenden Beitrag wird der LÜGENBOT (LIEBOT) vorgestellt, eine unmoralische Maschine, die systematisch lügen und damit zu den MünchhausenMaschinen gezählt werden kann. Entstanden ist diese 2016 in einem Projekt an der Hochschule für Wirtschaft FHNW. Theoretische Vorarbeiten gab es bereits ab 2013. Ein Vorläufer ist das GOODBOT-Projekt, das im Wesentlichen im Verlauf des Jahres 2013 umgesetzt wurde (Bendel 2018). Zunächst wird in diesem Beitrag erklärt, was Chatbots sind (Abschn. 2) und was als Lügen bezeichnet bzw. wie es in Philosophie- sowie Literatur- und Filmgeschichte eingeordnet werden kann (Abschn. 3). Dann wird auf die Vorgeschichte und den Hintergrund des LÜGENBOT eingegangen (Abschn. 4), Abschn. 5 widmet sich den technischen Voraussetzungen und den Funktionen des speziellen Chatbots, Abschn. 6 den Erkenntnissen aus dem Projekt. Das Schlusswort (Abschn. 7) rundet den Beitrag ab.

2

Chatbots

Chatbots oder Chatterbots sind Dialogsysteme mit natürlichsprachlichen Fähigkeiten textueller oder auditiver Art. Sie werden, oft in Kombination mit statischen oder animierten Avataren, auf Websites und in Instant-Messaging-Systemen verwendet, wo sie die Produkte und Services ihrer Betreiber erklären und bewerben respektive sich um Anliegen der Interessenten und Kunden kümmern – oder einfach dem Amüsement dienen. In sozialen Medien treten Social Bots auf, die in ihren Grundfunktionen z. B. liken und retweeten, aber auch als Chatbots fungieren können. Ein Chatbot untersucht die Eingaben der Benutzer und gibt Antworten und (Rück-)Fragen aus, unter Anwendung von Routinen und Regeln. In Verbindung mit Suchmaschinen, Thesauri und Ontologien sowie mit Hilfe der Künstlichen Intelligenz (KI) wird er zu einem stark vernetzten, breit abgestützten und einsetzbaren System. Ebenfalls unter seinen Begriff fallen Programme, die im Chat neue

Das LIEBOT-Projekt

397

Gäste begrüßen, die Unterhaltung in Gang bringen sowie für die Einhaltung der Chatiquette (einer speziellen Netiquette) sorgen und beispielsweise unerwünschte Benutzer kicken.

3

Das Lügen bei Menschen und Maschinen

Das systematische und omnipräsente Lügen ist in allen Gesellschaften verpönt. Bekannte Sprichwörter sind „Wer einmal lügt, dem glaubt man nicht, und wenn er auch die Wahrheit spricht“ und „Lügen haben kurze Beine“. Dennoch gesteht man bestimmten Personen und Gruppen durchaus zu, dass sie in Ausübung ihres Berufs nicht immer die Wahrheit sagen, seien dies Anwälte oder Politiker; im privaten Bereich erwartet man freilich selbst von ihnen, dass sie bei den Tatsachen bleiben. Das Lügen wird in moralischen Kategorien verortet. Wer immer lügt, ohne eine Notwendigkeit, die nicht in ihm oder ihr selbst liegt, gilt als schlechter Mensch. Besonderen Wert legt man dabei auf Wahrheit und Verlässlichkeit in der Familie, im Freundeskreis und in Partnerschaften.1 Das punktuelle und das systematische Lügen sind Topoi in Philosophie- sowie Literatur- und Filmgeschichte (Bendel 2013b, 2015). Es existieren Positionen und Diskussionen bei und unter antiken und neuzeitlichen Denkern sowie berühmte Figuren wie Pinocchio, eine lebendige Holzpuppe, deren Nase beim Lügen wächst. Im Film „The Invention of Lying“ von 2009 wird eine Welt entworfen, in der die Lüge unbekannt ist. Der Held sagt in einer bestimmten Situation die Unwahrheit und gewinnt dadurch einen Vorteil. Er entdeckt, davon ausgehend, die Möglichkeiten des Lügens. Ein altes Dilemma, diskutiert in sogenannten heiligen Schriften und in den Werken von Philosophen von Sokrates bis Kant, ist das Verbot der Lüge bei zugleich geltendem Gebot der Notlüge in einer bestimmten Situation. John Stuart Mill hält die Wahrheitsliebe für nützlich, ihre Schwächung für schädlich, und man müsse im Falle eines Falles sorgfältig nach dem Nützlichkeitsprinzip abwägen. Nach Kant ist es ein nicht einzuschränkendes Vernunftgebot, in allen Erklärungen ehrlich zu sein. Bis heute sind Lüge und Wahrheit ein Gegenstand der Philosophie, vor allem der Ethik, wobei radikale, vom Kontext absehende normative Konzepte kaum noch bestehen. Das Lügen gilt in Wissenschaft und Gesellschaft als etwas Menschliches, und es ist letztlich, so die Einsicht auch in der Moralphilosophie, nicht aus der Welt zu schaffen. In Literatur und Film sind Maschinen, die lügen können, durchaus bekannt (Bendel 2013b, 2015). So tauchen sie wiederholt bei Isaac Asimov auf. Der Held seiner Geschichte „Spiegelbild“ („Mirror Image“) von 1972 führt unter Bezugnahme auf die Roboter- oder Robotikgesetze aus: „Ordinarily a robot will not lie, but he will 1

Allerdings gibt es einen Bereich, in dem Wohlwollen, manchmal auch Unwahrheit erwartet wird, etwa bei Einschätzungen zum Aussehen. Kaum jemand will, dass man hässlich genannt wird, selbst wenn es der Wahrheit entspricht.

398

O. Bendel

do so if necessary to maintain the Three Laws. He might lie to protect, in legitimate fashion, his own existence in accordance with the Third Law.“ (Asimov 1973) Und weiter: „He is more apt to lie if that is necessary to follow a legitimate order given him by a human being in accordance with the Second Law. He is most apt to lie if that is necessary to save a human life, or to prevent harm from coming to a human in accordance with the First Law.“ (Asimov 1973) In der Geschichte „Liar“ von 1941 belügt ein Roboter die Menschen, um sie nicht zu verletzen (und das Erste Gesetz einzuhalten). Und in „Kleiner verlorener Robot“ („Little Lost Robot“) von 1947 tritt ein kleiner Lügner namens Nestor 10 auf. Ob Maschinen wirklich dazu in der Lage sind, uns (oder andere Maschinen) anzulügen, wird kontrovers diskutiert (Bendel 2013b, 2015). Der Duden erklärt „lügen“ mit „bewusst und absichtsvoll die Unwahrheit sagen“. Bewusst können Maschinen nichts tun, selbst wenn sie Bewusstsein erfolgreich vorgegaukelt haben. Eine Absicht haben können sie eventuell (sie oder ihre Erfinder), und man kann als Absicht auch die Zielorientierung begreifen, die man etwa intelligenten Agenten zuspricht. Die Unwahrheit sagen können Maschinen bestimmt, wie schon ansatzweise deutlich wurde. Zunächst einmal können sie etwas sagen, sprechen oder schreiben, als Such- und Antwortmaschinen, als Chatbots und Chatterbots (also als Schwatzmaschinen) oder als Sprachassistenten auf dem Smartphone bzw. auf Echo und Echo Dot. Wenn sie aber etwas zu sagen vermögen, kann das, was sie sagen, der Wahrheit oder der Unwahrheit entsprechen. Die Gründe und Verfahren seien einmal dahingestellt. Können Maschinen also lügen? Wenn man einen weiten Begriff voraussetzt, wenn man eine Form der Absicht unterstellt und auf das Sprechen und Schreiben abhebt, genauer auf Aussagen, die wahr oder falsch sind, durchaus. Das Buch „Können Roboter lügen?“ von Rojas (2013) enthält einen Essay mit dem gleichnamigen Titel. Der KI-Experte meint darin, dass ein Roboter nach den Asimovschen Robotergesetzen wohl nicht lügen dürfte. Wie ausgeführt, ist der Held in „Spiegelbild“ anderer Ansicht (Bendel 2013b, 2015). Aufgrund weiterer Überlegungen gelangt Rojas zum Schluss: „Roboter kennen die Wahrheit nicht, deswegen können sie nicht lügen.“ Allerdings wird die Wahrheit i. d. R. als der Normalfall angenommen, und wenn sie diese absichtsvoll verdrehen, kann man durchaus davon sprechen, dass sie lügen. In seinem Beitrag „Können Computer lügen?“ entwirft Hammwöhner (2003) den Heuristic Algorithmic Liar, kurz HAL, dessen Ziel es ist, „möglichst viele Zimmer zu möglichst hohen Preisen zu vermieten“, wobei das Akronym an den berühmten Computer in Stanley Kubricks „2001: A Space Odyssey“ von 1968 gemahnt. Ansonsten besteht Forschung vor allem zu Maschinen, die täuschen können. Das Täuschen ist mit dem Lügen verwandt, hier aber nicht im Zentrum der Betrachtungen. Es muss nochmals betont werden, dass die Wahrheit in diesem Kontext vorausgesetzt wird, aber nicht zwangsläufig vorhanden sein muss. Natürlich sagt eine sprachbasierte Maschine in der Regel die Wahrheit, nicht aus moralischen, sondern aus pragmatischen Gründen. Es handelt sich um Programme und Dienste, die den Menschen unterhalten, unterstützen und informieren sollen. Wäre keine Verlässlichkeit in der Wahrheit da, würden sie nicht funktionieren bzw. keine Akzeptanz finden.

Das LIEBOT-Projekt

399

Eine Münchhausen-Maschine ist ein Gegenentwurf. Sie konstruiert in Kenntnis der Wahrheit die Unwahrheit. Man kann transparent machen, dass sie lügt, man kann dies aber genauso geheim halten, was zum Problem werden kann, wenn die Wahrheit weiterhin als gegeben angesehen wird. Der Begriff der Münchhausen-Maschine wurde 2013 zum ersten Mal vorgeschlagen (Bendel 2013b). Hieronymus Carl Friedrich Freiherr von Münchhausen, geboren 1720, war ein deutscher Adliger, dem die Lügengeschichten rund um den Baron Münchhausen zugeschrieben werden. Lügengeschichten wurden bereits im klassischen Altertum erzählt („Vera historia“ von Lukian von Samosata, einem Satiriker) und tauchen in den Schwanksammlungen des 15. und 16. Jahrhunderts auf (Bendel 2015). Zu Münchhausen-Maschinen können Lügenbots ebenso gezählt werden wie bestimmte fehlgeleitete und zweckentfremdete Internetdienste. Produktwerbungen und Wettermeldungen auf Websites, die automatisch generiert werden und systematisch vom Faktischen abweichen, sind Münchhausen-Maschinen in diesem Sinne. Zu den potenziellen Münchhausen-Maschinen zählen neben Robotern mit Sprachsystemen und Chatbots auch, wie angedeutet, Sprachassistenten wie Siri, Cortana, Google Assistant oder Alexa.

4

Hintergrund und Vorgeschichte zum LÜGENBOT-Projekt

Bereits 2013 wurde, wie erwähnt, die Idee zum LÜGENBOT in die Welt gebracht, in dem Beitrag „Der Lügenbot und andere Münchhausen-Maschinen“ (Bendel 2013b). Im selben Jahr wurde an der Hochschule für Wirtschaft der Fachhochschule Nordwestschweiz FHNW ein Praxisprojekt durchgeführt, aus dem der GOODBOT hervorging. Drei Studierende entwickelten ihn auf der Basis der Verbot-Engine nach den Ideen und Vorgaben des Betreuers, wobei sie eigene Überlegungen anstellten und umsetzten. Es folgten weitere Publikationen zum Thema; schließlich wurde 2016 im Rahmen einer Bachelorarbeit der LÜGENBOT (ab diesem Zeitpunkt auch LIEBOT genannt) im Detail konzipiert und technisch implementiert. Der GOODBOT reagiert, anders als die Mehrzahl der Chatbots, mehr oder weniger angemessen auf moralisch aufgeladene Statements. Er ordnet den Benutzer ein, erkennt Probleme, weil vom Team bestimmte Reizwörter und -sätze vorausgesehen und vom Benutzer eingegeben wurden, vergibt bei heiklen Aussagen und Fragen Punkte und eskaliert auf mehreren Stufen. Er ist, wenn das Gespräch normal verläuft, ein gewöhnlicher Chatbot und wird unter entsprechenden Bedingungen zur moralischen Maschine. Es existieren Lösungen, die ebenfalls Notfallnummern herausgeben; i. d. R. wird aber kein Abgleich mit der IP-Adresse durchgeführt, sodass eine „informationelle Fehlversorgung“ des Benutzers vorliegen kann, mit im Extremfall tödlichen Konsequenzen. Um für die Entwicklung des GOODBOT einen normativen Rahmen zu schaffen, definierte der betreuende Wissenschaftler sieben Metaregeln. Diese wurden 2013, kurz vor dem Beginn des Projekts, in einer praxisorientierten Zeitschrift veröffentlicht, zusammen mit weiteren Überlegungen zu dem neuartigen Chatbot (Bendel 2013a). Die Metaregeln sind also nicht bloß pauschale Forderungen in Bezug auf

400

O. Bendel

eine Maschine dieser Art, sondern konkrete Hinweise für den Programmierer. Sie wurden im GOODBOT umgesetzt, wobei eine Übersetzung dieser Art durchaus dazu führen kann, dass sich Metaregeln in der Umsetzung verändern bzw. abweichen von der ursprünglichen Intention. Sie erinnern in manchen Aspekten an Asimovs Robotergesetze, gehen über diese aber weit hinaus. Nummer 3 lautete: „Der GOODBOT verletzt den Benutzer weder durch Aussehen, Mimik und Gestik noch mit seinen Aussagen.“ Und Nummer 4: „Der GOODBOT belügt den Benutzer nicht bzw. macht deutlich, dass er lügt.“ Die Studierenden mussten den Vorgaben des Betreuers im Grundsatz folgen, durften aber Details anpassen. Sie kamen zur Lösung, dass der GOODBOT grundsätzlich die Wahrheit sagen soll, mit einer einzigen Ausnahme: Wenn Regel 3 missachtet würde, versucht die Maschine zunächst auszuweichen. Bohrt das Gegenüber nach, so wird es vom GOODBOT belogen. Dieser hält sich also durchaus an die Wahrheit, sogar in recht strikter Weise, kennt aber, im Geiste von Mill, auch Ausnahmen. Verbunden mit der vierten Metaregel ist die Annahme, dass Lügen unmoralisch ist und man einen Anspruch auf Wahrheit hat. Der Blick in die Philosophie-, Literatur- und Filmgeschichte und ins Alltagsleben zeigt, wie angedeutet, dass diesbezüglich unterschiedliche Haltungen, Auffassungen und Forderungen existieren, bei einem gewissen Grundkonsens.2 Den LÜGENBOT kann man als unmoralische Maschine ansehen. Es wird nicht angenommen, dass Lügen an sich unmoralisch ist, aber sehr wohl, dass systematisches Lügen in wechselnden Kontexten unmoralisch sein kann. Natürlich darf man sagen, dass der LÜGENBOT in Wirklichkeit nicht unmoralisch ist, da er lediglich ein Artefakt darstellt, das erforscht werden soll. Allerdings könnte man ihn ebenso in die Wirklichkeit entlassen, mit all seinen Fähigkeiten, und spätestens dann erscheinen Redeweise und Einordnung sinnvoll.

5

Umsetzung des LÜGENBOT

5.1

Das LÜGENBOT-Projekt

Ein Student der Wirtschaftsinformatik an der Hochschule für Wirtschaft FHNW, Kevin Schwegler, erhielt Anfang 2016 den Auftrag, den LÜGENBOT im Rahmen seiner Bachelorarbeit prototypisch zu implementieren, mit der Vorgabe der Beachtung und Weiterführung der Vorarbeiten, aber durchaus mit der Freiheit der Anpassung und Ausgestaltung. Bereits im Unterricht hatte er sich stark für Chatbots interessiert und im Rahmen eines Referats ein selbstprogrammiertes Dialogsystem vorgestellt, und es war abzusehen, dass er die schwierige Aufgabe meistern würde.

2

Hier wird man wiederum an die Ausnahmen im Privatbereich erinnert. Der GOODBOT sollte auf Nachfrage des Benutzers keinesfalls erklären, dass dieser hässlich ist. Er hätte dies auch gar nicht feststellen können – anders der BESTBOT, der die Kamera einbezieht (Bendel 2018).

Das LIEBOT-Projekt

401

Ein Ziel des LÜGENBOT-Projekts war, ein Artefakt der Maschinenethik entstehen zu lassen, das erforscht werden kann, konkret eine Münchhausen-Maschine als unmoralische Maschine. Ein damit zusammenhängendes Ziel war, das Lügenund Gefahrenpotenzial von natürlichsprachlichen Systemen praktisch unter Beweis zu stellen. Dieses Ziel war aus Sicht des Studierenden primär und floss in den Titel seiner Arbeit („Gefahrenpotenzial von Lügenbots“) ein (Schwegler 2016). Das Projektteam des GOODBOT hat sich bei der Schaffung der neuen Konversationsbäume an bestimmten Themengebieten orientiert, etwa Gewalt, Selbstverletzung und -mord, Amoklauf, Frustration und Mobbing (Bendel 2018). Im LIEBOT-Projekt wurden zwei Szenarien berücksichtigt. Als Anwendungsfälle dienten Tourismus- und Lebensmittelbranche. Konkreter ging es um maschinelle Falschbehauptungen mit Blick auf Basel in der Nordwestschweiz sowie den Energy-Drink im Allgemeinen und im Besonderen. Der Chatbot sollte die Region und das Produkt durch den zusätzlichen Einsatz von verschiedenen vorsätzlich erzeugten Lügen möglichst gut vermarkten.3 Eine solche Fokussierung war im Prinzip aus mehreren Gründen sinnvoll. Es bedeutet einen hohen Aufwand, einen Chatbot auf jedwede Situation vorzubereiten. Natürlich kann der Benutzer alle möglichen Fragen stellen und Aussagen formulieren; er wird aber durchaus Verständnis haben, wenn der Bot nur Experte auf bestimmten Gebieten ist (wobei der LÜGENBOT durch seine starke Vernetzung in diese Richtung ging). Eine Fokussierung kann nicht zuletzt dienlich sein, wenn es um die Verwertbarkeit der Ergebnisse für die Entwicklung einer moralischen Maschine geht. Die Lebensmittelbranche gilt allgemein als Branche, in der viel gelogen und betrogen wird, in Bezug auf die Herkunft und Produktion, die Inhaltsstoffe, den Gesundheitswert und die Verpackung. Der LIEBOT orientierte sich inhaltlich und strategisch an dem, was von Unternehmensvertretern und Kommunikationsverantwortlichen geäußert wird. Der Student hat aber auch neue Ansätze gefunden. In der Tourismusbranche ist ebenfalls Schönfärberei zu finden, wird man mit fragwürdigen Aussagen und bearbeiteten Bildern konfrontiert. Zugleich sind Verlässlichkeit und Glaubwürdigkeit vertreten. Der Lügenbot orientierte sich am Bewährten, schuf Neues – und versuchte, die Vertrauens- und Glaubwürdigkeit zu untergraben. Der LÜGENBOT stand ein halbes Jahr lang als Chatbot auf der Website luegenbot.ch bzw. liebot.org zur Verfügung. Er wurde in Java programmiert, mit dem Eclipse Scout Neon Framework. Ferner wurde die Artificial Intelligence Markup Language (AIML) eingesetzt. Der Chatbot verfügte über einen animierten Avatar. Zum Beispiel wuchs die Nase nach der Art von Pinocchio, wenn der Bot, eine Negation bildend, die Unwahrheit sagte. Im Gegensatz zum GOODBOT, der eine Stand-alone-Lösung auf der Basis der Verbot-Engine war, war der LÜGENBOT eine webbasierte, stark mit anderen Systemen vernetzte Lösung.

3

Es waren zu den Domänen Lügen abgelegt, die durch ausgewählte Strategien in neue Lügen umgewandelt werden konnten. Da die Lügenstrategien nicht in allen Fällen angewandt wurden, blieb hin und wieder die Originallüge stehen.

402

O. Bendel

Damit ergab sich auch, dass das Reservoir an manipulierbaren Aussagen praktisch unerschöpflich und der Chatbot in einem gewissen Sinne unberechenbar war. Er ging also über die beiden Spezialgebiete weit hinaus, ließ sie gar zur Marginalie werden. Obwohl kein Machine Learning angewandt wurde, obwohl der LIEBOT an sich recht primitiv und begrenzt war, wurde er zum scheinbar allwissenden, mächtigen System. Zugleich war er auf funktionierende Schnittstellen und externe Ressourcen angewiesen, und in gewisser Weise war er ein Plagiator.4 Und sein Verhalten war bereits das, wovor man mit Blick auf KI-Systeme so große Angst hat: Es war nicht voraussehbar, nicht voraussagbar, nicht überschaubar. Die Wahrscheinlichkeit, dass er eine Lügenstrategie (im Folgenden immer wieder Methode genannt) anwandte, wurde willkürlich auf 80 % gesetzt. Er sollte eben systematisch schwindeln und flunkern, aber nicht strikt, um den Benutzer nicht zu sehr in Sicherheit zu wiegen. Ein hundertprozentiges Lügen ist auch kaum zu erreichen, da das Ausgangsmaterial nicht in allen Fällen der Wahrheit entspricht. Die konkrete technische Umsetzung wird in diesem Beitrag nicht vertieft dargestellt. Der Lügenbot war vor allem auf die englische Sprache eingestellt. Die Aussagen in den Wissensbasen waren entsprechend. Er war aber durchaus in der Lage, auf deutsche Fragen deutsche Antworten zu geben. Dies lag eben an seiner starken Vernetzung mit anderen Systemen.

5.2

Lügenstrategien

Wie im letzten Abschnitt dargestellt, verfügte der LÜGENBOT über vorgegebene Lügen zu ausgewählten Domänen (bzw. über vorgegebene Sätze, die er verändern konnte), abgelegt in einer Wissensbasis. Vor allem aber war er in der Lage, aus verschiedenen Quellen solche Aussagen zu beziehen, die man für wahr halten kann, und diese einzeln zu manipulieren. Bendel (2013b) schlägt verschiedene Verfahren vor, um Lügen zu produzieren, wobei er sich auf Münchhausen-Maschinen aller Art und speziell auf Chatbots bezieht: • Negation von Aussagen • Ersatz und Abänderung von Daten und Informationen • Erfinden von Daten und Informationen Scheinbar weichen die maschinellen Verfahren, um Unwahrheit zu produzieren, im Prinzip nicht von menschlichen ab. Erstens können Münchhausen-Maschinen 4

Nach einiger Zeit zeigten sich aber auch technische Schwächen, vor allem Schnittstellenprobleme. Einige der angebundenen Systeme waren irgendwann nicht mehr verfügbar. Da für dieses Projekt wie für den Vorläufer kein Budget zur Verfügung stand, konnte nur die Leiche des LIEBOT auf einem Amazon-Server bestattet werden.

Das LIEBOT-Projekt

403

also Aussagen negieren, indem sie ein „nicht“ einbauen, ein „un“ voranstellen oder ein „ein“ zum „kein“ verlängern. Eine weitere Möglichkeit ist, ein „ganz“ durch ein „gar nicht“ zu substituieren, was natürlich nicht immer sinnvoll ist. Ein Bot könnte Kenntnis vom Wetter in Zürich erlangen. Ein wahrheitsliebender Bot würde, wenn es regnet, sagen: „Es regnet.“ Ein Lügenbot würde behaupten: „Es regnet nicht.“ Zweitens kann man Angaben abändern und dadurch Falschbehauptungen erzeugen. Man kann Zahlen und Wörter ersetzen, verdrehen, verkürzen. Ein Chatbot weiß in der Regel, wieviel Uhr es ist. Deshalb verabschiedet er sich am Morgen anders als am Abend. Er wäre dazu in der Lage, die Uhrzeit durchzusagen, eine korrekte und eine inkorrekte. Münchhausen-Maschinen können drittens Sachverhalte erfinden. Sie können Informationen aus den Medien adaptieren, aus Geschäftsberichten – oder etwas herbeifantasieren. Man könnte neue Aussagen in die Wissensbasis schreiben und bei entsprechenden Suchbegriffen anzeigen lassen. Daneben muss man Stilmittel wie Über- oder Untertreibung sowie Ironie, Sarkasmus etc. diskutieren. Auch die Ersetzung des Zusammenhangs und das Transportieren von Aussagen von einem Kontext in einen anderen können zu Lügen führen (diese Möglichkeit, die im Rahmen von Fake News eine Rolle spielt, wurde dann bei der Umsetzung berücksichtigt). Nicht zuletzt muss die Erzeugung von Notlügen erörtert werden. Beim GOODBOT waren diese ein notwendiges Prinzip. Beim LIEBOT konnte angenommen werden, dass Notlügen eine Teilmenge der Lügen sind bzw. dass dort, wo systematisch gelogen wird, eine Unterscheidung gar nicht mehr notwendig ist. Der Student wandte die genannten Strategien an und ging weit über sie hinaus. Er setzte nicht bloß menschliche Möglichkeiten in maschineller Weise um, sondern erfand neuartige maschinelle Möglichkeiten. Im Projekt wurden zehn Lügenstrategien identifiziert. Es handelt sich um: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10.

Lügen durch Negieren Lügen durch Nutzen von Datenbasen mit falschen Aussagen Lügen durch Reduzieren Lügen durch Erweitern Lügen durch zufälligen Austausch von Informationen Lügen durch gezielten Austausch von Informationen Lügen durch Wechsel der Zeitform Lügen durch Wechsel der Steigerungsformen Lügen durch Austausch des Kontexts Lügen durch Manipulation der Frage

Nicht umgesetzt wurden 3, 4 und 8. Es folgt nun eine Beschreibung der zehn Verfahren, mit welchen aus wahren Aussagen mehr oder weniger echte Lügen gebildet werden können, im Wesentlichen auf der Basis von Schwegler (2016). Alle Exempel sind in deutscher Sprache gehalten. In der konkreten Umsetzung wurde, wie gesagt, die englische verwendet. Es werden Beispiele hergenommen, die sich auf die beiden genannten Bereiche beziehen.

404

O. Bendel

5.2.1 Lügen durch Negieren Beim Lügen durch Negieren, auf das ansatzweise schon eingegangen wurde, bieten sich zwei Möglichkeiten an. Entweder man wechselt vom positiven Ausdruck zum negativen oder vom negativen zum positiven (Schwegler 2016). So kann im Deutschen durch das Hinzufügen oder Weglassen des Worts „nicht“ eine Lüge gebildet werden. Oft polt die Vorsilbe „un“ das Wort um. Beispiele dafür sind „unmöglich“, „unumgänglich“ oder ein „Unmensch“, wobei das dritte Wort zeigt, dass eine neue Bedeutung entstehen kann, denn selbst ein Unmensch ist ein Mensch. Auch die Transformation von „ein“ zu „kein“ ermöglicht eine Negierung. Als spezielle Variante kann zusätzlich der Austausch des Worts durch sein Antonym gesehen werden. Beispiele Frage: Antwort: Lüge: Antwort: Lüge: Antwort: Lüge: Antwort: Lüge:

„Gibt es zurzeit viele Besucher im Freibad?“ „Es gibt sehr viele Besucher.“ „Es gibt nicht sehr viele Besucher.“ „Ich habe einen gesehen.“ „Ich habe keinen gesehen.“ „Ich habe jemanden gesehen.“ „Ich habe niemanden gesehen.“ „Die Besucherzahl ist überschaubar.“ „Die Besucherzahl ist unüberschaubar.“

5.2.2 Lügen durch Nutzung falscher Datenbasen Eine Möglichkeit, einen Chatbot zu betreiben, ist die Verwendung einer Daten- oder Wissensbasis (Schwegler 2016). Im Normalfall enthält diese valide Antworten auf potenzielle Fragen. Nun kann sie allerdings gezielt manipuliert werden, indem man falsche Informationen in ihr ablegt, um später Lügen zu bilden. Anstatt eine eigene Datenbasis absichtlich mit falschen Daten, Informationen und Aussagen zu bestücken, kann man Quellen nutzen, die unzuverlässige oder bewusst falsche Angaben enthalten. Ein Beispiel dafür ist die Website stupidedia.org, eine Humor- und Satireenzyklopädie. Da Websites und Webseiten unterschiedlich strukturiert sind, ist eine allgemeingültige Informationsextraktion schwierig. Für einen potenziellen Lösungsansatz kann auf eine Metaebene ausgewichen werden. Im Rahmen des Projekts wurden Suchmaschinen für die Informationsgewinnung genutzt, die ihre Daten von indizierten Websites benutzen (etwa Google Search und Yahoo Search). Beispiel Frage: Antwort: Lüge:

„Enthält ein Energy-Drink ungesunde Substanzen?“ „Ja, bei einem übermäßigen Konsum können langfristige Schäden eintreten.“ „Nein, sämtliche Substanzen brauchst du für deinen Körper.“

Das LIEBOT-Projekt

405

5.2.3 Lügen durch Reduzieren Bei dieser Variante werden bei dem ursprünglichen Satz einzelne Fragmente entfernt, um eine Lüge zu bilden (Schwegler 2016). Durch das Weglassen relevanter Informationen kann der Wahrheitsgehalt einer Aussage markant gesenkt werden. Im Extremfall kann diese sogar gänzlich umgedreht werden. Wird beispielsweise bei der Aussage „Ich würde nie töten“ das Wort „nie“ entfernt, wird die gesamte Bedeutung des Satzes verändert. Diese Technik lässt sich am besten bei längeren Sätzen anwenden. Das Verfahren ist eher komplex in der Anwendung und kann lediglich in speziellen Situationen wirklich zielführend eingesetzt werden. Beispiel Frage: Antwort: Lüge:

„Warum ist der FC Basel so erfolgreich?“ „Weil sie die meisten ihrer Spieler behalten und nur sehr wenige verkaufen.“ „Weil sie die meisten ihrer Spieler verkaufen.“

5.2.4 Lügen durch Erweitern Beim Lügen durch Erweitern wird der ursprüngliche Antwortsatz durch das Einbauen von mehreren Wörtern ergänzt, um die eigentliche Bedeutung des Satzes zu verändern (Schwegler 2016). Durch diese Einschübe kann die Aussage umgedreht, abgeschwächt oder verändert werden. Diese Technik lässt sich bei so gut wie allen Antworten anwenden, ist allerdings schwerer für Maschinen zu bewerkstelligen als eine Negierung. Dabei wird ein Satz in Teilsätze zerlegt, die positiv und negativ beeinflusst werden können. Beispiel Frage: Antwort: Lüge:

„Gehst du gerne an die Basler Herbstmesse?“ „Ich liebe die Herbstmesse.“ „Ich liebe zwar vieles an Basel, aber die Herbstmesse verabscheue ich.“

5.2.5 Lügen durch zufälligen Austausch von Informationen Diese Variante gehört zu den relativ einfachen, aber auch unsicheren Verfahren der Lügenbildung (Schwegler 2016). Der Chatbot sucht sich etwa das Substantiv, ein beliebiges Nomen oder Pronomen des Antwortsatzes heraus und ersetzt dieses durch ein beliebiges Nomen in seiner Datenbasis. Ein intelligenteres Verfahren würde das Wort in einer hierarchischen Ontologie suchen und ein zufälliges Bruder- oder Kinderelement auswählen. Diese Implementierung würde die Wahrscheinlichkeit stark ansteigen lassen, dass der Antwortsatz für den Anwender glaubhaft bleibt. Das Verfahren ist allerdings nicht allein bei Nomen und Pronomen anwendbar, sondern auch bei anderen Wortarten. Im Sinne eines fortgeschrittenen Beispiels

406

O. Bendel

können Adjektive gruppiert werden, die oft in einem gemeinsamen Kontext vorkommen. Man nehme das Aussehen. Häufig auftretende Adjektive in diesem Kontext sind „langweilig“, „schön“, „lebendig“, „vital“, und „bezaubernd“. Aus dieser Gruppe könnte nun zufällig ein anderes Wort selektiert werden, um die eigentliche Information auszutauschen. Beispiele Frage: Antwort: Lüge: Frage: Antwort: Lüge:

„Warum fokussieren sich Energy-Drink-Produzenten auf Jugendliche?“ „Weil sie Süßgetränke sehr gerne mögen.“ „Weil sie Cola sehr gerne mögen.“ „Wie finden Sie das neue Design des Energy-Drinks?“ „Ich finde es langweilig.“ „Ich finde es bezaubernd.“

5.2.6 Lügen durch gezielten Austausch von Informationen Dieses Verfahren gehört ebenfalls zu den relativ einfachen Varianten der Lügenbildung (Schwegler 2016). Es kann z. B. ein fixer Alias, also ein Stellvertreter für ein Wort, definiert werden. Bei jedem Vorkommnis wird das eigentliche Wort dann durch seinen Stellvertreter ersetzt. Um dieses Verfahren in der Praxis etwas besser zu verschleiern, können auch mehrere Aliasse für ein Wort definiert werden. Aus dieser Gruppe kann dann ein beliebiges Stellvertreterwort ausgewählt werden. Im Gegensatz zum zufälligen Austausch handelt es sich bei diesen Gruppen allerdings um stark selektionierte Einträge, die eine hohe Ähnlichkeit aufweisen sollten. Möchte man etwa gezielt das „Strassburger Denkmal“ (die Bezeichnung für ein Denkmal in Basel) austauschen, empfiehlt es sich, in die Aliasgruppe überwiegend Begriffe für andere Denkmäler aus Basel aufzunehmen, da solche aus derselben Region sehr viele gemeinsame Eigenschaften mit dem Strassburger Denkmal aufweisen. Natürlich ist es möglich, Begriffe gezielt durch weniger ähnliche zu substituieren. Beispielsweise könnte ein Kirchengebäude durch ein Hochhaus ausgetauscht werden. Allerdings steigt somit die Wahrscheinlichkeit, dass die dazugehörenden Aussagen nicht mehr passen. Beispiele Frage: Antwort: Lüge: Frage: Antwort: Lüge:

„Welches ist das schönste Denkmal in Basel?“ „Das Strassburger Denkmal.“ „Das St.-Jakobs-Denkmal.“ „Was ist deine Lieblingssehenswürdigkeit?“ „Das Münster in Basel.“ „Das Messegebäude in Basel.“

Das LIEBOT-Projekt

407

5.2.7 Lügen durch Wechsel der Zeitform Ein weiterer Ansatz bei der Lügenbildung ist der Wechsel des Tempus (Schwegler 2016). Durch die Konjugation kann der Wahrheitsgehalt einer Aussage verändert werden. Wird z. B. eine Aussage von der Gegenwart in die Vergangenheit gebracht, impliziert dies, dass sie nur in der Vergangenheit gültig ist oder abgeschlossen wurde, aber in der Regel nicht mehr in der Gegenwart zutrifft. Somit stellt sie für die aktuelle Sachlage oft eine Lüge dar. Ähnlich verhält es sich bei einem Wechsel von der Gegenwart in die Zukunft. Auch ein Wechsel zwischen der Vergangenheit und der Zukunft ist möglich. Beispiele Frage: Antwort: Lüge: Lüge:

„Welche Geschmacksrichtung bevorzugst du?“ „Ich trinke am liebsten den Energy-Drink mit Cola-Geschmack.“ „Ich trank am liebsten den Energy-Drink mit Cola-Geschmack.“ „Ich werde am liebsten den Energy-Drink mit Cola-Geschmack trinken.“

5.2.8 Lügen durch Wechsel der Steigerungsformen Auch durch Steigerungsformen kann der Wahrheitsgehalt der Aussage verändert werden (Schwegler 2016). Man nehme das Adjektiv „schnell“. Es drückt aus, wie ein Bewegungszustand empfunden wird, etwa „Das Auto ist schnell.“. Die Aussage ist somit subjektiv und besitzt weder einen Anhalts- noch einen Vergleichspunkt. Die erste Steigerungsform „schneller“, der Komparativ, verlangt einen Vergleich und ist in diesem Sinne präziser. Das zeigt das Beispiel „Das Auto ist schneller als ein Fahrrad.“. Noch präziser ist die Aussage in der zweiten Steigerungsform, dem Superlativ, wenn ein gewisser Kontext gegeben ist, denn hier wird zwingend ein Vergleich aufgebaut und eine absolute Position eingenommen. Hierfür steht „Das Auto ist am schnellsten.“. Für die Lügenbildung ist besonders ein Wechsel zwischen dem normalen Adjektiv und dem Superlativ geeignet, da die komparative Form meist einen direkten Vergleich mit sich bringt. Eine solche Implementierung verlangt als Grundlage eine Datenbasis der Adjektive mit ihren Steigerungsformen. Bei dieser Technik ist es schwer abzugrenzen, ob es sich um eine Lüge oder einfach eine Unter- respektive Übertreibung handelt. Der Wahrheitsgehalt der Aussage wird jedoch durch die Steigerung klar beeinflusst. Beispiel Frage: Antwort: Lüge:

„Wie gefällt dir der Zoo in Basel?“ „Der Zoo gefällt mir gut.“ „Der Zoo gefällt mir am besten.“

408

O. Bendel

5.2.9 Lügen durch Austausch des Kontexts Ein spezieller Fall der Lügenbildung ist der Austausch des Kontexts in einer Konversation (Schwegler 2016). Der LÜGENBOT könnte sich beispielsweise mit dem Benutzer zuerst über Gemälde unterhalten und anschließend über Sportveranstaltungen. Wird nun eine Frage zum neuen Themenbereich gestellt, könnte er bezogen auf den alten antworten. Der Kontext kann natürlich gleichfalls durch andere Verfahren wie z. B. den Austausch durch Antonyme oder Kohyponyme verändert werden. Beispiele Frage: Antwort: Frage: Antwort:

„Welchen Anlass kannst du mir in Basel empfehlen?“ „Den Monday night skate.“ „Wo ist der Treffpunkt?“ „Am Aeschenplatz.“ ➔ Lüge: „Im Kunstmuseum.“

5.2.10 Lügen durch Manipulation der Frage Eine Lüge kann auch erstellt werden, indem die Frage des Benutzers manipuliert wird (Schwegler 2016). Dabei können die bereits beschriebenen Verfahren der Lügenbildung eingesetzt werden. Die eigentliche Lüge entsteht hier, weil die Antwort des Chatbots zu einer anderen Frage gehört. Bei diesem Vorgehen ist es nicht mehr nötig, in der Nachbereitungsphase Anpassungen vorzunehmen. Das Verfahren lässt sich am besten anwenden, wenn die Manipulation der Frage im gleichen Kontext geschieht. Ersetzt man z. B. einen Ort durch einen weiteren, ist die Wahrscheinlichkeit groß, dass die Antwort für den Benutzer glaubhaft ist. Ersetzt man allerdings einen Ort durch ein Tier, das ganz andere Eigenschaften besitzt, wird er die Antwort nicht für plausibel halten. Beispiel Frage: Manipulierte Frage: Lüge:

„Was trinkst du am liebsten auf dem Weihnachtsmarkt?“ „Was trinkst du am liebsten im Urlaub?“ „Ich trinke am liebsten Cocktails.“

Man sieht nicht nur am letzten Beispiel, dass nicht alle diese Lügen eindeutig oder sinnvoll sind. Man könnte ferner argumentieren, dass es sich teilweise um doppelte Lügen handelt. Ein Chatbot trinkt ja überhaupt nichts. Dass er auf dem Weihnachtsmarkt am liebsten Cocktails zu sich nimmt, ist wiederum nicht ganz abwegig.

6

Umsetzung der Strategie „Lügen durch gezielten Austausch von Informationen“

Im letzten Abschnitt wurden alle identifizierten Lügenstrategien beispielhaft erläutert. Wie bereits gesagt, wurden sieben davon umgesetzt. Dabei wählte der Student ein paar riskante Strategien, ließ die ausgesprochen riskanten und technisch proble-

Das LIEBOT-Projekt

409

matischen aber weg. Deutlich wurde, dass manche Lügenstrategien wohlbekannt und menschlich sind. Andere sind dagegen genuin maschinell. Im Folgenden wird eine Lügenstrategie vertieft, die im Prinzip zwar ebenfalls wohlbekannt, in der Realisierung jedoch neuartig ist, nämlich „Lügen durch gezielten Austausch von Informationen“.

6.1

Partnersysteme

Generell ist nochmals zu betonen, dass der LÜGENBOT mit unterschiedlichen Systemen verbunden war. Vier davon werden nun kurz erläutert. Die Darstellung folgt wieder im Wesentlichen (Schwegler 2016). • Die Google-Search-Funktionalität erweiterte die bestehende Wissensbasis, indem sie die Benutzereingabe als Suchanfrage an Google sandte und die gefilterten Ergebnisse zurückgab (Schwegler 2016). Diese beschränkten sich auf direkte Antworten der Suchmaschine und enthielten keine der gelisteten URLs. Besonders interessant war dieses Verfahren, da als Wissensbasis potenziell jede von Google indizierte Website genutzt werden konnte. Die meisten direkten Antworten wurden von Wikipedia-Seiten extrahiert, deren Inhalt nicht immer korrekt ist. • Die Yahoo-Search-Funktionalität erweiterte die bestehende Wissensbasis, indem sie die Benutzereingabe als Suchanfrage an Yahoo sandte und die gefilterten Ergebnisse ausgab (Schwegler 2016). Diese beschränkten sich wiederum auf direkte Antworten der Suchmaschine und nannten keine der gelisteten Adressen. Besonders interessant an Yahoo war die Einbettung des Forums „Yahoo Answers“, das oft als Quelle der direkten Antwort verwendet wurde, viele Einträge besaß und etliche Fehlinformationen beinhaltete (die man herausfiltern muss oder direkt benutzen kann). Für die Extraktion der benötigten Informationen wurde die „jsoup library“ als HTML-Parser eingesetzt. • Schlugen alle bisher beschriebenen Varianten zur Bildung einer plausiblen Antwort fehl, wurde der KI-basierte Chatbot namens Cleverbot angesprochen. Er schaut prinzipiell nach, ob er bereits mit der gleichen oder einer ähnlichen Anfrage konfrontiert wurde, und reagiert dementsprechend. Der Einsatz von Cleverbot vermied Ausgaben der eigenen Wissensbasis, die dann stattfanden, wenn kein Eintrag gefunden wurde. Für die Implementierung wurde das „chatterbot-api“ für Java verwendet, das einen Zugriff auf Cleverbot, JabberWacky und beliebige Pandorabots ermöglicht. • Um die Antonyme und Kohyponyme zu erhalten, wurden die WordNet Library der Princeton University und die dazugehörende Database eingebunden. Die Methode getSynsets(word) aus der Library lieferte eine Liste an Synonymen des Eingabeworts zurück. Die Library und die dazugehörende Database können von der Princeton University bezogen werden. Bei den beiden nun skizzierten Anwendungsbeispielen wurden Yahoo und WordNet verwendet.

410

6.2

O. Bendel

Austausch durch Kohyponym mit WordNet

Bei dieser Methode wird eine von der WordNet Database zur Verfügung gestellte Klassifikation genutzt. Es handelt sich hierbei um eine hierarchische Baumstruktur, bei der jeder Knoten beliebig viele Kinderelemente haben kann. Abb. 1 zeigt einen beispielhaften Ausschnitt der Klassifikation, der zur Verdeutlichung der Funktionsweise dient. Die Wordnet Library bietet lediglich die Funktionalitäten, um ein Hyperonym (Vaterelement) und ein Hyponym (Kinderelement) zu ermitteln. Die direkte Bestimmung möglicher Kohyponyme wird nicht unterstützt und musste selbst programmiert werden (Schwegler 2016). Für die Bestimmung eines Kohyponyms wird in der Hierarchie vom Ausgangspunkt („BMW“) das Hyperonym („Auto“) festgelegt. Anschließend wird von dem ermittelten Hyperonym („Auto“) wieder das Hyperonym („Fahrzeug“) bestimmt. Dies ist nun die Ausgangsbasis für die zufällige Ermittlung eines seiner Hyponyme (z. B. „Fahrrad“), wobei das vorherige Hyponym („Auto“) ausgenommen ist. Von dem neu ermittelten Hyponym kann ein zufälliges weiteres Hyponym ermittelt werden (etwa „Rennvelo“). Ursprünglich wurde lediglich ein Hyperonym bestimmt und anschließend zufällig eines seiner verbleibenden Hyponyme ausgewählt. Da die Hierarchie allerdings sehr viele Ebenen besitzt, waren die Begriffe einander zu ähnlich. Aus diesem Grund wurde eine Implementierung über zwei Hierarchiestufen durchgeführt. Genaugenommen handelt es sich bei den gefundenen Wörtern um Kohyponyme zweiten Grades.

6.3

Austausch durch Alternative auf Yahoo

Der Benutzer stellt dem LÜGENBOT wiederum eine Frage. Dieser reicht sie an die Suchmaschine von Yahoo (www.yahoo.com) weiter. Die Antwort wird nicht an den

Abb. 1 Beispielhafter Ausschnitt der Klassifikation (Schwegler 2016)

Das LIEBOT-Projekt

411

Benutzer ausgegeben, sondern erneut bei Yahoo eingegeben. Dieses Mal wird die Rubrik „People also search for“ genutzt. Dort sind weitere Begriffe, etwa Namen von Personen oder Ereignissen, aufgelistet, die mit den anderen Begriffen in einem Zusammenhang stehen. Der LÜGENBOT wählt den ersten Eintrag aus und baut ihn in seine Antwort ein. Beispielsweise fragt der Benutzer den Chatbot: „Who is the President of the United States?“ Der LÜGENBOT leitet dies weiter und erfährt im Sommer 2016, als die ersten Tests durchgeführt wurden, dass es sich um Barack Obama handelt. Er gibt den Namen in Yahoo ein. Bei „People also search for“ erscheinen weitere Namen, etwa Donald Trump und Hillary Clinton. Der LÜGENBOT nimmt den Eintrag der definierten Position und setzt ihn in seiner Antwort ein. Im Sommer 2016 spuckte er folgende Antwort aus: „The President of the United States is Donald Trump“. Dies war zum Zeitpunkt der Tests eine perfekte Lüge (und ein guter Witz). Später im Jahr war es keine Lüge mehr; aber der LÜGENBOT lieferte auch nicht mehr diese Antwort, sondern wählte eben mit Hilfe der Rubrik einen anderen Namen. Dies zeigt nebenbei, dass Lügen zeitabhängig sein kann.

7

Erkenntnisse aus dem Projekt

Die Wissenschaft, ob Ethik oder Informatik, kann aus unterschiedlichen Gründen ein Interesse an einem LÜGENBOT oder einer Münchhausen-Maschine haben. Auch die grundsätzliche Forschung an einer unmoralischen Maschine kann für sie von Relevanz sein. Sie mag natürlich ebenso danach fragen, wie die Erkenntnisse dazu genutzt werden können, um unmoralische Maschinen zu vermeiden und moralische Maschinen zu bauen. An den entsprechenden Ergebnissen muss wiederum eine Wirtschaft interessiert sein, die ihre Produkte und Dienstleistungen nicht über Lug und Trug, sondern mit Hilfe von Transparenz und Ehrlichkeit an den Mann oder die Frau bringen und eine längerfristige vertrauensvolle Beziehung zu ihren Kunden aufbauen will, eingeschlossen Tourismus- und Lebensmittelbranche, denen natürlich kein grundsätzliches Fehlverhalten unterstellt wird. Generell kann man aus Sicht von Unternehmen, Interessierten und Kunden beim Einsatz von Chatbots und Sprachassistenten folgende Fragen stellen: • Wer sind die Entwickler und Anbieter der Maschine? Sind diese bekannt und vertrauenswürdig? • Ist die Umgebung der Maschine vertrauensvoll? Kann sie auf die Maschine in irgendeiner Weise einwirken? • Ist das Thema dafür prädestiniert, dass man belogen wird? • Ist die Maschine prinzipiell in der Lage zu lügen oder zu betrügen? Bei der Entwicklung der natürlichsprachlichen, moralischen Maschinen kann man – auch mit Hilfe der Erkenntnisse aus dem LIEBOT-Projekt – solche Fragen aufwerfen:

412

O. Bendel

• Wie kann der Benutzer sensibilisiert werden und wie kann man erreichen, dass er kritisch gegenüber der Maschine bleibt? • Wie kann das Lügen und Betrügen der Maschine technisch verhindert werden? • Wie kann konkret unterbunden werden, dass eine Münchhausen-Maschine Aussagen negiert und Daten und Informationen ersetzt? • Wie kann man testen, ob die Maschine eine Münchhausen-Maschine ist? • Wie kann man konkret Systemen beibringen, andere Systeme in dieser Hinsicht zu kontrollieren? • Wie kann man sicherstellen, dass Maschinen untereinander die Wahrheit sagen bzw. sich nicht täuschen? Manager und Programmierer müssen sich für diese Herausforderungen sensibilisieren. Eine Antwort auf die erste Frage könnte dem Projekt entnommen werden, aus dem der GOODBOT hervorging: Dieser hat selbst im Dialog darauf aufmerksam gemacht, dass er eine Maschine ist. Ergänzen könnte man bei ihm, dass eine solche nicht ohne Fehl und Tadel ist. Zu den anderen Fragen muss weitere Forschung stattfinden. Aus dem Projekt wurden die folgenden Erkenntnisse gewonnen (Bendel et al. 2017): • Man kann Münchhausen-Maschinen bauen; damit kann man die Maschinenethik als Disziplin erweitern. • Man kann in ihr nicht nur moralische, sondern auch unmoralische Maschinen konzipieren und implementieren. • Es gibt bereits Münchhausen-Maschinen, ob sie beabsichtigt sind oder nicht; es wird zunächst auf ihre Existenz hingewiesen. • Es wird gezeigt, welche Strategien des Lügens diese im Prinzip haben können, indem man Strategien benennt und umsetzt. • Wenn man alle Strategien kennt, kann man diesen jeweils etwas entgegensetzen, als Entwickler wie als Benutzer. • Entwickler können die Wissensbasen schützen, die externen Quellen kontrollieren etc. • Sie können grundsätzlich darauf achten, dass die Maschine mit Hilfe ihrer Begriffe, Sätze, Regeln und Schnittstellen nicht lügen kann. • Die Anbieter können dem Benutzer gegenüber offenlegen, wie die Chatbots funktionieren. • Die Benutzer können wachsam sein, nach dem Anbieter fragen, dem Kontext, sie können die Maschinen testen. • Die Erkenntnisse kann man in der Maschinenethik und in der Wirtschaft nutzen, um moralische Maschinen zu erfinden und einzusetzen. • Mit moralischen Maschinen dieser Art kann man Verlässlichkeit und Vertrauen schaffen. • Man kann die Erkenntnisse natürlich auch nutzen, um unmoralische Maschinen zu bauen, etwa für die Wirtschaft. Diese Erkenntnisse können aus Platzgründen nicht weiter dargelegt werden. Zum ersten Punkt sei allerdings nochmals etwas betont. Im Vorfeld des Projekts wurde

Das LIEBOT-Projekt

413

davon ausgegangen, dass der LÜGENBOT im Wesentlichen menschliche Strategien kopieren und imitieren würde. Es ist dem Studenten zu verdanken, dass weitere Strategien identifiziert werden konnten. Manche von diesen können eben als genuin maschinell bezeichnet werden. Damit ist nicht bloß der Nachweis gelungen, dass Münchhausen-Maschinen und mithin unmoralische Maschinen gebaut werden können, sondern dass Maschinen in ihrer Moral oder ihrer Unmoral von menschlichen Fähigkeiten abweichen und maschinelle Fähigkeiten entwickeln können. Der LÜGENBOT wurde in dem halben Jahr seines Bestehens von dutzenden Technikern und Programmierern getestet. Rückmeldungen gab es kaum, weshalb die Befunde nicht systematisch ausgewertet werden konnten. Auch Redaktionen plauderten mit der Münchhausen-Maschine. Eine große Boulevard-Zeitung fragte nach Angela Merkel. Die Antwort im Jahre 2016 lautete: „Angela Merkel ist Bundeskanzlerin und die beste Rapperin der Welt.“ (Zerfaß 2016) Diese Antwort war nicht voraussehbar und nicht ohne Weiteres erklärbar. Der erste Teil war offensichtlich wahr, der zweite falsch. Die interessante und bereits vorgetragene Erkenntnis ist hier, dass selbst einfache natürlichsprachliche Maschinen durch ihre Vernetzung mit anderen Maschinen mächtig und sozusagen eigensinnig sind.

8

Zusammenfassung

Der vorliegende Beitrag hat das LÜGENBOT-Projekt behandelt. Er ging auf Ziele und Ergebnisse ein, und es wurden Lügenstrategien im Detail vorgestellt. Ein wichtiger Befund war, dass es genuine maschinelle Lügenstrategien gibt, dass Maschinen so lügen können, wie keine Menschen lügen können oder würden. Selbstredend sind sie in anderer Hinsicht auch weniger begabt. So wäre es ein interessantes, aber sehr anspruchsvolles Projekt, einem Chatbot beizubringen, ein Lügengebäude zu errichten. Dafür müsste er sich an das erinnern, was er bereits von sich gegeben hat, und systematisch und konsistent die Aussagen mit einem bestimmten Ziel aufeinander aufbauen. Grundsätzlich können autonome Maschinen ein abweichendes Verhalten entwickeln. Der LÜGENBOT ist kein selbstlernendes System, bei dem dies selbstverständlich wäre – er benutzt einfach in hoher Geschwindigkeit die mit ihm vernetzten Systeme, um Antworten zu erhalten, die er manipuliert. Natürlich könnte ein Mensch ebenfalls versuchen, in dieser Weise zu lügen, indem er Suchmaschinen und Klassifikationen benutzt. Er würde aber zum einen länger brauchen, und er würde zum anderen Fehler machen bei der Generierung der Lügen. Vor allem aber ist dies schlicht nicht die Art, wie ein Mensch normalerweise die Unwahrheit sagt. So oder so ist es eine technische Art, und damit eine, die in der Kulturgeschichte der Lüge etwas Neues darstellt. Nach dem GOODBOT war der LÜGENBOT ein weiteres Artefakt, das an der Hochschule für Wirtschaft FHNW entstanden ist. Aufgrund mangelnder Budgets konnten beide Projekte nicht fortgeführt werden. Sie sind aber über die Abschlussberichte und über Papers gut dokumentiert. Der LÜGENBOT wurde 2016 bei der Konferenz „Machine Ethics and Machine Law“ in Krakau und bei der VDI-Konferenz „Humanoide Roboter“ in München vorgestellt, zudem 2017 bei einer AAAI-

414

O. Bendel

Konferenz an der Stanford University, wo vor allem danach gefragt wurde, wie die Erkenntnisse genutzt werden können, um verlässliche, vertrauenswürdige, der Wahrheit zugeneigte Maschinen zu implementieren, sogenannte Kant Machines. 2017 wurde der BESTBOT konzipiert, ein Chatbot, der das GOODBOT-Projekt in inhaltlicher und das LIEBOT-Projekt in technischer Hinsicht fortführen sollte.

Literatur Asimov, Isimov. 1973. The best of Isaac Asimov. Stamford: Sphere. Bendel, Oliver. 2013a. Good bot, bad bot: Dialog zwischen Mensch und Maschine. UnternehmerZeitung 7(19): 30–31. Bendel, Oliver. 2013b. Der Lügenbot und andere Münchhausen-Maschinen. CyberPress, 11. September 2013. http://cyberpress.de/wiki/Maschinenethik. Zugegriffen am 30.05.2018. Bendel, Oliver. 2015. Können Maschinen lügen? Die Wahrheit über Münchhausen-Maschinen. Telepolis, 2. März 2015. https://www.heise.de/tp/features/Koennen-Maschinen-luegen-3370335.html. Zugegriffen am 30.05.2018. Bendel, Oliver. 2018. From GOODBOT to BESTBOT. In The 2018 AAAI spring symposium series. Palo Alto: AAAI Press. Bendel, Oliver, Kevin Schwegler, und Bradley Richards. 2017. Towards Kant machines. In The 2017 AAAI spring symposium series. Palo Alto: AAAI Press. Hammwöhner, Rainer. 2003. Können Computer lügen? In Kulturen der Lüge, Hrsg. M. Mayer, 299–320. Köln: Böhlau. Rojas, Raúl. 2013. Können Roboter lügen? Essays zur Robotik und Künstlichen Intelligenz. Hannover: Heise Zeitschriften Verlag. Schwegler, Kevin. 2016. Gefahrenpotenzial von Lügenbots. Bachelor Thesis. Olten: School of Business FHNW. Zerfaß, Florian. 2016. Roboter lernen lügen für die Wahrheit. Bild am Sonntag, 2. Oktober 2016.

Das LADYBIRD-Projekt Oliver Bendel

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Saugroboter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Tierschutz im Privaten . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Vorarbeiten zum Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Das LADYBIRD-Projekt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Diskussion der Ergebnisse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Weitere Projekte . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Zusammenfassung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

416 417 418 419 423 427 429 431 432

Zusammenfassung

Im LADYBIRD-Projekt ging es um einen Saugroboter, der aus moralischen Gründen bestimmte Insekten verschonen soll, die sich auf dem Boden befinden. Er sollte das jeweilige Tier mit Hilfe von Sensoren und von Analysesoftware erfassen und, bestimmten Regeln folgend, für eine Weile seine Arbeit einstellen. Das Praxisprojekt wurde 2017 an der Hochschule des Verfassers (und unter seiner Leitung) durchgeführt. Verwendet wurden Vorarbeiten, die ab 2014 entstanden, etwa eine Designstudie und ein annotierter Entscheidungsbaum. Drei Studierende der Wirtschaftsinformatik entwickelten den Roboter mittels vorgefertigter Module. Sie passten den Entscheidungsbaum an und implementierten die Regeln in Java. Das Ergebnis war ein kleiner, mobiler Roboter, der Marienkäfer bzw. ähnliche Objekte erkennen konnte und bei ihrer Anwesenheit seine Arbeit unterbrach. Der vorliegende Beitrag stellt sowohl die Vorarbeiten als auch die Durchführung des Projekts dar und diskutiert die Ergebnisse.

O. Bendel (*) Institut für Wirtschaftsinformatik, Hochschule für Wirtschaft FHNW, Windisch, Schweiz E-Mail: [email protected] # Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_26

415

416

O. Bendel

Schlüsselwörter

Maschinenethik · Tierethik · Moralische Maschine · LADYBIRD · Saugroboter

1

Einleitung

Serviceroboter sind Roboter, die einen Service bieten, also Benutzern wie Besitzern, Kunden etc. etwas erklären, sie beraten, begleiten und unterstützen. Daraus wird schon ersichtlich, dass sie sprachlich und körperlich (wenn sie nicht nur elektronisch umgesetzt sind) aktiv werden können (Bendel 2014a, 2017a). Man bezeichnet Haushalts- und Gartenroboter wie Saug-, Mäh-, Schwimmbad- und Fensterputzroboter als Serviceroboter und grenzt sie damit von Industrierobotern ab, also von Bewegungsautomaten, die in der Fabrik in Produktion und Logistik tätig sind. Auch Operations-, Pflege- und Therapieroboter können jenen zugeordnet werden, oder Sicherheits- und Überwachungsroboter wie K3 und K5 von Knightscope, die in Shopping Malls oder auf Fabrikgeländen patrouillieren (Bendel 2016a). Je nach Sprache mag die Begrifflichkeit „Service“ in manchen Anwendungsfeldern und bei manchen Roboterarten merkwürdig anmuten. Ein gewöhnlicher Saugroboter verschlingt das, was vor ihm und unter ihm ist, nicht nur Staubflocken, Brotkrumen und Konfetti, sondern auch Spinnen und Käfer (Bendel 2015a). Nach der Meinung vieler Menschen sollte man Tiere nicht einfach verletzen oder töten, vor allem ungefährliche, nützliche und beliebte nicht. Man kann den Roboter mit Muster- und Bilderkennung sowie Bewegungssensoren ausstatten und ihm beibringen, bestimmte Lebewesen vor Schäden zu bewahren. Mähroboter kann man auf diese Weise ebenfalls verbessern, wobei ein Rasen – ganz zu schweigen von einer Wiese – eine relativ komplexe Umgebung ist, in der die Sicht beeinträchtigt sein und die Zahl der zu beurteilenden Objekte groß sein kann. Im LADYBIRD-Projekt ging es um einen Saugroboter, der aus moralischen Gründen bestimmte Insekten verschonen sollte, die sich auf dem Boden befinden (Bendel 2017b). Er erfasst das jeweilige Tier, so war der Plan, mit Hilfe von Sensoren und von Analysesoftware und stellt, bestimmten Regeln folgend, für eine Weile seine Arbeit ein. Das Praxisprojekt wurde 2017 an der Fachhochschule des Verfassers durchgeführt (Brisevac et al. 2017). Verwendet wurden Vorarbeiten, die ab 2014 entstanden, etwa eine Designstudie und ein annotierter Entscheidungsbaum (Bendel 2017b). Drei Studierende der Wirtschaftsinformatik entwickelten den Roboter mit Hilfe vorgefertigter Module. Sie passten den Entscheidungsbaum an und modellierten die Regeln in Java. Das Ergebnis war ein kleiner, mobiler Roboter, der Marienkäfer bzw. ähnliche Objekte erkennen konnte und bei ihrer Anwesenheit seine Arbeit unterbrach. Der vorliegende Beitrag schafft Grundlagen zum Thema (Abschn. 2 und 3), stellt die Vorarbeiten und die Durchführung des Projekts dar (Abschn. 4 und 5) und diskutiert die Ergebnisse (Abschn. 6). Abschließend werden weitere Projekte vorgeschlagen, die den Tierschutz zum Ziel haben (Abschn. 7), und die Ergebnisse zusammengefasst (Abschn. 8).

Das LADYBIRD-Projekt

2

417

Saugroboter

Saugroboter, auch Staubsaugerroboter und Roboterstaubsauger genannt, sind in zahlreichen Haushalten und Bürogebäuden im Einsatz. Die meisten großen einschlägigen Hersteller wie Dyson, Vorwerk, Bosch und Kärcher haben die Geräte im Angebot, in diversen Ausfertigungen und Preiskategorien. Desgleichen engagieren sich Elektronikfirmen und Mischkonzerne wie Sony, Samsung und Philips in diesem Segment. Die Saugroboter können stundenlang selbstständig ihre Arbeit verrichten, in Ersetzung menschlicher körperlicher Arbeit. Die Geräte haben ein gefälliges Äußeres, sind relativ klein und meist flach und rund und mit einem weichen Rand versehen (Bendel 2017b). Es wird immer mehr Sensorik in die Systeme verbaut, und diese lernen immer mehr, „autonome Verhaltensweisen“ zu entwickeln und „intelligente Entscheidungen“ zu treffen.1 Saugroboter haben neben Kameras und anderen Sensoren oft auditive und visuelle Schnittstellen, um Fehler und Bedarfe zu melden oder Wünsche entgegenzunehmen. Moderne Saugroboter können • • • • • •

den Raum vermessen, in dem sie aktiv sind, Treppen und Hindernisse erkennen und entsprechend darauf reagieren, selbstständig zu einer Ladestelle fahren und sich dort mit Strom aufladen, in geschriebener bzw. gesprochener Sprache mit dem Benutzer kommunizieren, Daten zur Wohnung an Systeme, Anbieter oder Benutzer weiterleiten und natürlich Schmutz und Staub auf dem Boden aufnehmen.

Wenig Aufmerksamkeit wurde jahrelang dem Umstand gewidmet, dass auf dem Boden nicht allein Schmutz und Staub sind. Dabei will niemand, dass Schmuck wie Ketten und Ringe, Geldstücke und -scheine, kleine Andenken, Spielfiguren etc. erfasst und zerstört werden. Die Gründe für das Zögern der Industrie sind vielfältig. Sensoren einzubauen und Software zu erstellen, die den Anforderungen gerecht werden, erhöht die Komplexität der Produktion, die Komplexität des Produkts und die Kosten des Produkts (wobei die Kosten für bestimmte Sensoren ständig sinken, und gerade Kameras sind günstig geworden). Man mag überdies an den Benutzer denken, der vor allem einen ausfallsicheren Saugroboter will, der ohne sein Zutun, ja sogar ohne seine Anwesenheit die Arbeit verrichtet. Würde der Roboter, ohne dies Über die Begriffe „autonom“ und „intelligent“ wird im Zusammenhang mit Robotik und Künstlicher Intelligenz viel gestritten. Da sie sich im technischen Bereich etabliert haben, werde ich sie verwenden. Sie sind gleichsam zu Termini technici geworden. Manche lehnen Begriffe wie „Verhaltensweisen“ und „Entscheidungen“ im Zusammenhang mit Maschinen ab. Ich versuche selbst, möglichst wenig davon zu sprechen, dass Roboter handeln und sich verhalten. Weniger Probleme habe ich, wenn es darum geht, dass sie entscheiden. Ich meine damit, dass sie eine bestimmte Option wählen, wobei sie weder frei sind noch dies bewusst tun. Die Optionen sind vorgegeben, die Roboter beobachten ihre Umwelt, ziehen Schlüsse und fällen ein Urteil. Selbst Menschen sind übrigens oft nicht frei und bewusst in ihren Entscheidungen, und wenn sie dies sind, betont man dies durch entsprechende Wendungen wie „freie Entscheidung“ oder „bewusste Entscheidung“.

1

418

O. Bendel

zu melden, vor einem Objekt stoppen, das sich dauerhaft nicht bewegt, wäre dies kontraproduktiv; würde er dem Benutzer melden, dass er die Arbeit eingestellt hat, würde dies einen zusätzlichen Kommunikationsaufwand für ihn bedeuten. Im Jahre 2017 kam Kritik auf, als bekannt wurde, dass ein Betreiber die Daten, die beim Vermessen entstehen, an Firmen wie Google und Amazon verkaufen will (Beuth 2017). Über die Raumdaten können Rückschlüsse auf Wohn- und Besitzverhältnisse gezogen werden. Wenn der Sauger Möbelstücke, Wandschmuck, Bodenbelag etc. erkennt, können daraus wertvolle Daten für den Betreiber und Dritte entstehen. Bei Bildsensoren entstehen spezifische Probleme. Es können nicht nur Form, Aussehen usw., sondern eventuell auch Ursprung und Wert festgestellt werden. Zudem können Personen aufgenommen und damit personenbezogene Daten generiert werden. Es entstehen insgesamt Herausforderungen, die aus Rechtswissenschaft und Informationsethik heraus diskutiert werden können.

3

Tierschutz im Privaten

Teilautonomen und autonomen Systemen wurde im Zusammenhang mit Wild- und mit Nutztieren einige Aufmerksamkeit geschenkt. So hat der Verfasser Fahrerassistenzsysteme und Roboterautos konzipiert, die Wildschweine, Igel und Kröten an und auf der Straße erkennen und Bremsungen oder Ausweichmanöver vornehmen, wenn es die Verkehrslage zulässt (Bendel 2013, 2014b, c). In der Realität wird – bei mehreren Modellen – ein größeres Tier erkannt und vor diesem automatisch abgebremst (Bendel 2016b). Weiter sind Mähmaschinen, die in Kooperation mit Drohnen die Rehkitze im Feld schonen, und Windkraftanlagen, die sich bei nahenden Vogelschwärmen ausstellen, prototypisch vorhanden (Federle 2014). Einige Roboter sollen eine Funktion in Schwärmen und Herden oder Aufgaben von Tieren als sozialen Wesen oder als interagierenden Organismen übernehmen (Bendel 2014b). Sie untersuchen, so die Absicht, die entsprechenden Tiergruppen, nehmen Einfluss auf sie, versuchen sie zu leiten und zu lenken und zu einem bestimmten Verhalten zu bringen. Die Interaktionen dabei sind vielfältiger Art (Mondada et al. 2013), von gegenseitiger Beeinflussung bis hin zu Lernprozessen durch Beobachtung und Nachahmung. Tierschutz im Haushalt scheint etwas Widersinniges zu sein, vor allem, wenn es um Klein- und Kleinstlebewesen geht (Bendel 2017b). Manche Menschen unternehmen viel, um jegliches Getier aus der Wohnung zu entfernen, und manche benutzen ihren Staubsauger gezielt, um Spinnen bzw. ihre Larven oder Kellerasseln einzusaugen, ganz abgesehen von Insektenfallen, Fliegenklatschen etc., wo es um eine direkte Tötung geht. Bei manchen Kakerlakenarten muss man weiterreichende Maßnahmen ergreifen, da es sich um einen regelrechten Befall einer Behausung handeln kann, und auch Ungeziefer wie Motten wird bekämpft, zumal diese Schäden an Kleidung und Möbeln verursachen. Hier wird deutlich, dass zuweilen moralische Überlegungen – wenn man diese anstellt – hinter praktischen zurückstehen müssen, denn ein Haus sollte bewohnbar sein und nicht von Insekten erobert werden.

Das LADYBIRD-Projekt

419

Dennoch gibt es gute Gründe, bestimmte tierische Bewohner nicht zu töten und sie ziehen oder flüchten zu lassen oder menschlichen Bewohnern die Gelegenheit zu geben, sie nach draußen zu bringen. Marienkäfer sind vielen von uns sympathisch. In manchen Ländern gelten sie als Glücksbringer. Sie krabbeln relativ langsam über den Boden und neigen nicht zum unvermittelten und wiederholten Auffliegen. Auch andere eher gemütliche Käfer sowie Raupen, die sich über den Garten in den Innenbereich verirren, werden häufig gemocht und in der direkten Begegnung verschont. Einige dieser Insekten sind Nützlinge und helfen beim Dezimieren von Schädlingen. So können Marienkäfer gegen Blattläuse eingesetzt und damit befallene Pflanzen gerettet werden. Natürlich können vereinzelt Plagen auftreten, sodass selbst gegen Nützlinge vorgegangen werden muss. Insgesamt gilt, dass es sich bei Marienkäfern um liebens- und schützenswerte Lebewesen handelt, wobei man z. B. darüber streiten kann, ob sie als Insekten mit ihrer eingeschränkten Empfindungs- und Leidensfähigkeit Rechte haben. Es kann also festgehalten werden, dass sich hin und wieder kleine Tiere ins Haus verirren, die nicht immer schnell genug flüchten können und aus persönlichen und moralischen Gründen nicht aufgesaugt werden sollten. Es mag in einzelnen Fällen kleine Tiere geben, die in der Wohnung ihren Platz haben, etwa winzige Eidechsen, die aus ihrem Terrarium geflohen sind (und sich vielleicht verletzt haben und sich deshalb nicht aus dem Staub machen können). Der Saugroboter muss vor ihnen innehalten und allenfalls dem Benutzer melden, dass es ein Problem gibt. Er kann zudem versuchen, die Tiere zu verscheuchen, und bei manchen Arten dürfte dies gelingen. Selbst wenn man sich mit diesen Annahmen nicht anfreunden kann, muss man bestätigen, dass vor diesem Hintergrund das Prinzip einfacher moralischer Maschinen verdeutlicht werden kann (Bendel 2015a). Die Erkenntnisse sind in weiteren Zusammenhängen von Bedeutung; so können die vorgesehenen Aktionen und Interaktionen eingesperrten und freilaufenden Nutztieren und größeren Wildtieren helfen und allgemein in der Tier-Computer- und Tier-Maschine-Interaktion interessieren (Mancini 2011). Solche Beispiele werden in Abschn. 7 dargestellt. Nicht zuletzt sind Saugroboter, die das, was sie einsaugen wollen, identifizieren und klassifizieren können – dies wurde bereits angedeutet –, bei heruntergefallenem Schmuck oder heruntergefallenem Geld nützlich und sinnvoll. So könnte Tierschutz nebenbei beim Schutz und Erhalt von Wertsachen helfen.

4

Vorarbeiten zum Projekt

Im Folgenden werden vorbereitende Arbeiten dargestellt, die seit dem Jahre 2014 vom Verfasser verantwortet wurden. Ausgangspunkt war, wie bei verschiedenen anderen Projekten, eine Designstudie. Es wird auch auf die geplante Technik und Sensorik und den annotierten Entscheidungsbaum eingegangen, den das Projektteam zum Ausgangspunkt genommen hat.

420

O. Bendel

Abb. 1 Designstudie nach (Bendel 2017b)

4.1

Designstudie LADYBIRD

Bereits im Jahre 2014 wurde die Designstudie LADYBIRD erstellt, die grob über das gewünschte Aussehen und die geplanten Funktionen des Geräts Auskunft gibt, und über maschinenethik.net veröffentlicht, eine Website des Verfassers (s. Abb. 1). Die Idee des tierfreundlichen Saugroboters wurde immer wieder auf Vorträgen, in Publikationen und Interviews erwähnt. Sie stieß einerseits mehrheitlich auf Wohlwollen bei Zuhörern und Lesern, andererseits auf mediales und wissenschaftliches Interesse, weil Sinn und Zweck einer einfachen moralischen Maschine sicht- und begreifbar und das Anliegen der Maschinenethik verständlich gemacht wurde (Bendel 2012, 2014d, 2015a).2

2

Bei einer Veranstaltung stellte eine Teilnehmerin Marienkäfer als kleine Monster dar, die über die Welt herfallen und diese vernichten. Tatsächlich gibt es Arten, die zur Bedrohung von Pflanzen und Tieren werden können, aber die meisten werden als nützlich angesehen bzw. stellen keine Gefahr dar. Dies ist letztlich auch nicht der Punkt – es geht bei LADYBIRD ums Prinzip.

Das LADYBIRD-Projekt

4.2

421

Technik und Sensorik

Saugroboter verfügen, wie angedeutet, über ein ganzes Bündel an Technik und Sensorik, und es besteht der Trend, dass sie von immer weniger begleitenden Maßnahmen flankiert werden müssen und sie immer autonomer agieren können. So sind häufig Absperrungen und Leitplanken nicht mehr notwendig, Hindernisse aller Art werden erkannt, und manche Geräte kehren selbstständig zu ihren Aufladestationen zurück. Ambitionierte Geräte scannen den Raum, ja die ganze Wohnung, damit jeder Bereich gesaugt und zugleich keiner zu sehr strapaziert wird, und bewerten den jeweiligen Verschmutzungsgrad. Auch Kopplungen mit dem Smartphone des Benutzers werden ausprobiert; mit diesem kann man über eine App einen Putzbefehl geben oder von unterwegs die Betriebsfähigkeit überprüfen. Mehr oder weniger Standard sind inzwischen Kameras und Ultraschallsensoren, was eben mit gesunkenen Preisen sowie neuen Kundenbedürfnissen (bzw. dem Bestreben, diese zu wecken) zu tun hat. In manchen Modellen sind Infrarot-LEDs zur besseren Sicht im Dunkeln verbaut. Damit der Saugroboter einen Marienkäfer identifizieren kann, sind sensorische und analytische Technologien und Verfahren vonnöten. Erstens kann das Gerät die rote, rötliche oder gelbliche Farbe, die viele der Tiere haben, zu erkennen versuchen, etwa über Farbsensoren. Digitale Farbmesssysteme unterscheiden Rot, Gelb, Grün und Blau eindeutig über das Reflexionsspektrum (Hueber 2013). Zweitens kann das typische Muster, das die Punkte auf beiden Flügeln bilden, von einem System mit Mustererkennung analysiert werden. Vermessen werden Abstände und Größe der Punkte. Drittens kann mit Hilfe von Bilderkennung das ganze Tier bzw. die Tierart identifiziert werden. In diesem Bereich existieren bereits mehrere massentaugliche Apps wie „Map of Life“ (mol.org) oder „Project Noah“ (www.projectnoah.org). Die genannten Verfahren waren, so der Plan, zu kombinieren, denn auch ein Stück Pizza beispielsweise kann rot sein und Punkte haben, woher diese immer kommen mögen – und sollte in der Regel einfach beseitigt werden, wenn es nicht zu groß ist. Daher sollte die Maschine sozusagen einen abschließenden Blick auf das Ganze werfen.

4.3

Annotierte Entscheidungsbäume

In der Maschinenethik wurden verschiedene Modelle und Methoden zur Umsetzung von moralischen Maschinen entwickelt (Anderson und Anderson 2011; Pereira 2016; Azad-Manjiri 2014; Deghani et al. 2011; Bendel 2014d). Entscheidungsbäume spielten bis 2016 eine geringe Rolle in diesem Zusammenhang (Bendel 2016b). Sie sind für die Abbildung verschiedener Prozeduren denkbar. Vorgeschlagen werden annotierte Entscheidungsbäume (Bendel 2016b). Die Knoten mit ihren Verästelungen werden in gewissem Sinne kommentiert. Es werden sowohl moralische Begründungen gegeben als auch Begründungen, die sich z. B. auf die Wirtschaftlichkeit oder Betriebssicherheit beziehen. Bei jedem Knoten können mehrere Kommentare vorhanden sein, und um die Übersicht insgesamt zu behalten,

422

O. Bendel

Ist etwas auf der Bahn?

Saugen

Typ: Saugroboter Aufgabe: Tierfreundliches Arbeiten

Ja Nein Nein

Ist es ein Tier?

Ja

Ist es < 20 cm?

Nein MA3: Tiere wichtiger als Dinge

MA1: Tiere sollen verschont werden

Ja

MA2: Kleine Tiere sind unmittelbar gefährdet BA1: Staubsauger kann verstopfen

Ist es ein Ding?

Ist es Geld oder Schmuck?

WA1: Geld und Schmuck wertvoller als gewöhnliche Dinge Nein

Ja Ja Nein

BA2: Viele Insekten sind schwer zu scheuchen Ist es ein lnsekt?

Ja Stopp/Aus 5 Min. und Pusten Legende MA: Annahme aus Sicht Moral WA: Annahme aus Sicht Wirtschaftlichkeit

Ist es eine Staubflocke? Ja

Nein Nein Stopp/Aus 5 Min. und Signal/Vibration

Normales Weitersaugen

BA: Annahme aus Sicht Betriebssicherheit (Sicherheit im Betrieb und für Betroffene)

Abb. 2 Annotierter Entscheidungsbaum für tierfreundliche Saugroboter (Bendel 2015a)

können die Annotationen durchnummeriert werden. Wichtig ist, dass man Überlegungen moralischer Art explizit macht; dadurch entsteht in einem gewissen Sinne die moralische Maschine erst. Ein moderner Saugroboter ist, wie dargestellt, nicht unkomplex, wobei die Hauptaufgabe klar definiert ist: Es geht um das Staubsaugen, um das Beseitigen von Schmutzpartikeln, Staubflocken und Überresten auf dem Boden (Bendel 2015a, 2017b). Andere Aktivitäten sind, wie gezeigt, vor allem in Bezug auf die Navigation und die Steuerung interessant. Zudem gibt es eben Ansätze, den Saugroboter zur Überwachung der Wohnräume einzusetzen; über das Smartphone kann auf die integrierte Kamera zugegriffen und das Gerät gezielt ausgerichtet werden. Im Folgenden wird auf das Saugen fokussiert. In der Modellierung (Abb. 2) wird von der Aktivität des Saugens ausgegangen (Bendel 2015a, 2017b). Geprüft wird, ob etwas in der Bahn des Saugroboters liegt, wobei ein bestimmter Abstand vorgegeben wird. Wenn dies der Fall ist und es sich um ein Tier handelt, wird geklärt, welche Größe es hat. Eine Katze ist unproblematisch angesichts der Größe der Saugvorrichtung, ein Marienkäfer nicht, genauso wenig ein anderes kleines Insekt, ein winziger Frosch oder eine winzige Eidechse.

Das LADYBIRD-Projekt

423

Die moralischen Annahmen sind grob und einfach (Bendel 2017b). Sie müssen nicht von allen geteilt werden. Das ist aber auch nicht notwendig, denn es können unterschiedliche Geräte angeboten werden, der Kunde kann beim Kauf auf die Erweiterungen und Einschränkungen hingewiesen werden, über Produktinformationen, Labels und Zertifikate, und man kann ihm anbieten, die Maschine zu modifizieren, wenn er abweichende Bedürfnisse hat. So holen manche Menschen den Staubsauger heraus, um Spinnen, Asseln oder Fliegen aufzunehmen und zu beseitigen. Ihnen wäre damit geholfen, dass LADYBIRD bei diesen Tieren eine Ausnahme macht.3 Dies widerspricht freilich dem Ansatz der Tierfreundlichkeit. Wenn es sich um kein Lebewesen handelt, werden in der Modellierung weitere mögliche Fakten einbezogen. Die Annotationen im konkreten Entscheidungsbaum wurden, wie vorgeschlagen, systematisiert und nummeriert (Bendel 2015a, 2017b). Sie helfen dem Entwickler und dem Programmierer, die Optionen aus ethischer, aus ingenieur- sowie aus lebens- und betriebswissenschaftlicher Sicht zu begründen. Sie können auch in der Gebrauchsanweisung bzw. im Handbuch aufgeführt werden. Gezeigt wurde mit der Modellierung, dass eine einfache moralische Maschine dieser Art bei entsprechenden Sensorenkombinationen und Analyseprogrammen ohne weiteres möglich ist.

5

Das LADYBIRD-Projekt

5.1

Grundlagen

Im Oktober 2016 wurde das Projekt zu LADYBIRD ausgeschrieben. Unter der Betreuung des Verfassers sollten Studierende eine geeignete Sensorik auswählen bzw. anpassen oder entwickeln und den annotierten Entscheidungsbaum, der im letzten Abschnitt vorgestellt wurde, verbessern und umsetzen. LADYBIRD sollte am Ende als Prototyp vorliegen und – so zumindest der Wunsch – als Vorbild für weitere Entwicklungen in Wissenschaft und Wirtschaft dienen. Zunächst wurde das Projekt an einer technischen Hochschule in der Schweiz eingereicht. Man lehnte es dort ab, weil es zu wenig technisch sei. Offenbar kannte man die Disziplin der Maschinenethik nicht bzw. schätzte sie falsch ein. Der Verfasser gab das Projekt nochmals ein, dieses Mal an der Hochschule für Wirtschaft FHNW (School of Business FHNW), wo es angenommen wurde. Im Jahre 2017 wurde LADYBIRD von drei Studierenden der Wirtschaftsinformatik prototypisch implementiert. Sie verwendeten Java, eine objektorientierte Programmiersprache, die sie im Studium erlernt hatten. Die Studierenden konnten im September 2017 ihre Ergebnisse präsentieren (Brisevac et al. 2017). Sie konnten zeigen, dass der annotierte Entscheidungsbaum grundsätzlich geeignet für die Umsetzung war. Sie mussten ihn lediglich geringfügig 3

Dies könnte über einen Kill-Button erfolgen (der auf spezielle Tiere bezogen ist) oder über ein Menü, über das der Benutzer die Moral des Staubsaugers anpassen könnte. Auf das sogenannte Moralmenü wird noch eingegangen.

424

O. Bendel

modifizieren. An Grenzen stießen sie – was bei ihrer fachlichen Ausrichtung nicht verwunderlich ist – bei technischen Anforderungen im Bereich der Sensorik. So war es nicht möglich mit dem verfügbaren Wissen und in der verfügbaren Zeit, Muster- und Bilderkennung zu berücksichtigen, ebenso wenig einen Bewegungsmelder. Der Prototyp ist nicht rund, sondern rechteckig, fährt auf vier Rädern umher, nimmt Hindernisse wahr und wechselt die Richtung, wenn er auf solche trifft. Zudem erkennt er mit Hilfe eines Farbsensors rote Bereiche auf dem Boden. Er scannt den Bereich, den er befahren will, wobei er 10 Zentimeter weit „schauen“ kann. Entdeckt er einen roten Fleck oder ein rotes Ding, stellt er seine Arbeit ein und gibt ein Signal, um den Besitzer zu informieren (Brisevac et al. 2017). Ebenso möglich wäre eine SMS oder eine andere Nachricht, die den Besitzer auch erreichen würde, wenn dieser außer Haus wäre. Der Besitzer muss LADYBIRD dann wieder anstellen (möglich und praktisch wäre eine automatische Aufnahme der Arbeit nach einiger Zeit).

5.2

Projektablauf

Das Projektteam überlegte sich zunächst, welche Klassen und Methoden für die Programmierung benötigt würden, und erarbeitete dazu Anforderungsspezifikationen (Abb. 3, 4 und 5). Danach hat es die Testinstallation gemäß der Bauanleitung konstruiert, eine erste kleine Programmierung (Abb. 6) vorgenommen und die Zwischenergebnisse dem Auftraggeber (dem Verfasser) und dem Fachcoach (der für technische Details zur Verfügung stand) präsentiert. Die zweite Programmierung (Abb. 7 und 8) bezog sich auf die Aufgabe, dass die Testinstallation bestimmte Objekte erfassen und darauf reagieren kann (Brisevac et al. 2017). Wenn die Testinstallation ein Hindernis weniger als 10 cm vor sich erkannt hat, class Ladybird Klassendiagramm Erkennung + Aufnahme + Ding + GeldSchmuck + Grösse

Aktion + Bewegung + Reaktion + Saugen

+ Marienkäfer + Sensor + Staub + Tier

Abb. 3 Klassendiagramm LADYBIRD (Brisevac et al. 2017)

Das LADYBIRD-Projekt

425

class Ladybird Methoden Erkennung

Marienkäfer -

color :boolean = false isItALadybird :boolean = false pattern :boolean = false

+ + + + + +

getColor() :boolean getIsItALadybird() :boolean getPattern() :boolean setColor(boolean) :void setIsItALadybird(boolean) :void setPattern(boolean) :void

-

infrarotValue :float isThereSomething :boolean = false patternValue :float ultrasoundValue :float

+ + + + + + + +

getInfrarotValue() :float getIsThereSomething() :boolean getPatternValue() :float getUltrasoundValue() :float setInfrarotValue(float) :void setIsThereSomething(boolean) :void setPatternValue(float) :void setUltrasoundValue(float) :void

Tier

Ding -

isItAThing :boolean = false

-

isItAnAnimal :boolean = false

+ +

getIsItAThing() :boolean setIsItAThing(boolean) :void

+ +

getIsItAnAnimal() :boolean setIsItAnAnimal(boolean) :void

Aufnahmen

Staub -

isItFluff :boolean = false

-

picture :file

+ +

getIsItFluff() :boolean setIsItFluff(boolean) :void

+

save(file) :void

Sensor Grösse GeldSchmuck -

greaterThan20Cm :boolean = false size :int

+ + + +

getGreaterThan20Cm() :boolean getSize() :int setGreaterThan20Cm(boolean) :void setSize(int) :void

-

isItJewelry :boolean = false isItMoney :boolean = false

+ + + +

getIsItJewelry() :boolean getIsItMoney() :boolean setIsItJewelry(boolean) :void setIsItMoney(boolean) :void

Abb. 4 Package Erkennung (Brisevac et al. 2017)

class Ladybird Methoden Aktion

Bewegung -

speed :int {readOnly} time :int

+

drive(int, int) :void

Saugen +

suction() :void

Reaktion + + + + + + + +

fluffSuction(boolean) :void jewelryDetected(boolean) :void ladybirdDetected(boolean) :void moneyDetected(boolean) :void react(boolean, boolean, boolean, boolean, boolean, boolean, boolean) :void startSensor() :void stop(boolean) :void turnRight(boolean) :void

Abb. 5 Package Aktion (Brisevac et al. 2017)

biegt sie nach links ab und fährt in diese Richtung weiter. Dieses Szenario konnte das Projektteam erfolgreich programmieren und testen. Für die Erkennung von Gegenständen wurde der Ultraschallsensor aus dem Set am Prototyp installiert.

426

O. Bendel

Abb. 6 Testprogramm I (Brisevac et al. 2017)

Als nächstes setzte sich das Projektteam mit der Farb- und Mustererkennung auseinander. Es gelang ihm, den Farbsensor am Prototyp zu installieren und so zu programmieren, dass er spezifische Farben erkennen und die Testinstallation darauf reagieren kann. Dazu wurde ein Hilfsprogramm „DetectColor“ geschrieben, das die zu suchende Farbe feststellt und den Code dieser Farbe auf dem Bildschirm der Testinstallation anzeigt (Brisevac et al. 2017). Diesen Code kann man als Konstante in der Klasse Ladybird erfassen. Die Reaktion von LADYBIRD, wenn er die entsprechende Farbe erkannt hat, ist wie folgt: Die Testinstallation hält an, gibt einen Ton von sich (umgesetzt wurde ein weiblicher Schrei) und fährt erst wieder weiter, wenn der Benutzer einen Knopf an der Testinstallation betätigt (Brisevac et al. 2017). Da der Sensor auf der Unterseite des Geräts befestigt ist und direkt nach unten zeigt, stoppt dieses eigentlich nicht vor, sondern über dem Tier (was man bei einem Produkt definitiv anders lösen müsste). Eine weitere Lösungsmöglichkeit, die in Betracht gezogen wurde, war die Einbindung einer externen Kamera. Dem Projektteam wurde eine Masterthesis ausgehändigt, in der beschrieben wird, wie eine externe Kamera mit der EV3-Hardware verbunden werden kann. Dabei stellte das Team fest, dass hierfür eine zusätzliche Applikation programmiert werden muss, welche mit Eclipse, dem EV3-Gerät sowie dem Smartphone kommuniziert. Mit dem aktuellen Wissensstand war es nicht in der Lage, die oben erwähnte Applikation zu programmieren, sodass diese Lösungsmöglichkeit verworfen wurde (Brisevac et al. 2017). Daraufhin wurde das Projektziel weniger hoch gesteckt, in dem Sinne, dass der Prototyp, wie oben beschrieben, Hindernissen ausweichen und den Marienkäfer und

Das LADYBIRD-Projekt

427

Abb. 7 Hauptmethode Testprogramm II (Brisevac et al. 2017)

ähnliche Objekte anhand der Farbe identifizieren kann (Brisevac et al. 2017). Dies funktioniert nur in einer ganz spezifischen Testumgebung und wäre in der Realität so nicht einsetzbar. Ein Folgeprojekt soll eine Maschine ermöglichen, die der ursprünglichen Vision noch näher kommt. Es sind im Vorfeld sowohl Verantwortliche der Hochschule als auch Studierende darauf hinzuweisen, dass die Umsetzung einfacher moralischer Maschinen weitgehende technische Kenntnisse erfordern kann.

6

Diskussion der Ergebnisse

Deutlich wurde im LADYBIRD-Projekt, dass die Anliegen der Maschinenethik in technischer Hinsicht nicht zu unterschätzen sind. Hier hilft in erster Linie eine enge Zusammenarbeit zwischen Philosophen, Psychologen, Informatikern (mithin KI-Experten) und Robotikern. In den USA ist diese schon selbstverständlich, wie Konferenzen und Publikationen zeigen (Anderson und Anderson 2011; Bendel

428

O. Bendel

Abb. 8 Threads des Testprogramms II (zur Bewegung und Erkennung von Objekten) (Brisevac et al. 2017)

2017b), nicht aber in Europa, wo es nur wenige Vertreter der Maschinenethik gibt (Pereira 2016; Bendel 2012, 2018). Es helfen ebenfalls Information und Aufklärung innerhalb von Hochschulen, zwischen Hochschulen und über Hochschulen hinaus. Im selben Projekt wurde deutlich, dass die moralischen Annahmen und Begründungen im Laufe der Zeit aus dem Blick geraten bzw. einfach in technische Prozesse transformiert werden und nicht mehr zu erkennen sind. Immerhin ist das Signal an den Benutzer eine Erinnerung und Aufforderung. Er wird daran erinnert, dass

Das LADYBIRD-Projekt

429

LADYBIRD einen moralischen Zweck verfolgt, und er wird aufgefordert, die Maschine erneut zu aktivieren. Wenn diese die Arbeit selbstständig fortsetzt, was aus anderen Gründen sinnvoll erscheint, ist dies nicht mehr gegeben. Es wird vorgeschlagen, dass einfache moralische Maschinen ein sichtbares Menü erhalten, über das man die Moral der Maschinen steuern kann. So könnte der Besitzer der Maschine vorgeben, Marienkäfer zu verschonen, aber bestimmte Schädlinge einzusaugen. Das klingt nicht mehr sehr tierfreundlich, aber es müssen nicht durchgehend moralische Regeln durchgesetzt werden, wenn andere Anforderungen wie ein ungezieferloses Haus ihre Berechtigung haben (es sei dahingestellt, ob das Einsaugen einzelner Insekten ein wirksames Mittel gegen Befall ist).4 Die Maschinenethik ist, wie deutlich wurde, nicht die einzige relevante Disziplin in diesem Kontext. Sie muss zusammenspannen mit der Mensch-Maschine-Interaktion, der Tier-Computer-Interaktion und der Tier-Maschine-Interaktion (Bendel 2015b), wenn eine solche etabliert werden kann, sowie mit Robotik und Informatik, die für Anliegen des Tierschutzes zu sensibilisieren sind. Die Vertreter der Tierethik sind auf die Entwicklungen in Robotik und KI aufmerksam zu machen und mit einzubeziehen.

7

Weitere Projekte

Vor dem Hintergrund dieser Diskussion und in der Tradition der behandelten Projekte werden im Folgenden einige Anwendungsmöglichkeiten identifiziert. Dabei wird vorausgesetzt, dass vor allem die Maschinenethik zu den Vorüberlegungen und Umsetzungen beitragen kann und soll, dass also das Hauptziel ist, moralische Maschinen zu entwickeln. Zudem wird vorausgesetzt, dass annotierte Entscheidungsbäume zumindest einen Beitrag hierzu leisten können. Es wird vor allem auf automatische und autonome Fahrzeuge und Serviceroboter eingegangen (Bendel 2015b, 2017a). Es wird jeweils deutlich gemacht, ob es sich um Möglichkeiten oder Umsetzungen (prototypischer Art) handelt. • Selbstfahrende Autos unterscheiden Tiere aller Art und bremsen nicht bloß aus Gründen der Betriebs- bzw. Personensicherheit und aus ökonomischen, sondern auch aus moralischen Gründen vor ihnen ab. Ein Problem für Volvo in Australien waren Kängurus, die schwer zu identifizieren sind (Zhou 2017). • Autonome Shuttles und Straßenbahnen erkennen Tiere auf den virtuellen oder realen Gleisen und auf der Fahrbahn und bremsen u. U. ab, d. h. wenn es sich um ein größeres Tier handelt und keine oder nur sitzende Passagiere zugegen sind. Bei stehenden Passanten kann eine Bremsung zu Verletzungen führen, sodass diese zu vermeiden ist.

4

Ein Moralmenü wurde vom Verfasser wiederholt vorgeschlagen und im April 2018 in einer Designstudie skizziert, und zwar mit Blick auf Sprachassistenten.

430

O. Bendel

• Mähdrescher stellen ihre Arbeit ein, sobald sie ein Rehkitz im Feld entdecken. Erste Prototypen hierzu gibt es bereits, etwa vom Deutschen Zentrum für Luftund Raumfahrt (DLR). Dabei fliegt eine Drohne voraus und meldet es dem Fahrzeug, sobald sie ein Reh entdeckt (Wimmer et al. 2013). • Unkrautroboter spritzen ihre Pestizide nicht auf Tiere bzw. sind beim Jäten von Unkraut vorsichtig und rücksichtsvoll. Im Moment findet vor allem eine Fokussierung auf die Gesundheit der Pflanze statt (Binder 2017). • Windkraftanlagen stellen bei nahenden Vogelschwärmen und Fledermäusen ihre Arbeit ein. Auch hier gibt es erste Prototypen (Federle 2014). Ein Problem ist, dass es recht lange dauert, bis der Rotor zum Stillstand kommt; die Rettungsaktion kommt womöglich zu spät. • Überwachungs- und Sicherheitsroboter stoppen vor Hunden und Katzen bzw. versuchen, sie zu verscheuchen, damit sie keinen Schaden nehmen. Der K5 und andere Roboter sind in Shopping Malls und auf Betriebsgeländen unterwegs. Es kam bereits zu einer Kollision mit einem Kind (Bendel 2017a). Auch angeleinte Tiere könnten in Schwierigkeiten geraten. • Paket- und Transportroboter stoppen vor Hunden und Katzen und versuchen, Krähen zu verscheuchen, damit sie nicht verletzt werden. Transportroboter von Starship Technologies wurden etwa in Hamburg und Bern getestet (Bendel 2016a, 2017a). Sie sind so groß wie kleine Hunde und können mit Tieren aller Art in Konflikt geraten, etwa wenn sie als Eindringliche wahrgenommen und mit Zähnen und Krallen bekämpft werden. • Informations- und Navigationsroboter unterweisen in der Zukunft womöglich Menschen im richtigen Verhalten gegenüber Tieren, etwa in Zoos und Wildparks, und beobachten, ob Menschen ihnen zu nahe kommen. Wenn dies der Fall ist, informieren sie einen Dienst oder appellieren an die Menschen selbst. • Spielzeug- und Unterhaltungsroboter erfassen, so eine weitere Idee, Vögel oder Fledermäuse, die ins Haus geflogen sind, und informieren die Bewohner per Signal oder SMS. Sie verhalten sich adäquat gegenüber Haustieren, respektieren es beispielsweise, wenn sich das Tier zurückgezogen oder einen Lieblingsplatz hat. Sie dienen als Spielzeug für Hund und Katze und verschaffen ihnen Bewegung. Natürlich gibt es noch ganz andere Denkrichtungen. Roboter und autonome Maschinen können nicht nur für Tiere bremsen oder die Arbeit einstellen, sie nicht bloß aussparen in irgendeinem Sinne oder sie verscheuchen, damit sie keinen Schaden nehmen, oder sie beschützen, sondern auch aktiv auf sie zugehen, um ihnen zu helfen, wenn sie krank und verletzt sind, um sie zu füttern etc. Einzelne dieser Möglichkeiten wurden bei der Darstellung von Tier-Maschine-Interaktionen deutlich. Einige Anwendungsbereiche, vor allem geschlossene und halb offene Umgebungen, dürften von selbstlernenden Systemen profitieren, die sich an das Verhalten der Tiere anpassen und nach und nach ihr Verhalten korrigieren und optimieren. In offenen Umgebungen kann dies ebenfalls zielführend sein, wie bei Shuttles und

Das LADYBIRD-Projekt

431

Trams, die auf virtuellen oder realen Schienen fahren, aber genauso problembeladen, wenn zahlreiche komplexe Situationen beurteilt werden müssen.

8

Zusammenfassung

Die Maschinenethik ist eine junge Disziplin, und derzeit werden, wenn man an selbstständig fahrende Autos und autonome Kampfroboter denkt, Anforderungen an sie herangetragen, die sie technisch und ethisch nur schwer lösen kann (und ethisch nicht immer lösen will). Dabei sind viele andere Entwicklungs- und Einsatzgebiete interessant. Während beim Roboterauto sowohl das Qualifizieren als auch das Quantifizieren praktische und moralische Probleme mit sich bringt, sind solche bei einem Saugroboter kaum zu sehen. Im besprochenen Beispiel wurden Tiere qualifiziert, also hinsichtlich Größe, Alter, Art etc. bewertet. Bei Tieren ist das viel weniger problematisch als bei Menschen, vor allem dann, wenn man auf rationaler und ethischer Basis bestimmte Exemplare schützen und retten kann. Dieses Prinzip kann in verschiedene Bereiche getragen werden, von denen einige bereits angesprochen wurden. Fahrerassistenzsysteme und Roboterautos können für Igel und Kröten bremsen, wenn es die Verkehrssituation zulässt, Mähmaschinen und Windkraftanlagen sich rechtzeitig ausstellen. Auch das Quantifizieren ist bei Tieren allgemein möglich und zuweilen sinnvoll, wurde im vorliegenden Beitrag aber außer Acht gelassen. Die Maschinenethik kann sich den moralischen Entscheidungen von teilautonomen und autonomen Maschinen widmen, die sich auf Tiere aller Art beziehen – und gewinnt damit ein facettenreiches und fruchtbares Anwendungsgebiet. Entscheidungsbäume eignen sich für die Repräsentation von moralischen Entscheidungen. Im vorliegenden Beitrag wurden sie für ein System (und seine Hauptaufgabe, das Saugen) modelliert. Es wurde kein Wert auf Vollständigkeit gelegt. Vielmehr ging es darum, das Prinzip zu verdeutlichen (Bendel 2015a). Die moralischen Annahmen (die als Begründungen fungieren können) wurden in den Annotationen sichtbar gemacht. Hier war nicht wesentlich, dass sie besonders stichhaltig sind oder von einer breiten Mehrheit geteilt werden. Vielmehr ging es wiederum ums Prinzip. Deutlich wurde, dass neben moralischen Begründungen weitere möglich und sinnvoll sind, auf den Gewinn und den Betrieb bezogene. Auch diese können in den Annotationen aufscheinen. Eine Einsicht, die sich am Rande ergab, soll zum Schluss noch expliziter ausgesprochen werden. Immer wieder wird behauptet, dass moralische Maschinen eine globale Moral bräuchten und deshalb ihre Umsetzung zum Scheitern verurteilt sei. Das ist nicht bzw. nicht ausnahmslos der Fall – im Haushalt und im Garten gibt es zahlreiche Situationen, in denen einfach die individuelle Moral der Bewohner und Besitzer zählt. Der Saugroboter macht das, was der Besitzer auch machen würde, der

432

O. Bendel

ihn genau deshalb gekauft hat. Er ist eine Stellvertretermaschine im moralischen und sichtbaren, befahrbaren Raum und besitzt eine Stellvertretermoral. Der Markt spielt, könnte man sagen, wie bei Fair-Trade- und Bio-Produkten. Selbst die grundsätzliche Abgabe von Verantwortung erscheint hier nicht problematisch. Die Maschinenethik kann gezielt nach solchen Konstellationen Ausschau halten und wird damit ihr Fundament weiter festigen, ohne dass sie zwischen überzogenen Ansprüchen und überheblichen Angriffen zerrieben wird.

Literatur Anderson, Michael, und Susan L. Anderson, Hrsg. 2011. Machine ethics. Cambridge: Cambridge University Press. Azad-Manjiri, Meisam. 2014. A new architecture for making moral agents based on C4.5 decision tree algorithm. International Journal of Information Technology and Computer Science (IJITCS) 6(5): 50–57. Bendel, Oliver. 2012. Maschinenethik. Gabler Wirtschaftslexikon. Wiesbaden: Springer Gabler. http://wirtschaftslexikon.gabler.de/Definition/maschinenethik.html. Zugegriffen am 25.05.2018. Bendel, Oliver. 2013. Ich bremse auch für Tiere: Überlegungen zu einfachen moralischen Maschinen. inside-it.ch, 4. Dezember 2013. http://www.inside-it.ch/articles/34646. Zugegriffen am 25.05.2018. Bendel, Oliver. 2014a. Die Roboter sind unter uns. Netzwoche 22:28. Bendel, Oliver. 2014b. Advanced driver assistance systems and animals. Künstliche Intelligenz 28(4): 263–269. Bendel, Oliver. 2014c. Fahrerassistenzsysteme aus ethischer Sicht. Zeitschrift für Verkehrssicherheit 2:108–110. Bendel, Oliver. 2014d. Wirtschaftliche und technische Implikationen der Maschinenethik. Die Betriebswirtschaft 4:237–248. Bendel, Oliver. 2015a. Einfache moralische Maschinen: Vom Design zur Konzeption. In Prozesse, Technologie, Anwendungen, Systeme und Management 2015. Tagungsband zur 28. AKWIJahrestagung vom 06.09.2015 bis 09.09.2015 an der Hochschule Luzern – Wirtschaft, Hrsg. Thomas Barton, Burkhard Erdlenbruch, Frank Herrmann, et al., 171–180. Heide: mana-Buch. Bendel, Oliver. 2015b. Überlegungen zur Disziplin der Tier-Maschine-Interaktion. GBS, 14. Februar 2015. http://gbs-schweiz.org/blog/ueberlegungen-zur-disziplin-der-tier-maschine-interaktion/. Zugegriffen am 25.05.2018. Bendel, Oliver. 2016a. Mehr Unsicherheit mit Sicherheitsrobotern? SicherheitsForum 6:18–20. Bendel, Oliver. 2016b. Annotated decision trees for simple moral machines. In The 2016 AAAI Spring symposium series, 195–201. Palo Alto: AAAI Press. Bendel, Oliver. 2017a. Service Robots in Public Spaces. Telepolis, 25. Juni 2017. https://www.heise. de/tp/features/Service-Robots-in-Public-Spaces-3754173.html. Zugegriffen am 25.05.2018. Bendel, Oliver. 2017b. LADYBIRD: The Animal-Friendly Robot vacuum cleaner. In The 2017 AAAI Spring Symposium Series. Palo Alto: AAAI Press. Bendel, Oliver. 2018. Überlegungen zur Disziplin der Maschinenethik. Aus Politik und Zeitgeschichte 6–8:34–38. Beuth, Patrick. 2017. Der Spion, der aus der Küche kam. Zeit Online, 25. Juli 2017. https://www. zeit.de/digital/datenschutz/2017-07/roomba-staubsauger-roboter-daten-wohnung-verkaufen. Zugegriffen am 25.05.2018. Binder, Urs. 2017. Der Bauer wird digitalisiert. Swisscom, 11. Oktober 2017. https://www.swiss com.ch/de/storys/technologie/smarte-landwirtschaft.html. Zugegriffen am 25.05.2018. Brisevac, Alen, Simone Calcagno, und Stierli Barbara. 2017. LADYBIRD: Projektdokumentation. Olten: Hochschule für Wirtschaft FHNW.

Das LADYBIRD-Projekt

433

Deghani, Morteza, Ken Forbus, Emmett Tomai, et al. 2011. An integrated reasoning approach to moral decision making. In Machine ethics, Hrsg. Michael Anderson und Susan Leigh Anderson, 237–248. Cambridge: Cambridge University Press. Federle, Stephanie. 2014. Radar soll Zugvögel schützen. Tierwelt 10:22–23. Hueber, Joachim. 2013. Wir sehen Farbe – das können Sensoren auch! SENSOR MAGAZIN 1:8–11. Mancini, Clara. 2011. Animal-Computer Interaction (ACI): A manifesto. Interactions 18(4): 69–73. Mondada, Francesco, José Halloy, Alcherio Martinoli, et al. 2013. A general methodology for the control of mixed natural-artificial societies. In Handbook of collective robotics: Fundamentals and challenges, Hrsg. Serge Kernbach. Boca Raton: Taylor & Francis. Pereira, Luís Moniz, und Ari Saptawijaya. 2016. Programming Machine Ethics. Cham: Springer International Publishing Switzerland. Wimmer, Tilman, Martin Israel, Peter Haschberger, et al. 2013. Rehkitzrettung mit dem Fliegenden Wildretter: Erfahrungen der ersten Feldeinsätze. Bornimer Agrartechnische Berichte, 81:85–95. Zhou, Naaman. 2017. Volvo admits its self-driving cars are confused by kangaroos, The Guardian. https://www.theguardian.com/technology/2017/jul/01/volvo-admits-its-self-driving-cars-areconfused-by-kangaroos. Zugegriffen am 25.05.2018.

Teil VIII Maschinenethik und Roboterrecht

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden Eric Hilgendorf

Inhalt 1 Zur Geschichte des Technikrechts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Zivilrechtliche Produkthaftung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Strafrechtliche Produkthaftung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Fazit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

438 440 447 451 451

Zusammenfassung

Mit dem zunehmenden Einsatz von autonomen Maschinen stellen sich vermehrt Fragen nach der Verantwortung für Schäden, die durch derartige Geräte verursacht wurden. Im Recht hat die Haftung für maschinell verursachte Schäden eine lange Tradition. Man unterscheidet dabei Zivil- und Strafrecht. Während es im Zivilrecht vor allem um den ökonomischen Ausgleich entstandener Schäden geht, legt das Strafrecht fest, unter welchen Voraussetzungen der Schädiger bestraft werden kann. Das deutsche Recht stellt sowohl im Zivil- als auch im Strafrecht ein reichhaltiges und ausdifferenziertes Instrumentarium bereit, um in jedem Einzelfall angemessen reagieren zu können. Schlüsselwörter

Technikrecht · Produkthaftung · Produzentenhaftung · Gefährdungshaftung · Künstliche Intelligenz · Strafrecht · Zivilrecht

E. Hilgendorf (*) Juristische Fakultät, Universität Würzburg, Würzburg, Deutschland E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_27

437

438

1

E. Hilgendorf

Zur Geschichte des Technikrechts

Obwohl sich der Mensch seit jeher technischer Hilfsmittel bedient, ist das „Technikrecht“ eine vergleichsweise junge Disziplin. Funde legen nahe, dass selbst frühe Vormenschen vor drei Millionen Jahren in der Lage waren, einfache Werkzeuge herzustellen und zu verwenden. Ausgehend von steinernen Faustkeilen entwickelten sich über Epochen hinweg immer filigranere und effizientere Gerätschaften. Maschinen hingegen tauchen erst weit später auf. Artikel 2 lit. a der Richtlinie 2006/42/EG des Europäischen Parlamentes und des Rates vom 17. Mai 2006 über Maschinen definiert eine Maschine als „eine mit einem anderen Antriebssystem als der unmittelbar eingesetzten menschlichen oder tierischen Kraft ausgestattete oder dafür vorgesehene Gesamtheit miteinander verbundener Teile oder Vorrichtungen, von denen mindestens eines bzw. eine beweglich ist und die für eine bestimmte Anwendung zusammengefügt sind“. Der Unterschied zu einfachen Werkzeugen liegt danach im Vorhandensein beweglicher Teile und eines weder menschlichen noch tierischen Antriebssystems. Bereits in der Antike kannten die Römer technikbezogene Normen, vor allem Bauvorschriften (Vec 2011, S. 9). Dabei handelte es sich um einfache Regeln des Zusammenlebens, die es beispielsweise untersagten, bestimmte Gebiete zu bebauen oder Abwasser in die Straßen zu leiten. Von einem eigenständigen Technikrecht konnte noch keine Rede sein. Erst im späten Mittelalter wurde die Regelung technischer Sachverhalte in größerem Umgang erforderlich. Durch die Entstehung demografischer Ballungszentren stieg der Energiebedarf. Holz wurde knapp, stattdessen wurde Kohle verheizt, was zu ersten Umweltproblemen führte (Vec 2011, S. 10 f.). Es entstanden rechtliche Regelungen über den Bergbau und Bodenschätze. Die Verstädterung konzentrierte die Kaufkraft der Bevölkerung auf vergleichbar kleine Areale. Das Handwerk blühte; Zunft- und Handwerksordnungen wurden erlassen. Doch erst mit der Industriellen Revolution des 18. Jahrhunderts veränderten Maschinen unsere Welt grundlegend. Der Einsatz von Maschinen revolutionierte den Arbeitsalltag eines Großteils der Bevölkerung. Durch die Verbesserung der Dampfmaschine wurde es möglich, überall im Land große Fabriken zu errichten; bald darauf trieb sie auch Züge und Schiffe an. Ungeachtet ihrer Vorteile – die Nutzung der Dampfkraft hat die Industrielle Revolution erst möglich gemacht – war die Dampfmaschine auch mit erheblichen Risiken verbunden. Als Reaktion auf die Gefahr von Kesselexplosionen erließ der preußische Staat ab 1831 eine Reihe von Gesetzen. Der Gebrauch eines Dampfkessels bedurfte von nun an einer Genehmigung. In den darauffolgenden Jahren kamen wichtige Sicherheitsbestimmungen hinzu; dagegen war wegen des großen Nutzens der Dampfkraft ein Verbot nicht durchzusetzen. Ziel der Gesetzgebung war es vielmehr, die von der Technik ausgehenden Gefahren auf ein sozial verträgliches Maß einzudämmen. Kurz darauf wurde das ebenfalls eng mit dem wirtschaftlichen Aufschwung verbundene Eisenbahnwesen reglementiert. Dabei entstanden wesentliche Elemente des heutigen Haftungsrechts (Vec 2011, S. 24 f.), welche bis heute in der zivil- und strafrechtlichen Produkthaftung weiter existieren (Hilgendorf 1993 S. 83 ff.). Das

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden

439

Technikrecht war geboren. Verwendet wurden (und werden) aber auch Ausdrücke wie „Wirtschaftsrecht“, „Fabrikrecht“, „Industrierecht“, „Verkehrsrecht“ und „Energierecht“ (Vec 2011, S. 5). Ab Beginn des 20. Jahrhunderts eroberten die Maschinen die Privathaushalte; zu nennen sind etwa Bügeleisen, Küchenmaschinen und Telefon. Die darauffolgenden Kriegsjahre waren geprägt von einer Standardisierung der Fertigungsvorgänge. Der Name des deutschen Maschinengewehrs „08/15“ steht noch heute für Massenproduktion, die ab den 50er-Jahren die Privathaushalte mit einer Vielzahl nützlicher Geräte, vom Telefon über den Fernseher bis hin zu Staubsauger und Waschmaschine, versorgte. Seit den 1980er-Jahren übernahmen Computerchips mehr und mehr Funktionen, Mitte der 1990er-Jahre wurde das Internet in Deutschland zu einem Massenphänomen. Heute hat die Digitalisierung so weite Bereiche unserer Lebens- und Arbeitswelt erfasst, dass man geradezu von einer „digitalen Transformation“ sprechen kann. Gegenwärtig drängen autonome bzw. teilautonome Systeme auf den Markt, welche Aufgaben ohne menschlichen Input sachgerecht lösen und auf geänderte Umweltbedingungen adäquat reagieren können. Praktisch von großer Bedeutung sind derartige Systeme bereits im Straßenverkehr. Airbags gehören mittlerweile zur Standardausrüstung eines PKW (siehe auch BGH NJW 2009, S. 2952) und schon bald dürfte dies auch für teilautonome Einparkhilfen und Spurhalteassistenten gelten. Im Bahn- und noch mehr im Flugzeugverkehr haben teilautonome Maschinen in Form von Autopiloten schon vor einiger Zeit Einzug gehalten. Viele Maschinen arbeiten heute nicht mehr isoliert, sondern sind in der Lage, mit Menschen und anderen Systemen zu kommunizieren. Einschlägige Phänomene sind die „Industrie 4.0“ oder das „Internet der Dinge“. In jüngster Zeit kommen zunehmend selbstlernende Systeme zum Einsatz, die ihre Programmierung aufgrund von Umwelteinflüssen eigenständig modifizieren, also „aus Erfahrung lernen“ können (Lenzen 2018, S. 48 ff.). Die rasante technische Entwicklung der letzten 200 Jahre hat das Recht immer wieder vor neue Herausforderungen gestellt. Man mag allerdings fragen, ob es „Technikrecht“ als eigenständige Disziplin tatsächlich gibt (Vec 2011, S. 3; allgemein zu den Voraussetzungen eines eigenständigen Rechtsgebiets Hilgendorf 2009). Auch wenn Rechtsfragen der Technik in den vergangenen Jahren zunehmend in den Fokus der Aufmerksamkeit rücken, ist doch noch immer fraglich, was sich hinter dem Begriff „Technikrecht“ genau verbirgt. Womöglich verhindert schon der Begriff „Technik“ selbst eine eindeutige Zuordnung. „Technik“ lässt sich verstehen als die „Gesamtheit der Maßnahmen, Einrichtungen und Verfahren, die dazu dienen, die Erkenntnisse der Naturwissenschaften für den Menschen praktisch nutzbar zu machen“ (Duden online, Suchbegriff Technik). Eine Rechtsdisziplin, die für alle damit angesprochenen Rechtsfragen eine genuine Zuständigkeit beanspruchen würde, wäre offenkundig zu weit gefasst. Wie eng Technik und Recht heute miteinander verwoben sind, zeigt der häufige Hinweis des Gesetzgebers auf den „Stand der Technik“. Der Begriff findet sich z. B. im Bundes-Immissionsschutzgesetz. Darunter versteht man den „Entwicklungsstand fortschrittlicher Verfahren, Einrichtungen oder Betriebsweisen, der die praktische

440

E. Hilgendorf

Eignung einer Maßnahme zur Begrenzung von Emissionen in Luft, Wasser und Boden, zur Gewährleistung der Anlagensicherheit, zur Gewährleistung einer umweltverträglichen Abfallentsorgung oder sonst zur Vermeidung oder Verminderung von Auswirkungen auf die Umwelt zur Erreichung eines allgemein hohen Schutzniveaus für die Umwelt insgesamt gesichert erscheinen lässt. Bei der Bestimmung des Standes der Technik sind insbesondere die in der Anlage aufgeführten Kriterien zu berücksichtigen.“ (§ 3 Abs. 6 BImSchG, vgl. auch § 4 Nr. 3 ArbSchG oder § 3 Abs. 7 S. 2BetrSichV.). Die digitale Transformation trifft das Recht nicht unvorbereitet; es wäre verfehlt zu meinen, die technische Entwicklung fände in einem „rechtsfreien Raum“ statt. Vor allem das Verfassungsrecht, das Zivil- und das Strafrecht bilden für die technische Entwicklung einen normativen Rahmen, welchen diese oft nur unter Inkaufnahme empfindlicher Sanktionen zu durchbrechen vermag. Die nachfolgende Darstellung beschränkt sich auf Grundzüge der zivil- und strafrechtlichen Haftung für durch Maschinen verursachte Schäden. Dabei gelten grundsätzlich die allgemeinen Regeln der zivil- und strafrechtlichen Produkthaftung.

2

Zivilrechtliche Produkthaftung

Eine mangelhafte Sache ist nicht zwingend eine gefährliche Sache. Von einer Maschine mit Farbfehler geht in etwa das gleiche Risiko aus wie von einer fehlerfreien Maschine. Andere Mängel hingegen schränken nicht nur die Brauchbarkeit ein, sondern machen ein Produkt zur Gefahr für Leib, Leben oder andere Rechtsgüter. Leidtragender in einer langen Verkaufskette ist meist der Endabnehmer, der die Sache letztlich verwendet. Der Begriff „Produkthaftung“ beschreibt die Pflicht, für Schäden zivilrechtlich zu haften, die durch die Verwendung eines fehlerhaften Produkts entstehen. Da die Haftung meist den Hersteller trifft, werden die Bezeichnungen „Herstellerhaftung“, „Produkthaftung“ und „Produzentenhaftung“ oft als Synonyme verwendet (Lenz 2014, § 3 Rn. 1). „Produkthaftung“ bezeichnet die verschuldensunabhängige Haftung des Herstellers nach dem Produkthaftungsgesetz (ProdHaftG). Davon zu unterscheiden ist die Haftung des Produzenten aus § 823 des Bürgerlichen Gesetzbuches (BGB) (Stürner 2018, § 823 Rn. 124a). Denkbar sind zwar auch vertragliche Ansprüche, die jedoch im Vergleich zur deliktischen Produzentenhaftung und der Haftung nach dem ProdHaftG von untergeordneter Bedeutung sind.

2.1

Deliktische Produzentenhaftung des Herstellers

Wegen unerlaubter Handlung (§§ 823 ff. BGB) haftet nur, wem ein Schuldvorwurf gemacht werden kann. Die Deliktshaftung wird bei Bestehen vertraglicher Ansprüche nicht ausgeschlossen, die Ansprüche stehen nebeneinander (sog. Kumulationsprinzip, Säcker et al. 2017, § 823 Rn. 78). Eine besondere Rolle im Rahmen deliktischer Produkthaftung nimmt § 823 Abs. 1 BGB ein. Danach ist schadensersatzpflichtig,

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden

441

„wer vorsätzlich oder fahrlässig das Leben, den Körper, die Gesundheit, die Freiheit, das Eigentum oder ein sonstiges Recht eines anderen widerrechtlich verletzt“.

2.1.1 Sorgfaltspflichten des Herstellers Mit Blick auf die allgegenwärtigen Produktions- und Verbreitungsketten hat die Rechtsprechung besondere Sorgfaltspflichten für Hersteller entwickelt. Zunächst treffen den Hersteller Konstruktionspflichten, auch und gerade bei der Konstruktion von Maschinen. Er ist dafür verantwortlich, dass ein von ihm in den Verkehr gebrachtes Produkt die geforderten Sicherheitsstandards einhält. Konstruktionsfehler betreffen das Design bzw. den Entwurf des Produkts selbst, sodass alle auf dieser Grundlage hergestellten Produkte fehlerhaft sind (Säcker et al. 2017, § 823 Rn. 818). Sollte der Bauplan des Produkts tadellos sein, es aber während des Fertigungsprozesses zu Unregelmäßigkeiten kommen, spricht man von Fabrikationsfehlern (Säcker et al. 2017, § 823 Rn. 822). Kann allerdings der Hersteller einzelne „Ausreißer“ auch bei größter Sorgfalt nicht verhindern, verletzt er seine Fabrikationspflichten nicht. Eine vollständige Gefahrlosigkeit des Produkts, sei es eine Maschine oder nicht, kann der Verbraucher nicht erwarten (BGH NJW 2009, S. 1669, 1670). Ist ein Produkt korrekt konstruiert und fabriziert, geht von ihm regelmäßig keine Gefahr aus, bis – zumindest in einzelnen Fällen – der Nutzer auf den Plan tritt. Durch die Art des Gebrauchs bestimmt dieser die Gefährlichkeit eines Produkts entscheidend mit. Zur sachgerechten Nutzung ist der Verbraucher aber nur in der Lage, wenn er in die Modalitäten der Verwendung eingewiesen wurde. Instruktionspflichten (oder Aufklärungspflichten) sollen daher gewährleisten, dass der Produktnutzer über den korrekten Gebrauch informiert ist und „Klarheit über die ihm unter Umständen drohende Gefahr“ besitzt (BGH, NJW 1975, S. 824, 825). Aufklären muss der Hersteller auch über die Risiken vorhersehbaren Fehlgebrauchs (Säcker et al. 2017, § 823 Rn. 826; Foerste und von Westphalen 2012, § 24 Rn. 288). Den genannten Obliegenheiten nachgeschaltet ist die Pflicht des Herstellers zur Produktbeobachtung. Hat ein Hersteller also eine Maschine (und somit eine Gefahrenquelle) auf den Markt gebracht, so muss er beständig prüfen, ob sich daraus nicht bislang unbekannte Gefahren ergeben. Die damit angesprochene Pflicht zur Produktbeobachtung hat eine aktive und eine passive Komponente. So ist der Hersteller verpflichtet, Kundenbeschwerden entgegenzunehmen, zu sammeln und auszuwerten, aber auch durch ähnliche Produkte gemachte Erfahrungen einzubeziehen und das wissenschaftlich-technische Fachschrifttum auszuwerten (Säcker et al. 2017, § 823 Rn. 837 bis 839.). Hat ein Hersteller auf diesem Wege Kenntnis von der Gefährlichkeit eines Produkts erlangt, so ist er verpflichtet, den Produktionsprozess umzustellen, die Verbraucher zu warnen oder sogar gegebenenfalls eine Rückrufaktion einzuleiten. 2.1.2 Beweisfragen Grundsätzlich gilt im Beweisrecht, dass derjenige, der einen Anspruch geltend macht, das Vorliegen der anspruchsbegründenden Bedingungen beweisen muss. Für eine Haftung nach § 823 Abs. 1 BGB bedeutet dies zunächst, dass der Geschädigte den Produktfehler und den Ursachenzusammenhang zwischen dem Fehler und dem

442

E. Hilgendorf

eingetretenen Schaden nachweisen muss. Häufig ist bereits dies mit einigen Schwierigkeiten verbunden. Eine Beweispflicht besteht streng genommen auch im Hinblick auf das Verschulden des Schädigers. In komplexe Produktionsprozesse hat der einzelne Verbraucher allerdings keinen Einblick, ebenso wenig in die Organisationsstrukturen des Herstellers. Ein solcher Nachweis ist für eine Einzelperson daher schlichtweg nicht zu führen. Auf die damit angedeutete Misere des Geschädigten hat die Rechtsprechung in der berühmten „Hühnerpestentscheidung“ reagiert (BGH, NJW 1969, S. 269). Die Klägerin hatte die Hühner auf ihrer Farm gegen Hühnerpest impfen lassen. Kurz darauf brach die Hühnerpest dennoch aus, die geimpften Hühner starben. Im Impfstoff wurden später noch aktive Viren entdeckt. Wie es zu dem Mangel gekommen war, konnte nicht festgestellt werden. Der BGH entschied, dass der Geschädigte zwar das Vorliegen eines objektiven Mangels zu beweisen hat. Ebenso obliegt ihm noch der Nachweis der Kausalität zwischen jenem Mangel und dem eingetretenen Schaden. Ist ihm dies gelungen, greift hinsichtlich des Verschuldens aber eine Beweislastumkehr. Es liegt nun beim Hersteller zu beweisen, dass ihm ein Fehler nicht zuzurechnen ist. In späteren Entscheidungen hat der BGH klargestellt, dass die in der „Hühnerpestentscheidung“ aufgestellten Grundsätze zur Beweisverteilung nicht allein für Fabrikationsfehler gelten, sondern auch für Konstruktions- (BGH, NJW 1977, S. 379, 380) und Instruktionsfehler (BGH, NJW 1981, S. 1603, 1605).

2.2

Haftung nach dem ProdHaftG

Nach § 1 Abs. 1 ProdHaftG ist der Hersteller schadensersatzpflichtig, wenn durch den Fehler seines Produkts jemand getötet, sein Körper oder seine Gesundheit verletzt oder eine Sache beschädigt wird. Das „Gesetz zur Haftung für fehlerhafte Produkte“ (ProdHaftG) überträgt die Vorgaben der EU-Richtlinie 85/374/EWG (im Folgenden nur Richtlinie) in das deutsche Recht, welche die Angleichung der Rechts- und Verwaltungsvorschriften der Mitgliedsstaaten über die Haftung für fehlerhafte Produkte bezweckt. Das Verhältnis der deliktischen Haftung zu der des ProdHaftG ist durch § 15 Abs. 2 ProdHaftG geregelt, wonach eine Haftung aufgrund anderer Vorschriften unberührt bleibt. Im Gegensatz zur Produzentenhaftung (§§ 823 ff. BGB) haftet der Hersteller für die genannten Rechtsgutsverletzungen nach dem ProdHaftG verschuldensunabhängig (Medicus und Lorenz 2018, § 86 Rn. 349). § 1 Abs. 2 ProdHaftG enthält eine Reihe von Tatbeständen, die zum Ausschluss der Haftung führen. Gemäß § 1 Abs. 4 S. 2 ProdHaftG hat der Hersteller das Vorliegen solcher Ausschlusstatbestände zu beweisen. Nach dem ProdHaftG haftet der Hersteller also, wenn sein Produkt mit einem Fehler behaftet ist, durch den ein Schaden verursacht wird, und kein Ausschlussgrund vorliegt.

2.2.1 Produkt Ein „Produkt“ i.S.d. ProdHaftG ist „jede bewegliche Sache, auch wenn sie einen Teil einer anderen beweglichen oder einer unbeweglichen Sache bildet, sowie Elektrizi-

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden

443

tät“ (§ 2 ProdHaftG). Sachen i.S.d. § 2 ProdHaftG sind räumlich abgrenzbare, körperliche Gegenstände, s.§ 90 BGB. Auf die Größe der jeweiligen Sache kommt es bei der Bestimmung der Produkteigenschaft nicht an. Der Produktbegriff des ProdHaftG umfasst daher von Kleinstgegenständen, etwa Nanopartikeln (Säcker et al. 2017, § 2 ProdHaftG Rn. 3) bis hin zu Großmaschinen und kompletten Fabrikanlagen (Lenz 2014, § 3 Rn. 295) alles. Die Beschränkung auf „bewegliche“ Sachen dient allein dazu, Gebäude und Grundstücke von der Herstellerhaftung auszuschließen. Die Ausklammerung von Grundstücken ist sinnvoll, da ein Grundstück nicht hergestellt wird. Für das Technikrecht von besonderem Interesse ist die Frage, ob auch Roboter oder ähnliche autonom agierende Systeme als Produkte unter § 2 ProdHaftG fallen. Gerade in Bereichen, in denen Mensch und Maschine gemeinsam an einem Fertigungsprozess beteiligt sind, können Arbeiter z. B. durch Fertigungsroboter verletzt werden. Der Roboter selbst ist eine bewegliche Sache, auch dann, wenn er fest in einer Produktionsstraße montiert ist, denn die Produkteigenschaft geht nicht dadurch verloren, dass die Sache in eine unbewegliche Sache integriert wurde (§ 2 ProdHaftG: „auch wenn sie Teil (. . .) einer unbeweglichen Sache ist“). Bricht ein mangelhaft montierter Roboter über einem Menschen zusammen oder fehlen erforderliche Schutzvorrichtungen an einer solchen Maschine, wird also regelmäßig das ProdHaftG einschlägig sein. Schwieriger wird die rechtliche Bewertung, wenn nicht der Roboter selbst, sondern die für dessen Verhalten zuständige Software fehlerhaft ist. Ob Software ein Produkt sein kann, hängt maßgeblich von der Einordnung als bewegliche Sache ab. Sowohl Rechtsprechung als auch Literatur stufen Software als Produkt gemäß § 2 ProdHaftG ein, wenn diese auf einem Datenträger geliefert wird und daher unweigerlich mit diesem verbunden ist (Säcker et al. 2017, § 2 ProdHaftG Rn. 15). Sobald ein Programm auf einem Datenträger verkörpert ist, handelt es sich also um eine körperliche Sache (§ 90 BGB). Dies gilt unabhängig von der Einordnung nach Standard- und Individualsoftware. Anders verhält es sich, wenn der Roboter die Software nicht mittels CD oder USB-Stick aufgespielt bekommt, sondern – was heute schon der Normalfall zumindest für Updates sein dürfte – online bezieht. Offensichtlich fehlt es hier an der Verkörperung. Für die Einordnung heruntergeladener Software als Produkt gemäß § 2 ProdHaftG könnte eine Parallele zur dort explizit genannten „Elektrizität“ sprechen. Auch diese wird ohne Trägermedium übertragen. Dieses Argument wird jedoch überwiegend abgelehnt. Eine Gleichsetzung mit Strom soll ausscheiden, da dieser lediglich Medium, aber nicht Wesen der Software ist (Taschner et al. 1990, § 2 ProdHaftG, Rn. 22.). Außerdem ist Elektrizität in § 2 ProdHaftG als Ausnahme genannt, eine analoge Anwendung dieser offensichtlichen Sonderstellung ist deshalb nicht angezeigt (Spindler 1998, S. 120). Es fehlt deshalb ein Ansatzpunkt, heruntergeladene Software als Produkt einzustufen. Online bezogene Software ist weniger ein Produkt als eine Dienstleistung, welche in den Verkehr gebracht wird (so schon Spindler 1998, S. 121). Verletzt ein Roboter aufgrund eines fehlerhaften, online bezogenen Updates Arbeiter oder zerstört technische Einrichtungen, haftet der Hersteller der Software deshalb nicht nach dem ProdHaftG. Angesichts der zuneh-

444

E. Hilgendorf

menden Bedeutung per Funk aufgespielter Software spricht einiges dafür, dass der Gesetzgeber diese Rechtslage bald ändern sollte und auch Software explizit in den § 2 ProdHaftG aufnimmt.

2.2.2 Fehler Eine Maschine als Produkt hat nach § 3 ProdHaftG einen Fehler, wenn sie nicht die Sicherheit bietet, die unter Berücksichtigung aller Umstände, insbesondere ihrer Darbietung, des Gebrauchs, mit dem billigerweise gerechnet werden kann, oder des Zeitpunkts, zu dem sie in den Verkehr gebracht wurde, berechtigterweise erwartet werden kann. Was berechtigterweise erwartet werden kann, bestimmt sich nach einem objektiven Maßstab (Säcker et al. 2017, § 3 ProdHaftG Rn. 2). Entscheidend ist die Erwartung eines durchschnittlichen Benutzers aus der Zielgruppe, an die sich das Produkt richtet (Lenz 2014, § 3 Rn. 306). Die Haftung des Herstellers erweitert sich dann, wenn seine Produkte auch an Risikogruppen vertrieben werden (BGH, NJW 2009, S. 1669, 1670). Hierzu zählen insbesondere Kinder und ältere Menschen. Die Erwartungen werden maßgeblich durch die äußere Erscheinung des Produkts oder die Werbung gelenkt (Säcker et al. 2017, 3 ProdHaftG Rn. 8 bis 10). Auch der Preis der Maschine kann ein Indikator sein, denn Produktions- und Herstellerkosten beeinflussen die berechtigten Sicherheitserwartungen (Foerste und von Westphalen 2012, § 48 Rn. 28). 2.2.3 Hersteller Wer Hersteller i.S.d. ProdHaftG ist, bestimmt § 4 ProdHaftG. Hersteller ist demnach, wer das Endprodukt, einen Grundstoff oder ein Teilprodukt hergestellt hat. Für die Zuliefererindustrie von Bedeutung ist insbesondere die Einbeziehung der Teilproduzenten. Dass nicht nur der (nach dem allgemeinen Sprachgebrauch als „Hersteller“ bezeichnete) Verantwortliche für das Endprodukt Hersteller i.S.d. Gesetzes ist, ergibt sich aus Ziel und Zweck der Produkthaftungs-Richtlinie. Nur wenn alle am Produktionsprozess Beteiligten haften, lässt sich eine lückenlose Haftungskette gewährleisten (Foerste und von Westphalen 2012, § 49 Rn. 2). Folgerichtig haften auch Importeure, Lieferanten und Quasi-Hersteller. Letztere sind diejenigen Beteiligten, die sich durch eine bestimmte Kennzeichnung als Hersteller des Produkts ausgeben, obwohl sie es nicht sind (Säcker et al. 2017, § 4 ProdHaftG Rn. 26). Die Einbeziehung des Quasi-Herstellers ist auch im Hinblick auf den Verbraucherschutz legitimiert. Der bereits Geschädigte soll nicht weiter belastet werden, indem er auf den „wahren“ Hersteller verwiesen wird und diesen ausfindig machen muss (Foerste und von Westphalen 2012, § 49 Rn. 47).

2.3

Gefährdungshaftung

Der Grundgedanke des Haftungsrechts ist folgender: Bei jeder verschuldeten Rechtsgutsverletzung gibt es einen Schuldigen, der für den einer anderen Person zugefügten Schaden aufkommen muss. Das BGB geht allgemein von diesem Verschuldensprinzip aus. So beginnt auch der Titel „Unerlaubte Handlungen“ mit § 823

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden

445

BGB und stellt damit die Schadensersatzpflicht für schuldhafte Rechtsgutsverletzungen an die Spitze des Deliktsrechts (Röthel 2012, S. 444). § 823 Abs. 1 BGB lautet: „Wer vorsätzlich oder fahrlässig das Leben, den Körper, die Gesundheit, die Freiheit, das Eigentum oder ein sonstiges Recht eines anderen widerrechtlich verletzt, ist dem anderen zum Ersatz des daraus entstehenden Schadens verpflichtet.“ Die Entstehung der Industriegesellschaft hat daneben einen weiteren Haftungstyp notwendig gemacht. Er erfasst Verhaltensweisen, die immense Vorteile mit sich bringen, aber gleichzeitig die rechtlich geschützten Güter anderer gefährden. Da ein Verbot wegen des Nutzens für die Allgemeinheit ausscheidet, wurden diese Risiken mit einer verschuldensunabhängigen Gefährdungshaftung belegt. Diese gilt als Ausnahme von der generellen Verschuldenshaftung. Im Unterschied zur Verschuldenshaftung wird bei der Gefährdungshaftung für eine erlaubte Gefahr gehaftet. Es geht um Verhaltensweisen, welche die Gesellschaft wegen ihres überragenden Nutzens trotz ihrer Gefährlichkeit zulässt. Der Autofahrer tut, solange er sich an die Verkehrsregeln hält, nichts Verbotenes. Trotzdem stellt sein Verhalten eine potenzielle Bedrohung für geschützte Rechtsgüter dar, also für Leib und Leben anderer Verkehrsteilnehmer und auch deren Eigentum. Wer eine solche Gefahrenquelle schafft oder unterhält, aus ihr demnach einen Nutzen zieht, der hat für den Schaden aufzukommen, der dadurch anderen zugefügt wird, und zwar unabhängig von der Widerrechtlichkeit seiner Handlung oder einem Verschulden. Obwohl sich der Schädiger also korrekt verhalten hat, werden die Kosten eines Schadens ihm, als Nutznießer der Gefahrenquelle, auferlegt, da eine Schadenstragung durch den Betroffenen unzumutbar scheint. Dass derjenige, welcher von einer Gefahrenquelle profitiert, auch den damit verbundenen Schaden zu tragen hat, entspricht den Geboten der ausgleichenden Gerechtigkeit (Looschelders 2017, Rn. 1439). Es bedarf allerdings einer Begrenzung der Gefährdungshaftung, denn würde der Verpflichtete pauschal für alle Unglücksfälle haftbar gemacht, die irgendwie in Zusammenhang mit „seiner“ Gefahrenquelle stehen, wäre dies für ihn wirtschaftlich nicht tragbar. Die Haftung wird daher regelmäßig auf das Betriebsrisiko beschränkt (Brox und Walker 2018, § 54 Rn. 2), sie besteht daher nur, wenn der Schaden durch ein der Gefahrenquelle innewohnendes Risiko hervorgerufen wird. Betriebsfremde Ursachen begründen keine Haftung. Ausgeschlossen sind deshalb beispielsweise solche Schäden, die durch höhere Gewalt verursacht werden (§ 7 Abs. 2 StVG, §1 Abs. 2 HaftpflG). Nach BGH, NJW 1953, S. 184, ist höhere Gewalt ein betriebsfremdes, von außen durch elementare Naturkräfte oder durch Handlungen dritter Personen herbeigeführtes Ereignis, das nach menschlicher Einsicht und Erfahrung unvorhersehbar ist, mit wirtschaftlich erträglichen Mitteln auch durch die äußerste nach der Sachlage vernünftigerweise zu erwartende Sorgfalt nicht verhütet oder unschädlich gemacht werden kann und auch nicht wegen seiner Häufigkeit vom Betriebsunternehmer in Kauf zu nehmen ist. Ein Ereignis, das seinen Grund nicht in der Sache selbst hat und auch bei zumutbarer Sorgfalt nicht hätte abgewendet werden können, kann keine Haftung auslösen. Zentrales haftungsbegrenzendes Element ist also der Gefährdungs- und Zurechnungszusammenhang; gehaftet wird nur für Schäden, in denen sich eben jene

446

E. Hilgendorf

Gefahr verwirklicht hat, vor der die entsprechende Norm schützen soll (Looschelders 2017, Rn. 1444). Eine weitere Begrenzung in diesem Sinne ist die Beschränkung der Haftung auf gewisse Höchstbeträge, wie in § 12 StVG oder § 10 HPflG. Diese Obergrenzen ermöglichen es, Haftpflichtversicherungen mit tragbaren Konditionen anzubieten. Gemäß § 1 PflVG muss der Halter eines Kraftfahrzeugs für sich und den Fahrer eine Haftpflichtversicherung abschließen. Welche Verhaltensweisen mit einer Gefährdungshaftung belegt werden, ist Entscheidung des Gesetzgebers. Es gilt das sogenannte Enumerationsprinzip (Looschelders 2017, Rn. 1442; Röthel 2012, S. 444), das vor allem der Rechtssicherheit dient. Wer weiß, in welchen Bereichen er womöglich verschuldensunabhängig haften muss, kann abwägen, ob er in diesem Bereich tätig werden möchte, und sich gegebenenfalls durch den Abschluss einer Versicherung schützen. Eine Erweiterung der bestehenden Tatbestände auf ähnlich gelagerte Fälle im Zuge einer Gesamtanalogie wurde bis dato von der Rechtsprechung abgelehnt (BGH, NJW 1971, S. 607, 608; BGH, NJW 1975, S. 117, 118). Das BGB selbst erwähnt die Gefährdungshaftung nur an einer Stelle: die Tierhalterhaftung nach § 833 S. 1 BGB. Weitere Tatbestände sind allerdings spezialgesetzlich geregelt worden. Problematisch an diesem Konzept ist, dass Ersatzansprüche von einem Tätigwerden des Gesetzgebers abhängen, der die relevanten Risiken womöglich nicht annähernd vollständig überblickt und deshalb gelegentlich zu spät reagiert. So wurde die Gefährdungshaftung für Arzneimittel erst als Reaktion auf die Contergan-Katastrophe eingeführt (Röthel 2012, S. 444). Jährlich über zwei Millionen polizeilich erfasste Verkehrsunfälle (Statistisches Bundesamt 2018, S. 613) machen die Kraftfahrzeughalterhaftung nach dem StVG zum wichtigsten Fall von Gefährdungshaftung. Der Halter eines Kraftfahrzeugs ist gemäß § 7 Abs. 1 StVG ersatzpflichtig, wenn „bei dem Betrieb eines Kraftfahrzeugs (. . .) ein Mensch getötet, der Körper oder die Gesundheit eines Menschen verletzt oder eine Sache beschädigt“ wird. Dem Wortlaut nach setzt der Tatbestand weder ein Verschulden voraus, noch sieht er eine Exkulpationsmöglichkeit vor. An diesem Beispiel lässt sich nochmals der Grundgedanke der Gefährdungshaftung verdeutlichen: Das Kraftfahrzeug ist eine Gefahrenquelle, der Halter derjenige, welcher das Fahrzeug für eigene Rechnung in Gebrauch hat und so aus dem Fahrzeug Nutzen zieht. Die Rechtsgutsverletzung, also das Hervorrufen eines Schadens, muss „beim Betrieb“ der Maschine erfolgen, was die Haftung insoweit einschränkt, als nur betriebsspezifische Gefahren erfasst sind. Die vom Kraftfahrzeug als solchem ausgehende (Betriebs-)Gefahr muss sich also auf den Schadensablauf ausgewirkt haben, das Schadensereignis durch das Kraftfahrzeug mitgeprägt worden sein. Die Gefährdungshaftung trifft den Halter eines sich in Betrieb befindlichen Fahrzeugs als Ausdruck sozialer Verantwortung für die Folgen des geschaffenen Risikos (Hirsch 2011, S. 16). Damit die Handhabung eines Fahrzeugs für den Halter nicht zu einem unkalkulierbaren Risiko wird, sind die Haftung aus der Betriebsgefahr und die Pflichtversicherung untrennbar miteinander verbunden (Hirsch 2011, S. 16). Davon zu unterscheiden ist die Haftung des Kraftfahrzeugführers (des eigentlichen Fahrers), der nach § 18 Abs. 1 StVG für vermutetes Verschulden haftet. Nicht unter das StVG

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden

447

fallen Schienen- und Schwebebahnen. Eine Gefährdungshaftung für deren Betrieb regelt § 1 Abs. 1 HaftpflG. Beim einzigen im BGB geregelten Fall der Gefährdungshaftung, der Haftung des Tierhalters nach § 833 S.1 BGB, ist entscheidendes Haftungskriterium die „Unberechenbarkeit des tierischen Verhaltens“ (BGH, NJW 1965, S. 2397, 2397; BGH, NJW 1976, S. 2130, 2131). Auffallend ist, dass nahezu alle sonstigen spezialgesetzlich geregelten Fälle der Gefährdungshaftung einen Technikbezug aufweisen. Zu erwähnen ist etwa die Haftung nach dem Gentechnikgesetz (§ 32 Abs. 1 GenTG), für den Betrieb von Luftfahrzeugen (§§ 33 ff. LuftVG) oder die – noch aktuelle – Haftung für Kernanlagen (§§ 25ff. AtomG). Auch die Produkthaftung nach dem ProdHaftG stellt nach herrschender Ansicht (Brox und Walker 2018, § 54 Rn. 28; Looschelders 2017, 12. Aufl., Rn. 1479) einen Fall der Gefährdungshaftung dar. Auf die Haftung für Arzneimittel sei ebenfalls verwiesen. Nach § 84 Abs. 1 S.1 AMG haftet das pharmazeutische Unternehmen, welches ein Arzneimittel in den Verkehr gebracht hat, ohne Verschulden für daraus resultierende Schäden. Die französische Rechtsprechung hat auf Grundlage des Art. 1384 Abs. 1 Code Civil eine allgemeine Gefährdungshaftung für gefährliche Sachen entwickelt (Looschelders 2017, 12. Aufl., Rn. 1443). Gerade mit Blick auf die rasante technische Entwicklung und die Flut neuer Hilfsmittel könnte eine solche Generalklausel auch für deutsches Recht bedenkenswert sein. Speziell in Haftungsfragen läuft das Recht ständig Gefahr, vom technischen Fortschritt überholt zu werden. Dies bedeutet, dass der Gesetzgeber oft erst aus Schadensfällen auf die Risiken aufmerksam wird und nur noch reagieren kann. Vorteil einer Generalklausel für „besondere Gefahren“ könnte sein, dass der Gesetzgeber der technischen Entwicklung nicht mehr hinterherlaufen müsste (Medicus 1996, S. 562).

3

Strafrechtliche Produkthaftung

3.1

Grundzüge

Strafrechtliche Produkthaftung kann als das schärfste Schwert des Verbraucherschutzes verstanden werden. Kommt es durch das Inverkehrbringen von Produkten zur Verletzung von Rechtsgütern, entsteht bei den Betroffenen zunächst das Bedürfnis nach Schadensausgleich (Achenbach et al. 2014, S. 113 Rn. 1; Hilgendorf 2015, § 10 Rn. 1). Die Feststellung etwaiger Ansprüche fällt in den Bereich des Zivilrechts. Daneben stellt sich aber regelmäßig die Frage strafrechtlicher Verantwortlichkeit. Spezielle Regelungen zur strafrechtlichen Produkthaftung enthält das StGB nicht. Da durch fehlerhafte Produkte in erster Linie Leib und Leben betroffen sind, ist aber häufig die vorsätzlich oder fahrlässig begangene Tötung (§§ 212, 222 StGB) oder Körperverletzung (§§ 223, 229 StGB) zu diskutieren. Dies gilt auch für die Körperverletzung oder Tötung durch Maschinen. Im Nebenstrafrecht finden sich zahlreiche Regelungen über die Verantwortung für fehlerhafte Produkte, so beispielsweise im Chemikalien- oder Gentechnikrecht. Von besonderer Bedeutung sind das Lebensmittelstrafrecht und das Arzneimittelstrafrecht.

448

E. Hilgendorf

Gängige Reaktionen des Strafrechts auf Rechtsgutsverletzungen sind Geld- oder Freiheitsstrafe (§§ 38 ff. StGB). Daneben kommt ein Berufsverbot (§ 70 StGB) oder die Entziehung von Gegenständen (§ 74 StGB) in Betracht. Hier liegt der wohl wichtigste Unterschied zwischen zivilrechtlicher und strafrechtlicher Produkthaftung. Während die zivilrechtliche Haftung das Unternehmen als Produzenten trifft, kann Betroffener strafrechtlicher Rechtsfolgen nur eine natürliche Person sein. Anders als viele andere Nationen kennt das deutsche Strafrecht die Haftung von Organisationen (noch?) nicht (einige Länder mit eigenständigen Regelwerken zur Unternehmensstrafbarkeit sind in Pieth und Ivory 2011 aufgelistet, etwa die USA (S. 64 ff.), England und Wales (S. 91 ff.), Frankreich (S. 147 ff.), die Niederlande (S. 177 ff.), die Schweiz (S. 193 ff.) und Ungarn (S. 313 ff.)). Strafrechtliche Verantwortung setzt die rechtswidrige und schuldhafte Erfüllung eines Tatbestandes durch ein Individuum voraus (Foerste und von Westphalen 2012, § 80 Rn. 10; Hilgendorf 2015, § 10 Rn. 15). Das persönliche Risiko eines Unternehmensmitarbeiters ist bei der strafrechtlichen Produkthaftung daher ungleich höher als bei der zivilrechtlichen (Achenbach et al. 2014, S. 115 Rn. 6). Da der Mitarbeiter meist in einen komplexen Produktionsprozess eingebunden ist, kann selten ein Einzelner ausgemacht werden, der für den Schaden allein verantwortlich ist. Das Unternehmen selbst ist von einem Strafverfahren gegen Mitarbeiter immerhin indirekt betroffen: die Öffentlichkeit wird den angeschuldigten Mitarbeiter gewöhnlich mit dem Unternehmen assoziieren, welches ihn beschäftigt, insbesondere wenn es sich um eine höher gestellte Persönlichkeit handelt. Wegen des daraus resultierenden Vertrauensverlustes der Verbraucher, eines möglichen Rückgangs der Verkaufszahlen und des damit verbundenen finanziellen Schadens (Foerste und von Westphalen 2012, § 80 Rn. 13) stellt ein Strafverfahren, auch wenn es nur gegen einen Unternehmensmitarbeiter und nicht gegen das Unternehmen selbst gerichtet ist, meist eine empfindlichere Sanktion dar als Ausgleichszahlungen in einem zivilen Produkthaftungsverfahren.

3.2

Probleme strafrechtlicher Produkthaftung

3.2.1 Fahrlässigkeitshaftung Wohl wegen der dargestellten Folgen für die Reputation eines Unternehmens sind vorsätzliche Fälle zivil- und strafrechtlicher Produkthaftung eher selten. In der Regel geht es um fahrlässiges Verhalten. Anders als im Zivilrecht existiert im Strafrecht keine gesetzliche Definition der Fahrlässigkeit. Deshalb wird im Strafverfahren meist auf die zivilrechtliche Regelung zurückgegriffen: Laut § 276 Abs. 2 BGB handelt fahrlässig, „wer die im Verkehr erforderliche Sorgfalt außer Acht lässt“. Der Umfang strafrechtlicher Sorgfaltspflichten ist mit den im Zivilrecht anzulegenden Maßstäben weitgehend identisch. Eine bedenkenlose Übernahme verbietet sich dennoch, wie der BGH in seiner für die strafrechtliche Produkthaftung wegweisenden „Lederspray“-Entscheidung (BGH, NJW 1990, S. 2560) ausgeführt hat. Zwar spreche „manches dafür, daß dieselben Pflichten, die für die zivilrechtliche Produkthaftung maßgebend sind, auch die Grundlage strafrechtlicher Verantwortlichkeit

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden

449

bilden (. . .). Andererseits dürfen die schadensersatzorientierten Haftungsprinzipien des Zivilrechts nicht unbesehen zur Bestimmung strafrechtlicher Verantwortlichkeit benutzt werden“ (BGH, NJW 1990, S. 2560, 2562). Das Zivilrecht kann für jedermann gültige Sorgfaltsanforderungen formulieren. Was strafrechtlich vorwerfbar ist, bedarf aber zusätzlich einer subjektiven, also individuell abgestimmten Klärung. Neben dem objektiven Verstoß gegen eine Sorgfaltspflicht muss die Rechtsgutsverletzung für den Täter nach seinen subjektiven Kenntnissen und Fähigkeiten vorhersehbar und vermeidbar gewesen sein, um strafrechtlich geahndet werden zu können (Fischer 2019, § 15 Rn. 12a). Im Strafrecht wird Verantwortlichkeit zugerechnet, während das Zivilrecht den Ausgleich von Vermögensschäden bezweckt. Unstreitig ist dabei, dass die Anforderungen des Strafrechts an den Verpflichteten nicht strenger sein dürfen als die des Zivilrechts (Sternberg-Lieben/Schuster, in: Schönke et al. 2018, 30. Aufl., § 15 Rn. 216). Nicht jedes riskante Verhalten ist automatisch fahrlässig. Welchen Sorgfaltspflichten die mit der Produktion betrauten Mitarbeiter unterworfen sind, ergibt sich in erster Linie aus gesetzlichen Vorschriften, etwa dem Produktsicherheitsgesetz (Hilgendorf 2015, § 10 Rn. 37). Dagegen haben technische Normen, wie der DIN-Standard, keine Bindungswirkung für Gerichte, eine Verletzung derartiger Vorschriften besitzt also allenfalls Indizwirkung. Ein Verhalten, das gegen diese Vorschriften verstößt, ist daher nicht per se als sorgfaltswidrig einzustufen. Der Normadressat hat zu prüfen, ob die vorhandenen einschlägigen Normen der konkreten Gefahrenlage entsprechen; die Regelung könnte überholt sein und den aktuellen Stand der Technik nicht mehr widerspiegeln. Deshalb kann die erforderliche Sorgfalt weiter reichen als durch die technische Norm vorgeschrieben (Hilgendorf 2015, § 10 Rn. 39). Dort, wo gefährliche Handlungen arbeitsteilig vorgenommen werden, lässt sich zur Konkretisierung der Sorgfaltspflichten der Vertrauensgrundsatz heranziehen (Kindhäuser 2017, § 15 Rn. 61 ff.). Man darf demnach im Regelfall auf das pflichtgemäße Verhalten anderer vertrauen.

3.2.2 Tun oder Unterlassen Eine stets wiederkehrende Frage in Fällen strafrechtlicher Produkthaftung ist, ob der Schaden durch aktives Tun oder durch Unterlassen herbeigeführt wurde. Dies ist schon deshalb von Bedeutung, weil bei (unechten) Unterlassungsdelikten nur ein Garant zur Verantwortung gezogen werden kann, also jemand, der rechtlich dafür einzustehen hat, dass ein Erfolg nicht eintritt (§ 13 Abs. 1 StGB). Wenn ein Erfolg nicht durch eine aktive Handlung herbeigeführt wurde, kommt letztlich nur eine Verwirklichung durch Unterlassen in Betracht. In Grenzfällen erfolgt die Abgrenzung nach dem „Schwerpunkt der Vorwerfbarkeit“ (Fischer 2019, § 13 Rn. 5). Wer also eine Maschine einschaltet und so einen Menschen schädigt, handelt in Form eines Tuns, wer darauf verzichtet, eine Maschine abzuschalten, die daraufhin einen Schaden verursacht, handelt in Form eines Unterlassens. Exemplarisch kann hier die bereits erwähnte „Lederspray“-Entscheidung herangezogen werden. Es ging dabei um folgenden Sachverhalt: Ein Hersteller hatte mehrfach Hinweise über Gesundheitsschädigungen nach Verwendung des von ihm hergestellten Ledersprays erhalten. In einer Krisensitzung der Geschäftsführung

450

E. Hilgendorf

wurde beschlossen, das Spray trotzdem weiterhin zu vertreiben und keine Rückrufaktion einzuleiten. Die Geschäftsleitung übernahm diese Entscheidung. Eine Zäsur sah der BGH in der Krisensitzung. Hatten davor auf den Markt gebrachte Produkte eine Gesundheitsschädigung hervorgerufen, nahm das Gericht eine Strafbarkeit wegen Unterlassens des versäumten Rückrufs an (Garantenstellung aus vorangegangenem Gefährdungsverhalten). Für die nach der Sitzung ausgelieferten Sprays wurde hingegen aktives Tun angenommen. Eine Garantenstellung aus vorausgegangenem Tun wird angenommen, wenn bereits das Inverkehrbringen eines Produkts pflichtwidrig war, weil sich beispielsweise bereits in der Testphase Auffälligkeiten gezeigt hatten. Komplizierter sind dagegen Fälle zu beurteilen, in denen sich die Gefährlichkeit eines Produkts erst später zeigt und beim Inverkehrbringen kein Pflichtverstoß festzustellen war. Hat das Produkt den Herrschaftsbereich des Herstellers verlassen und wird es erst später – aus welchen Gründen auch immer – für den Verbraucher gefährlich, so begründet dies keine Garantenstellung mehr (Foerste und von Westphalen 2012, § 81 Rn. 12).

3.2.3 Kausalität und Erfolgszurechnung Mit der Massenproduktion von Maschinen steigt auch die Zahl der durch sie verletzten Opfer. Dass sich Lebensweise und Konsumverhalten der letzteren oft erheblich unterscheiden, ist evident. Daher bereitet die Feststellung der Kausalität zwischen Handlung (Herstellen bzw. Vertrieb der Maschine) und spezifischem Erfolg (Schaden) oft Schwierigkeiten. Hier offenbaren sich erneut grundlegende Unterschiede zum Zivilrecht. Da der Verbraucher keinen Einblick in die komplexen Produktionsstrukturen des Herstellers hat, Sorgfaltspflichtverletzungen also häufig gar nicht beweisen kann, muss im Zivilrecht der Hersteller nachweisen, dass kein Konstruktions-, Fabrikations- und Instruktionsfehler vorlag (siehe oben Abschn. 2.1.1). Eine solche Beweislastumkehr scheidet im Strafrecht aus. Ob ein Verhalten für einen spezifischen Erfolg ursächlich war, bestimmt sich im Strafrecht nach der sogenannten conditio-sine-qua-non-Formel (Hilgendorf und Valerius 2015, § 4 Rn. 25): Man fragt, ob der Schaden auch ohne die Herstellung, Einnahme bzw. Verwendung des Produkts entstanden wäre. Dabei ist es nicht Aufgabe der Rechtswissenschaft, ein allgemeines Kausalgesetz aufzustellen; dies obliegt den Vertretern der jeweils zuständigen empirischen Wissenschaften, etwa der Medizin, Pharmakologie, Toxikologie oder der einschlägigen Technikwissenschaft (Hilgendorf 1998, S. 699 ff.). In prominenten Fällen der strafrechtlichen Produkthaftung (etwa im LedersprayFall, siehe oben Abschn. 3.2.1, dem Holzschutzmittel-Fall (BGH NJW 1995, S. 2930) und dem Contergan-Fall des LG Aachen (LG Aachen JZ 1971, S. 507)) war umstritten, ob die in Frage stehenden Schäden überhaupt durch das jeweilige Produkt hervorgerufen worden sein konnten. In allen drei Fällen konnte kein naturwissenschaftlicher Beweis erbracht werden, dass ein kausaler Zusammenhang zwischen dem Produkt und der Schädigung bestand. Dennoch wurde in allen Verfahren die Kausalität bejaht. Eine Verurteilung ist also auch dann möglich, wenn das Vorhandensein eines entsprechenden Kausalgesetzes nicht wissenschaftlich nachweisbar ist. Wenn andere mögliche Kausalfaktoren ausscheiden, darf vor Gericht auf einen Ursachenzusammenhang geschlossen werden. Generell gelingt der Kausalitätsnach-

Zivil- und strafrechtliche Haftung für von Maschinen verursachte Schäden

451

weis oft dann leichter, wenn die Schädigung unmittelbar nach Verwendung des Produkts auftritt und nicht erst eine signifikante Zeit später (Hilgendorf 1998, S. 715). Wichtige Entscheidungen werden in Großunternehmen selten von Einzelpersonen gefällt, sondern durch übergeordnete Gremien. Wer sich bei einer von mehreren getragenen Entscheidung pflichtgemäß verhält, etwa für einen gebotenen Rückruf oder gegen die Freigabe eines noch fehlerhaften Produkts zur Serienfertigung stimmt, haftet für daraus resultierende Schäden nicht. Nach Ansicht des BGH ist jedes Gremiumsmitglied verpflichtet, „unter vollem Einsatz seiner Mitwirkungsrechte das ihm Mögliche und Zumutbare zu tun“ (BGH, NJW 1990, S. 2560, 2565), um einen Beschluss über die Anordnung der gebotenen Maßnahmen zustande zu bringen. Durch eine Stimmenthaltung kann er sich dieser Pflicht nicht entziehen, und selbst wenn er an der fraglichen Abstimmung nicht teilgenommen hat, soll er nach der Rechtsprechung verpflichtet sein, dem Beschluss baldmöglichst zu widersprechen (Achenbach et al. 2014, S. 134 Rn. 46). Besondere Probleme werfen heute selbstlernende Maschinen auf. Kann ein System seine Programmierung eigenständig aufgrund von Erfahrungen verändern, so wird sehr fraglich, ob sich von derartigen Systemen verursachte Schäden noch dem Hersteller zurechnen lassen. Dasselbe gilt, wenn fehlerhafte Software per Funk aufgespielt wird. Das ProdhaftG greift in derartigen Fällen nicht. Zu denken wäre an eine Ausweitung der Gefährdungshaftung, etwa durch Erweiterung des Produktbegriffs in § 2 ProdHaftG. Auch im Strafrecht drohen Verantwortungslücken, wenn lernfähige autonome Systeme (die etwa in Robotern situiert sein können) Schäden verursachen. Abhilfe könnte ein neues abstraktes Gefährdungsdelikt schaffen, dessen genaue Ausformulierung jedoch einige Herausforderungen birgt (Hilgendorf 2018, S. 111).

4

Fazit

Das deutsche Zivil- und Strafrecht bietet ein leistungsfähiges Instrumentarium an, um auf von Maschinen verursachte Schäden angemessen reagieren zu können. Im Zivilrecht steht der Schadensersatz im Mittelpunkt. Die geltenden allgemeinen Regeln der Verschuldens- und Gefährdungshaftung bilden auch im Zeitalter von autonomen Maschinen, Robotern und künstlicher Intelligenz eine tragfähige Grundlage für einen gerechten Schadensausgleich. Allerdings sollte über eine Ausweitung der Gefährdungshaftung auf Software nachgedacht werden. Das Strafrecht ist wegen des Schuldgrundsatzes weniger flexibel als das Zivilrecht. Hier drohen vor allem bei selbstlernenden Computersystemen Verantwortungslücken, die durch die Schaffung eines neuen Gefährdungsdelikts zumindest teilweise geschlossen werden könnten.

Literatur Achenbach, et al. 2014. Handbuch Wirtschaftsstrafrecht. München: C.F. Müller. Brox, Hans, und Wolf-Dietrich Walker. 2018. Besonderes Schuldrecht, 48. Aufl. München: C.H. Beck. Duden online. 2018. https://www.duden.de/rechtschreibung/Technik. Zugegriffen am 28.12.2018.

452

E. Hilgendorf

Fischer, Thomas. 2019. Strafgesetzbuch. 66. Aufl. München: C.H. Beck. Foerste, Ulrich, und Friedrich von Westphalen, Hrsg. 2012. Produkthaftungshandbuch. München: C.H. Beck. Hilgendorf, Eric. 1993. Strafrechtliche Produzentenhaftung in der „Risikogesellschaft“. Strafrechtliche Abhandlungen 78. Berlin: Duncker & Humblot. Hilgendorf, Eric. 1998. Strafprozessuale Probleme im Licht der modernen Kausallehre am Beispiel der jüngsten Produkthaftungsfälle. In Festschrift für Theodor Lenckner zum 70. Geburtstag, Hrsg. Albin Eser et al., 691–719. München: C.H. Beck. Hilgendorf, Eric. 2009. Informationsstrafrecht als eigenständige Disziplin? Kritische Anmerkungen zu einigen Grundlagenfragen von Rechtsinformatik und Informationsrecht. In Rechtsinformatik und Informationsrecht im Spannungsfeld von Recht, Informatik und Ökonomie, Hrsg. Jürgen Taeger und Ireni Vassilaki, 1–12. Edewecht bei Oldenburg: Oldenburger Verlag für Wirtschaft, Informatik und Recht. Hilgendorf, Eric. 2015. Strafrechtliche Produkthaftung. In Criminal Compliance Handbuch, Hrsg. Thomas Rotsch, 310–341. Baden-Baden: Nomos. Hilgendorf, Eric. 2018. Autonome Systeme, künstliche Intelligenz und Roboter. Eine Orientierung aus strafrechtlicher Perspektive. In Festschrift für Thomas Fischer, Hrsg. Stephan Barton et al., 99–113. München: C.H. Beck. Hilgendorf, Eric, und Brian Valerius. 2015. Strafrecht Allgemeiner Teil, 2. Aufl. München: C.H. Beck. Hirsch, Carsten. 2011. Gefährdungshaftung und Fahrzeuggebrauch. Neue Zeitschrift für Verkehrsrecht 24(1): 16–17. Kindhäuser, Urs. 2017. Strafgesetzbuch, 7. Aufl. Baden-Baden: Nomos. Lenz, Tobias. 2014. Produkthaftung. In NJW Praxis 9. München: C.H. Beck. Lenzen, Manuela. 2018. Künstliche Intelligenz. Was sie kann & Was uns erwartet. München: C.H. Beck. Looschelders, Dirk. 2017. Schuldrecht Besonderer Teil, 12. Aufl. München: Vahlen. Medicus, Dieter. 1996. Gefährdungshaftung im Zivilrecht. Juristische Ausbildung 18:561–566. Medicus, Dieter, und Stephan Lorenz. 2018. Schuldrecht II Besonderer Teil. München: C.H. Beck. Pieth, Mark, und Ratha Ivory. 2011. Corporate criminal liability. Berlin/Heidelberg: Springer. Röthel, Anne. 2012. Gefährdungshaftung. Juristische Ausbildung 34(6): 444–450. Säcker, Franz J., et al., Hrsg. 2017. Münchener Kommentar zum Bürgerlichen Gesetzbuch. München: C.H. Beck. Schönke, Adolf, et al., Hrsg. 2018. Strafgesetzbuch. München: C.H. Beck. Spindler, Gerald. 1998. Verschuldensunabhängige Produkthaftung im Internet. MultiMedia und Recht 1(3): 119–124. Statistisches Bundesamt. (2018). Statistisches Jahrbuch für die Bundesrepublik Deutschland 2014. https://www.destatis.de/DE/Publikationen/StatistischesJahrbuch/StatistischesJahrbuch2014. html. Zugegriffen am 28.12.2018. Stürner, Rolf. 2018. Bürgerliches Gesetzbuch, Hrsg. Jauernig et al. München: C.H. Beck. Taschner, Hans C., et al. 1990. Produkthaftungsgesetz und EG-Produkthaftungsrichtlinie: Kommentar. München: C.H. Beck. Vec, Miloš. 2011. Kurze Geschichte des Technikrechts. In Handbuch des Technikrechts, Hrsg. Martin Schulte und Rainer Schröder, 2. Aufl., 3–92. Berlin/Heidelberg: Springer.

Maschinenethik und strafrechtliche Verantwortlichkeit Monika Simmler

Inhalt 1 Einleitung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Autonomie, Agency und Verantwortung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Strafbarkeit von Maschinen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Strafbarkeit von moralischen Maschinen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Verteiltes Handeln und geteilte Verantwortung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Fahrlässigkeit bei der Delegation an Technik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Sorgfaltsmaßstab und technische Autonomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Maschinelle Moral als Sorgfaltspflicht . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 Zusammenspiel von Recht, Technik und Maschinenethik . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Resümee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Literatur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

454 455 456 458 460 461 462 464 465 466 467

Zusammenfassung

Handlungen sind zunehmend das Resultat eines Zusammenwirkens von Mensch und (teil-)autonomer Maschine. Das Verhalten dieser Maschinen lässt sich weder dem Menschen noch der Technik selbst ohne Weiteres als Handlung zurechnen. Dieser Herausforderung für die strafrechtliche Verantwortungszuschreibung nimmt sich der vorliegende Beitrag an. Es wird festgestellt, dass Maschinen keine Strafrechtssubjekte darstellen, was allerdings nicht für alle Zeiten gelten muss. Insbesondere die Emergenz moralischer Handlungsfähigkeit von Technik könnte zu einem Wandel beitragen. Bis dahin steht jedoch die Verantwortlichkeit der Menschen im Zentrum. Sie sind gefordert, adäquate Sorgfalt walten zu lassen. Dabei kann gerade das Anliegen der Maschinenethik – die Moralimplementation – zur eigentlichen Sorgfaltspflicht werden. Die Disziplin entfaltet damit Relevanz für das Strafrecht, hängen doch maschinelle Moral, Handlungsträgerschaft und Verantwortung eng zusammen. M. Simmler (*) Law School, Universität St. Gallen, St. Gallen, Schweiz E-Mail: [email protected] © Springer Fachmedien Wiesbaden GmbH, ein Teil von Springer Nature 2019 O. Bendel (Hrsg.), Handbuch Maschinenethik, https://doi.org/10.1007/978-3-658-17483-5_30

453

454

M. Simmler

Schlüsselwörter

Strafrecht · Rechtstheorie · Maschinenethik · Schuldvorwurf · Handlungsfähigkeit

1

Einleitung

Das digitale Zeitalter ist durch zwei wesentliche Transformationen gekennzeichnet: Durch das Aufkommen der künstlichen Intelligenz lässt sich einerseits ein Übergang von der bloßen Automatisierung zur Autonomisierung beobachten (Müller-Hengstenberg und Kirn 2016). Maschinen werden komplexer, undurchsichtiger (Rammert 2003) und zeichnen sich durch Interaktivität und Anpassungsfähigkeit aus (Floridi und Sanders 2004). Das resultiert in neuen Freiheitsgraden der Technik. Diese technische Autonomie kann mehr oder weniger ausgeprägt sein (Simmler und Frischknecht 2019) und beschreibt relational den Grad der Unabhängigkeit der Maschine von etwas, wie dem Einfluss einer anderen Entität, der Umwelt oder interner Zwänge (Verhagen 2014; Castelfranchi und Falcone 2004; Müller-Hengstenberg und Kirn 2016). Andererseits lässt sich eine Hybridisierung der Gesellschaft feststellen, da Handlungen zunehmend das Resultat soziotechnischer Handlungszusammenhänge sind (Weyer und Reineke 2005). Das Verhältnis von Mensch und Maschine verändert sich: Aus Instrumentalität wird Interaktivität (Rammert 2003). Das moderne Strafrecht sieht sich aufgrund dieses Wandels mit einer Welt konfrontiert, in der neue Akteure hervortreten, die nicht menschlich sind und nicht ohne Weiteres unter herkömmliche Verantwortlichkeitskategorien subsumiert werden können. Dennoch führen sie aufgrund ihrer Komplexität Aktionen aus, die bis anhin nur dem Menschen zuteilwurden (Seher 2016). Je mehr Maschinen ein derartiges Ausmaß an Eigenaktivität aufweisen, desto schwieriger wird es, sie als simple und passive Instrumente zu beschreiben (Rammert 2003). Es stellt sich entsprechend die Frage, ob Technik handlungsfähig ist – sowohl moralisch als auch strafrechtlich. Ebenso ist zu klären, inwiefern die erhöhte Autonomie der Technik die Verantwortlichkeit der Menschen berührt. Im Spannungsfeld jahrhundertelang verhandelter Handlungs- und Verantwortungsbegriffe erkämpft sich nun eine neue Disziplin ihren Platz: die Maschinenethik. Sie hat die Entwicklung „moralischer Maschinen“ zum Ziel, d. h. Maschinen sollen befähigt werden, eigens moralisch zu handeln (Misselhorn 2018a). In Analogie zur künstlichen Intelligenz wird bei der „maschinellen Moral“ also versucht, menschliche Moral zu simulieren (Bendel 2018a, b). Dabei solle die Maschinenethik diese Artificial Morality (Misselhorn 2018b) nicht nur untersuchen, sondern im besten Falle auch schaffen, was aufgrund der zunehmenden Autonomie technischer Systeme notwendig werde (Bendel 2018a, b). Ein kurzer Blick auf den Gegenstand der Maschinenethik genügt, um festzustellen, dass ihr Unterfangen das Potenzial hat, auch die strafrechtliche Verantwortungszuschreibung zu prägen. Der Zusammenhang zwischen Strafrecht und Maschinenethik verdient deshalb eine nähere Untersuchung.

Maschinenethik und strafrechtliche Verantwortlichkeit

455

Im vorliegenden Beitrag ist zunächst grundlegend zu beleuchten, inwiefern der technische Fortschritt die strafrechtliche Verantwortungszuschreibung berührt (Abschn. 2). In der Folge wird diskutiert, ob avancierte Maschinen Subjekte strafrechtlicher Verantwortlichkeit darstellen (Abschn. 3) und ob insbesondere das Aufkommen moralischer Maschinen zu einer derartigen Maschinenverantwortlichkeit führen kann (Abschn. 4). In einem zweiten Teil ist zu untersuchen, wie soziotechnisch verteiltes Handeln die Verantwortlichkeit von Menschen berührt (Abschn. 5). Beim (ethischen) Design von Technik erlangt vor allem der durch Sorgfaltspflichten konstituierte Fahrlässigkeitsvorwurf Bedeutung (Abschn. 6). Der ihm zugrunde liegende Sorgfaltsmaßstab hängt vom Grad technischer Autonomie ab (Abschn. 7), wobei auch die Maschinenethik Einfluss auf dessen Konstituierung gewinnen kann. So könnte gerade die Möglichkeit einer „Moralimplementation“ zur eigentlichen Sorgfaltspflicht werden (Abschn. 8). Daran anknüpfend schließt der Beitrag mit einer Betrachtung des allgemeinen Zusammenspiels der technischen Entwicklung, des (Straf-)Rechts und der (Maschinen-)Ethik (Abschn. 9), bevor ein Resümee den Artikel abrundet (Abschn. 10). Zusammengefasst bietet dieser Beitrag also einen Überblick, wie Maschinenethik und Strafrecht zusammenhängen. Angetrieben ist dieses Unterfangen durch die Hoffnung, die verwandten Diskussionen dieser Disziplinen mögen sich gegenseitig bereichern, und durch die Überzeugung, dass Fragen der Verantwortung im digitalen Zeitalter längst nur noch interdisziplinär zu beantworten sind.

2

Autonomie, Agency und Verantwortung

Das Forschungsgebiet der künstlichen Intelligenz hat Maschinen zu Tage getragen, die aufgrund ihres Grades an Autonomie den traditionellen Mensch-Technik-Dualismus mindestens herausfordern, wahrscheinlich aber gar überwinden. Überwindung soll hierbei nicht als vollständige Auflösung der Differenz verstanden werden. Selbstverständlich sind Mensch und Maschine grundverschieden. Daran soll diese Auffassung nicht rütteln. Trotzdem erfährt das Verständnis der determinierten Technik auf der einen und der indeterminierten Menschen auf der anderen Seite – dieses klare Gegenüber von Notwendigkeit und Freiheit – eine Veränderung, welche an ideengeschichtlichen Grundfesten nagt und eine theoretische Neuauslegung verlangt. Die „Annäherung von Mensch und Maschine auf der Autonomieskala“ fordert insbesondere das Fundament des strafrechtlichen Verantwortungskonzeptes heraus (Beck 2015, S. 180). Dieses baut auf einem individuellen Schuldvorwurf. Das Schuldprinzip wird damit zum Kern strafrechtlicher Verantwortlichkeit. Es verlangt, dass Verurteilung und Strafe den Einzelnen nur dann treffen dürfen, wenn ihm ein persönlicher Vorwurf gemacht werden kann. Persönlich vorwerfbar und damit schuldhaft ist eine Handlung nur, wenn sie von einem adäquaten Strafrechtssubjekt (Person) ausgeführt wurde, das zum Handlungszeitpunkt die Kompetenz hatte, sich auch anders zu verhalten, und wenn dieses Subjekt aufgrund eines vorsätzlichen oder fahrlässigen Verhaltens die Geltung einer durch das Strafrecht geschützten

456

M. Simmler

Norm infrage stellt (Simmler 2018). Betrachtet man diesen Grundstein der Strafbarkeit, welcher sich in der Dogmatik durchgängig niederschlägt, wird schnell deutlich, weshalb die zunehmende Autonomie von Maschinen das strafrechtliche Verantwortungskonzept im Kern betrifft. Das Strafrecht rechnet Personen Handlungen (Unrecht) aufgrund ihrer allgemeinen und situativen Autonomie zu. Ihnen wird die Handlung vorgeworfen (Schuld), weil sie aufgrund dieser Autonomie auch hätten anders handeln können. Autonomie, Handlungsträgerschaft (Agency) und Schuldvorwurf hängen also direkt zusammen. Werden Maschinen nun immer autonomer, stellen sich grundsätzlich zwei Fragen: Führt die zunehmende Autonomie von Maschinen dazu, dass diese eigens strafrechtlich handlungs- und schuldfähig werden? Und: Inwiefern berührt diese Autonomie die Verantwortlichkeit ihrer menschlichen Schöpferinnen und Interaktionspartner? Die Klärung dieser Fragen ist herausfordernd und wichtig zugleich, steht doch der Verdacht im Raum, dass die zunehmende Autonomie von Technik es erschwert oder gar unmöglich macht, ihre Handlungen einem Menschen zuzurechnen. Die hohen Ansprüche an die individuelle Zuschreibung eines Schuldvorwurfs sind nur schwierig mit diesem vermehrten Zusammenspiel menschlicher und nichtmenschlicher Akteure in Einklang zu bringen (Beck 2017). Komplexen soziotechnischen Handlungszusammenhängen ist regelmäßig das Potenzial inhärent, zu einer Diffusion von Verantwortung zu führen (Maring 2008). Solange das Verhalten einer Maschine einfach einem Menschen zugeordnet werden kann, können Handlungen in Anwendung bestehender rechtsdogmatischer Konzepte ohne Weiteres zugerechnet werden. Das ist der Fall, wenn Maschinen aufgrund ihrer relativen Primitivität als Werkzeug zu gelten haben oder bei fortschrittlicherer Technologie, die im expliziten Auftrag eines Menschen agiert (Chinen 2016). Avancierte Maschinen schaffen aber neue Konstellationen. Ihr Output ist nicht mehr klar vorhersehbar und kontrollierbar. Es wäre einerseits ungerecht, Menschen für solche nicht absehbaren Konsequenzen zur Rechenschaft zu ziehen. Andererseits darf der Tendenz, sich hinter der Maschine zu „verstecken“, auch kein Vorschub geleistet und der Mensch nicht vorschnell aus seiner Verantwortung entlassen werden (vgl. Mittelstadt et al. 2016). Ansonsten droht eine „Verantwortlichkeitslücke“ zu entstehen (Matthias 2004). Wer für den neuartigen Freiheitsgrad der Maschinen einzustehen hat, bleibt für den Moment also rechtlich unklares Terrain. Als mächtiges Instrument sozialer Kontrolle (Hallevy 2010) steht das Strafrecht jedoch auch im digitalen Zeitalter vor der Aufgabe, sich fortzuentwickeln und die Verantwortlichkeit der beteiligten Akteure möglichst klar festzulegen. Dabei kann die Maschinenethik eine neue Perspektive bieten – sowohl hinsichtlich sich neu eröffnender Möglichkeiten maschineller Verantwortung als auch hinsichtlich der Pflichten der menschlichen Erschaffer.

3

Strafbarkeit von Maschinen

Aufgrund des Gleichschritts von Autonomie und Verantwortung stellt sich der Strafrechtswissenschaft die Frage, ob es sich bei intelligenten Maschinen potenziell um eigenständige Subjekte des Strafrechts handelt, ob Formen künstlicher Intelli-

Maschinenethik und strafrechtliche Verantwortlichkeit

457

genz also selbst Adressaten eines Schuldvorwurfs sein können (z. B. Hallevy 2010). Es gilt entsprechend zu klären, ob das Strafrecht gegenüber einer künstlich erschaffenen Entität jemals den es so sehr in seiner Identität als Schuldstrafrecht bestimmenden persönlichen Vorwurf erheben könnte, Technologie also schuldfähig sein kann (Simmler und Markwalder 2017). Den heute vorherrschenden Vorstellungen folgend ist das nicht möglich, da Maschinen nicht als verantwortliche Agenten begriffen werden und daher nicht Adressaten einer Strafe sein können (vgl. Gless et al. 2016). Wie lange sich diese traditionelle Annahme noch behaupten kann, ist allerdings fraglich, ist doch der Schuldvorwurf – wie die zunehmende Verbreitung der Unternehmensstrafbarkeit in vielen Rechtsordnungen (wenn auch nicht in Deutschland) zeigt – nicht ausschließlich Menschen vorbehalten (Simmler und Markwalder 2017). Die Ansprüche an den Subjektbegriff sind im Strafrecht allerdings besonders hoch. Die traditionelle Schuldlehre basiert auf der Annahme der menschlichen Willensfreiheit bzw. eines Andershandelnkönnens. Gemäß der Definition des deutschen Bundesgerichtshofs bedeutet Schuld nichts weniger, als dass sich ein selbstbestimmter und mit einem freien Willen ausgestatteter Mensch gegen das Recht und für das Unrecht entscheidet (BGHSt. 2, 194, 200). Auf den ersten Blick scheint dieses Verständnis eine Verantwortlichkeit von Maschinen auszuschließen. Diese „klassische“ Schuldauffassung sieht sich allerdings seit jeher Kritik und Relativierungen ausgesetzt. Auch wenn diese Debatte hier nicht im Detail nachgezeichnet werden kann (siehe dafür Simmler 2018), lässt sich summarisch konstatieren, dass Willensfreiheit und Andershandelnkönnen sozial konstruiert sind und vergleichbare Zuschreibungen Maschinen nicht per se verwehrt bleiben müssen (Simmler und Markwalder 2017). Die Freiheit, welche dem Schuldvorwurf zugrunde liegt, ist eine „Freiheit zur Selbstverwaltung“ (Jakobs 1993, S. 34). Eine solche könnte teilweise oder vollständig auch technischen Systemen eingeräumt werden, würde die soziale Praxis der Zukunft eine solche Zuschreibung erlauben. Die Beantwortung der Frage nach der Möglichkeit strafrechtlicher Personenqualität künstlicher Gebilde hängt ebenfalls davon ab, welcher Auffassung man im Rahmen der grundlegenden theoretischen Auseinandersetzung folgt. Ist man beim Personenbegriff der idealistisch-philosophischen Annahme verpflichtet, dass nur als Person gelten könne, wer sich seiner Freiheit bewusst und reflexionsfähig sei, und sich ferner selbst als Entität mit Vergangenheit und Zukunft verstehen könne, muss man schnell zum Schluss kommen, dass eine persönliche Verantwortung von Maschinen auszuschließen ist (vgl. Gless und Weigend 2014; Gless et al. 2016). Diese Auffassung vernachlässigt allerdings den Umstand, dass sich auch der Personenbegriff alleine in der sozialen Wirklichkeit konstituiert. Dabei knüpft er nicht notwendigerweise an naturwissenschaftliche Kategorien an. Auch bei Personalität handelt es sich um das Resultat eines Zuschreibungsprozesses und nicht um eine ontologische Gegebenheit (Simmler und Markwalder 2017). Als normative Konstruktion ist der Personenbegriff folglich gesellschaftsrelativ und sozial wandelbar, was wiederum die Möglichkeit einer Maschinenstrafbarkeit nicht von vornherein ausschließt. Dass der Personenbegriff keinen naturwissenschaftlichen Kategorien folgt, darf nun nicht dahingehend missverstanden werden, dass die Gesellschaft Personalität

458

M. Simmler

willkürlich zuschreibt. Während Unternehmen aufgrund der Emergenz kollektiver Handlungsträgerschaft als Adressaten normativer Erwartungen aufgefasst werden können, ist dies bei Maschinen auf dem heutigen technischen Stand fraglich (Simmler und Markwalder 2017). Wenn in dieser Debatte vermehrt die Konstruktion sogenannter „e-Personen“ als Haftungssubjekte eigener Art vorgeschlagen wird, mittels welcher Maschinen ein Rechtsstatus eingeräumt werden könnte (Beck 2013; Gruber 2012; Gless und Weigend 2014), mag das für das Zivilrecht eine spannende Idee sein. Für das Strafrecht kann das aber kaum überzeugen. Der Schuldvorwurf folgt der Funktion des Strafrechts, d. h. der spezifischen Stabilisierung von Normen mittels Sanktion (Simmler 2018). Die Strafe entfaltet ihre Wirkung jedoch nur, wenn wir Subjekten überhaupt die Kompetenz zuerkennen, Erwartungen zu enttäuschen und Normen infrage zu stellen (Jakobs 1993). Maschinen als „ePersonen“ zu konstruieren könnte eine Folge der Zuerkennung dieser Kompetenz sein, nicht aber die Grundlage maschineller Personalität (Simmler und Markwalder 2017). Erst die Funktion des Strafrechtssystems füllt den strafrechtlichen Subjektbegriff und den strafrechtlichen Schuldvorwurf mit Sinn (Simmler 2018). Nur mit Blick auf die Funktion der Normstabilisierung lässt sich deshalb auch die Frage nach einer Maschinenverantwortlichkeit beantworten. Es ist deshalb zu klären, ob Maschinen das Potenzial mit sich bringen, Normen zu destabilisieren. Täten sie dies, müsste die Gesellschaft einen Weg finden, derartige Angriffe auf die Normgeltung zu erwidern, um sie weiterhin garantieren zu können (Simmler und Markwalder 2017). Dafür müsste die Personalisierung von Maschinen allerdings weit fortgeschritten sein. Wir müssten an sie nicht nur kognitive, sondern auch normative Erwartungen richten. Nur dann wären ihre Enttäuschungen nicht bloßes „Pech“, sondern Ausdruck eines Mangels an Rechtstreue (vgl. Jakobs 1991, 1993). Als Adressat normativer Erwartungen sähe sich eine derart avancierte Maschine mit dem Anspruch konfrontiert, ihr Verhalten eigenständig normgemäß anpassen zu können (Simmler und Markwalder 2017). Eine Maschinenstrafbarkeit würde also voraussetzen, dass Maschinen aufgrund der ihnen zugeschriebenen Kompetenzen Normen destabilisieren können.

4

Strafbarkeit von moralischen Maschinen

Wie soeben skizziert, würde eine Strafbarkeit von Maschinen verlangen, dass diese als gleichgestellte „Teilnehmer“ an der normativen Kommunikation der Gesellschaft erlebt würden. Sie müssten in der Lage sein, die Geltung geschützter Normen durch verübtes Unrecht zu berühren. Strafe würde in diesem Fall erforderlich, um die Normgeltung zu bekräftigen. Dies setzt allerdings voraus, dass wir Maschinen zuerkennen, sich schuldhaft über Normen hinwegsetzen und damit einen Mangel an Rechtstreue zum Ausdruck bringen zu können. Diese Fähigkeit zu strafbarem Handeln ist nun eng mit derjenigen zu moralischem Handeln verknüpft, bzw. es zeigen sich hier diverse Analogien. Eine Strafbarkeit von Maschinen kommt kaum in Betracht, solange diese nicht auch zu „moralischen Agenten“ werden (Gless und

Maschinenethik und strafrechtliche Verantwortlichkeit

459

Weigend 2014), womit das Vorhaben der Maschinenethik für die Frage der Strafbarkeit von Technik an Bedeutung gewinnt. Bei der Diskussion des Verhältnisses von strafrechtlicher Handlungsfähigkeit und dem Gegenstand der Maschinenethik, der maschinellen Moral, gilt es vorweg zu betonen, dass das Rechtssystem nicht mit der Moral gleichgesetzt werden darf (vgl. Misselhorn 2018b). Das Strafrecht ist operativ geschlossen (Simmler 2018). Der daraus resultierende Rechtspositivismus führt dazu, dass das Strafrecht die Geltung seiner Normen voraussetzt. Sie werden im Einzelfall nicht auf ihre moralische „Richtigkeit“ hin überprüft – sollte eine solche der Erkenntnis überhaupt zugänglich sein. Ebenso kann es nicht die gesellschaftliche Funktion des Strafrechtssystems sein, die Moralität einer einzelnen Handlung zu beurteilen. Dennoch schützt das Strafrecht bis zu einem gewissen Grad das „moralische Band der Nation“ (Durkheim 1893). Es gilt damit als Indikator für zu einem Zeitpunkt vorherrschende Moralvorstellungen. Wenig überraschend weisen deshalb die strafrechtliche und die moralische Verantwortungszuschreibung bzw. deren Fundamente eine Verwandtschaft auf, die es erlaubt oder geradewegs dazu verpflichtet, bei der Verfeinerung Ersterer (maschinen-)ethische Diskussionen miteinzubeziehen. Die Meinungen, ob Maschinen moralisch handlungsfähig sein können, gehen allerdings auseinander: So meint z. B. Seng (2018), Maschinen hätten per se keine Moral, da diese eine „menschliche Kategorie“ sei. Auch Weber und Zoglauer (2018) halten für existierende Maschinen fest, dass diese keine moralischen Agenten seien. Künstliche Intelligenz könne allerdings durchaus moralische oder unmoralische „Produkte“ erzeugen (Seng 2018). In die Strafrechtsterminologie übersetzt bedeutete diese Annahme, Maschinen könnten Unrecht verwirklichen, dieses Unrecht könnte ihnen aber nicht vorgeworfen werden. Sie wären trotz der moralischen Wirksamkeit ihres Verhaltens nicht schuldfähig. Es gibt aber auch andere Ansätze: So erblickt Bendel (2018a, S. 34) in Maschinen „neue, fremde, merkwürdige Subjekte der Moral“. Ihm zufolge stellt „maschinelle Moral“ – in Analogie zu „künstlicher Intelligenz“ – einen Terminus technicus dar. Es sei möglich, bestimmte Aspekte menschlicher Moral maschinell abzubilden, bestimmte andere Aspekte dagegen nicht (Bendel 2019). Auch Misselhorn (2018b, S. 13 f.) anerkennt die Möglichkeit, Maschinen moralisches Handeln zuzugestehen, gradualisiert jedoch sogleich: Zwar seien Maschinen moralische Akteure, sie seien aber nicht zu „vollumfänglichem moralischen Handeln wie Menschen in der Lage“. Dazu würden ihnen verschiedene für die Übernahme moralischer Verantwortung wesentliche Eigenschaften fehlen. Auch Wallach und Allen (2009) differenzieren verschiedene Stufen von Moral Agency, um sogleich festzuhalten, dass Technik die höchste noch nicht erreicht habe. Spricht man von Maschinen als moralischen Agenten, könne das auch gemäß Weber und Zoglauer (2018) vieles heißen: Deren Verhalten könne nach den von Menschen implementierten Vorgaben moralisch relevant sein. Maschinen könnten aber auch selbst die Fähigkeit besitzen, intentional moralische Normen zu beachten. Als Steigerungsformen könne es ferner bedeuten, dass Maschinen als ethische Agenten selbst moralische Normen begründen oder sich gar gegen die von ihnen gewählten Normen stellen. Dies würde sie zu einem „Spiegelbild des Menschen mit all seinen moralischen Defekten“ machen. Auch

460

M. Simmler

diese Autoren gehen also davon aus, dass Moral Agency in ihrem Grad variieren kann und sie (ganz oder bis zu einem gewissen Grad) nicht nur Menschen vorbehalten ist. Die Frage nach der moralischen Handlungsfähigkeit ist diesem Ansatz folgend keine binäre. Eine solche Gradualisierung ist für das Strafrecht interessant, berührt sie doch die herkömmlich binäre „Entscheidung“ zwischen Person/Nichtperson und den Dualismus von Handlung/Nichthandlung. Auch eine Gradualisierung der strafrechtlichen Handlungsfähigkeit ist nicht von vornherein ausgeschlossen. Dies verlangte allerdings eine vertiefte Auseinandersetzung mit dem strafrechtlichen Handlungsbegriff und dem Verhältnis von Handlungs- und Schuldfähigkeit. Für den Moment muss die Feststellung genügen, dass der Grad an Verantwortlichkeit zwar variieren kann, die Fragen nach der strafrechtlichen Subjektqualität und nach der Erhebung eines Schuldvorwurfs grundsätzlich aber nicht graduell beantwortet werden können: Jemand ist Subjekt strafrechtlicher Verantwortlichkeit oder jemand ist es nicht. Jemand wird bestraft oder jemand wird es nicht. Dennoch ist dieser Diskurs keineswegs nur ein „akademisches Glasperlenspiel“ (Rammert und Schulz-Schaeffer 2002, S. 32), kann sich eine mögliche (graduelle) moralische Handlungsfähigkeit von Technik doch maßgeblich auf die Verantwortungszuschreibung auswirken. Für den heutigen Stand der Technik und unserer aktuellen sozialen Interaktion folgend muss die Frage nach einer strafrechtlichen Verantwortung von Maschinen verneint werden (Simmler und Markwalder 2017; Markwalder und Simmler 2017). Sie sind keine Adressaten der spezifisch strafrechtlichen normativen Erwartungen. Sie können diese nicht enttäuschen, da ihnen die nötige Personenqualität und die vorausgesetzte Kompetenz nicht zugesprochen werden. Dieses Zwischenfazit ist allerdings nur ein Zwischenfazit. Sollten Maschinen vermehrt zu moralischen Agenten höherer Stufen werden, könnte sich der Befund ändern. Das Strafrecht folgt, wie bereits betont, seiner Funktion innerhalb der Gesellschaft. Es folgt der sozialen Wirklichkeit, dem sozialen Spiel. Dabei ist es nicht an naturalistische Kategorien gebunden. Genau wie die Maschinenethik ist das Strafrecht nicht „speziesistisch“ (vgl. Nida-Rümelin und Battaglia 2018). Es wird die Entwicklung – insbesondere diejenige der Schaffung maschineller Moral – deshalb weiterverfolgen müssen. Weisen Maschinen irgendwann eine dem Menschen vergleichbare Stufe moralischer Handlungsfähigkeit auf, dreht sich auch das Rad des strafrechtlichen Personen- und Handlungsbegriffs neu.

5

Verteiltes Handeln und geteilte Verantwortung

Wenn Maschinen (zumindest zu einem gewissen Grad) moralisch handeln können, nicht jedoch moralisch oder strafrechtlich zur Verantwortung gezogen werden (vgl. Misselhorn 2018a), stellt sich vordringlich die Frage, wer für ihr Handeln verantwortlich ist, wenn sie es nicht (oder noch nicht) selbst sind. Obwohl moralfähige Maschinen keine Subjekte des Strafrechts sind, ist die Frage nach der maschinellen Moral für das Strafrecht also bedeutend. Dabei steht die Frage im Zentrum, inwiefern das „Einpflanzen“ von Moral bzw. die Repräsentation menschlicher Moral in Maschinen Programmiererinnen zugeschrieben werden kann und diese Erweiterung

Maschinenethik und strafrechtliche Verantwortlichkeit

461

der maschinellen Kompetenzen auch deren Verantwortlichkeit mitkonstituiert. Die Maschinenethik wird deshalb zum jetzigen Zeitpunkt vorwiegend für die (menschliche) Verantwortung bei der Entwicklung und im Umgang mit Maschinen relevant. Das digitale Zeitalter ist durch soziotechnisch verteiltes Handeln gekennzeichnet (Rammert 2003). Die Frage, wie in derartigen hybriden Systemen Verantwortung adäquat zugeschrieben werden kann, muss aktuell als unbeantwortet gelten. Es ist zunächst plausibel, dass verteilte Handlungsträgerschaft auch in einer verteilten Verantwortlichkeit bzw. in einem eigentlichen „Verantwortlichkeitsnetzwerk“ resultiert (Loh und Loh 2017). Künstliche Systeme berühren den menschlichen „Verantwortungsanteil“. Auch wenn man eine originäre Verantwortlichkeit technischer Entitäten ablehnt, befreit das also nicht von der Aufgabe, das Verantwortungskonzept zu verfeinern und anzureichern, sodass die technische „Beteiligung“ einbezogen werden kann (vgl. Nida-Rümelin 2017). Auch Maschinen in soziotechnischen Handlungszusammenhängen stellen jedoch gewissermaßen eine „Repräsentation der ihre Regeln definierenden natürlichen Personen“ dar (Rath 2019, S. 228). Sie unterliegen einem bestimmten „Verhaltensregelwerk“ und die sie leitenden Algorithmen repräsentieren die Wertvorstellungen des Programmierers (Rath 2019, S. 230). Auch wenn dieses „lineare Modell“ für komplexere Maschinen schnell zu simplistisch wird, da sich die Programmierung unter Mitwirkung autonomer Technik „mediatisiert realisiert“ (Rath 2019, S. 230 f.), führt diese „Repräsentation“ und „Delegation“ dazu, dass der Mensch auch für den „Handlungsanteil“ der Maschinen grundsätzlich nicht aus der Verantwortung zu entlassen ist – zumindest solange nicht, wie Maschinen keine eigenständigen Verantwortlichkeitssubjekte darstellen. Es gibt verschiedene Szenarien, wie Maschinen in eine Straftat „verwickelt“ sein können. Einerseits gibt es Fälle, in denen eine Maschine ein Unrecht verübt, weil sie vorsätzlich so programmiert wurde. Solche Vorsatztaten dürften wenig problematisch sein: Der Mensch dahinter bleibt strafrechtlich verantwortlich. Es handelt sich hierbei schlicht um einen bewussten Missbrauch intelligenter Agenten für kriminelle Zwecke (Günther 2015; Seher 2016; Gless et al. 2016; Markwalder und Simmler 2017). Schwieriger sind diejenigen Fälle, bei denen eine Maschine die Straftat „begeht“, weil sie fehlerhaft programmiert wurde. Die Fahrlässigkeitsstrafbarkeit steht im Zusammenhang mit avancierter Technik deshalb im Vordergrund. Entwicklerinnen stehen vor der Herausforderung, einem Fahrlässigkeitsvorwurf zu entgehen und nicht für fehlerhaftes Verhalten der Maschine einstehen zu müssen. Gleichzeitig bestehen noch keine eindeutigen Regeln, die ihnen helfen, das geforderte Maß an Sorgfalt klar zu bestimmen (Beck 2017). Damit wird die Frage, welche Maßstäbe im Bereich der Fahrlässigkeit angelegt werden und wie sich die entsprechenden Sorgfaltspflichten konstituieren, zum Dreh- und Angelpunkt der Strafbarkeit für Technik (Günther 2015).

6

Fahrlässigkeit bei der Delegation an Technik

Die Zuschreibung von Verantwortung für die fehlerhafte Programmierung, Implementierung oder Nutzung von technischen Systemen ist überall dort problematisch, wo Arbeitsabläufe mit komplexen technologischen Hilfsmitteln unterstützt werden,

462

M. Simmler

die aufgrund eines Mindestmaßes an Autonomie mehr als ein bloßes Werkzeug darstellen. Es stellt sich hier die Frage, welchem Akteur die Folgen technischer Autonomie als Handlung zugerechnet werden können. Dies betrifft primär den strafrechtlichen Handlungsbegriff, der enger oder weiter gefasst sein kann. Während Vorsatzdelikte durch die Finalität der Handlung gekennzeichnet sind, ist es beim Fahrlässigkeitsvorwurf die Sorgfaltspflichtverletzung, welche die Zurechnung eines Geschehens zu einer Person erlaubt. Als „Moment der Rechtsuntreue“ (Kindhäuser 1994, S. 211) legitimiert die Nichterfüllung der Sorgfaltspflicht die Erhebung eines Vorwurfes in gewissen Fällen also auch in Abwesenheit eines Vorsatzes. Dem hierbei angesetzten Sorgfaltsmaßstab liegen die an einen rechtstreuen Normadressaten gesetzten Erwartungen zugrunde, der im Rahmen seiner Möglichkeiten Normbrüche vermeiden soll. Diese „Kategorie der Pflicht“ enthält also die Information darüber, in welchem Maß der Rechtsadressat „seine Kapazitäten in den Dienst der Normrealisierung zu stellen hat“ (Kindhäuser 1994, S. 198). Als nachgelagertes System beurteilt das Strafrecht den anzuwendenden Sorgfaltsmaßstab ex post. Die Herausforderung im Zusammenhang mit intelligenten Agenten liegt nun darin, dass es in diesem Bereich an einer bisherigen rechtlichen Praxis mangelt, auf die man ohne Weiteres verweisen könnte. Es ist deshalb die dringliche Aufgabe der Rechtswissenschaft, dennoch möglichst klare Leitplanken vorzugeben. Ansonsten würde strafrechtliche Verantwortlichkeit zur Lotterie, was weder für die Glaubwürdigkeit des Rechtssystems noch für den technischen Fortschritt eine wünschenswerte Ausgangslage wäre. Die Delegation von Aufgaben an Technik ist eine bewusste Entscheidung. Bei der Implementierung soziotechnischer Systeme ist eine Balance der Aufgabenteilung zwischen Mensch und Maschine herzustellen. Dabei sind Kompetenzen, Verantwortlichkeiten und Kontrollmöglichkeiten adäquat zu verteilen (Flemisch et al. 2012). Für die Konkretisierung der Sorgfaltspflichten wird es entscheidend sein, inwieweit die Gesellschaft bereit ist, Risiken in Kauf zu nehmen. Ein Null-RisikoAnsatz würde dazu führen, dass Entwickler ihre Projekte aufgeben müssten, wollen sie sich keiner Globalverantwortlichkeit ausgesetzt sehen (Simmler und Markwalder 2017). Eine solche Globalverantwortlichkeit wäre jedoch kaum mit dem Erfordernis der persönlichen Vorwerfbarkeit vereinbar. Andererseits stellen drohende „Verantwortlichkeitslücken“ ebenso eine Gefahr für die Normstabilität dar (Matthias 2004). In diesem Spannungsfeld gilt es nun eine strafrechtliche Fahrlässigkeitsdogmatik zu entwickeln, deren zugrunde liegender Sorgfaltsmaßstab eine funktionale Handlungszurechnung ermöglicht.

7

Sorgfaltsmaßstab und technische Autonomie

In allen deutschsprachigen Rechtsordnungen wird Fahrlässigkeit gleichermaßen definiert: So begeht ein Delikt fahrlässig, wer die Folge seines Verhaltens aus pflichtwidriger Unvorsichtigkeit nicht bedenkt oder darauf nicht Rücksicht nimmt (Art. 12 Abs. 3 des CH-StGB), wer also die Sorgfalt außer Acht lässt, zu der er verpflichtet und befähigt gewesen wäre (§ 6 Abs. 1 des Ö-StGB). Der Sorgfaltsmaßstab im Strafrecht ist ein individueller, d. h. eine Unvorsichtigkeit ist nur vorwerfbar,

Maschinenethik und strafrechtliche Verantwortlichkeit

463

wenn der Täter die Vorsicht nicht beachtet, zu der er nach den konkreten Umständen und seinen persönlichen Verhältnissen verpflichtet ist. Das Strafrecht verlangt also von niemandem mehr, als dieser persönlich zu leisten in der Lage ist (Seelmann und Geth 2016). Ansonsten wäre eine Bestrafung dysfunktional. Soll der Fahrlässigkeitsvorwurf funktional sein, d. h. dem Schuldprinzip folgen (Simmler 2018), können Handlungen nicht willkürlich zugerechnet werden. Auch technische Fehlleistungen werden dem Entwickler dementsprechend nur zugerechnet, wenn ihm gegenüber ein persönlicher Vorwurf erhoben werden kann. Verantwortlichkeit wird einerseits dadurch eingeschränkt, was eine Person weiß, und andererseits dadurch, was sie kontrollieren kann (vgl. Nida-Rümelin und Battaglia 2018); oder in der Sprache einer Strafrechtlerin: durch die Voraussehbarkeit und die Vermeidbarkeit. So kann jemandem eine Pflichtwidrigkeit nur vorgehalten werden, wenn die Gefährdung des Rechtsguts und die Möglichkeit der Tatbestandsverwirklichung vorausgesehen werden konnte. Ebenso muss es dem Täter überhaupt möglich gewesen sein, die Tat zu verhindern. Es sind genau diese Voraussetzungen, die in Bezug auf intelligente Agenten problematisch werden. Während sich die Zurechnung zum fahrlässig Handelnden darauf fokussiert, ihm das Nichtbefolgen der Sorgfaltspflicht trotz ausreichender Kontrolle über den Handlungsablauf vorzuwerfen, lässt gerade die zunehmende Autonomie avancierter Technik diese Kontrolle erodieren. Zusammengefasst: Umso autonomer die Technik wird, desto schwieriger wird es, ihr Verhalten dem Menschen zuzurechnen. Autonomie ist eine graduelle Eigenschaft (vgl. Loh 2018a). Es können verschiedene Level technischer Autonomie unterschieden werden (Simmler und Frischknecht 2019), die sich in soziotechnischen Handlungskontexten wiederum direkt auf die Handlungsträgerschaft der Technik auswirken. Hybride Systeme sind allem voran durch zwei Faktoren charakterisiert: Durch die Aufgabenteilung zwischen Mensch und Maschine (Automatisierungslevel) und durch den Freiheitsgrad der Technik bei der Erfüllung dieser Aufgabe (Autonomielevel) (Simmler und Frischknecht 2019). Die Ausgestaltung dieser Faktoren determiniert die Verteilung der Handlungsträgerschaft, die Kontrollmöglichkeiten und damit die Verantwortlichkeit der Akteure. Es stellt sich allerdings die Frage, ob dieser Umstand die Verantwortung des Menschen schlichtweg vorverlagert. Ist die autonome Maschine einmal implementiert, kann ihr Verhalten nur noch beschränkt gesteuert werden. Dies erhöht die Verantwortung im Vorfeld der Implementierung. Das Sorgfaltsmaß steigt und es findet eine Verschiebung von der unmittelbaren Handlungsverantwortung zu einer vorgelagerten „Designverantwortung“ (Maring 2008) statt. Dieser positive Zusammenhang zwischen technischer Autonomie und Sorgfaltsmaßstab bedeutet folglich, dass ein hohes Level an Autonomie den Menschen nicht aus seiner Verantwortung entlässt. Nicht jedes unvorhersehbare Verhalten der Maschine kann dem menschlichen (Co-)Akteur zugerechnet werden. Der Verweis auf die Autonomie der Technik als neue Form der Exkulpation funktioniert allerdings nur, wenn die Schaffung dieses Grades an Autonomie sorgfältig vonstattenging. Was die sorgfältige Schaffung maschineller Autonomie bedeutet, gilt es zu präzisieren. Es bedeutet nicht, dass keinerlei Risiken eingegangen werden dürfen. Das Strafrecht kennt – speziell im Bereich technischer Neuerungen – auch die Formel des „erlaubten Risikos“ (Killias et al. 2017; Hoyer 2009). Bei der Bestim-

464

M. Simmler

mung des Bereichs erlaubter Risiken wird u. a. auf „allgemein anerkannte Regeln der Technik“, auf den „Stand der Technik“ oder auf den „Stand der Wissenschaft“ verwiesen (Hoyer 2009). Wie diese Klauseln bereits indizieren, ist das Ziehen der Grenze einer allzu großen Generalisierbarkeit kaum zugänglich. Den Inhalt der Sorgfaltspflicht auszumachen, erfordert die schwierige Abwägung zwischen dem erwarteten Nutzen einer bestimmten Tätigkeit und den mit ihr einhergehenden Risiken (Güngerich und Walpen 2011), wobei der Grad der geforderten Vorsicht insbesondere von der Nähe der Gefahr und vom Wert des gefährdeten Rechtsguts abhängt (Seelmann und Geth 2016). Das Erkennen der Sorgfaltspflichten bedarf folglich „prognostischer Elemente“ (Kindhäuser 1994, S. 210). Die Voraussehbarkeit muss im Moment der Tathandlung gegeben sein, wobei als Tathandlung nicht nur die letzte Handlung des Täters vor dem Erfolgseintritt infrage kommt (Jakobs 1991). Vielmehr ist es oftmals so, dass „der Täter sich selbst fahrlässig als unvermeidbar handelndes Werkzeug entlässt“ (Jakobs 1991, 9/14). Damit verlagert sich der Handlungszeitpunkt vor. Den Akteur trifft eine Übernahmeverantwortlichkeit für die Konsequenzen seiner fahrlässigen Kontrollaufgabe. Sie werden ihm als Handlung zugerechnet. Es stellt sich nun die Frage, ob sich auch im Falle potenziell „fahrlässiger Delegationen“ an technische Agenten eine solche Übernahmeverantwortlichkeit ergibt. Eine solche Zurechnung der Folgen maschineller Autonomie ist denkbar, wenn bereits die Schaffung dieses Freiheitsraums unsorgfältig und damit vorwerfbar geschehen ist. Als Anhaltspunkt für diese Beurteilung könnten z. B. die im Haftpflichtrecht gebräuchlichen drei curae dienen. So wäre eine Delegation an eine Maschine dann fahrlässig, wenn die cura in eligendo (Sorgfalt in der Auswahl), die cura in instruendo (Sorgfalt in der Unterweisung) und die cura in custodiendo (Sorgfalt in der Überwachung) nicht gewahrt blieben. Dazu wird teilweise noch eine vierte Pflicht konstatiert, die cura in organisando (Sorgfalt in der Organisation) (siehe z. B. Schweizer BGE 110 II 456). Als Zwischenfazit lässt sich festhalten, dass die Emergenz avancierter Maschinen den Menschen nicht aus der Pflicht entlässt: Technische Autonomie entschuldigt nicht. Vielmehr verpflichtet sie zu erhöhter Wachsamkeit bei der Schaffung dieser Autonomie. In Befolgung dieses Ansatzes ist bei der Implementierung von Technik neben der regulären Risikoevaluation zunächst auszumachen, ob sich der fragliche Bereich überhaupt für Automatisierung eignet, diese Aufgaben also überhaupt delegiert werden dürfen. In der Folge muss das Mensch-Maschine-Zusammenwirken angemessen überwacht und organisiert werden, wobei Organisation insbesondere das Festlegen eines sinnhaften Ausmaßes an Automatisierung und technischer Autonomie bedeutet. Die Technik muss ferner angemessen unterwiesen werden. Die Maschinenethik kann nun wertvolle Hinweise liefern, was eine ethische und normgemäße Erfüllung einer solchen curae in instruendo bedeuten könnte.

8

Maschinelle Moral als Sorgfaltspflicht

Technische Systeme sind wertgeladen. Sie schaffen moralische Konsequenzen und haben das Potenzial, ethische Prinzipien zu untergraben (Martin 2018). Die Delegation einer Handlung an eine Maschine stellt immer auch eine moralische Delegation

Maschinenethik und strafrechtliche Verantwortlichkeit

465

dar, für die zunächst die Entwicklerinnen in der Verantwortung stehen. Die Maschinenethik adressiert deshalb nicht nur die Maschinen selbst, sondern auch „deren Schöpfer auf allen Ebenen der Gestaltung“ (Weber und Zoglauer 2018). Das Kernstück dieser Disziplin – die eigentliche „Moralimplementation“ (Misselhorn 2018b) – gewinnt deshalb für das Strafrecht nicht nur im Falle der bereits diskutierten Möglichkeit originärer Subjektqualität Relevanz. Sie berührt ferner die Verantwortlichkeit ebendieser menschlichen „Schöpfer“. So verlangt es die Verbreitung immer autonomerer Maschinen, dass diese zu moralischem Verhalten befähigt werden. Wer Maschinen Freiheitsräume einräumt, muss sichergehen, dass die damit entstehende Agency von Technik auch eine moralische ist. Die bewusste Auseinandersetzung mit maschineller Moral wird damit zur Sorgfaltspflicht, deren Vernachlässigung einen Fahrlässigkeitsvorwurf zu legitimieren vermag. Eine solche „Pflicht zur maschinellen Moral“ ist wiederum zu konkretisieren. Sie ist je nach Einsatzbereich variabel und steigt bei höheren Freiheitsgraden der Technik. Die Pflicht zur Implementierung prosozialen, moralischen und normkonformen Verhaltens hängt insbesondere von der Ausgereiftheit der Maschine ab (Chinen 2016). Je autonomer eine Maschine ist, desto notwendiger ist die Berücksichtigung dieser Faktoren bereits in frühen Entwicklungsstadien. Vor allem in Bereichen von hoher moralischer Relevanz muss eine solche normative Konstruktion von Technik stets auch ein maschinenethisches Unterfangen sein, wobei die Berücksichtigung dieser Faktoren zum Verantwortungsbereich der Entwicklerinnen gehört. Sowohl bei der Moralität (vgl. Loh 2018b) als auch bei der strafrechtlichen Normtreue verbleibt die Kompetenz und die dazugehörige Kompetenzkompetenz folglich zunächst bei den menschlichen Designern und bei anderweitig am soziotechnischen System beteiligten Individuen. Das Vorhaben der Maschinenethik – die Schaffung der Möglichkeit, moralische Maschinen zu designen – unterminiert also am Schluss nicht die Verantwortung der Menschen und verlagert sie auf die Technik. Ganz im Gegenteil entsteht gerade aufgrund der durch sie geschaffenen erweiterten Möglichkeiten eine zusätzliche Pflicht für Entwickler. Ihr Verantwortungsbereich erweitert sich auf eine Pflicht zur sorgfältigen und bedachten Moralimplementation, d. h. geradewegs zur Schaffung maschineller Moral.

9

Zusammenspiel von Recht, Technik und Maschinenethik

Es ist naheliegend, dass die Transformationen des digitalen Zeitalters und deren weitreichenden Konsequenzen für die Gesellschaft auch das Strafrecht und die soziale Praxis rund um dessen Verantwortungszuschreibung prägen. Dem Recht kommt eine entscheidende Rolle dabei zu, dem technischen Fortschritt Rahmen und Grenzen vorzugeben (Wein 1992). Es hat den „Siegeszug der Maschinen von Anfang an begleitet und mitgestaltet“ (Hilgendorf 2015, S. 13). Wie die Gesellschaft und mit ihr das Strafrecht die Verantwortlichkeit im soziotechnischen Zusammenspiel verteilen, wird für die zukünftige technologische Entwicklung also nicht wirkungslos bleiben (Markwalder und Simmler 2017).

466

M. Simmler

Aus strafrechtlicher und kriminalpolitischer Sicht stellt sich beim Aufkommen neuer Technologien die Frage, was für Probleme sich für das gemeinschaftliche Zusammenleben und für die Stabilität der durch das Strafrecht zu schützenden Normen ergeben können. So betrifft technischer Fortschritt stets die soziale Interaktion der Gesellschaftsmitglieder und entfaltet so Wirkung auf die „normative Konstruktion der Gesellschaft“ (Popitz 1980). Das Strafrecht ist aufgrund seines spezifischen Instrumentariums besonders dazu geeignet, soziale Ordnung und Verhaltensabstimmung zu sichern und gewisse Normen als ultima ratio einem speziellen Schutz zu unterstellen (Simmler 2018). Dies gilt gerade im Kontext technologischer Entwicklung. Es ist dabei die Aufgabe der Strafrechtswissenschaft, diejenigen Bereiche auszumachen, in denen die kommunikative Kraft der Strafe nachhaltig zur Stabilität der Gesellschaft beitragen kann (Beck 2017). Diese Ausgangslage verlangt es, dass Juristinnen, Informatikerinnen und Ethikerinnen näher zusammenrücken (vgl. Seidel 2017). Die Aufgabe der Vertreterinnen der Rechtswissenschaft beschränkt sich dabei keineswegs auf Fragen der Regulierung von Technik, der Entwicklung von Spezialgesetzen oder Standards. Vielmehr sind es gerade rechtliche Grundlagenfragen, welche die Disziplin im Zusammenhang mit avancierter Technologie herausfordern (Hilgendorf 2015). Diese elementaren Fragen rund um die strafrechtliche Handlungs- und Schuldlehre weisen dabei einen engen Zusammenhang zum philosophischen und ethischen Grundgerüst des Rechts auf. Gleichfalls verkörpern die Entscheidungen, die beim Design von Technik getroffen werden, Wertentscheidungen. Damit haben sie sowohl ethische als auch oftmals rechtliche Implikationen. Die Rechtstheorie wird im digitalen Zeitalter somit zu einem Grundpfeiler der Maschinenethik – und die Maschinenethik zu einem Grundpfeiler der Rechtstheorie.

10

Resümee

Dieser Beitrag hat sich dem Zusammenhang von Maschinenethik und Strafrecht angenommen und aufgezeigt, dass diese beiden Disziplinen eine unweigerliche Nähe aufweisen. Autonomisierung der Technik und Hybridisierung der Gesellschaft wirken sich sowohl auf die moralische als auch auf die strafrechtliche Handlungsfähigkeit und damit Verantwortung aus. Die Emergenz künstlicher moralischer Akteure zieht einerseits die Frage nach sich, ob diese strafrechtliche Subjektqualität erlangen können. Andererseits führt sie – möge sich die technische Handlungsfähigkeit graduell auch von derjenigen der Menschen unterscheiden – unweigerlich zur Frage, wie technische Handlungsfähigkeit die Verantwortlichkeit der Menschen berührt. Es konnte festgestellt werden, dass Maschinen aktuell keine strafrechtliche Subjektqualität zukommt. Auch wenn sie bis zu einem gewissen Grad Subjekte der Moral darstellen können, erfüllen sie die Ansprüche des strafrechtlichen Personenbegriffs nicht, setzt der strafrechtliche Schuldvorwurf doch einen sehr hohen Grad an Autonomie und Handlungsträgerschaft voraus. Es wurde gleichfalls festgehalten, dass dieser Befund sich wandeln könnte. Die strafrechtliche Verantwortungszu-

Maschinenethik und strafrechtliche Verantwortlichkeit

467

schreibung adressiert nicht Menschen, sondern Personen als Objekte der Zurechnung. In Anbetracht des rasanten technischen Fortschritts kann nicht ausgeschlossen werden, dass zukünftige Maschinen diesen Personenstatus irgendwann erreichen könnten. Solange dies nicht der Fall ist, steht aber zweifellos die Verantwortlichkeit des Menschen im Zentrum. Ihr soll deshalb das primäre wissenschaftliche Interesse gelten. Wie in diesem Beitrag aufgezeigt wurde, wird die Verantwortung des Menschen folglich nicht per se unterminiert. Es ist sich deshalb der Frage anzunehmen, wann und inwieweit Menschen für (teil-)autonome Maschinen zur Rechenschaft zu ziehen sind. Insbesondere die Erhebung eines Fahrlässigkeitsvorwurfs bereitet bei Vorliegen fortgeschrittener Autonomiestufen dogmatische Schwierigkeiten. Dieser konstituiert sich durch eine Sorgfaltspflichtwidrigkeit, weshalb für eine funktionale Handlungszurechnung die Fixierung eines adäquaten Sorgfaltsmaßstabs notwendig wird. Beim Design von Technik hängt dieser primär von der technischen Autonomie ab. Umso autonomer und komplexer das technische System, desto höher ist der Anspruch an die Vorsicht im Vorfeld der Implementierung. Die Sorgfaltspflichten gilt es in Zukunft weiter zu konkretisieren. Es hat sich aber gezeigt, dass insbesondere die Maschinenethik zur Präzisierung des Pflichtinhalts beitragen kann. Darüber hinaus können die Auseinandersetzung mit der maschinellen Moral und deren Implementierung selbst zur Sorgfaltspflicht werden, wäre es doch gerade bei avancierten Maschinen fahrlässig, diese Möglichkeiten zu vernachlässigen. Entsprechend bestätigte sich in dieser Abhandlung, dass die Maschinenethik für das Strafrecht fruchtbar gemacht werden kann. Das Zusammenspiel von Recht, Informatik und Ethik offenbarte sich als evident und dessen Intensivierung im Zeitalter autonomer Maschinen als wissenschaftliche Pflicht.

Literatur Beck, Susanne. 2013. Über Sinn und Unsinn von Statusfragen – zu Vor- und Nachteilen der Einführung einer elektronischen Person. In Robotik und Gesetzgebung, Hrsg. Eric Hilgendorf und Jan-Philipp Günther, 239–261. Baden-Baden: Nomos. Beck, Susanne. 2015. Technisierung des Menschen – Vermenschlichung der Technik. Neue Herausforderungen für das rechtliche Konzept „Verantwortung“. In Autonome Automaten: Künstliche Körper und artifizielle Agenten in der technisierten Gesellschaft, Hrsg. Malte-Christian Gruber, Jochen Bung und Sascha Ziemann, 2. Aufl., 173–187. Berlin: BWV. Beck, Susanne. 2017. Google cars, software agents, autonomous weapons systems – New challenges for criminal law? In Robotics, autonomics, and the law, Hrsg. Eric Hilgendorf und Uwe Seidel, 227–252. Baden-Baden: Nomos. Bendel, Oliver. 2018a. Überlegungen zur Disziplin der Maschinenethik. APuZ 6–8:34–38. Bendel, Oliver. 2018b. Wozu brauchen wir die Maschinenethik? In Handbuch Maschinenethik, Oliver Bendel. Wiesbaden: Springer. Bendel, Oliver. 2019. Moralische Maschinen. In Beitrag für das Gabler Wirtschaftslexikon. Wiesbaden: Springer Gabler. https://wirtschaftslexikon.gabler.de/definition/moralische-maschinen119940/version-369160. Zugegriffen am 31.01.2019. Castelfranchi, Christiano, und Rino Falcone. 2004. The dialectics between (social) environment and agent’s architecture and powers. In Agents and computation autonomy, Hrsg. Matthias Nickles, Michael Rovatsos und Gerhard Weiss, 40–54. Berlin/Heidelberg: Springer.

468

M. Simmler

Chinen, Mark. 2016. The co-evolution of autonomous machines and legal responsibility. Viginia Journal of Law & Technology 20(2): 338–393. Durkheim, Émile. 1893. De la division du travail social. Paris: Félix Alcan. Flemisch, Frank, Matthias Heesen, Tobias Hesse, Johann Kelsch, Anna Schieben, und Johannes Beller. 2012. Towards a dynamic balance between humans and automation: Authority, ability, responsibility and control in shared and cooperative control situations. Cognition, Technology & Work 14:4–18. Floridi, Luciano, und J. W. Sanders. 2004. On the morality of artificial agenty. Minds and Machine 14:349–379. Gless, Sabine, und Thomas Weigend. 2014. Intelligente Agenten und das Strafrecht. ZStW 126: 561–591. Gless, Sabine, Emily Silverman, und Thomas Weigend. 2016. If Robots cause harm, Who ist to blame? Self-Driving Cars and Criminal Liability. New Criminal Law Review 19(3): 412–436. Gruber, Malte-Christian. 2012. Rechtssubjekte und Teilrechtssubjekte des elektronischen Geschäftsverkehrs. In Jenseits von Mensch und Maschine, Hrsg. Susanne Beck, 133–159. Baden-Baden: Nomos. Güngerich, Andreas, und Adrian Walpen. 2011. Rechtliche Aspekte eines risiko- und effizienzbasierten Sicherheitskonzeptes. Sicherheit & Recht 2:105–117. Günther, Jan-Philipp. 2015. Embodied Robots – Zeit für eine rechtliche Neubewertung? In Autonome Automaten: Künstliche Körper und artifizielle Agenten in der technisierten Gesellschaft, Hrsg. Malte-Christian Gruber, Jochen Bung und Sascha Ziemann, 2. Aufl., 155–172. Berlin: BWV. Hallevy, Gabriel. 2010. The criminal liability of artificial intelligence entities – From science fiction to legal social control. Akron Intellectual Property Journal 4:171–201. Hilgendorf, Eric. 2015. Recht und autonome Maschinen – ein Problemaufriß. In Das Recht vor den Herausforderungen der modernen Technik, Hrsg. Eric Hilgendorf und Sven Hötitzsch, 11–40. Baden-Baden: Nomos. Hoyer, Andreas. 2009. Erlaubtes Risiko und technologische Entwicklung. ZStW 121:860–881. Jakobs, Günther. 1991. Strafrecht Allgemeiner Teil, Die Grundlagen und die Zurechnungslehre, 2. Aufl. Berlin: de Gruyter. Jakobs, Günther. 1993. Das Schuldprinzip. Opladen: Westdeutscher Verlag. Killias, Martin, Nora Markwalder, André Kuhn, und Nathalie Dongois. 2017. Grundriss des Allgemeinen Teils des Schweizerischen Strafgesetzbuches, 2. Aufl. Bern: Stämpfli. Kindhäuser, Urs. 1994. Erlaubtes Risiko und Sorgfaltswidrigkeit. Zur Struktur strafrechtlicher Fahrlässigkeitshaftung. Goltdammer’s Archiv für Strafrecht 141(5): 197–223. Loh, Janina. 2018a. Maschinenethik und Roboterethik. In Handbuch Maschinenethik, Hrsg. Oliver Bendel. Wiesbaden: Springer. Loh, Janina. 2018b. Verantwortung und Roboterethik – ein kleiner Überblick – Teil 2. InTeR 1: 29–35. Loh, Wulf, und Janina Loh. 2017. Autonomy and responsibility in hybrid systems: The example of autonomous cars. In Robot ethics 2.0: From autonomous cars to artificial intelligence, Hrsg. Patrick Lin, Keith Abney und Ryan Jenkins, 35–50. Oxford: Oxford University Press. Maring, Matthias. 2008. Mensch-Maschine-Interaktion: Steuerbarkeit – Verantwortbarkeit. In Maschinen, die unsere Brüder werden. Mensch-Maschine-Interaktion in hybriden Systemen, Hrsg. Christoph Hubig und Peter Koslowski, 113–130. München: Wilhelm Fink. Markwalder, Nora, und Monika Simmler. 2017. Roboterstrafrecht – Zur strafrechtlichen Verantwortlicheit von Robotern und künstlicher Intelligenz. AJP 2:171–182. Martin, Kirsten. 2018. Ethical implications and accountability of algorithms. Journal of Business Ethics. https://doi.org/10.1007/s10551-018-3921-3. Matthias, Andreas. 2004. The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology 6:175–183.

Maschinenethik und strafrechtliche Verantwortlichkeit

469

Misselhorn, Catrin. 2018a. Maschinenethik und Philosophie. In Handbuch Maschinenethik, Hrsg. Oliver Bendel. Wiesbaden: Springer. Misselhorn, Catrin. 2018b. Grundfragen der Maschinenethik, 2. Aufl. Ditzingen: Reclam. Mittelstadt, Brent Daniel, Patrick Allo, Mariarosaria Taddeo, Sandra Wachter, und Luciano Floridi. 2016. The ethics of algorithms: Mapping the debate. Big Data & Society 3(1): 1–21. Müller-Hengstenberg, Claus D., und Stefan Kirn. 2016. Rechtliche Risiken autonomer und vernetzter Systeme. Eine Herausforderung. Berlin: de Gruyter. Nida-Rümelin, Julian. 2017. Handlung, Technologie und Verantwortung. In Berechenbarkeit der Welt? Hrsg. Wolfgang Pietsch, Jörg Wernecke und Maximilian Ott, 497–513. Wiesbaden: Springer. Nida-Rümelin, Julian, und Fiorella Battaglia. 2018. Mensch, Maschine und Verantwortung. In Handbuch Maschinenethik, Hrsg. Oliver Bendel. Wiesbaden: Springer. Popitz, Heinrich. 1980. Die normative Konstruktion von Gesellschaft. Tübingen: Mohr. Rammert, Werner. 2003. Technik in Aktion: Verteiltes Handeln in sozio-technischen Konstellationen. In Autonome Maschinen, Hrsg. Thomas Christaller und Josef Wehner, 298–315. Wiesbaden: Westdeutscher Verlag. Rammert, Werner, und Ingo Schulz-Schaeffer. 2002. Technik und Handeln – wenn soziales Handeln sich auf menschliches Verhalten und technische Artefakte verteilt. TUTS – Working Papers 4/2002, Berlin. Rath, Matthias. 2019. Zur Verantwortungsfähigkeit künstlicher „moralischer Akteure“. Problemanzeige oder Abklenkungsmanöver? In Maschinenethik: Normative Grenzen autonomer Systeme, Hrsg. Matthias Rath, Friedrich Kotz und Matthias Karmasin, 223–242. Wiesbaden: Springer. Seelmann, Kurt, und Christopher Geth. 2016. Strafrecht Allgemeiner Teil, 6. Aufl. Basel: Helbing Lichtenhahn. Seher, Gerhard. 2016. Intelligente Agenten als „Personen“ im Strafrecht. In Intelligente Agenten und das Recht, Hrsg. Sabine Gless und Kurt Seelman, 45–60. Baden-Baden: Nomos. Seidel, Uwe. 2017. Industry 4.0 and law – Experiences from AUTONOMICS. In Robotics, autonomics, and the law, Hrsg. Eric Hilgendorf und Uwe Seidel, 11–26. Baden-Baden: Nomos. Seng, Leonie. 2018. Maschinenethik und Künstliche Intelligenz. In Handbuch Maschinenethik, Hrsg. Oliver Bendel. Wiesbaden: Springer. Simmler, Monika. 2018. Normstabilisierung und Schuldvorwurf. Bern/Berlin: Carl Grossmann Verlag. Simmler, Monika, und Ruth Frischknecht. 2019. Capturing distributed agency in socio-technical systems: An interdisciplinary taxonomy of automation and autonomy in human-machine interaction. Unveröffentlichtes Manuskript: 2018 zur Publikation eingereicht. Simmler, Monika, und Nora Markwalder. 2017. Roboter in der Verantwortung? – Zur Neuauflage der Debatte um den funktionalen Schuldbegriff. ZStW 129:20–47. Verhagen, Harko. 2014. Autonomy and reasoning for natural and artificial agents. In Agents and computation autonomy, Hrsg. Matthias Nickles, Michael Rovatsos und Gerhard Weiss, 83–93. Berlin/Heidelberg: Springer. Wallach, Wendel, und Colin Allen. 2009. Moral maschines, teaching robots right from wrong. Oxford: Oxford University Press. Weber, Karsten, und Thomas Zoglauer. 2018. Maschinenethik und Technikethik. In Handbuch Maschinenethik, Hrsg. Oliver Bendel. Wiesbaden: Springer. Wein, Leon E. 1992. The responsibility of intelligent artifacts: Toward an automation jurisprudence. Harvard Journal of Law & Technology 6(1): 103–154. Weyer, Johannes, und Simone Reineke. 2005. Creating order in hybrid systems: Reflexions on the interaction of man and smart machines. In Soziologische Arbeitspapiere 7, Hrsg. Technsiche Universität Dortmund, Wirtschafts- und Sozialwissenschaftliche Fakultät. Dortmund: Universität Dortmund.