Haptik am User Interface: Interfacedesign in der zeitgenössischen Medienkunst zwischen Sinnlichkeit und Schmerz 9783839451342

Table of contents :
Cover
Inhalt
Einleitung
Fragestellung, Material und Methodik
1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung
1.1 Somatosensorik
1.2 Rezeptoren
1.3 Ist es noch Taktilität oder schon Haptik?
1.4 An der Oberfläche
1.5 Haptische Illusionen
Praekunst oder Postmedien – Die Bedeutung der Verflechtung
2 Manipulation der Medienkunst
2.1 Eine haptisch interaktive Medienkunst zwischen participatory art, new media art und touching art
2.2 Was die Partizipation des Betrachters mit dem Werkbegriff macht
2.3 Die performativen Handlungen mit Installationen und Environments
2.4 Die Künstlerwissenschaftler und ihre Experimente
2.5 Begriffswelt des Magischen: Von Immersion zur Repräsentation
Über die haptische Kunst und die Phänomenologie
3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte
3.1 Einbezug des Betrachters: Futurismus, Happening und Fluxus
3.2 Einbezug durch Technik: Reaktive Kunst, Cyborg Art und Digital Art
3.3 Die natürlichen Interfaces von Christa Sommerer und Laurent Mignonneau
3.4 Teletaktilität und die Haut
3.5 Die Haptik steckt im Anzug: Ståle Stenslie
3.6 Stelarcs Schmerzen und sein Verhältnis zur Theorie McLuhans
3.7 Zurück zum Begriff der Teletaktilität zwischen Nah und Fern
3.8 Jill Scott: Künstliche Haut
3.9 Das responsive Material von Zane Berzina
3.10 Sensorisch orientierte Werke bis heute:Bewusste Körpererfahrungen und Hardwarehacking
4 User Interfaces im Wandel der Zeit
4.1 Interfacetypen
4.2 Wissenschaftsgeschichte des Human Interaction Design (HCI):Graphical User Interfaces ([G]UI) bis Tangible User Interfaces ([T]UI)
4.2.1 (G)UI, Software-Interfaces und erste Impulse des Militärs
4.2.2 Haptik in der Blindenforschung, Braille auf der Haut
4.2.3 Kraftübertragung durch Force Feedback
4.2.4 (T)UI
4.3 Der vernetzte Raum: Ubiquitous Interaction und Augmented Reality
4.4 Von Embodied Interaction bis zur Materialveränderung der Radical Atoms
Fazit
Literatur
Ausstellungskataloge
Digitale Veröffentlichungen/Websites
Abbildungsverzeichnis
Interviews

Citation preview

Sebastian Sprenger Haptik am User Interface

Edition Medienwissenschaft  | Band 73

Meiner Mutter gewidmet.

Sebastian Sprenger hat Medienwissenschaften, Kunstgeschichte, Kommunikation und Grafikdesign in Bochum, Kassel und Hamburg studiert. Seine Forschungsinteressen liegen in der Medienkunst, Videokunst, Performance, Body Art und Fotografie.

Sebastian Sprenger

Haptik am User Interface Interfacedesign in der zeitgenössischen Medienkunst zwischen Sinnlichkeit und Schmerz

»Haptik am User Interface. Interfacedesign in der zeitgenössischen Medienkunst zwischen Sinnlichkeit und Schmerz« wurde von der Fakultät für Philologie der Ruhr-Universität Bochum als Dissertation angenommen im Jahre 2018.

Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar.

© 2020 transcript Verlag, Bielefeld Alle Rechte vorbehalten. Die Verwertung der Texte und Bilder ist ohne Zustimmung des Verlages urheberrechtswidrig und strafbar. Das gilt auch für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und für die Verarbeitung mit elektronischen Systemen. Umschlaggestaltung: Maria Arndt, Bielefeld Umschlagabbildung: Christa Sommerer / Laurent Mignonneau: Interactive Plant Growing Druck: Majuskel Medienproduktion GmbH, Wetzlar Print-ISBN 978-3-8376-5134-8 PDF-ISBN 978-3-8394-5134-2 https://doi.org/10.14361/9783839451342 Gedruckt auf alterungsbeständigem Papier mit chlorfrei gebleichtem Zellstoff. Besuchen Sie uns im Internet: https://www.transcript-verlag.de Unsere aktuelle Vorschau finden Sie unter www.transcript-verlag.de/vorschau-download

Inhalt

Einleitung ................................................................................ 7 Fragestellung, Material und Methodik.....................................................13 1 1.1 1.2 1.3 1.4 1.5

Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung ..................................................... 23 Somatosensorik.............................................................................................26 Rezeptoren ...................................................................................................26 Ist es noch Taktilität oder schon Haptik? ............................................................ 31 An der Oberfläche ......................................................................................... 32 Haptische Illusionen ...................................................................................... 36

Praekunst oder Postmedien – Die Bedeutung der Verflechtung ........................... 41 2 2.1 2.2 2.3 2.4 2.5

Manipulation der Medienkunst ..................................................... 45 Eine haptisch interaktive Medienkunst zwischen participatory art, new media art und touching art ........................................................................................... 53 Was die Partizipation des Betrachters mit dem Werkbegriff macht ..........................60 Die performativen Handlungen mit Installationen und Environments ........................69 Die Künstlerwissenschaftler und ihre Experimente ............................................... 75 Begriffswelt des Magischen: Von Immersion zur Repräsentation ..............................84

Über die haptische Kunst und die Phänomenologie ...................................... 95 3 3.1 3.2 3.3 3.4 3.5 3.6

Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte ...............107 Einbezug des Betrachters: Futurismus, Happening und Fluxus ...............................109 Einbezug durch Technik: Reaktive Kunst, Cyborg Art und Digital Art ........................ 114 Die natürlichen Interfaces von Christa Sommerer und Laurent Mignonneau ............. 123 Teletaktilität und die Haut.............................................................................. 132 Die Haptik steckt im Anzug: Ståle Stenslie ........................................................ 138 Stelarcs Schmerzen und sein Verhältnis zur Theorie McLuhans ..............................165

3.7 3.8 3.9 3.10

Zurück zum Begriff der Teletaktilität zwischen Nah und Fern .................................169 Jill Scott: Künstliche Haut............................................................................... 173 Das responsive Material von Zane Berzina ......................................................... 181 Sensorisch orientierte Werke bis heute: Bewusste Körpererfahrungen und Hardwarehacking ............................................184

4 User Interfaces im Wandel der Zeit ............................................... 199 4.1 Interfacetypen ............................................................................................ 200 4.2 Wissenschaftsgeschichte des Human Interaction Design (HCI): Graphical User Interfaces ([G]UI) bis Tangible User Interfaces ([T]UI) ..................... 202 4.2.1 (G)UI, Software-Interfaces und erste Impulse des Militärs ........................... 207 4.2.2 Haptik in der Blindenforschung, Braille auf der Haut ................................... 218 4.2.3 Kraftübertragung durch Force Feedback ................................................. 223 4.2.4 (T)UI.................................................................................................. 231 4.3 Der vernetzte Raum: Ubiquitous Interaction und Augmented Reality ....................... 247 4.4 Von Embodied Interaction bis zur Materialveränderung der Radical Atoms................ 251 Fazit.................................................................................... 265 Literatur ................................................................................ 271 Ausstellungskataloge .................................................................. 281 Digitale Veröffentlichungen/Websites .................................................. 283 Abbildungsverzeichnis ................................................................. 289 Interviews.............................................................................. 293

Einleitung

Die Hände wandern über einen erst einmal fremden, verkabelten Anzug, der zuvor angelegt wurde. Sie erfühlen die Oberfläche, berühren und drücken. Das Streichen über das weiche Material erzeugt plötzlich Töne. Es flackern dadurch Farben, Bilder, aber auch Worte auf den Leinwänden im Vordergrund auf. Die manuellen Bewegungen des Ausstellungsbesuchers werden sicherer und es werden Kombinationen erlernt, so dass die künstlich geschaffene Umgebung einen zusammenhängenden Sinn ergibt. Über die Selbstberührung wird eine Geschichte erzählt, die sich nicht nur für die Augen und die Ohren öffnet. Durch Vibrationen und Druck im Anzug wird sie auch auf den Körper übertragen. Es beginnt zu kribbeln und die Haut wird gepresst. Die Töne und Bilder scheinen sich haptisch einzuschreiben. Diese kurze Beschreibung der Installation erotogod des norwegischen Künstlers Ståle Stenslie ist ein Beispiel für die User Interfaces, um die es in der vorliegenden Arbeit gehen soll. Sie widmet sich der Erforschung der haptischen Möglichkeiten der Kommunikation zwischen Mensch und Maschine durch User Interfaces in der Medienkunst und den Wissenschaften. Das User Interface verkörpert die Idee, dass der Mensch durch die bewusste Berührung des (in diesem Falle künstlichen) Anderen etwas über sich selbst erfährt; dies entspricht einer modernen Selbstbestimmung und dem Wissen über den eigenen Körper. Der Blick soll dabei auf die Nachahmung der biologischen Haptik und ihre Übertragung auf haptische Interfaces als Kommunikator zwischen Mensch und Maschine gelenkt werden. Im Umkehrschluss rücken die Erkenntnisse der Nutzung haptischer Interfaces den Fokus auf die Erforschung der Haptik. Besonderes Augenmerk erhalten die experimentellen Geräte und Maschinen in Wissenschaft und Kunst, die forschend und spielerisch die Haptik zwischen Mensch und Maschine mit qualitativ und quantitativ unterschiedlicher Gewichtung integrieren und an ihre Grenzen treiben. Das Kunstwerk und das technische Experiment der Industrie- oder wissenschaftlichen Forschung wird gleichermaßen als abgeschlossenes Werk in seinem erstellten Sinn wie auch als offene Möglichkeit der Erfahrung aufgefasst, hier insbesondere im Hinblick auf die haptischen Erfahrung, die sowohl autonom als auch in ihrer multisensuellen Kombinierbarkeit hinterfragt wird.

8

Haptik am User Interface

Die Frage der Berührung als fruchtbares Kommunikationsmedium stellt die Kunsthistorikerin Claudia Benthien in ihrer Abhandlung über die Kulturgeschichte der Haut allerdings erst einmal in Frage: »Der Begriff Kommunikation bezeichnet in der allgemeinsten Bedeutung und . Zu fragen ist, ob Berührung (in der Alltagsrealität, aber auch in den vorgestellten Installationen) unter diesem Begriff überhaupt adäquat zu fassen ist. Die Haut an sich ist als Interface denkbar ungeeignet, da sie keine Kodierung und Dekodierung garantieren kann. Natürlich können einzelne Berührungsgesten, etwa das Auflegen der Hand auf die Schulter oder den Arm des anderen, polysemen Bedeutungen unterliegen, sie sind aber, da es sich um nicht-konventionalisierte Gesten handelt, nicht dekodierbar wie sprachliche Zeichen. Zudem meinen viele Berührungen nicht etwas, sondern sind es bereits (zum Beispiel: Zuneigung, Begehren oder Wut). Sie stehen nicht mittelbar für etwas anderes – repräsentierend wie die Sprache –, sondern sind referenzlos. Eine Berührung besitzt Mitteilungscharakter somit nur, sofern sie als solche verstanden wird.«1 Ihr Verweis auf einen strengen Kommunikationsbegriff ist nicht einfach mit den zunächst scheinbar schwammigen Informationen einer Berührung vereinbar. Die Haptik als Kommunikations- und Informationsträger soll in dieser Arbeit untersucht werden. Wo ist eine haptische Information dekodierbar und wo nicht und wie verhält sich die »Intuition« innerhalb der Interaktion? Die Haptik des Menschen und die Sensoren technischer Objekte sollen dabei auf ihre Möglichkeiten von Aktion und Reaktion betrachtet werden. Wie zu zeigen ist, rangiert die Geschichte der User Interfaces zwischen der bewussten Interaktion mit der Technik und dem Versuch, die Interaktion selbstverständlich, intuitiv, natürlich, gewissermaßen unsichtbar zu machen, wobei hier bereits eine Wissenslücke klafft. Es muss eine Unterscheidung zwischen »Invisible Interface«2 und »Material Interface«3 gemacht werden, der Präsentation der Technik für den Benutzer und dem damit verbundenen Wissen oder Bewusstsein über aktive und/oder passive haptische Interaktion. Wobei »unsichtbar« nicht gleichbedeutend mit Nichtwissen zu denken ist, sondern als das bewusste Verschleiern einer zusätzlichen Funktion durch den Designer; nicht nur nicht visualisiert, vielmehr allen biologischen Sinnen vorenthalten. Auch der Begriff »materiell« ist nicht gleichbedeutend mit bewusster Haptik zu denken. Auch hier kann die Verschleierung des Sensorischen 1

2 3

Benthien, 1999, S. 271. Die Autorin verweist hier auf: Grammer, Karl: Berühren und Verführen…die Logik der taktilen Kommunikation. In: Kunst- und Ausstellungshalle der BRD [Hg.]: Tasten, Schriftenreihe Forum 7; Göttingen, 1996; Halbach, Wulf R.: Interfaces. Medien und kommunikationstheoretische Elemente einer Interface-Theorie; München, 1994. Ryan, 2014, S. 95ff. Ebd., S. 133ff.

Einleitung

Bedeutung haben und steht somit für eine Kombination des Benutzerkontakts mit realem, reinem Materialgefühl und seiner funktional erzeugten Bewegung, die designerseitig bewusst und unbewusst gestaltet sein kann.   Kapitel 1 führt zunächst kurz in die physiologische Forschungsgeschichte der Berührung ein, um ein Basiswissen über die körperlichen Funktionen der haptischen Wahrnehmung zu vermitteln. Dieses Wissen um die Wahrnehmungsvorgänge des Körpers ist nötig, um verschiedene Teilbereiche haptischer Interaktion in der Medienkunst in Bezug auf Oberflächenwahrnehmung, Temperatur, Vibration und Schmerz exakt beschreiben zu können. Diese Bereiche der Haptik werden zudem noch einmal begrifflich von der in der Theorie häufig gebrauchten Taktilität abgegrenzt. Das Kapitel endet mit Beschreibungen haptischer Illusionen, die ergänzend zeigen, dass auch die Berührung ebenso wie die visuelle Wahrnehmung täuschungssensibel ist, entgegen einer weitverbreiteten Auffassung, dass der Tastsinn näher an der Realität sei als die anderen Sinne. Das zwischengelagerte Kapitel »Praekunst oder Postmedien« dient als überleitender Kommentar und erster Denkanstoß zum folgenden Kapitel 2 über die Medienkunst. Hier sollen die Schwierigkeit einer Definition des weiten Felds der Medienkunst betrachtet, einer der Zweige der interaktiven Kunst einführend näher beschrieben und einzelne Komponenten aufgezeigt werden: die Bedeutung des Betrachters der durch Interaktion zum Benutzer wird, der Werkbegriff in der Medienkunst, die Erfahrung durch Handlung und erste Überlegungen zur Unterscheidung von aktiver/passiver, sowie bewusster/unbewusster Wahrnehmung innerhalb des Kunstkontextes. Nach einer ersten Einführung in eine Haptik in der Kunst durch einige Phänomenologen, Philosophen und Theoretiker, taucht Kapitel 3 in die Geschichte der (Medien)Kunst ein. Der Aufbau orientiert sich dabei an der verändernden Bedeutung des Verhältnisses von Künstler, Werk und Betrachter, der, durch den Einbezug taktiler und haptischer Momente, zum Benutzer wird. Kapitel 3.3. beschreibt schließlich die künstlerwissenschaftliche Arbeit von Christa Sommerer und Laurent Mignonneau und ihrer Vorstellung natürlicher Interaktion, die wiederum eine vielfältige Einbindung haptischer Sensationen aufzeigt. Kapitel 3.4. verhandelt den Begriff der Teletaktilität als Telepräsenz, ihre Unterscheidung zur Embodied Interaction und der Bedeutungseinschreibung des Materials eines Interface. Die Haut wird dabei durch einen Blick auf die Arbeit von Claudia Benthien besprochen, ebenso wie die Ausführungen Derrick De Kerckhoves und die Frage, welcher Stellenwert dem Tastsinn in Kunst und Medien zugeschrieben wird. Eine künstlerische Anwendung zur Teletaktilität wird im darauf folgenden Kapitel mit der künstlerwissenschaftlichen Arbeit von Ståle Stenslie gegeben, von ihm auch »Telehaptik« genannt. Anhand von vier projektartigen Werken (cyberSM, In-

9

10

Haptik am User Interface

ter_skin, SeC und Erotogod) sollen die Entwicklungen innerhalb des Gesamtwerks, sowie seine Experimente mit haptischen Anzügen (»bodysuits«) aufgezeigt werden. Cybersexualität als Teilbereich der Teletaktiltät, Qualität und Quantität von haptischen Sensationen (besondere Sinneseindrücke) hin zu einer »sensory resolution« sind ebenso zu diskutierende Themenbereiche wie auch die Frage, ob überhaupt von Kommunikation oder im Gegenzug gar von haptischem Vokabular gesprochen werden kann. Mit dem multimedialen Performancekünstler Stelarc wird in 3.5 die Idee aktiver und passiver Muskelstimulation vorgeführt, die als kombiniertes Verhältnis von Eigen- und Fremdsteuerung seiner Selbst und anderer Benutzer, die Zugriff auf seinen Körper haben, verstanden werden soll. Angeschlossen soll mit Rückgriff auf die Theorie Derrick De Kerckhoves ein Kommentar zur Taktilität geleistet werden und der inhärenten Frage ob sich in ihr Nah- und Fernsinn nun neu definieren, nachgegangen werden. Auch Jill Scott erarbeitet in ihrer künstlerwissenschaftlichen Arbeit die Vorstellung eines haptischen Vokabulars, das einen Lernund Erinnerungsprozess beinhaltet. Zane Berzina zieht in ihren Werken schließlich unter anderem die Erkenntnise ihrer Erforschung der Oberflächenstruktur der Haut mit ein. Einige Beispiele zeitgenössischer haptischer Medienkunst sollen nicht nur aktuelle Tendenzen aufzeigen, sondern auch mit Blick auf das Hardwarehacking oder Open Source-Konzepte auf die künstlerische Arbeit als Möglichkeit verweisen, technische Objekte im Allgemeinen und haptische Interfaces im Speziellen fern von finanzieller oder institutioneller Unterstützung kreieren zu können. Der nächste Kapitelkomplex 4 widmet sich der Forschungsgeschichte des User Interfaces und dem Human Computer Interaction Design, somit der Frage, wie für das Design zwischen technischen Gegebenheiten und menschlichen Benutzerbedürfnissen abgewogen wird. Ergänzt werden die Ausführungen mit Objekten und Projekten, die sich zwischen Design und künstlerischer Orientierung ansiedeln lassen. Die Durchsetzung der grafischen Symbole als Bildschirminterface wird innerhalb der Computergeschichte aufgezeigt. Diese Geschichte wird stets begleitet von wiederkehrenden Ideen einer Interaktion am einfachen User Interface von Tastatur oder Maus sowie Versuchen den Körper des Computernutzers anzusprechen. Anhand einiger Beispielobjekte aus der Geschichte der Blindenforschung wird in Kapitel 4.2.2 der Blick auf passive, nichtbewegliche Information durch Erhebungen der Oberfläche geworfen, die der Benutzer aktiv erlernen und ablesen kann. Die darauf folgenden Kapitel sind hingegen der Information beweglicher Oberflächen durch Force Feedback (Kraftrückkopplung) oder Vibration von Druck bis Schmerz gewidmet. Die Betrachtungen der User Interfaces in der grafikorientierten Umgebung und der qualitativen und quantitativen Verbesserung des haptischen Einbezugs leiten weiter zur Betrachtung der Tangible User Interfaces, die die virtuelle

Einleitung

Welt, ihre Daten und Aktionen in der Realität greifbar machen wollen. Die Gestaltung des technischen Designs orientiert sich dabei an der Handhabung der Prozesse durch den Benutzer in der Realwelt. Die Vernetzung von Daten und Objekten wird begrifflich mit dem Blick auf die Ubiquitous Interaction und der Augmented Reality in Form einer impliziten und expliziten Human Computer Interaction präzisiert. Den Abschluss bildet die Embodied Interaction, die in Bezug auf die Haptik und zudem mit gegenwartsnahen Ideen einer Materialveränderung durch technische Anbindung an den Computer beschrieben wird.

11

Fragestellung, Material und Methodik

Die Überlegungen zu dieser Arbeit gehen auf diverse Einflüsse und Kunstwerke zurück, die vor allem das Interesse des Autors der vorliegenden Arbeit am Verhältnis des menschlichen Körpers und technischer Objekte weckten. Zu nennen ist beispielsweise der besprochene Body Art und Performancekünstler Stelarc mit seinen Werken und seinem Manifest. Vor allem Claudia Benthiens Arbeit zur Kulturgeschichte der Haut1 und ihr Verweis auf eine Teleberührung waren es, aus denen sich Gedanken entwickelten, was genau haptische Kommunikation sein kann oder ob sie im Vergleich zu audiovisuellen Signalen stets diffuser zu erklären ist. Der Medienkünstler Ståle Stenslie erregte nicht nur durch seine haptischen Werke Aufmerksamkeit, sondern machte mit seiner Dissertation2 einen Schritt in der Analyse der (virtuellen) Berührung von Technik. Seine strukturierte Vorgehensweise hat einen wichtigen Einfluss auf die vorliegende Arbeit. Durch die künstlerischen Arbeiten und wissenschaftlichen Überlegungen der Medienkünstler Christa Sommerer und Laurent Mignonneau entwickelten sich schließlich nicht nur die Fragen, welche Formen Haptik in der Medienkunst annehmen können und welche haptischen Interfaces die Computergeschichte überhaupt hervorgebracht hat, sondern es wurde darüber hinaus deutlich, wie die Berührung ohne technische Funktion ebenfalls Bedeutung haben kann: Wo wurde Haptik interaktiv integriert und wo ist Haptik nicht interaktiv, aber dennoch von werkimmanenter Bedeutung? Die Gedanken zu Formen haptischer Interfaces und der Bedeutung der Berührung im Allgemeinen durchziehen die Fragen des Einflusses auf Wissenschaft und Technologie auf die Kunst. Künstler arbeiten mit Wissenschaftlern (gemeinsam), übernehmen Methodiken oder verarbeiten sie. Dazu lieferte Susanne Witzgalls Dissertation zur »Kunst nach der Wissenschaft«3 einen besonderen Beitrag. Die in der vorliegenden Abhandlung einbezogenen Arbeit werden als haptisch orientierte Medienkunstwerke verstanden, die sich als kreativer Kommentar, hinterfragende Inanspruchnahme der in der zeitlichen Entstehung gegenwärtigen Technik oder Einbezug zur Erschaffung einer dem Benutzer körperlich nahen 1 2 3

Benthien, 1999. Stenslie, 2010. Witzgall, 2003.

14

Haptik am User Interface

Atmosphäre kunsthistorisch und medienwissenschaftlich ausgezeichnet haben. Die Darstellung innerhalb der Medienkunstgeschichte konzentriert sich dabei auf die Werke, die indirekt oder direkt haptische Sinnlichkeit mit Hilfe technischer Objekte thematisieren. Die Abhandlung erfolgt dabei chronologisch ohne damit andeuten zu wollen, es gäbe eine aufeinander aufbauende Weiterentwicklung von einer künstlerischen Idee zur nächsten oder von Künstler zu Künstler. Das haptisch interaktive Medienkunstwerk wird durch Kunstwerke als auch künstlerische Handlungen verkörpert, die haptisch wahrnehmbare Objekte integrieren. Das Objekt ist durch technische Teile aufgebaut, das sowohl analog/mechanisch als auch digital sein kann. Auch eine Kombination von analog/mechanisch und digital ist möglich. Stenslie weist in der Frage nach der Gegenüberstellung der Begriffe »analog« und »digital« in der Medienkunst auf die Bedeutung von Fehlern im Sinne eines Imperfektionismus hin, da »analog« oft damit in Verbindung gebracht wird, um im gleichen Atemzug den Perfektionismus bis zum kleinsten Pixel in der digitalen Kunst hervorzuheben.4 Doch gerade in Bezug auf die Haptik in der Medienkunst kann nicht zwischen analoger und digitaler Technik getrennt werden, da sich beide Elemente im Realitätsbezug der Interfaces bedingen. So schreibt auch Stenslie: »That can be anything from an ›analogue‹ switch to a lighting system to loudspeakers to the human user. Touch in particular is an embodied and ›analogue‹ experience.«5 Welches Verhältnis zeigen haptische Medienkunstwerke in Bezug auf perfektes oder bewusst imperfektes Design und den Umgang mit Fehlern oder unkontrollierbaren Zufälligkeiten? Und wie werden analoge und digitale Elemente im einzelnen Werk bewertet? Die zu untersuchende Interaktion findet durch Berührung des Benutzers statt, wobei diese noch durch andere Sinne erweitert werden kann. Die Verarbeitung der Berührung führt wiederum zu einem Feedback des Kunstwerks als eine haptische Sensation. Der Künstler muss die Interaktion am Kunstwerk demnach aktiv zur Vervollständigung des Kunstwerks gewollt haben, eine rein konzeptionelle Möglichkeit zur Interaktion ist kein vollständig haptisch interaktives Medienkunstwerk, da der performative Moment des Berührens fehlt. Im Fokus der Analyse steht dabei die haptische Sensation des Benutzers am Material, die durch ihre nötigen technischen oder konzeptionellen Mittel des haptisch interaktiven Medienkunstwerks näher beleuchtet werden soll. Am Interface oder am haptischen Objekt, das berührbar ist, repräsentiert das Material Informationen. Das technische Objekt »Interface« ist dabei eingebettet in künstlerische Rahmenbedingungen, deren Wechselwirkungen zueinander betrachtet werden sollen. Wie sind die angesprochenen Einbettungen der Haptik und ihre möglichen illusionistischen Ausrichtungen zu bewerten? An welcher Stelle wird der ganze »tech4 5

Ebd., S. 110. Ebd.

Fragestellung, Material und Methodik

nologische Eisberg« sichtbar oder geben haptische Interfaces nicht nur vor, man käme der Technik wahrnehmbar näher? Tatsächlich verstärkt die Abgrenzung an der Oberfläche durch die Vorgabe einer »Natürlichkeit«, die, wie beim grafischen Desktopinterface und seiner Symbolik, die Datenverarbeitung nur noch mehr versteckt. Dabei soll auch das Verhältnis des haptischen Interfaces mit Materialien geklärt werden, die nicht direkt dem technischen Feedback des zugrundeliegenden mechanischen oder digitalen Systems durch Druck, Temperatur, Vibration oder weiteren zu definierenden Oberflächenveränderungen dienen. Diese Analyse wird zeigen, welches Verhältnis das nichtkünstlerische Objekt »Interface«, im Rahmen einer rein technischen Nutzung in Experimenten von Wissenschaft und Industrie, und zur Nutzung des Interface als künstlerisches Objekt hat. Welche Rolle spielt dabei der tatsächliche »Moment of Touch« des Benutzers? Dieser Fokus auf den Moment der Wahrnehmung des Benutzers am Interface scheint sich im ersten Schritt der Analyse auch einer trennenden Einteilung in künstlerischer oder nichtkünstlerischer Anwendung zu entziehen. Haptik in der Medienkunst ist objektbezogen, dem Moment verhaftet, materialinteressiert, benutzer- und somit körperorientiert, potentiell installativ und räumlich zu denken; ob sie inhaltlich nur am sinnlichen Erlebnis oder an weitergreifenden Diskursen gebunden ist, ist zu diskutieren. Der Medienwissenschaftler Robert Simanowski bemerkt zum Verhältnis von erlebtem Moment und Interpretation des interaktiven Kunstwerks: »Ziel ist vielmehr, die ästhetische Erfahrung nicht in der begriffslosen Ereignishaftigkeit des Hier und Jetzt enden zu lassen, sondern gerade im Versuch der Deutung zu einem gesteigerten Bewusstsein von Körperlichkeit in der Gegenwart zu kommen; Ziel ist das reflexive Sprechen über die (körperliche) Erfahrung.«6 Damit tritt Simanowski der Kritik des Technik nutzenden Kunstwerks als Spielerei für die Benutzer entgegen und beschreibt die zweistufige Erlebnismöglichkeit: Erstere ist die reine Teilhabe am Werk, am erlebten Moment der Bewegung des eigenen Körpers und an der Aktion/Reaktion des Werks, und zweite ist dessen mögliche Deutungsebene.7 Dabei beschreibt der Autor den Kampf zwischen gedankenlosen Rezipienten und denen, die den Sinn eines Kunstwerks in seinem Dasein als Denkanstoss sehen und im Umkehrschluss dann Kunstwerke, die erst einmal rein ästhetische Erlebnisse sein sollen, verachten: »Es liegt beim Publikum selbst, ob es sich ›nur‹ der materiellen Intensität eines Werks aussetzt oder auch der Herausforderung seiner Deutung stellt.«8 Diese zwei Stufen des Sinnerlebnisses und der

6 7 8

Simanowski, 2012, S. 170. Ebd., S. 258. Ebd., S. 264.

15

16

Haptik am User Interface

Sinnsuche sollen allerdings in der vorliegenden Arbeit keine voneinander getrennten Phänomene sein, die ergründet werden. Vielmehr soll das wissenschaftliche und künstlerische Mehr aus dem Sinnerlebnis aufgezeigt werden, was wiederum auch die reine Interaktion um ihrer Interaktion willen zu einem Akt der Wissensbildung in seinem fortlaufenden Prozess zu einer Möglichkeit der Interpretation macht, wie Simanowski in seinem eigenen Buch am Ende noch einmal betont: »[…] dass die ästhetische Erfahrung sich nicht im Fasziniert-Sein erschöpft, sondern, wie unter dem Begriff der Doppelcodierung erörtert, von der atmosphärischen (immersiven, empfänglichen, körperlichen) Wahrnehmung zur (distanzierten, analytisch-reflexiven) artistischen voranschreitet.«9 Der Tendenz zur Dematerialisierung in den Künsten, wie sie Lucy Lippard besonders bezogen auf die Konzeptkunst, aber auch im Allgemeinen aufgeworfen hat,10 widerspricht die haptisch interaktive Medienkunst mit ihrem Fokus auf Objekt und Interface, entzieht sich aber dennoch nicht sofort Lippards Analyse. Doch auch schon der Beschreibung der digitalen, virtuellen Welt als Gegenpol zur Realität und der damit einhergehenden Abschreibung einer Materialhaftigkeit setzt beispielsweise der Künstler Ståle Stenslie entgegen: »Virtual realities and telepresence can be experienced as if they really do not exist. This is not so. Virtual worlds do physically exist. If not as really real worlds, at least as physically and electronically measurable phenomena. Everything that can be experienced around a computer is the result of some physical conditions.«11 Stenslie betont dabei die körperliche Inbezugnahme des Benutzers, somit die Körperlichkeit virtueller Welten in Form von Daten. Henri-Pierre Jeudy relativiert die Dematerialisierung hingegen nur, indem er die Auflösung des Objekts mit der gleichsamen Vermehrung der verknüpften Datenebene beschreibt: »Die Beziehung zwischen Objekt und dem Bild bleibt innerhalb der Grenzen zwischen der Aufrechterhaltung einer symbolischen Ordnung einerseits und der Entwicklung einer Kommunikationsordnung, die allmählich auf jede symbolische Form verzichtet. Einerseits vermehren sich in den Museen die Orte für die Ausstellung der Objekte über die Zeit hinweg. Andererseits bewirken das Anlegen von Daten, die Verteilung der Information und die Kommunikationsnetze eine relative Auflösung des Objektes und seiner Materialität. Doch diese beiden >Sphären< entfalten sich wie in einem Spiegelbild gleichzeitig.«12

9 10 11 12

Ebd., S. 282. Lippard, 1973. Stenslie, 2010, S. 127. Jeudy, 1991, S. 171.

Fragestellung, Material und Methodik

Der Dematerialisierung entgegen bis hin zu gewissermaßen einer Rematerialisierung in den Künsten und den Medien spricht auch der Gedanke, die Haptik als performative, prozessuale Erscheinung eines Moments anzusehen. Er ist somit künstlerisches Ausdrucksmittel: »The haptic as a ›material‹ for artistic experiences is a literally barely touched dimension and represensts a potential for the production of new kinds of expressions and products.«13 Die Taktilität ist der gern gebrauchte Begriff um die Berührung in den Künsten zu beschrieben, bezieht sich dabei aber auf eine passive Wahrnehmung, wie noch erörtert wird. Erst die Betrachtung der Haptik mit Einbezug von Druck, Schmerz, Temperatur oder Vibration stellt eine intensive Beschäftigung mit dem Körper dar. Diese Beschäftigung wird in Gesellschaft und Kunst als Rückkehr des Körpers innerhalb eines technologischen Kontextes erkannt oder gar gefordert. Der Diskurs der Dematerialisierung oder der Entkörperung durch Computerisierung oder Virtualität ist gleichermaßen auch die Forderung nach mehr körperlichem Bewusstsein. Die Frage ist somit, wo dieses Bewusstsein spürbar wird und inwieweit es aus der Sicht des virtuellen Objekts oder der künstlichen Umgebung die Berührung als technische Erweiterung zu sehen ist. In der vorliegenden Arbeit werden die Werke nicht nur als Kunstobjekt verstanden, sondern auch im wissenschaftlichen Rahmen der Künstler verortet, die von sich selbst- oder fremdbeschrieben als Künstlerwissenschaftler sprechen. Somit werden die hervorgebrachten Materialien dieser Künstlerwissenschaftler sowohl auf künstlerischer als auch auf forschender Ebene ernst genommen. Ein weiteres Ziel dieser Arbeit ist es, den wissenschaftlichen Gehalt in der künstlerischen wie auch theoretischen Auseinandersetzung anhand der thematischen Orientierung auf die Haptik zu klären: Welches Wissen wird durch die haptische Erfahrung geschaffen? Hinterfragt werden generelle Klischees über künstlerische und wissenschaftliche Arbeiten: die künstlerische Arbeit als subjektiv, kreativ, fokussiert auf ein (präsentier- und verkaufbares) Endprodukt und das Werk als reine Ausführung der Idee. Wissenschaftliche Arbeit hingegen sei objektiv und an der Darstellung von Hypothesen, sowie der Beschreibung der Vorgehensweise orientiert. Evaluation und Beweise würden als reine Mittel wissenschaftlicher Prozesse verstanden, sowie dem »Werk« bzw. Endprodukt als Mittel dieses Arbeitsprozesses inhärent. Die Auseinandersetzung der Künstlerwissenschaftler bezieht dabei einzelne Kunstwerke mit ein, die als abgeschlossenes Werk betrachtet werden müssen, als Schritt im Œuvre des Künstlers, wie auch als ein eigener Forschungsteilbereich. Dabei müssen sowohl die ausgewählten Kunstwerke in technischem Aufbau und möglicher interaktiver Rezeption betrachtet werden, als auch die theoretischen Überlegungen der Künstler. Wichtig ist dabei die Frage, in welcher Form und mit 13

Stenslie, 2010, S. 261.

17

18

Haptik am User Interface

welchen Materialien ihr haptisches Werk als Forschungsinteresse in den Diskurs eingebracht wurde. Hier machen Vorarbeiten und Skizzen, Manifeste, eigene wissenschaftliche Abhandlungen und veröffentliche Literatur zum Thema unter Einbezug der eigenen Werke, aber auch ihre Einbettung in die Kunstgeschichte eine selbstreflexive Aussage über den Künstler und seine Arbeit selbst. Diese primären Materialien sollen die Arbeitsweise dieser Künstlerwissenschaftler beleuchten, die nicht nur wissenschaftliche Methoden künstlerisch verarbeiten, sondern sich selbst als kreative Forscher wahrnehmen. Sekundäres Material in Form von Monografien zum Thema Haptik, über die Künstler oder ihre Werke sowie Ausstellungskataloge und Formen wissenschaftlicher Betrachtung anderer Wissenschaftler werden eine weitere Perspektive auf die Künstler ermöglichen. Ebenso werden digitale Veröffentlichungen auf Websites miteinbezogen, die in der Medienkunst und ihrem Teilbereich der digitalen Kunst zur vernetzenden Forschungsplattform von Medienkunstwissenschaftlern avancieren konnten. Eine zeitliche Einbettung der Kunstwerke und ihr Bezug zur gegenwärtigen Entwicklung haptischer Technik erfordert nicht nur eine Beschreibung der Haptik in der Computergeschichte. Auch spielt die Suche nach vermutlichen Kontaktmöglichkeiten der Künstler mit Wissenschaftlern auf den Konferenzen eine Rolle, die thematisch sowohl den jeweils gegenwärtigen, wie auch zukunftsorientierten Stand von Technik und Medien behandeln und somit Wissenschaft, Wirtschaft wie auch Kunst einbeziehen. Da sich die Medienkunst meist dem gängigen Kunstmarkt und seiner verkaufsorientierten Ausrichtung der Malerei, klassischer Skulptur und Plastik sowie der Fotografie entzieht, entwickelte sich ein anderes diskursives Netzwerk. Der theoretische und praktische Austausch ließ jährliche wiederkehrende Konferenzen und Projekte entstehen, von denen nur einige nun genannt werden, deren unterschiedliche inhaltliche Gewichtungen und Publikationen aber in den Blick genommen werden müssen: die Transmediale in Berlin,14 die Ars Electronica in Linz (Österreich) und ihrer externen Projektbereiche in Berlin,15 die CHI (Conference on Human Factors in Computing Systems)16 in diversen Städten in den USA, unter anderem in Georgia (1997) oder Los Angeles (1998), TEI (International Conference on Tangible, Embedded and Embodied Interaction) in wechselnden Städten der Welt wie zum Beispiel Kingston (2012) oder München (2014),17 das Sónar (International Festival of Advanced Music),18 das jeweils an mehreren Orten weltweit stattfindet, wie so 2014 in Tokyo und Kapstadt, Tagungen der TICC (Tokyo

14 15 16 17 18

www.transmediale.de www.aec.at https://chi2018.acm.org www.tei-conf.org www.sonar.es

Fragestellung, Material und Methodik

International Communication Committee) in Tokyo19 oder die Münchner Unpainted (seit 2014).20 Die Trennung der Arbeit in einen künstlerisch orientierten Teil und eine technisch orientierte Geschichte ist der Übersichtlichkeit der behandelten Personen und Projekte geschuldet. Wie sich aber vor allem an den genannten Konferenzen zeigt, sind die Anknüpfungspunkte zwischen Künstlern und Wissenschaftlern dort besonders stark vorhanden. Die Nutzung der digitalen Archive der Konferenzen und Veranstaltungen zeigt wiederum einen wichtigen Punkt in der zeitgenössischen Arbeit an der Schnittstelle von Technik und Kunst: Forschungswege und -erfolge sind meist doppelt als Einzelobjekte wie Bücher publiziert, als auch in digitaler Form als Archive festgehalten. Diese Archive bieten variable Formen der Nutzung an und können in verschiedene Bereiche ausgebreitet werden. Beispielhaft kann hier das Archiv21 der Ars Electronica genannt werden, das jährlich mit neuen Information zu den Einzelveranstaltungen und -vorträgen, zu Einzelprojekten, zum jährlich wechselnden Gesamtthema und zur Vergabe des eigens entwickelten Kunstpreises Goldene Nica gefüllt wird. Es wird somit zum Schmelzpunkt herausragender Personen und Projekt der Medienkunst und Technikforschung, aber gleichzeitig auch zu einem Anlaufpunkt der medienkunsthistorischen Forschung. Wie auch der Verweis auf Künstler, Studien und Veranstaltungen zeigt, bezieht sich das Material Stenslie zufolge meist auf eine »western, white, technologicallymarked culture«,22 worin er auch sein eigenes Werk verortet. Diese Einordnung kann noch durch eine Ausrichtung auf vorwiegend männliche Protagonisten ergänzt werden. Diese Punkte sollen dabei allerdings nicht als bewusst eingrenzend verstanden werden, vielmehr beschreiben sie die kleinsten gemeinsamen Teiler des genutzten Materials unterschiedlichster medialer Formen. Eine ausweitende Perspektive auf künstlerisches und wissenschaftliches Material, das abseits der Konzentration auf die USA und Europa existiert, beschränkt sich auf die technikulturelle Ähnlichkeit und Zusammenarbeit zu und mit Japan. Zusammenfassend stellen sich folgende Fragen: Wie sieht die (Medien)kunstgeschichte der Haptik aus? Welche Bedeutung hat die Rezeption der Berührung in der Kunst und in der technischen Nutzung von Dingen, also in Kunst, Technik und wissenschaftlicher Forschung? Die Fragestellungen dieser Arbeit zielen somit auf verschiedene Wege einer Rezeptionsforschung der Haptik ab: 1

19 20 21 22

Wie ist die künstlerische Verhandlung mit der körperlichen Wahrnehmung der Dinge, die den Menschen umgeben? Somit wird auch gefragt: was sagt Haptik

www.tokyo-icc.jp www.unpainted.net http://archive.aec.at Stenslie, 2010, S. 106.

19

20

Haptik am User Interface

2

3

mit besonderem Augenmerk auf ihre Verhandlung in der Medienkunst über die Realität aus? Welche Bedeutung hat die Berührung in der fortschreitenden Entwicklung von mechanischen Maschinen und in der Folge von digitalen Maschinen und ihren Interfaces zur Bedienung virtueller Welten angenommen? Wie hat die Bedeutung von Design in Bezug auf die körperliche Interaktion mit der Maschine einer Wandlung hin zum benutzerorientierten Design vollzogen? Welche Kenntnisse erlangt die wissenschaftliche Forschung über die Haptik des Körpers mit ihren experimentellen haptischen Maschinen bzw. technischen Experimentalanordnungen?

Die Geschichte der Haptik in der (Medien)kunst ist, wie die Geschichte aller Dinge, Phasen unterworfen, die es zu definieren gilt. Dabei sind diese Phasen nicht klar voneinander abzugrenzen, sondern vielmehr ineinander verflochten: •

•

•

Phase 1 scheint eine Emanzipation der Berührung von ihrer Tabuisierung in der Kunst zu sein. Damit ändern sich hier auch die Rolle des Rezipienten oder Benutzers und das Verhältnis von Kontrolle des Künstlers und Freiheit des Benutzers. In einer zweiten Phase steht der Einbezug von neuesten medialen Möglichkeiten im Vordergrund. Sie ist eine Entdeckerreise und Aneignung von neuer Technik, aber auch von neuen künstlerischen Ausdrucksmöglichkeiten. Eine dritte Phase könnte dann vom Verständnis der neuen haptischen Möglichkeiten und ihrer Einflüsse auf die Wahrnehmung geprägt sein, aber auch das Verständnis der Unterschiede der Rezeption von haptischer orientierter (Medien)kunst im Gegensatz zu beispielsweise audiovisueller Kunst.

Eine erste Vermutung, die es zu bestätigen gilt, ist, dass sowohl die künstlerische Nutzung der Haptik, aber auch ihre medienwissenschaftliche und kunsthistorische Bedeutung innerhalb der Forschung noch nicht über Phase 2 hinaus sind. Wie ist also das Verhältnis von Inhalt und technischem Werkzeug im Sinne Robert Simanowskis? »Die Perspektive, je weniger Inhalt ein interaktives Objekt bereithält, desto mehr ist es Werkzeug, ist dahingehend zu präzisieren, dass die Schaffung des Inhalts als bewusster Prozess erfolgen muss, während welchen zum Beispiel die Interakteure sich als Virtuosen in der Handhabung des Werkzeugs oder Instruments beweisen können.«23

23

Simanowski, 2012, S. 160.

Fragestellung, Material und Methodik

Die Geschichte der Videokunst zeigt beispielsweise, dass zunächst die technische Entwicklung des Closed Circuit, der Möglichkeit des sofortigen in real-time ausgeführten Rückwurfs des aufgenommenen Bildes durch die Videokamera auf ein bildübertragendes Medium wie einen Bildschirm, künstlerisch verhandelt wurden. Ziemlich schnell entstanden aber auch kreative Brüche durch beispielsweise mögliches Time Delay. Verzögerungen und Hindernisse erzeugten eine Auseinandersetzung mit dem Einfluss auf die Betrachterrealität in Bezug auf Raum, Zeit und Körperbewegung und dem Verhältnis von Wahrnehmung der Realität und aufgenommenen bewegten Abbild dieser Realität.24 Der Betrachter wird sich selbst vorgeführt, dennoch anders als gekannt: »Wir alle kenne diese verwaschenen, schwarzweißen Videoaufnahmen. Sie wirkten wie Spiegelbilder, sahen aber nicht aus wie wir.«25 Wird die Haptik analog dazu als eben nicht audiovisueller Kontaktpunkt zur Realität, sondern als fühlende Möglichkeit wahrgenommen? Wird sie somit künstlerisch ebenso differenziert verhandelt oder, so die Hypothese, werden nach wie vor hauptsächlich noch die Möglichkeiten von haptischen Interfaces als Berührungspunkte abgearbeitet und noch nicht die Möglichkeiten veränderter, noch nicht bekannter, gar illusorischer haptischer Sensationen? Ist das haptische Spiegelbild noch zu verzerrt, um zu erkennen, dass neue haptische Narrationen oder Illusion wichtiger sind als die Perfektion des Spiegelbilds selbst? Welche Verhandlungsebenen der Haptik stecken in der Geschichte medienbezogener Kunst? Wo ist Haptik real, analog, mechanisch und wo wird sie zusätzlich mit digitaler Funktion kombiniert?

24 25

Siehe dazu auch: Kacunko, 2004. Scott/Hahne/Ascott/Elsen, 2003, S. 17.

21

1

Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

Eine Beschäftigung mit (medien)künstlerischen Arbeiten, die theoretisch, künstlerisch und praktisch in unterschiedlichsten Variationen haptische Wahrnehmung nutzen, fordert eine Definition und Analyse ebendieser Wahrnehmung, um die Grundfrage angemessen zu beantworten: Wie wird haptische Wahrnehmung des Menschen definiert und wie machen Künstler dieses anatomische Wissen für ihre kreative Arbeit fruchtbar? »Through haptics, we obtain information about objects by actively manipulating them, with covariant cutaneous and kinesthetic input. […] Touch may involve ways of perceiving and representing reality that many people once thought were the exclusive preserve of vision or audition. Only in recent history have people tried to use touch as a channel for reading, speech signals, pictures, and music (via vibration).«1 Das Interesse an der haptischen Wahrnehmung hat geohistorisch viele Richtungen, sei es die chinesische Vorstellung des menschlichen Körpers als Analogie zum Universum oder die indische Philosophie und ihrer Assoziation der Berührung als Wind und somit als Element der Natur und somit der Haut als Treffpunkt zwischen Mensch und Natur.2 Aristoteles beschreibt in De anima jeden Wahrnehmungssinn, wobei die Berührung für ihn wahrlich spürbar ist und im Gegensatz zu den anderen Sinnen den direktesten Anknüpfungspunkt zu den Elementen der Natur besäße.3 Bereits im 13. Jahrhundert zog Albertus Magnus erste Verbindungen zwischen der haptischen Wahrnehmung und den Nerven im Körper.4 Für Philosoph und Theologe Thomas von Aquin war der Berührungssinn gar der erste Sinn als Basis der anderen.5 1 2 3 4 5

Heller, 1991, S. 1. Der Autor verweist hier auf: Gibson, J.J.: The senses considered as perceptual systems; Boston, 1966. Grundwald, 2008, S. 3. Ebd., S. 4. Ebd., S. 4f. Ebd., S. 5f.

24

Haptik am User Interface

»Following Aristotle’s praise of the relative reliability of touch in situations where the other senses may be deceived, it is not surprising that, in the Bible, for example, touching and feeling are the most effective ways of convincing ourselves of the real existence of a thing or phenomenon (cf. Luke 24: 38-39, John 20: 27). Touching consequently becomes the simplest and most basic form of communion with the sacred.«6 Die breite Bedeutungszuschreibung in Philosophie, Religion und deren bildlichem Ausdruck in der Kunstgeschichte folgten im 18. Jahrhundert auch das medizinische und gar das pädagogische Interesse einer Lehre der Sensitivität.7 Erste physiologische Experimente wurden schließlich Mitte des 19. Jahrhunderts von Ernst Heinrich Weber gemacht, der Entdeckung und Interesse einer Stimulation von Rezeptoren unterschiedlicher Funktionen und somit die Körperfunktion der Nerven aufzeigte. Das Weber’sche Gesetz beschreibt überhaupt erst die Möglichkeit, zwei Reize zu unterscheiden, wobei die Wahrnehmungsmöglichkeit der Unterscheidung abnimmt, wenn die Intensität zunimmt.8 Der Schwede Magnus Gustaf Blix und der Deutsche Alfred Goldschneider entdeckten in den 1880er Jahren durch Versuche mit elektrischer Stimulation schließlich die Genauigkeit der Rezeptoren als unterschiedliche Druck- und Temperaturpunkte der Haut.9 Max von Frey fügte um die Wende ins 20. Jahrhundert den haptischen Reizen neben Druck schließlich noch den Schmerz, Wärme und Kälte hinzu, wobei David Sinclair Mitte des 20. Jahrhunderts versuchte, Rezeptoren verschiedenen Eigenschaften zuzuordnen, was sich zunächst als schwierig erwies, da viele Rezeptoren auf mehrere Stimuli reagieren.10 Géza Révész forschte in den 1930er Jahren an der räumlichen haptischen Wahrnehmung, um sie von der audiovisuellen Wahrnehmung zu unterscheiden: »Dynamic touch (touching with a moving hand) was deemed necessary for object recognition of form, or material […]. Revesz thought that haptic recognition of objects is not immediate, as it is in vision. We see the whole, and only then notice the parts. However, in haptics, the construction of the whole is a cognitive or intellectual process that follow perception of parts […].«11 Er kam dabei allerdings auch zu dem Schluss, dass blinde Menschen nicht zwischen horizontal und vertikal unterscheiden könnten. Sowohl David Katz schon in den 1920er Jahren als auch James J. Gibson ab den 1960er Jahren betonten nicht nur

6 7 8 9 10 11

Ebd., S. 5. Ebd., S. 6f. Heller, 1991, S. 12. Grundwald, 2008, S. 10. Heller, 1991, S. 14. Ebd., S. 15.

1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

die Erforschung der passiven Eindrücke, sondern auch die Wichtigkeit der körperlichen Aktivität und unterschieden beispielsweise in der taktilen Wahrnehmung die Bewegung (der Hand) und die Stärke des Reizes für das Erfühlen von Textur.12 Als ein Teil der sinnlichen Wahrnehmung des Menschen wird das Erfühlen von Größe, Kontur, Oberflächentextur und Gewicht von Objekten als Haptik oder Sensibilität bezeichnet: »Touch has been defined as the variety of sensations evoked by stimulation of the skin by mechanical, thermal, chemical, or electrical events. Even Aristotle, in dividing our contact with the world into the five senses, was doubtful that ›touch‹ described but a single sense. Because there is such a variety of sensations aroused by stimuli interacting with the skin, it might be more appropriate to describe this modality as the ›senses of touch‹.«13 Durch die Rezeptoren (spezielle Nervenzellen, die aktiviert werden, wenn sich die Umgebung der Zelle verändert)14 der Haut, ihrer Oberflächen- und ihrer Tiefensensibilität, die es erlaubt Reize aus dem Körperinneren wahrzunehmen, interpretiert das Gehirn mechanische Reize wie Druck, Berührung, Vibration, Temperaturen und Schmerz. Die Haut besteht aus drei Schichten, die die Sehnen und Knochen des Menschen bedecken: die äußere Schicht der Epidermis (Oberhaut), darunter die Dermis (Lederhaut) und die Subcutis (Unterhaut), die mit Nerven, Blutgefäßen und Bindegewebe an die Sehnen und Knochen anschließt.15 Die in der Haut angesiedelten Rezeptoren finden sich in der Dermis, also in der Lederhaut in der Mitte, bestehend aus Fasern ohne Fettzellen, die an der oberen, der Epidermis zugewandten Seite unregelmäßig geformt ist und sowohl aus Gefäßen als auch Rezeptoren besteht. Die Unregelmäßigkeit der Cutisoberfläche bedingt eine Verzahnung mit der Epidermis. Diese besteht ihrerseits aus vielen kleinen Lagen, die an verschiedenen Stellen des Körpers unterschiedlich dick sein können, denn je nach Beanspruchung und benötigtem Schutz des Körpers nach außen kann sich diese Epidermis verdicken. Sie besteht zudem aus verschiedenen Drüsen, wie den Talgdrüsen oder den Schweißdrüsen, die durch einen Säuremantel eine weitere Schutzschicht für den Körper bilden. Die untere Schicht der Subkutis besteht aus Gefäßen, Nerven und Fettgewebe.

12 13 14 15

Ebd., S. 14ff. Cholewiak/Collins, 1991, S. 23. Schmidt, 1985, S. 82. Mörike, 1989, Kapitel 13.1 (Buch ohne Seitenangaben).

25

26

Haptik am User Interface

1.1

Somatosensorik

Die haptische Wahrnehmung wird in der Biologie bezogen auf die Sinneszellen des Körpers der Somatosensorik, untergeordnet (auch: somato-viszerales System),16 dem Zusammenspiel von Haut und Eingeweide.17 Diese Sinneszellen erfahren die zuvor erwähnten Reize und werden nach Sir Charles Sherrington in drei Kategorien eingeteilt:18 • • •

Exterozeption, dessen sensorische Prozesse den menschlichen Körper Reize der Außenwelt weiterleitet, auch Oberflächensensibilität genannt, Propriozeption, die die Stellung der Körperteile erfahren lässt, auch Tiefensensibilität genannt, und Interozeption, die das Innere des Körpers spüren lassen (auch: viszerale Sensibiliät).19

Diese drei Bereiche greifen für die somatosensorische Wahrnehmung ineinander, werden aber vom Menschen sowohl bewusst als auch unbewusst wahrgenommen. Beispielsweise können die interozeptiven Sinneszellen den Blutdruck wahrnehmen, was der Mensch allerdings nicht direkt spürt. Exterozeptive Reize, wie die Wahrnehmung von Schmerz bei extremer Hitze oder Kälte nimmt der Mensch hingegen sofort wahr. Zudem lässt sich die qualitative Wahrnehmung auch steuern, wenn man sich auf einen bestimmten Reiz konzentriert. Diese Aufmerksamkeit auf ein Objekt ist schließlich eine aktive Leistung des Körpers und wird von Psychologen auch als Orientierungsreaktion bezeichnet.20 Relevant für eine spätere Analyse haptischer Medienkunst ist die Oberflächensensibilität, die durch die in der Haut verteilten Rezeptoren definiert wird. Sie soll im Folgenden genauer betrachtet werden.

1.2

Rezeptoren

Der mechanische Hautsinn des Ertastens eines Objekts gibt Auskunft über die Form und das Material, über die Art der Oberfläche sowie über den Ort in seinem Bezug zum Körper.21 Berührungsrezeptoren der Haut (behaart und unbehaart) nehmen ausschließlich Bewegungen in ihrer Nähe war, nicht aber die In16 17 18 19 20 21

Schmidt, 1985, S. 93. Campenhausen, 1993, S. 25. Ebd. Schmidt, 1985, S. 37. Campenhausen, 1993, S. 6. Ebd., S. 27ff.

1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

tensität.22 Unterschieden wird in Thermorezeptoren für Wärme und Kälte, Chemorezeptoren für chemische Stoffe, Nozirezeptoren, die Gewebebeschädigung sowie extreme Hitze, Kälte und Quetschungen aufzeigen und in Mechanorezeptoren, die schließlich die Intensität einer Oberfläche oder auch den Druck durch eine Verschiebung von Hautschichten erkennen. Sie erfassen Informationen über Druck, Berührung, Vibration, Spannung und Dehnung. Die Genauigkeit der Hautstelle, die dem Druck widerfährt, hängt dabei wiederum von der Qualität der Aufmerksamkeit des Rezipienten ab, aber auch von der Intensität des Reizes und der Empfindlichkeit der Körperstelle, welche wiederum abhängig von der Anzahl der Rezeptoren ist. Gleiches gilt für die Empfindung der Temperatur, da der Mensch eine allgemeine Befindlichkeit der Körper- und Außentemperatur hat, bei entsprechender Aufmerksamkeit auf bestimmte Körperstellen aber auch Temperaturen direkt erfühlen kann. Hier greifen die sogenannte Thermorezeption der Temperatur und die Nozizeption der Schmerzwahrnehmung oft ineinander, wenn extreme Kälte oder Wärme die Rezeptoren sehr stark reizen. Nozirezeptoren haben eine sehr hohe Reizschwelle, sie werden erst bei starken Veränderungen, wie Verletzungen der Haut, aktiv. Wie unterschiedlich stark die Empfindungsspezifität einzelner Rezeptoren ist, lässt sich allerdings nur schwer wissenschaftlich überprüfen, da die Rezeptoren durch ihre Nähe so gut wie nie einzeln aktiviert werden können und immer benachbarte Rezeptoren mitgereizt werden.23 Es ist deshalb nur eine grobe Einteilung der Sinnesnervenzellen möglich in diejenigen, die auf eine schnelle Veränderung des Reizes reagieren und solche, die auch konstant andauernde, ohne stark qualitativ veränderte Reizung erkennen. Auch die Frequenzstärke von Vibration auf der Haut gibt Auskunft über die Empfindlichkeit einzelner Hautbereiche. Trotz der Schwierigkeit einer genauen Lokalisierung einzelner Rezeptoren ist eine Kategorisierung auf unterschiedliche Wahrnehmungsbereiche möglich. Die Biologie unterscheidet hier in den beschriebenen Mechanorezeptor, Thermorezeptor, Chemorezeptor und Nozizeptor.24 Die Mechanorezeptoren werden in der Biologie genauer als Merkel-Zellen und Ruffini-Körperchen (Druck), Meissner-Körperchen und Haarfollikelrezeptoren (Berührung) und Vater-Pacini-Körperchen (Vibration) benannt.25 Die Verteilung der Rezeptoren der Mechanorezeptoren im Körper gestaltet sich unterschiedlich. Durch Messungen verschiedener Druck- und Berührungsintensitäten fand man 22 23 24

25

Schmielau, 1987, S. 32. Campenhausen, 1993, S. 33. Schmidt, 1985, S. 37. Schmidt schreibt hier Mechanoreceptor, Thermoreceptor, Chemoreceptor und Noziceptor jeweils mitc statt mit z im Wort Rezeptor. Für eine einheitliche Schreibweise in dieser Arbeit wird dies jedoch nicht übernommen und die Schreibweise Rezeptor genutzt. Ebd., S. 46ff.

27

28

Haptik am User Interface

heraus, dass sich die sogenannten Tastpunkte in größerer Zahl und Sensibilität beispielsweise an den Fingerkuppen oder den Lippen finden lassen, aber weniger am Rücken oder den Oberschenkeln.26 Betrachtet man zum Beispiel die Hand genauer, so ergeben sich unterschiedliche Empfindungsschwellen an den Fingerkuppen im Vergleich zur Handinnenfläche. Dies kann mit Hilfe der Eindrucktiefe in Mikrometer gemessen werden. Sie beschreibt, wie intensiv und tief das Messgerät gedrückt werden kann oder muss, bis eine Berührung wahrgenommen wird. Berührungen verspüren Probanden dabei an den Fingerkuppen deutlich schneller als in den Handinnenflächen. Gemessen anhand der Empfindungsschwelle ist die Sensibilität demnach an den Fingerkuppen höher als in anderen Handarealen. Wichtig für die Wahrnehmung einer Berührung ist dabei nicht nur die Intensität des Drucks und die Sensibilität der exakten Körperstelle, sondern auch die Möglichkeit der Unterscheidung der einzelnen Wahrnehmungen, da sich eine Berührung über ein größeres Hautareal verteilen kann. Zur Messung eines räumlichen Auflösungsvermögens27 werden die unterschiedlichen Berührungsschwellen von zwei berührten Punkten gemessen. Bei der Messung einer simultanen Raumschwelle werden zwei spitze Enden eines Tastzirkels gleichzeitig an nahe Hautpunkte angelegt und die Sensibilität der Berührung gemessen. Hierbei ergibt sich, dass beide Berührungen an der Zungenspitze, den Fingerkuppen und den Lippen exakter in der Entfernung der beiden Punkte zueinander wahrgenommen werden können, als beispielweise in den druck- und berührungsunempfindlicheren Körperflächen von Rücken und Oberschenkel.28 Anders als die Messung der simultanen Raumschwelle wird die sukzessive Berührung wahrgenommen, also das Aufsetzen der beiden Messgeräte nacheinander an zwei Körperpunkten. Diese Berührung, Druck und Entfernung können hier exakter wahrgenommen und differenziert werden, was auch und besonders an der Geschwindigkeit der Nervenweiterleitung der Reize ans Gehirn liegt. Die Schwelle der Vibrationsempfindung wird mit Hilfe einer Stimmgabel als bewusst wahrgenommene Berührung an Körperpunkten gemessen, nämlich der geschlagenen Stimmgabel an Knochen wie Ellbogen oder dem Knie. Die Mechanorezeptoren lassen sich bei gleichbleibendem Druck in drei unterschiedliche Geschwindigkeitskategorien einteilen, nämlich langsam, mittelschnell und sehr schnell, sowie auch eine Unterscheidung in Rezeptoren, die eher Intensität oder eher Geschwindigkeit eines Reizes wahrnehmen.29 Hier muss noch einmal zwischen behaarter und unbehaarter Haut unterschieden werden, da bei behaarter

26 27 28 29

Schmidt, 1985, S. 38. Ebd, S. 41. Ebd., S. 41. Schmidt, 1985, S. 46.

1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

Haut nicht nur die Rezeptoren der Haut beteiligt sind, sondern ebenso Haarfollikelrezeptoren. Die Merkelzellen als Druckrezeptor nehmen konstante Reizung nur langsam wahr, sind dafür aber sensibler für die Druckintensität. Merkelzellen finden sich nicht einzeln, sondern gruppenweise in unteren Hautschichten von unbehaarter Haut. Bei behaarter Haut sind Merkelzellen nicht in Gruppen, sondern einzeln an der Hautoberfläche verteilt.30 Objekte, die nicht senkrecht auf die Haut drücken, werden von den Ruffini-Körperchen wahrgenommen, da sie für Veränderungen in der Dehnung der Haut zuständig sind, beispielsweise bei Bewegungen von Gelenken. Geschwindigkeitsdetektoren wie die Meissner-Körperchen (bei behaarter Haut, wie zuvor erwähnt, Haarfollikelrezeptoren), die in der Lederhaut angesiedelt sind, erkennen die Geschwindigkeit, mit der etwas auf die entsprechende Hautstelle drückt. Vater-Pacini-Rezeptoren als Vibrationrezeptoren geben dem Gehirn Auskunft über sogenannte Rechteckreize oder Schwingungen, das heißt, sie können weder Geschwindigkeit noch Intensität eines Drucks, aber einen veränderten Impuls an der Haut, empfinden.31 Die Verteilung der Merkelzellen, Ruffini-Körperchen, Meissner-Körperchen und Vater-Pacini-Körperchen ist an einer Handfläche unterschiedlich, wodurch sich zum Beispiel die Areale der Handfläche in ihrer Konzentration auf Druckintensität, Geschwindigkeit einer Veränderung an der Haut oder einer Vibration unterscheiden. Das bedeutet, dass die Schwellen, um Reize auszulösen, an verschiedenen Arealen der Handfläche unterschiedlich sind, sodass zum Beispiel die Meissner-Körperchen mit einem niedrigeren Schwellenwert an den Fingerkuppen als an der Handinnenfläche ein Objekt an der Haut erkennen. Im Falle der Meissner-Körperchen wird demnach eine Änderung des Drucks an den Fingerkuppen eher wahrgenommen als an der Handinnenfläche. Auch die Rezeptoren der Tiefensensibilität sammeln Teile der Informationen in der Außenwahrnehmung: »Unsere Raumvorstellungen sind weitgehend geprägt durch visuelle Wahrnehmungen. Aber es gibt viele Eigenschaften unserer Umwelt, die sich besser durch die tastende, d.h. sich aktive bewegende Hand vermitteln lassen. Man denke beispielsweise an Eigenschaften wie flüssig, klebrig, fest, elastisch, weich, hart, glatt, rau, samtartig und viele andere, zu deren Erkennen Tiefensensibilität, Mechanoreception und cutane Thermoreception zusammenwirken. Wichtig ist, daß diese Eigenschaften durch passives Tasten (Auflegen des Gegenstandes auf die unbewegte Hand oder der Hand auf den Gegenstand) schlecht oder überhaupt nicht

30 31

Ebd., S. 47f. Ebd., S. 49f.

29

30

Haptik am User Interface

erfaßt werden können, während bei bewegter Hand es wenig Mühe macht, Struktur und Form zu erkennen.«32 Diese Wahrnehmungsmöglichkeiten der aktiven im Vergleich zur passiven Hand sind auf eine größere Anzahl der zuvor besprochenen Hautrezeptoren zurückzuführen. Obwohl die Rezeptoren der Tiefensensibilität an Gelenken, Muskeln und Sehnen angelagert sind und somit Information über das Innere des Körpers verarbeiten, führen Bewegung dennoch auch zur Aktivierung der Haut und deren Rezeptoren.33 Der Thermorezeptor (auch Warm- und Kalt-Rezeptor) leitet Temperaturinformationen durch Kalt- und durch Warmpunkte in der Haut an das Gehirn weiter.34 Die Thermorezeptoren der Haut dienen auch dem Körper dazu, seine natürliche Temperatur zu halten, beispielsweise durch Anpassung der Hauttemperatur. Eine solche Anpassung kann wiederum zu einer veränderten Wahrnehmung der Außentemperatur führen, obwohl jene konstant geblieben ist. Diese spezifische Wahrnehmung der Haut ist abhängig von der momentanen Hauttemperatur, der Geschwindigkeit, mit der sich die Temperatur ändert sowie der Fläche der Haut, die an der Temperaturschwankung oder -änderung beteiligt ist. Sie wird auch dynamische Temperaturempfindung35 genannt. Die Verteilung der Kalt- und Warmpunkte am Körper ist weder regelmäßig, noch überlappen sich die Punkte. Sowohl die Innen- als auch die Außenfläche einer Hand haben wesentlich mehr Kälte- als Wärmepunkte. Relevant für die Untersuchung von Oberflächen und Materialität ist zudem die folgende Beobachtung: »So empfinden wir kühles Metall mit einer hohen Wärmeleitfähigkeit kälter als ein Stück Holz gleicher Temperatur, weil Holz eine geringere Wärmeleitfähigkeit hat.«36 Demzufolge scheint gerade die Wärmeleitfähigkeit von Objekten die Wahrnehmung des Körpers zu beeinflussen. Die Reizweiterleitung, also die Weitergabe der Information zum zentralen Nervensystem, erfolgt über Nervenbahnen. Erfolgt ein Reiz als eine Veränderung in der Umgebung des Rezeptors, so ändert sich in der Rezeptorzelle das Potential, was wiederum ein Aktionspotential als Startpunkt zur Informationsweitergabe auslöst.37 Die Reizschwelle ist, wie bereits erläutert wurde, für Art und Ort des Rezeptors unterschiedlich. Jede Zelle hat dabei ein Ruhepotential. Ein Reiz ist ein veränderter Status, der sich von diesem Ruhepotential unterscheidet, ein Rezeptorpotiental.38 Dieses Rezeptorpotential nimmt bei lang anhaltendem Reiz ab, sodass

32 33 34 35 36 37 38

Schmidt, 1985, S. 63. Ebd., S. 57. Ebd., S. 65. Ebd., S. 67. Mörike, 1989, Kapitel 14.4.2.3. Schmidt, 1985, S. 3. Ebd., S. 84.

1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

ein Reiz auf Dauer als weniger intensiv wahrgenommen wird. Das Rezeptorotential löst das bereits angesprochene Aktionspotential aus, was wiederum über die Nervenbahnen zum zentralen Nervensystem geleitet wird.

1.3

Ist es noch Taktilität oder schon Haptik?

Ein Wort zur Taktilität: Taktilität als Teil der Oberflächensensibilität findet sich in theoretischen Abhandlungen in der interaktiven Medienkunst als Begriff, wird hier allerdings oft mit der Haptik verwechselt oder ungenau definiert. Der Kunsthistoriker Volkmar Mühleis verweist beispielsweise in Bezug auf die Feinheiten zwischen Haptik und Taktilität auf den Medienwissenschaftler Rudolf Arnheim, wenn er zusätzlich noch die Kinästhesie in die Begriffsdefinitionen mit einbringt.39 Eine haptische Erfahrung sei zu unterscheiden in die Taktilität als Wahrnehmung der äußeren Umwelt, wobei der sprachliche Gebrauch der Kinästhesie auf das Innere des Körpers verweise. Des Weiteren schreibt Mühleis, »aus stilistischen Gründen«40 einen Unterschied zwischen Haptik und Taktilität zu machen. Auch Stenslie betont den Unterschied zwischen Haptik und Taktilität mit Verweis darauf, dass Taktilität die Annahme von mechanischem oder physischem Druck durch die Rezeptoren ist, aktive Bewegungen, Temperatur oder Schmerzempfindungen aber unter Haptik zu subsumieren sind.41 Tatsächlich bezeichnet somit, wie zuvor ausführlich untersucht, Taktilität als Unterbegriff nur ein Teil der Haptik, nämlich die passive (!) Wahrnehmung mechanischer Eindrücke von Druck- und Berührungsempfindungen, somit steht im aktiven Wahrnehmungssinn der Haptik die Taktilität für eine passive Annahme von äußeren Stimuli. Stenslie verweist darauf, dass es eine weitere sprachliche Einteilung in »tactile touch« als passive Berührung gibt, dem gegenüber der »tactual touch« steht, was eine aktive berührende Handlung beschreibt.42 Dies gilt für den englischen Sprachgebrauch, im Deutschen ist diese Unterscheidung nicht üblich, tastbar oder taktil steht hier für eine sowohl mögliche, passive als auch für eine aktive Berührung. »A haptic experience could involve a tactile dimension, but not necessarily.«43 Dies ist besonders wichtig zu erwähnen, um in der Geschichte der Haptik in der Medienkunst eine möglichst exakte, aber oftmals schwierig zu erkennende Unterscheidung zwischen taktiler und haptischer Benutzererfahrung treffen zu können. Denn was die Rezeptoren angeht, kann nach wie vor nicht zwischen aktiver oder passiver Stimulation unterschieden werden, Aktivität oder 39 40 41 42 43

Mühleis, 2005, S. 165. Ebd. Stenslie, 2010, S. 31. Ebd., S. 87. Ebd., S. 31.

31

32

Haptik am User Interface

Passivität verweist hier auf die psychologische Wahrnehmung und das Bewusstsein des Menschen. Taktile Wahrnehmung steht somit in dieser Arbeit (und nicht nur hier) für eine passive oder unbewusste Berührung durch andere Menschen, Objekte und die Umwelt im Allgemeinen. Die haptische Wahrnehmung bezeichnet dagegen eine aktive Wahrnehmung als bewusstes Fühlen seiner Umwelt. »[…] touch is passive when the observer does not move and information is imposed on the skin.«44 Interessant bei der Frage nach dem Verhältnis von aktiver und passiver Wahrnehmung ist in einer nächsten Überlegung die Frage nach aktiven und/oder passiven haptischen Informationen seitens der Objekte und Umgebungen: Werden Informationen seitens des Benutzers aktiv haptisch erfühlt oder passiv und unbewusst wahrgenommen? In welchem Verhältnis steht die Aktivität eines Objekts oder Umgebung dazu? Wird eine Information passiv präsentiert in Form einer Oberflächenstruktur oder werden Information gar aktiv angeboten durch Bewegung, Vibration, Temperaturveränderungen etc.? Sowohl Aktivität als auch Passivität muss demnach sowohl am Menschen wie auch an den technischen Objekten und Umgebungen betrachtet werden.

1.4

An der Oberfläche »When touching objects, contact forces between limbs and objects coexist with limb movement, as when lightly pressing down on a rigid surface while exploring it […]. […], mechanical variables involving the perceiver’s body (hand/limb motion) are related to mechanical variables (contact forces) arising in part from mechanical characteristics of the environment (the surfaces’s rigid material). This interplay between mechanical variables arising from environment and perceiver is an essential characteristic of haptic interaction, and has important roles in haptic perception.«45

Die Struktur von Oberflächen und die Haptik eines Objekts werden verständlicherweise durch die Kombination der Rezeptoren erfahren, denn Wahrnehmung ist nie isoliert und stets Teil einer Vielzahl von Sinneseindrücken: »The hierarchical organization of Klatzky and Lederman further differentiates material properties into texture, hardness (or compliance), and apparent temperature. Texture comprises many perceptually distinct properties, such as roughness, stickiness, and spatial density. Roughness has been the most extensively studied […].Compliance perception has both cutaneous and kinesthetic components, 44 45

Heller, 1991, S. 7. Robles-de-la-Torre, 2008, S. 364.

1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

the relative contributions of which depend on the rigidity of the object’s surface (Srinivasan & LaMotte, 1995).«46 Dies bedeutet, dass ein haptisches Objekt zuerst einmal über seine äußerste Oberfläche wahrgenommen wird, seiner rauen, glatten oder wie auch immer gearteten Struktur, aber im zweiten und nicht minderwertigen Schritt durch das Gewicht und die an der Oberfläche gefühlte und somit die Temperatur des Gesamtobjekts. Bei der Erfassung des Volumens eines Objekts spielen natürlich auch die weiteren Sinne, besonders der visuellen Wahrnehmung, eine Rolle. Struktur, Gewicht und die Form von Gegenständen können ertastet und durch die Mechanorezeptoren verarbeitet werden. So lässt sich in Bezug auf eine raue Struktur zwischen Mikrotextur und Makrotextur unterscheiden.47 Mikrotextur beschreibt dabei kleinste Lücken in der Größe von Bruchteilen von Millimetern, von Menschenhand bewusst nicht wahrnehmbar. Von Makrotextur wird bei größeren Lücken in der Struktur gesprochen, die vom Menschen zu ertasten oder sogar visuell zu erfassen. Dieses exakte Erfühlen von Unterbrechungen, Lücken oder auch Fehler in einer Struktur benötigt, wie bereits zuvor erwähnt, eine haptische Aufmerksamkeit und in diesem Sinne auch eine langsame, konzentrierte Ertastung: »Finally, conditions of active vs. passive control over the speed of hand motion led to similar roughness judgements, suggesting that kinesthesis play a minimal role, and that the manner in which the skin is deformed is critical.«48 Die Psychologinnen Lederman und Taylor entwickelten 1975 ein eigenes Analysemodel zur haptischen Erfahrung von rauen Oberflächen, mit dessen Hilfe sie zu dem Schluss kommen, dass die Wahrnehmung von Rauheit durch den Deformationsgrad der Haut bestimmt werde, welcher wiederum abhängig von der Stimulierung durch die Oberfläche ist.49 Je mehr Hautfläche und je stärker diese deformiert ist, desto intensiver sei das Rauheitserlebnis, was wiederum mit dem angesprochenen Zusammenspiel der Rezeptoren zu tun habe. Kann dieses Wissen das Design eines Interfaces beeinflussen, so man die Illusion einer natürlichen Oberfläche an einem künstlichen Objekt schaffen will? Auch in Bezug auf die haptische Wahrnehmung von Gewicht spielen psychologische Faktoren mit ein, die in verschiedenen Testreihen zeigten, dass eine raue, griffige Oberfläche instinktiv mit schweren Objekten assoziiert wird, eher glatte Oberflächen dagegen mit leichten.50 Aber:

46

47 48 49 50

Klatzky/Lederman, 2003, S. 153. Die Autorinnen Klatzky und Lederman verweisen an dieser Stelle auf: Srinivasan, M.A./LaMotte, R.H.: Tactual Discrimination of Softness. Journal of Neurophysiology, 73, S. 88-101; 1995. Klatzky/Lederman, 2003, S. 153. Ebd. Ebd., S. 154. Ebd. Die Autorinnen nehmen Bezug auf: Wolfe, H.K.: Some effects of size on judgements of weight; Psychological Review, 5, 1898.

33

34

Haptik am User Interface

»Grip force and material may reflect cognitive expectancies (i.e., more tightly gripped objects and denser objects ›should be‹ heavier), but they may also affect more peripheral perceptual mechanisms. A pure cognitive-expectancy explanation for these factors would suggest equivalent effects when vision is used to judge weight, but such effects are not obtained. Nor would a pure expectancy explanation explain why the effects of material on weight perception vanish when an object is gipped tightly.«51 Die Oberflächenwahrnehmung der Dinge unterliegt neben der Struktur zudem auch den Krümmungen, Ecken und Kanten. Hat ein Objekt einen starken Kurvenradius, das heißt die Fläche fällt schnell nach vielen Seitenrichtungen ab, so wird es eher mit mehreren Fingern als nur einer Fingerkuppe wahrgenommen, da sich schon bei den ersten haptischen Wahrnehmungen eine Ahnung der Komplexität des Objekts einstellt.52 Das bedeutet, dass eine Berührung auch von zuvor erfahrenen Berührungen beeinflusst ist. Wird nach einer eher flachen, geraden Fläche eine kurvige Form berührt, so ist ein aufmerksameres Bewusstsein für diese vorhanden: »Objects with different local features, but similar in overall shape, were judged less similar when explored haptically than when vision was available. Longer exposure time (increasing from 1 s to 16 s) produced greater similarity ratings for objects that were locally different but globally similar, indicating the increasing salience for global shape over time.«53 Das bedeutet, dass gerade kleine Details eines Objekts bei bewusster, haptischer Wahrnehmung genauer erkannt und auch als wichtiger erachtet werden als durch die Unterstützung visueller Wahrnehmung. Heißt dies nun, dass es gerade bei glatten Interfaceflächen, die den Kontakt zu virtueller Realität oder visuellen Kontrolloberflächen herstellen sollen, einen Vorteil hätte nicht glatt, sondern mit Struktur und Details versehen zu sein? In der Kombination von haptischer und visueller Wahrnehmung zeigen wissenschaftliche Studien stets, dass die visuelle Wahrnehmung eine dominantere Rolle spielt, aber Feinheiten und Details durch die Haptik erfahren werden.54 Sind gegenwärtige Touchscreens wie beispielsweise dem Ipad der Firma Apple meist planar und glatt, so könnte sich zukünftiges Design von berührbaren Oberflächen an der Natürlichkeit der Dinge orientieren, weicher, unförmiger, lückenhaft gestaltet, mit unterschiedlichen Oberflächenstrukturen verse-

51

52 53 54

Klatzky/Lederman, 2003, S. 155./An dieser Stelle verweisen die Autorinnen auf: Ellis, R.R./Lederman, S.J.: The material-weight illusion revisited, Perception & Psychophysics, 61, p. 15641576; 1999. Ebd. Ebd., S. 162f. Ebd., S. 165.

1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

hen oder auch biegsam werden. Dabei geht es nicht darum, dass künstliche, technisch wirkende Objekte negativ sind, weil sie im Gegensatz zu natürlichen Strukturen als das »Andere« wirken und mit Natürlichkeit eine verbesserte MenschTechnik-Verknüpfung hergestellt werde. »Natürlichkeit« soll an dieser Stelle nicht als zwingende Qualität hervorgehoben werden, die in jedem Fall eine Steigerung darstellen würde. Es geht hier vielmehr um ein Weiterdenken im Nutzen der Materialien, nicht nur einen Knopf als Anknüpfungspunkt zwischen Mensch und Ding oder Realität und virtueller Realität zu finden, sondern diesen Knopf auch erfahrbar zu machen und mit dem Variantenreichtum der sinnlichen Wahrnehmung zu spielen. Die Entwicklung und das Design von künstlichen Dingen orientiert sich schon immer an der Natur, denn der Mensch hat schnell gelernt, dass in der Natur die komplexen und zugleich einfachen Strukturen die wirkvollsten sind. Zudem könnten auch wissenschaftliche Untersuchungen zur »exploratory procedure«55 helfen, die Art und Weise wie der Mensch Objekte durch bewegende Berührungen ertastet, tiefgründiger zu verstehen. Nach Klatzky und Lederman werden Objekte im Allgemeinen nach Form, Struktur und Oberflächentextur durch verschiedene Tastbewegungen erfahren:56 • • • • • •

Oberflächentextur wird durch kleine Bewegungen oder ein Streichen mit den Fingern, die Objekthärte durch Drücken, Temperatur durch ein eher statisches, langsames Auflegen der Finger oder der Hand, das Gewicht durch ein Halten oder Hochheben, Volumen oder die komplette Form durch einen umfassenden Griff der Finger oder Hand und die Kontur durch einen ebenso umfassenden Griff, der aber durch Bewegungen und Drehungen die Gesamtheit des Objekts genauer untersucht.

Inwieweit sich Designer und Medienkünstler in Bezug auf Objekte, die als Interfaces genutzt werden, diese Form der untersuchenden Sinneserfahrungen zu Nutze machen oder ob gerade die Objektisierung57 und somit ein Ausbau einer komplexeren, bewegenden Sinnesnutzung sinnvoll ist, wird im Laufe der vorliegenden Arbeit konkreter ausgeführt und diskutiert. Somit sind nicht nur physische Faktoren der Wahrnehmung von Bedeutung, auch die Psychologie spielt bei der Haptik und der Sinneswahrnehmung im Allge-

55 56 57

Ebd., S. 156. Ebd., S. 156f. Objektisierung im Sinne einer haptischen Interfacenutzung als Entwicklung vom flachen, berührbaren Tablet hin zu einer komplexeren, dreidimensionaleren Form.

35

36

Haptik am User Interface

meinen eine Rolle. Materialien unterliegen auch aufgrund ihrer Nutzung bestimmten Definitionen und sind unterschiedlich konnotiert. Vor allem in der Kombination der haptischen (oder »nur« taktilen) Wahrnehmung von Interfaces und der visuellen Wahrnehmung ergibt sich für die Oberflächenwahrnehmung eine besondere Situation, wenn die Interfaces haptische Objekte sind, in ihrer Funktion aber mit einem visuellen Objekt auf einem Bildschirm, der Leinwand oder ähnlichem in unbestimmter Entfernung verknüpft sind. Denn die haptische Wahrnehmung ist im eigentlichen Sinne direkt mit dem Objekt am Ort, das heißt in der Erfahrungsumgebung des Körpers, verbunden. Eine Trennung von Oberflächenwahrnehmung bedeutet demnach eine gesonderte Wahrnehmungserfahrung.

1.5

Haptische Illusionen

Entgegen der Vorstellung der Tastsinn sei, anders als der Sehsinn oder der Hörsinn, gegenüber Illusionen weitestgehend gefeit, sei hier auf mögliche Sensationen verwiesen, die zwischen Physiologie und Psychologie, oder auch »Psychophysics«,58 auch als haptische Illusionen beschrieben werden können. »The close link between affect, emotions and touch is strong, but easy to trick. An example is the Zombie Effect. This is an artificial touch, like the one of a robot arm, that is mistaken for being real if its transmitted in a lifelike fashion, that is, not through cold plastic and steel, but warm and skin like materials […]. An additional example is how vision-touch synaesthesia can occur in phantom limbs […]. The phantom limb is marked by tactile, painful or motoric sensations in amputated limbs.«59 Diese Phantomschmerzen wurden durch die Spiegeltherapie nach Vilayanur S. Ramachandran und Diane Rogers-Ramachandran erforscht: Menschen mit amputierten Gliedmaßen nehmen durch einen Spiegel visuell das Vorhandensein des Fehlenden wahr, das Gehirn wird somit getäuscht und der Proband ist in der Lage, Effekte, Bewegungen oder Berührungen zu spüren, die nicht da sind, aber scheinbar hinter dem Spiegel geschehen.60 Eine technische Variante einer Nutzung von visueller Illusion, die wiederum auch zu körperlichem Feedback führt, ist die Mediation Chamber von Diane Gromala, Larry Hodges, Chris Shaw und Fleming Seay.61 In diesem Erfahrungsexperiment 58 59

60 61

Stenslie, 2010, S. 96. Ebd., S. 91. Der Autor verweist hier auf: Bagnara, Sebastiano/Smith, Gillian Crampton: Theories and Practice in Interaction Design; Ivrea, 2006; Grunwald, Martin: Human Haptic Perception: Basics and Applications; Basel, Boston, Berlin, 2008. www.schmerztherapie-breisach.de/assets/pdf/Spiegeltherapie.pdf Bolter/Gromala, 2003, S. 124.

1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

als Mittel zur Meditation sitzt einen Probanden auf einem Stuhl. Über eine Virtual Reality-Brille kann dieser nun an sich heruntersehen und sieht aus der Egoperspektive eine virtuelle Repräsentation eines männlichen oder weiblichen Körpers je nach Geschlecht des Probanden. Eine Stimme dirigiert zunächst durch verschiedene Atem- und Entspannungsübungen, schließlich wird diese dann durch weitere visuelle Eindrücke wie zum Beispiel einen Sonnenuntergang ergänzt. In einer nächsten Phase soll der reale Körper, wieder unter Anleitung, an verschiedenen Muskelgruppen an- und entspannt werden, was durch den angesprochenen virtuellen Körper auch visuell unterstützt wird. Die letzte Phase mit Atemübungen wird mit virtuellen Quallen kombiniert, die sich langsam und scheinbar rhythmisch mit einem entspannten Atem bewegen. Der mehrere Minuten andauernde Prozess ist in erster Linie als Meditation gedacht, funktioniert aber auch als entspannendes Training, um die Funktion des realen Körpers mit dem Bild des virtuellen Körpers abzugleichen. Es tritt, wie bei einer klassischen Meditation, sowohl eine Entspannung durch die bewusste Konzentration auf die eigenen Körperregionen auf, als auch eine bewusste und unbewusste körperliche Reaktion als Feedback auf die virtuellen Ereignisse. Visualität und Haptik sind demnach auch in der Illusion verknüpft, doch wie sieht es mit reiner haptischer Illusion aus? Das sogenannte »masking«62 verweist auf die Eigenschaft einer haptischen Stimulation, die mit Wiederholung an der gleichen Hautstelle eine Art Wahrnehmungstaubheit erzeugt, was bedeutet, dass die erste Sensation deutlich wahrgenommen wird, jede folgende jedoch nicht mehr so stark; auch dann nicht, wenn es eine andere Form der Stimulation ist. An Vibrationen passt sich die Wahrnehmung gewissermaßen an, die Körperstelle wird entsprechend taub gegenüber der Sensation. Ein weiterer Effekt verweist wiederum auf eine bewusste gegenüber einer unbewussten Wahrnehmung: Wird eine Hautstelle mit einer schwachen Sensation vibrierend berührt und so die bewusste Wahrnehmung auf diese Stelle gelenkt, so wird eine folgende stärkere Stimulation intensiver wahrgenommen.63 Die Müller-Lyer-Illusion64 ist eine weitere Möglichkeit einer Täuschung der Haptik. Sie geht historisch zurück auf eine optische Täuschung, entdeckt von Franz Müller-Lyer im 19. Jahrhundert, bei der eine stets gleich lange Linie unterschiedlich lang erscheint, je nachdem, in welche Richtung kleinere Linien an den jeweiligen Enden der Hauptlinie zeigen. In Experimenten einer diesbezüglichen haptischen Variante durch Morten A. Heller et al. sollten blinde Menschen durch Berührung 62 63

64

Stenslie, 2010, S. 87. Ebd., S. 87f. Der Autor verweist hier auf: Pasquero, Jerome: Survey on communication through touch; Technical report: TR-CIM 06.04, Center for Intelligent Machines, McGill University; 2006; Verrillo, Ronald T/Zwislocki, Jozef J.: Sensory research: multimodal perspectives; Hillsdale, New Jersey [u.a.], 1993. Heller/Gentaz, 2014, S. 62ff.

37

38

Haptik am User Interface

eines Lineals mit ebenso verschieden gebogenen Enden erkennen, wie groß dieses sei. Das Ergebnis fiel dabei unterschiedlich aus, je nachdem, ob mit einem Finger, einer Hand oder mit mehreren Händen getastet wurde. Die Berührung mit einer Hand führte beispielsweise meist dazu, dass die Länge größer eingeschätzt wurde als sie tatsächlich war. Wurden zwei Finger zum Tasten genutzt, war die Einschätzung meist richtiger, die Illusion somit geringer.65 Die Größe-Gewicht-Illusion66 beschreibt das Phänomen, dass bei zwei gleich schweren Objekten dasjenige mit dem kleineren Volumen als schwerer erkannt wird, egal ob es optisch oder haptisch wahrgenommen wird. Bei der AristotelesIllusion67 erscheinen dem Probanden zwei Nasen, wenn die eigene Nase mit gekreuztem Zeige- und Mittelfinger berührt wird, trotz des Wissens, nur eine Nase zu haben. Auch geometrische Kräfte können Einfluss auf die haptische Erfahrung von Oberflächen haben. So können orthogonale Kräfte während einer Berührung eine Fläche kurvig erscheinen lassen und kurvige Flächen gerade, wenn die Kräfte entgegengesetzt wirken.68 Auch werden längliche Objekte kürzer wahrgenommen, wenn zum Beispiel Kräfte entgegen der Berührungsrichtung wirken.69 Auch im Bereich der synästhetischen Wahrnehmung finden sich weitere, aber noch wenig erforschte Beispiel einer besonderen Rezeption der Umwelt. Synästhesie als Begriff vom griechischen »syn« für zusammen und »aisthesis« für Empfinden beschreibt nicht nur die Verknüpfung und Verarbeitung der Informationen, die durch die sinnliche Wahrnehmung an das Gehirn weitergeleitet wurde, sondern vielmehr auch die zusätzliche Aktivierung eines Sinnes während der Reizung eines anderen Sinnes, auch genuine Synästhesie genannt.70 Es gibt seltene Beispiele von Personen, die Farben wahrnehmen, während sie Musik hören. Unterschiedliche Töne und Tonhöhen erzeugen hier verschiedene Farbreize. Dasselbe Phänomen existiert sowohl als Fühlhören und als auch als Fühlsehen, so beispielsweise als Farbwahrnehmung bei somatosensorischen Rezeptionen wie Temperaturänderungen oder Schmerz. Eine ähnliche Form des zuvor beschriebenen Spiegelphänomens lässt bestimmte Menschen bei visueller Wahrnehmung von Berührungen anderer Personen diese Berührung am eigenen Körper tatsächlich nachfühlen. Letztendlich sollen diese Exkurse zeigen, dass auch Illusionen der Realität entsprechende, natürliche Wahrnehmungen sind, welche nur nicht den (auch erlern-

65 66 67 68 69

70

Ebd. Ebd., S. 72ff. Ebd., S. 73f. Ebd., S. 75f. Dies sind nur einige kurz beschriebene Beispiele haptischer Illusionen, die von Morton A. Heller und Edouard Gentaz in »Psychology of touch and blindness« genauer beschrieben werden. Heller/Gentaz, 2014. Haverkamp, 2010, S. 239. Haverkamp verweist hier auf: Cytowic, Richard E.: Synesthesia. A Union of tue Senses; Massachusetts, 2002.

1 Haut, Haptik und Rezeptoren: Funktionen und Begriffe der haptischen Wahrnehmung

ten) Erwartungen entsprechen. Die Illusion funktioniert, egal ob sie unwissend oder bewusst wahrgenommen wird, in diesem Fall jedoch oft abgeschwächt. Die Kunst im Allgemeinen und so auch die in dieser Arbeit besprochene interaktive71 Kunst zeigt verschiedene Formen, die man entweder als illusionistische Formen der Betrachtertäuschung bezeichnen kann oder eben als Teil einer Wahrnehmung, die unsere Vorstellungen oder Erwartungen hinterfragen.

71

Sowohl die Schreibweiße »interaktiv« als auch »Interaktiv« mit Majuskel sind in der vorliegenden Arbeit gebräuchlich, wobei »interaktiv« als Attribut stets beschreibend für eine (mögliche) Handlung gebraucht wird, »Interaktiv« hingegen im Folgenden im Zusammenhang des Eigennamens »Interaktive Kunst« als kunst- und medienhistorischer Klassifikation steht.

39

Praekunst oder Postmedien – Die Bedeutung der Verflechtung

Die Bedeutung technischer Entwicklungen in Bezug auf Kunst und Medien aufzuzeigen, bedeutet, in fließenden Prozessen herausragende Anknüpfungspunkte zu erkennen. Es bedeutet auch, Teilbereiche zu betrachten, die sich sowohl auf Kunstebene wie auf nichtkünstlerischer Ebene voneinander abgrenzen wollen und in den gezogenen Grenzen im Besonderen Anknüpfungspunkte und Verflechtungen zu erkennen. Der Kunsthistoriker Slavko Kacunko kritisierte die Auflösung der Grenzen im Blick auf das Verhältnis von Kunst und Medien als »Ausweichtaktik […] der Kunstwissenschaft«,1 da sie sich nicht mit dem Verhältnis von Subjekt und Objekt und der Verbindung von Kunst und Umwelt auseinanderzusetze. Diese Grenzen betrachtete Marshall McLuhan in der ersten Hälfte des 20. Jahrhunderts zur westlichen Kunstgeschichte bereits als verschachtelt und eben nicht als Gegenpole.2 Dies führte wiederum zu Entwicklungen wie der »Visual Culture«3 oder »Bildwissenschaften«:4 »Die Statusunterschiede zwischen Objekten mit und ohne Kunstanspruch werden dort flexibler aufgefasst bis annulliert, sodass der Kunstbegriff zu einem obsoleten Überbleibsel aus der Zeit vor der ersten industriellen Revolution degradiert werden kann.«5 Seine Aussage über einen Mangel an Flexibilität den eigenen Disziplingrenzen gegenüber, führt letztendlich Kacunko zu einem wichtigen Hinweis: »Aus dieser Perspektive ergibt sich ein berechtigter Anspruch an die Medienkunstproduzenten, -theoretiker und -historiker, die beiden ›Phänomene‹ bzw. ›Phantome‹ Kunst und Medium gleichermaßen ernst zu nehmen und ihre strukturelle

1 2 3 4 5

Kacunko, 2004, S. 63. Ebd. Der Autor verweist hier auf: Baltes, Martin [Hg.]: Medien Verstehen. Der McLuhanReader; Mannheim, 1997. Ebd. Ebd. Ebd.

42

Haptik am User Interface

Zusammengehörigkeit jenseits von Positionsbestimmungen und Legitimationsstrategien zu reflektieren.«6 Dem wissenschaftlichen Betrieb der Benennung und Trennung in Kategorien muss in dieser Sicht Rechnung getragen werden, um diverse Positionen aufzuzeigen, wie unterschiedliche Theoretiker und Künstler versuchen, ihre eigene Arbeit mit der Arbeit anderer in Verbindung zu setzen oder abzugrenzen. Auch die Kapitelunterscheidung der vorliegenden Arbeit in eine Wissenschaftsgeschichte der Interfacetechnik und einer Geschichte des Interfaces in der Medienkunst soll nicht die Trennung betonen, sondern vielmehr die vielfältigen Möglichkeiten des Interfaces als Mittel der haptischen Wahrnehmung und dem kreativen Forschen danach. Kategorisierung sollte nicht als Abgrenzung verstanden werden, sondern als der Versuch, ein leichteres Verständnis durch einen detaillierteren Blick auf die einzelnen Teile eines Ganzen zu erzeugen. Das technische Objekt rangiert dabei zwischen künstlerischer und medialer Bedeutungszuschreibung. Deren Analyse und Kategorisierung sind dabei der Rahmen für die Annäherung an die haptische Wahrnehmung am Interface. Ohne dem noch zu besprechenden Problem der Uneindeutigkeit in der Definitionsfindung der Medienkunst vorgreifen zu wollen, betont Dieter Daniels seine Idee eines Verhältnisses von Medienkunst zur technischen Forschung im Sinne eines Metablicks. Dieser ziehe aus der Vergangenheit ein Resümee und ermögliche gegenwärtiger Technik neue Ideen durch potentielle zukünftige Nutzungen: »Medienkunst kann im Medium einen Blick auf dessen mögliche Zukunft öffnen, und ebenso erinnert sie im Rückblick an die uneingelösten Utopien, welche die Entstehung und Formierung des Mediums begleiteten. Als Vorhut im wörtlichen Sinne von Avantgarde liefert sie Antizipationen der Wahrnehmungsformen, den die Massenmedien dann zur Breitenwirkung verhelfen, die damit aber zugleich allen utopischen Charakter verlieren. Als Nachhut bildet sie den Ort, an dem diejenigen verschütteten ästhetischen Motive noch erhalten und erfahrbar bleiben, die in einer autonomen Konstruktion und Rezeption von Medien liegen.«7 Dieser analytische Metablick setzt aber wenigstens prinzipiell eine Trennung von Medienkünstler und Forscher voraus, um einen Blick von außen möglich zu machen. Diese Trennung ist allerdings nicht immer leicht nachzuvollziehen, wie in der Analyse der haptischen Interfacenutzung in der Medienkunst und in der Aufarbeitung der Entwicklung und Forschung der haptischen Interfaces innerhalb der Computergeschichte noch zu sehen sein wird. Daniels These ist allerdings insofern wichtig und interessant, wenn man sie als entwicklungsinhärente Grundei-

6 7

Ebd., S. 64. Daniels, 2002, S. 258.

Praekunst oder Postmedien – Die Bedeutung der Verflechtung

genschaft des haptischen Interfaces bzw. vielleicht sogar der gesamten Verbindungslinien von medienkünstlerischer Interfacenutzung und industrieorientierter Interfaceentwicklung sieht: ein ständiges Hinterfragen der Vergangenheit und Gegenwart um Zukunftsvisionen möglich zu machen.

43

2 Manipulation der Medienkunst

»Das Hardware-Handwerk und das Software-Konzept gehören aber genauso wie die Performance und Installation zur Medienkunst, die der neueren Medienentwicklung und der Kunstentwicklung im Allgemeinen ihr Bestehen verdankt.«1 Die Medienkunst, in der die haptisch interaktiven Medienkunstwerke einzuordnen sind, exakt und kurz zu definieren, ist aufgrund der Tautologie des Begriffs »Medienkunst« schon für sich ein kompliziertes Unterfangen.2 Die weite Auffächerung der Begriffe Medien und Kunst führt dazu, dass eine Beschreibung sich stets auf bestimmte Bereiche, Grundbegriffe oder auch Personen bezieht, ein Vorgehen, das von vornherein Lücken erzeugt. Der Künstler Otto Piene schreibt dazu: »Die Kategorien versagen, weil das Vokabular und viele Ausdrucksmittel miteinander verwoben sind.«3 Die Diskussion um das Verhältnis vom haptischen Objekt als »Kunst« oder als »Medium« soll hier nicht als Gegenüberstellung zweier Deutungslager funktionieren, sondern vielmehr alle Verflechtungen aufzeigen, die eine Frage, ob etwas Kunst, Design oder Experiment ist, als letztbedeutend aufzeigen. Wie der eingangs zitierte Slavko Kacunko darlegt, sollten gerade diese Verflechtungen von Kunst und Medienentwicklungen Basis einer Analyse sein. »Anstatt sich mit der Nichtdefinierbarkeit und Interpretationsnachgiebigkeit beider Begriffe zufrieden zu geben und die Kunst mit elektronischen Medien insgesamt als »Medienkunst« zu bezeichnen, entstehen zahllose, für die Praxis letztendlich fruchtlose Ansätze, die sich theoretisch auf die Medien-Kunst-Schnittstelle fokussieren, um durch die Hintertür die eigene, nur praktisch zu rechtfertigende Position dem Urteil der Öffentlichkeit anzubieten.«4

1 2 3 4

Kacunko, 2004, S. 67. Schanze, 2002, S. 229. Siehe hierzu auch: Hauser, Jens Taxonomie eines Wortmonsters: In: Stocker, Gefried [Hg.]: Hybrid – living in a paradox; Ars Electronica 2005; Ostfilder-Ruit, 2005. Piene, 1997, S. 38. Kacunko, 2004, S. 65.

46

Haptik am User Interface

Die Konzentration auf eine Präzisierung der Definition der haptischen Medienkunst ist im Idealfall lückenlos, die vorliegende Arbeit kann diese Lücken in allen thematischen Ausrichtungen allerdings nicht ausschließen. Im Allgemeinen wird versucht, Medienkunst als Kunstform auf den Einbezug bestimmter Medien als gestalterisches Ausdrucksmittel, wie Schrift, Film oder auch den Computer, zu definieren. »Seine aktuelle Bedeutung erhält der Begriff [der Medienkunst] in der Auflösung der Differenz zwischen (Massen-)Medien und Kunstmedien in den interaktiven Medien, seine traditionelle in der Reflexion, Fusion, Hybridisierung und Simulation von Medien sowie der Perspektivierung, Modellierung und Virtualisierung der Erfahrungs- und Wahrnehmungskategorien von Raum und Zeit in einer Geschichte der Medialisierung der Künste.«5 Der Philosoph Ryōsuke Ōhashi beschrieb für die Kunst die Interaktivität als ein Grundelement und somit ein Werk aus der Sicht des Betrachters, nicht nach klassischen kunsthistorischen Beschreibungen durch Analyse der künstlerischen Idee und als Objekt.6 Das bedeutet, die Handlung und die damit verbundene Erfahrung sind Kern des Kunstwerks. Diese Erfahrung ist dabei nicht nur auf interaktive Kunst und ein haptisches Erlebnis bezogen, sondern vielmehr die hergestellte Verbindung eines Betrachters mit einem Werk. Dennoch kann gerade die haptische Wahrnehmung in der haptisch interaktiven Medienkunst als besonders intensive Verbindung zwischen Betrachter (bzw. Benutzer) und Kunstwerk beschrieben werden. Beryl Graham und Sarah Cook wiederum betonen den begrifflichen Unterschied zwischen Interaktivität, Partizipation und Kollaboration in der Medienkunst folgendermaßen: Interaktivität fände dann statt, wenn Zuschauerschaft oder Benutzer nicht nur aktiv physisch mit dem Werk handeln, sondern das Werk auch eine physisch zu spürende Handlung zurückgibt.7 Ohne diesen Rückbezug sei es als »reaktiv« zu bezeichnen. Partizipation werde auch für den Einbezug der Zuschauer in das Werk, Stück oder Performance begrifflich gebraucht und beziehe sich dabei auf die übergeordnete Idee der Teilnehmerschaft am Gedanken des Werks, kreativen Umsetzung bis zur tatsächlichen Ausführung, verweist somit auf eine Verbindung zwischen Künstler und Partizipant. Der Begriff »Kollaboration« würde noch seltener gebraucht, wenn die Teilnahme zwischen Künstler und Benutzer tatsächlich gleichwertig als eine gemeinsame Realisierung zu bezeichnen ist.

5 6 7

Schanze, 2002, S. 229. Kacunko, 2004, S. 53f. Graham/Cook, 2010, S. 112ff.

2 Manipulation der Medienkunst

Die Bewusstwerdung des Kunstwerks zur Mediennutzung und als Transportwerkzeug mit der Konzentration auf das Medium selbst, zeichnet das weite Feld der Medienkunst aus, wobei gerade die Diskussion um das inhaltliche Feld, indem sich das Kunstwerk thematisch bewegt, schon mitgedacht werde.8 Es wird sich im Folgenden noch zeigen lassen, ob dies in der Praxis ausgeführt wird oder ob sich gerade das haptische Werk als Teil der Medienkunstgeschichte einer Diskussion entzieht. Kann es reines Erfahrungswerkzeug ohne die vom Künstler initiierte oder dem Kunstwerk inhärente Diskussionsanregung zum jeweiligen Thema sein? Daran anschließend stellt sich die Frage, ob eine Loslösung, und dies auch bewusst durch den Künstler, überhaupt möglich ist. Erkki Huhtamo plädiert dafür, dass gerade diese »Mehrdeutigkeiten«9 ein interaktives Medienkunstwerk vom Vorwurf der Spielerei mit Technik oder eines Videospiels absetzen, wobei gesagt sein muss, dass auch die Reduktion zu einem reinen Erfahrungswerkzeug eine Mehrdeutigkeit besitzen kann. Der Grat zwischen technischer Spielerei und situativer Kunsterfahrung ist dabei ein schmaler. Huhtamo nutzt indirekt eine generelle Forderung an die Kunst, um sie als Kunst definieren zu dürfen, nämlich die Suche nach Inhalt: »Weder bei einem gut gestalteten Software-Code, noch bei einer raffiniert konstruierten hydraulischen Plattform handelt es sich um ein Kunstwerk. Ein Kunstwerk erfordert noch ein gewisses surplus an Inspiration und Bedeutung, das die nach rationalen Prinzipien zusammengesetzten ›Maschinenteile‹ transzendiert, um ihnen eine raison d’être auf einem höheren Abstraktionsgrad zu verleihen. […] Interaktive Kunst erschöpft sich nicht darin, Kontexte zu erschaffen; ihr geht es darum, bestimmte Arten von Kontexten zu kreieren, nämlich solche mit Intelligenz.«10 Doch gerade diese starre Aussage, Kunst im Allgemeinen müsse »ernsthafte ästhetische und intellektuelle Ziele«11 haben, führt immer wieder in eine Definitionssackgasse, so auch in Bezug auf die Interaktive Kunst, die Medienkunst im Allgemeinen oder dem haptisch interaktiven Bereich. Huhtamo versucht mit seinem Aufsatz, das Vorurteil, interaktive Kunst sei Spielzeug der Designer, zu entkräften, was auf der einen Seite richtig und gut ist. Allerdings argumentiert er dabei mit dem Verweis auf ein Nichterkennen von Kontexten und der Intelligenz der Kritiker. Auf der anderen Seite finden sich aber in der modernen Kunstgeschichte Werke, die sich gerade dieser Inhaltsaufladung entziehen, die dem Betrachter

8 9 10 11

Schanze, 2002, S. 229. Huhtamo, 1997, S. 24. Ebd. Ebd.

47

48

Haptik am User Interface

oder Teilnehmer der Kunst beispielsweise eine räumliche Erfahrung durch Installationen bieten wollen oder auch eine allgemeine Bewusstmachung von Raum und Zeit durch ein Werk anregen. Sicherlich lassen sich auch hier wieder die angesprochenen Mehrdeutigkeiten hineininterpretieren und mit Inhalt aufladen. Dennoch sind die Werke in erster Linie auf die Aktion und die Erfahrung durch den Kunstbenutzer ausgelegt, im negativen Sinne auch als »Spiel« zu beschreiben. Interaktive Kunst und in dieser Arbeit genauer die haptisch interaktive Medienkunst soll nicht in das Korsett der gesellschaftlichen Relevanz gedrückt werden, sondern auch spielerisch im positiven Sinn gesehen werden dürfen. Vielleicht ist die Frage »Was ist Kunst und was ist sie nicht?« eine Frage, die sich eine Verknüpfung oder auch fließende Vermischung von Kunst, Design und Wissenschaft gar nicht mehr stellen will? Diese Frage dreht sich in ihrer Grundstruktur um eine kritische Bewertung von Kunst. Dies soll diese Arbeit allerdings nicht bieten. Die hier besprochenen Möglichkeiten der sinnlichen Wahrnehmung an der Technik und seiner vielfältigen künstlerischen oder forschenden Wege dorthin, ist keine Bewertung, sondern eine Anregung zur Diskussion. Huhtamo selbst verweist auf einen wichtigen Punkt, wenn er betont, dass genau dieses bewusste Spiel der Grenzen verschiedener Interaktionsebenen oder offengelegten Unzulänglichkeiten der Technik zum Thema einer Arbeit werden kann: »Ich denke nicht, daß der Grad an Interaktivität immer das Hauptkriterium bei der Beurteilung von Interaktiver Kunst sein sollte. Es gibt Werke, in denen die bewußte Begrenzung der interaktiven Möglichkeiten ein Teil der ästhetischen Strategie ist. Darüber hinaus terrorisieren einige Installationen den Benutzer sogar gezielt mit absichtlich produzierten Funktionsstörungen und Fehlern in der Programmierung. Werke wie diese sind in hohem Maße selbstreflexiv. Man könnte sie als meta-interaktive Kunst bezeichnen.«12 Dies führt innerhalb der Gedanken um die Bedeutung von Haptik am künstlerischen Interface wieder zurück zur bereits aufgeworfenen Frage nach der Bedeutung von Fehlern und Lücken und somit einer Störung der Wahrnehmung oder interaktiven Aktion. Im eigentlichen Sinne von flüssig ablaufender Benutzung sollten Störungen durch das Design vermieden sein. Diesen Fehlern, und ob man sie als solche negativ bewerten muss, wird in dieser Arbeit ebenfalls nachgegangen. Zu den bewusst eingebauten Fehlern oder Brüchen in der Benutzungskontinuität kommt die ganz reale mechanische Abnutzung oder auch die Funktionsuntüchtigkeit von Einzelteilen. Das wiederum kann Einfluss auf den nächsten Benutzer eines Geräts oder Werks haben, der oder die jene Störung wahrnimmt. Das Werk verändert sich somit durch den Benutzer auch auf eine Weise, die der Künstler nicht planen und auf die nur durch einen Austausch oder durch die regelmäßige 12

Ebd., S. 26.

2 Manipulation der Medienkunst

Wartung von Teilen reagiert werden kann. Auch der Lernprozess der Nutzung ist nicht immer wieder als neu zu charakterisieren, da die soziale Komponente vor allem einer Installation im größeren Raum die Ebene der Beobachtung in sich trägt. Die Benutzer lernen nicht nur natürlich in der Erstbenutzung am haptischen Interface, sondern auch, indem sie andere Benutzer beobachten und versuchen, aus deren Fehlern oder Vorgängen zu lernen und dann das Interface nicht unbedingt besser, aber anders bedienen.   In der Definition des Medienwissenschaftlers und Germanisten Helmut Schanze ist die Medienkunst in ihrer Geschichte zunächst und im Besonderen eine Bildmedienkunst beziehungsweise muss als solche in Bezug auf kunsthistorische Theorien zur Perspektive analysiert werden.13 Folgt man seiner Definition, kann auch eine Konzentration auf die Haptik gar nicht ohne eine Analyse des Visuellen stattfinden. Aber ist dies immer so oder entziehen sich jüngere Medienkünstler nicht sogar dieser Diskussion um die Dominanz des Bildes mit dem Gewinn einer vollen Konzentration auf die reine Haptik oder eine verbesserte Gesamtwahrnehmung? Schanze führt aber auch weiter aus: »In den vielfältigen Formen des Theaters und der Performance und ihrem Bezug zur Körperlichkeit findet sie ihre Grenz- und Experimentfelder, sie ist, trotz praktischer und theoretischer Überschneidungen, abzugrenzen von Video- und Computerkunst, in denen das Werkzeug selber als Material der künstlerischen Praxis genutzt wird (z.B. in den Installationen von Bruce Nauman und Nam Yun Paik, sowie von der mit dem Körper als Medium arbeitenden Kunst, speziell der Performance der 1970er und 1980er Jahre […].«14 Die haptisch bezogene Medienkunst kann, im Nachklang der Definition Schanzes, in der Konzentration auf die Haptik als Wahrnehmungserfahrung mittels Kunstwerk als Grenzfeld der Medienkunst mit Schnittpunkten zur Performance gesehen werden. Rückt das haptische Interface in den Mittelpunkt der künstlerisch-forschenden Arbeit, so grenzt Schanze es von der Kerndefinition der Medienkunst ab. Als Einwand zu dieser Definition ist jedoch zu betonen, dass zwar Kunstwerke, die sich mit der Wahrnehmungserfahrung befassen, durchaus Schnittpunkte mit dem Theater oder der Performancekunst besitzen, dennoch aber nicht als Randbereiche der Medienkunst zu betrachten sind. Denn gerade dieser besondere Blick auf eine tatsächliche, sinnliche Erfahrung sollte als Kernbereich der Medienkunst erkannt werden. Die in der Definition zuvor zitierten Beschreibungen der Reflexion, Fusion der Künste oder auch Perspektivierung finden sich auch in den klassischen Kunstgattungen der Malerei, Bildhauerei oder Architektur in ihrem Bezug zur Realität 13 14

Schanze, 2002, S. 229. Ebd.

49

50

Haptik am User Interface

in der Zeit in der der jeweilige Künstler oder Handwerker sein Werk erstellt hat. Erst der Blick auf die Wahrnehmung des Betrachters als Interaktive Kunst hebt eine von den klassischen Kunstgattungen abzugrenzende Besonderheit hervor. Zwar sind die Betrachterperspektive und die Rezeption der Kunstwerke schon länger Teil der Kunstgeschichte, aber die Intensivierung der Wahrnehmung oder gar eine reale, sinnliche Erfahrung mit einem Kunstwerk verstärkt diesen wichtigen Punkt der Definition. »Der Ort der so definierten M. [Medienkunst] ist ein virtueller, sie wird als Programm im Speicher eines Rechners gehalten und wird, interaktiv, vom Nutzer eines technischen Interfaces, jeweils neu gespielt.«15 Der Ort der Medienkunst ist zwar auch der Speicherplatz des Rechners als ausführendes Organ einer (teils virtuellen) Bewegung, dennoch spricht die sinnliche Wahrnehmung diesem Teil der Definition entgegen. Denn gerade das sinnliche Phänomen am Werk, und sei es nur das Drücken eines Knopfes, macht den Betrachter zum Benutzer, lässt ihn zum wichtigen Teil eines interaktiven Kunstwerks werden. Der Ort des Werks kann hier demnach nicht nur als der Speicher definiert sein, sondern ist vielmehr kombinierter Ort aus Programm und Kontaktpunkt des Benutzers am realen Interface, sowie gegebenenfalls auch der zusätzlichen Ebene der virtuellen Realität. Im Zuge der Verlagerung vom Betrachter zum Benutzer eines Kunstwerks, somit vom passiven zum aktiven Teil werde nach Schanze der klassische Werksbegriff aufgelöst.16 Doch geschieht dies zwangsläufig? »Man braucht sich nur die indogermanischen Wurzeln des Wortes Werk und seine etymologische Nähe zu Wirken zu vergegenwärtigen; Werk und Wirken meinen hier beide eine Arbeit, ein Tun, ein Wirksam-Sein.[…] Das Werk ist wirksam, seine Bedeutung liegt in seiner Wirkung immer schon.«17 Die Auflösung des Werkbegriffs ist in diesem Sinne mehr ein Verständnis einer Sichtbarmachung der Wirkung auf den Betrachter; immer noch subjektiv, aber deutlicher zu spüren, gar in manchen Fällen messbar, im Vergleich zu einer eher unbestimmteren Wirkung eines beispielsweise klassischen Gemäldes auf einen Betrachter. Nebenbei gesagt zeigt die Involvierung des Betrachters auch die kunsthistorische Veränderung eines mittelalterlichen Handwerkers. Dieser wandelte sich vom Erarbeiter künstlerischer Auftragsarbeiten zum im Laufe der Jahrhunderte sich selbst immer mehr bewussten Künstler18 und somit zu einem Kunstwerk, das für sich selbst steht sowie einem Künstler-Werk-Verhältnis in das der Betrachter

15 16 17 18

Ebd., S. 229f. Ebd., S. 230. Blunck, 2005, S. 11. Siehe hierzu auch: Kacunko, 2005, 126ff.

2 Manipulation der Medienkunst

nun auch praktisch einbezogen werden kann. Der Betrachter wird zum »expliziten Betrachter«.19 Die Konzentration auf das genutzte Medium in der Medienkunst setzt den klassischen Künsten zudem die Idee einer Kunstherstellung entgegen, die neben des Einbezugs des Betrachters die Macht des Autors eines einzelnen Werks zu entkräften scheint. »Die Konfrontation der Bildkünste mit den Medien der Graphie, der technischen Graphien des 19. und 20. Jh. (bis zur Kinematographie) resultieren in einer >Digitalisierung mit analogen MittelnBetrachters als Akteur< ein Benutzer im aktuellen Sinne.«52 Der Wechsel zur aktiven Teilnahme lässt die Gedanken Walter Benjamins zur Aura eines Werks obsolet erscheinen, der die Reproduktion einer Fotografie mit dem Verlust der werkimmanenten Aura beschrieb.53 Kunsthistoriker Volkmar Mühleis betont den Verlust der Aura durch die Auflösung der Ferne durch die haptische Annäherung: »Die materielle Vergewisserung (des Habitus und mit ihm der Sammlung) verläuft über das Haptische. Zu dem gemeinsamen Nenner der Erscheinung kommt das ambivalente Verhältnis von Nähe und Ferne. Die Spur wirkt in der Nähe, Aura in der Ferne.«54 Der Begriff der Spur, im Gegensatz zur Aura, beziehe sich dabei auf ein aktives Erkennen durch den Betrachter, der aber durch das Fühlen die Nähe zum Objekt und damit zum Verständnis sucht; die Aura wiederum sei der kunst- oder objektimmanente Charakter, der gewissermaßen in entgegengesetzter Richtung den Betrach-

50 51 52

53 54

Weibel, 1991, S. 242. Kwastek, 2008, S. 16. Wolfsteiner, 2011, S. 74. Der Autor verweist hier auf: Fischer-Lichte, Erika: Der Zuschauer als Akteur; In: Dies. et al. [Hg.]: Auf der Schwelle. Kunst, Risiken und Nebenwirkungen; München, 2006. Benjamin, 1991, S. 353. Mühleis, 2005, S. 246.

2 Manipulation der Medienkunst

ter einnimmt. Die Spur beziehe sich bei Benjamin auf das Taktile, die Aura auf das Visuelle, gleichzeitig sei die Spur aber auch ein subtiler Verweis auf die Aktivität des Betrachters/Benutzers, der selbst ein Objekt erkundet oder vom Objekt ergriffen wird.55 Was im interaktiven Medienkunstwerk als Spur bezeichnet werden könnte, ist somit die aktive (haptische) Teilnahme am Kunstobjekt, die Aura eines interaktiven Medienkunstwerks hingegen ist der Moment der Bewegung oder Reaktion des Werks auf die Aktion des Benutzers. Der Philosoph Dieter Mersch beschreibt die Aura allerdings als »[…] Umsturz der Wahrnehmung, Augenblickhaftigkeit, Hingabe an das ›Daß‹ […] und Erfahrung eines Entgegenkommenden […]«.56 In anderen Worten: Die Momenthaftigkeit in der Erfahrung mit dem Werk definiert die Aura. Steht die bewusste sinnliche Wahrnehmung am haptischen Interface im Vordergrund, könnte somit das Werk als auratisch bezeichnet werden. Auch ein technisches Werk ist reproduzierbar, doch die Nutzung als interaktiver Moment ist auratisch, gewissermaßen wird durch die Erkundung der Spur des Werks erst eine Aura erzeugt. Die Möglichkeit, Teil eines Werks zu werden, stellt demnach einen wichtigen Punkt des interaktiven Medienkunstwerks dar. Der Benutzer kann somit durch ein erneutes Aktivieren das Werk in seinem vom Künstler gegebenen Sinn in die Gegenwart des Moments holen. Die Interaktivität des Medienkunstwerks wird zur Idee, die auch durch eine Reproduktion oder Wiederherstellung durch Reparieren kaputter Teile oder auch verbesserte technische Grundbedingungen (zum Beispiel schnellerer Hard- oder Software) nicht genommen werden kann, da sie ebenso an die Gegenwart seines Benutzers geknüpft ist. Die Interaktion ist in diesem Sinne ein Gebrauch des Objekts in der Gegenwärtigkeit des Moments, eine Benutzung des Geräts am haptischen Interface, wobei darauf hingewiesen sei, dass auch Bernard Robben im Nachgang von Frieder Nake betont, dass in diesem Fall der Begriff »Mensch-Maschine-Interaktion« eine Interaktion zwischen Benutzer und dem Programmierer oder Erbauer des Geräts sei,57 und die zu gebrauchende Maschine daher nicht alleinstehend im kommunikativen Akt gedacht werden solle. Interaktion ist in der vorliegenden Arbeit stets als Handlung zwischen Mensch und Maschine gedacht, die dabei nicht vermenschlicht werden soll, sondern als Möglichkeit einer Wahrnehmung von unterschiedlichen Oberflächen oder Aktionen wie Bewegung oder Vibration, hinter der natürlich letztendlich die Idee eines Künstlers bzw. Programmierers oder Technikers steht.

55 56 57

Ebd., S. 245. Der Autor verweist hier auf: Benjamin, Walter: Das Passagen-Werk. Gesammelte Schriften; Frankfurt a.M., 1998. Mersch, 2002, S. 48. Robben, 2006, S. 102. Der Autor bezieht sich hier auf: Nake, Frieder: Schnitstelle MenschMaschine; Kursbuch 75, 1984.

61

62

Haptik am User Interface

Die Teilnahme des Benutzers kann, wie zuvor besprochen, sowohl eine Möglichkeit sein, dass der Künstler eine Offenheit des Werks erzeugt in die der Benutzer eingreifen kann, als auch die explizite Notwendigkeit des Benutzers zur Teilnahme, ohne die das Werk gar nicht erst angestoßen wird, damit unvollständig bleibt. »We have seen that the absence of the artist at the moment of reception is limited to the artist’s role as author, but that the artist may participate in the interaction process as an observer, a performer, or a typical recipient«.58 Des Weiteren kann auch der Ausgang oder die Entwicklung der Werkaktivität offen sein, das heißt der Künstler gibt dem Benutzer wieder Möglichkeiten, aber ob dieser sie auch nutzt oder wie sich das Werk im Folgenden entwickelt, bleibt bis zu einem gewissen Grad, und dabei in viele (gar unübersichtlich viele) Richtungen, offen. Eingeschränkt wird dies allerdings wiederum dadurch, dass der Künstler zwar eine Offenheit angibt, aber dennoch Entwicklungsmöglichkeiten definieren muss. Auch Erkki Huhtamo sieht die Offenheit eines Kunstwerks als eine eher scheinbare an. Dem Benutzer werden vom Künstler Möglichkeiten gegeben, nur selten seien aber diese Spuren des Künstlers und die so optionale Rückverfolgung auf einen Autor verwischt, eine künstlerische Handschrift bzw. ein Mitwirken des Künstlers am Schöpfungsprozess sei stets zu erkennen.59 Nach dem Kunst- und Medientheoretiker und Kurator Ryszard W. Kluszczynski zufolge gibt es auch innerhalb der Geschichte der interaktiven Kunst Diskussionen um zwei Kommunikationsmodelle. Diese Modelle zeigen wiederum die Tendenzen der möglichen Autorschaften: Zum einen steht das Werk als kreativer und selbstdarstellerischer Ausdruck eines Künstlers, der es erschafft, bei dem aber die weitere Entwicklung durch den Benutzer letztendlich kontrolliert wird, da der Künstler den Verlauf ebenso erdacht habe.60 Zum anderen werde argumentiert, dass interaktive Werke sich dieser Selbstdarstellung durch den Künstler entziehen. Denn, so das Gegenargument, wenn der Benutzer mit dem Werk interagiert, so interagiert er mit diesem Werk und nicht mit der kreativen Instanz eines Künstlers: »Es ist nicht mehr allein der Künstler/Autor, der die Bedeutung des Kunstwerks schafft, sondern die Bedeutung entsteht im interaktiven Prozeß und wird vom Rezipienten hergestellt. Die Aufgabe des Künstlers besteht demnach in der Konstruktion des Artefakts – d.h. in der Konstruktion des Kontexts, in dem der Rezipient den Gegenstand seiner Erfahrung und dessen Bedeutung konstruiert.«61 Der Begriff »Artefakt« wird auch von Chris Stary, Professor für Business Information Systeme an der Universität Linz, als »Interactive Artifact« mit gleicher De-

58 59 60 61

Kwastek, 2013, S. 265. Huhtamo, 1997, S. 24. Kluszczynski, 1997, S. 29f. Ebd., S. 30.

2 Manipulation der Medienkunst

finition aufgegriffen, wenn ein Objekt oder Ding durch Redesign zum Container einer neuen Bedeutung, gar mit einer neuen Sprache versehen, dabei aber leicht verständlich, präsentiert wird.62 Kluszczynski sieht in der Interaktiven Kunst vor allem diese Aktivität des Benutzers als hervorzuhebendes Merkmal. Ein interaktives Werk ist aus seiner Sicht als offen zu sehen, weil der Kontext, den der Autor ins Werk bringt, vom Benutzer (bei ihm »Agent«63 genannt) durch eigene Erfahrung und Aktionen mit dem Werk verändert werden kann, diesem also eine eigene Bedeutung gibt.64 Kluszczynski geht dabei von einem klassischen Kunstverständnis aus, das dem Künstler einen Geberstatus zuweist, den »traditionell definierten Konzepten der Repräsentation und des künstlerischen Ausdrucks«.65 Abgeschlossenheit bedeutet in seinem Sinne, dass ein Gemälde die Bedeutung habe, die der Künstler ihm zuweist, diese müsse schließlich vom Betrachter verstanden werden. Klassische Kunst ist zwar fertig und somit »abgeschlossen«, wird aber dennoch immer vom Betrachter und seiner subjektiven Rezeption in der Erfahrung von Kunst mitgedacht. Interaktive Kunst führt diese Möglichkeit des in der klassischen Kunst schwer zu fassenden Einbezugs der Rezeption nur noch deutlicher vor. Dagegen kann auch argumentiert werden, dass dieser scheinbar starren Bedeutungszuweisung durch den Betrachter dem Werk ganz neue Bedeutungen und Kontexte zugewiesen werden können, an die der Künstler eben im künstlerischen Schaffensprozess nicht dachte. Diese Zuweisung könnte zum Beispiel ein Verständnis über einen historischen Kontext oder einer Lebenswelt sein, die der Künstler unbewusst mit einfließen lässt. Letztendlich kann kein Kunstwerk in Bezug auf den Kommunikationsprozess als »abgeschlossen« betrachtet werden. Bedeutung und Kontext fließen in jeglicher Kunstform sowohl von Künstler als auch vom Betrachter oder Benutzer mit ein. Die Interaktivität und somit die Offenheit eines Werks liegt aber nicht im kommunikativen Bereich oder einer Neuzuschreibung einer Bedeutung, die der Künstler noch nicht bedacht hatte, sondern vielmehr in der Offenheit des Materials, des potentiell veränderbaren Artefakts, sei es real oder virtuell. Das, was den Kommunikationsprozess eines interaktiven Werks ausmacht, ist, dass es eine Aufforderung des Künstlers enthält, die den Betrachter durch eine oder mehrere Aktionen zum Benutzer werden lassen. »Während der Künstler das Material und die konstruktiven Regeln (das Artefakt) bereitstellt, wählt der Rezipient aus dem

62

63 64 65

Stacy, 2008, S. 19. Der Autor verweist in Bezug auf die »Sprache« auch auf: Forbrig P./Dittmar, A.: Bridging the Gap between Scenarios and Formal Models; In: Proceedings HCI International ‘03, Lawrence Erlbaum, Mahwah, on CD; 2003; Rosson, M.B./carroll, J.M.: Usability Engineering – Scenario-Based Development of Human-Computer Interaction; Morgan Kaufmann; San Francisco, 2002. Kluszczynski, 1997, S. 30. Ebd. Ebd.

63

64

Haptik am User Interface

Material aus und schafft die Struktur des Kunstwerks.«66 Dies ist eine enge Vorstellung eines Künstlers, der die Regeln als Kontext vorgibt, und eines Benutzers, der Teil des Werks wird, weil er innerhalb dieser Regeln agiert. »Der Kontext ist ein Produkt des Künstlers, der, anstelle eines traditionellen Kunstwerks, dessen Bedeutung sich aus hermeneutischer Interpretation und ästhetischer Erfahrung erschließt, einen ›Raum‹ für Interaktion schafft. Erst durch diese Interaktion entsteht für jeden Rezipienten ein einzigartiges Kunstwerk, das entsprechend der individuellen, kreativen Aktivität des Rezipienten unterschiedlich ausfällt. Aus diesem Grund schlage ich vor, die ontologische Reihenfolge der Elemente des Kommunikationsmodells umzustellen: Was zu allererst vom Künstler geschaffen wird, ist der Kontext, nicht aber das Kunstwerk im traditionellen Sinne. Das eigentliche ›Kunst-Werk‹ wird tatsächlich vom Rezipienten innerhalb des vom Künstler gesetzten Kontextes geschaffen. Der in diesem Sinne verstandene Kontext ist die einzige Botschaft des Künstlers in dem für die Interaktive Kunst charakteristischen Kommunikationsprozeß.«67 Zudem setzt Kluszczcynski »Unabgeschlossenheit und Unbestimmtheit«68 als Merkmale interaktiver Kunst fest. Denn der Benutzer könne feststellen, dass er das Werk zwar verändere, es aber, nachdem er seine Aktion beendet habe, durch einen anderen Benutzer wieder verändert werden könne, womit neue Kontexte und Erfahrungen zugeschrieben werden. Die Kunsthistorikerin Söke Dinkla schreibt hier auch von »flottierendem Werk«, das in jedem neuen Wahrnehmungsmoment anders ist und nicht mehr von einem einzelnen Künstler generiert wird, sondern durch ein »Konnektiv« mit mehreren Teilnehmern entsteht.69 Die Autorschaft und das abgeschlossene oder offene Kunstwerk lässt sich davon ausgehend in eine weitere Richtung diskutieren: Da jeder Benutzer mit seiner Aktion den vom Künstler erdachten Werkkreis erneut schließt, so könnte man ein derartiges interaktives Kunstwerk als multiples Kunstwerk betrachten. Paradox in der Bedeutung des interaktiven Kunstwerks ist, dass es gleichermaßen sowohl Einzelwerk durch die Erfahrung eines Moments für und durch den Betrachter ist, als auch ein Multiple, da es als Objekt selbst exakt wiederholbar hergestellt werden kann. Diese Wiederholbarkeit ist ein Merkmal des klassischen Multiples, welches ab den 1960er Jahren an Bedeutung gewann.70 Ein multiples interaktives Werk könnte ein solches bezeichnen, das ein Künstler als ein einzelnes Werk betrachtet, da er, im Sinne Kluszczynskis, einen bestimmten, wenn auch offenen Kontext erschafft. Dieses einzelne Kunstwerk wird durch viele Benutzer und die 66 67 68 69 70

Ebd., S. 31. Ebd., S. 34. Ebd., S. 31. Dinkla, 2001, S. 91. Daniels, 1992, S. 227.

2 Manipulation der Medienkunst

damit verbundene Vervielfachung der Erfahrungen und Bedeutungen jedoch zu mehreren Kunstwerken innerhalb des Kreises Künstler/ein Benutzer (bzw. Künstler/ein künstlerischer Moment am Werk, wenn mehrere Benutzer gleichzeitig ein Werk nutzen können). Die zeitliche Aktion, die ein Künstler erdacht hat, wird somit zum wichtigen Teil. Der Moment wird von dem Künstler erschaffen und kann nur durch Benutzer (singular und plural) zum Werk hinzugefügt werden. Es wird somit zum wesentlichen Merkmal der interaktiven Kunst, beschrieben als Unabgeschlossenheit und Unbestimmtheit und ist als Aktion an sich in der haptisch interaktiven Medienkunst die Berührung, welche Erfahrung, Kontext und Bedeutung generiert. Es gilt: Ist die Interaktion nur ein potentiell erdachtes Konzept, so ist es der interaktiven Kunst zuordenbar, da es die Möglichkeit einer Interaktion vorgesehen hat. Der Wahrnehmungsmoment ist allerdings ein zwingender Teil der haptisch interaktiven Medienkunst, die sinnliche Erfahrung am Material der Technik muss Teil des Werks sein. Der Kommunikationsprozess des haptisch interaktiven Kunstwerks, nicht unbedingt zwingend des interaktiven Kunstwerks, ist folgender: Künstler > multiples Werk Momente der Benutzer.   Die Kunsthistorikerin Katja Kwastek unterscheidet in ihrer Beschreibung des Materials und der Teilhaber eines interaktiven Werks auf zwei Ebenen zwischen Produktionsästhetik und Rezeptionsästhetik.71 Produktionsästhetik betont das, was auf Künstlerseite geschaffen wurde. Dies steht im Unterschied oder vielmehr im Verhältnis zur Rezeptionsästhetik, zu dem was der Benutzer rezipiert oder wie das angebotene Kunstwerk als Material weiterentwickelt wird, so denn der Künstler am späteren Entwicklungs- oder Aktionsprozess nicht mehr beteiligt ist, was bei einer interaktiven Performance beispielsweise der Fall wäre: »Auf Seiten der Produktionsästhetik ist zunächst zu fragen, mit welchen Mitteln der Künstler das Interaktionsangebot gestaltet, den Rezipienten zur Interaktion motiviert. Künstlerische Strategien, die aus der traditionellen Kunst bekannt sind, wie der Einsatz von Mittlerfiguren, die Betonung oder Negation der ästhetischen Grenze, sinnliche Überwältigung, aber auch inhaltliche Identifikations- oder Distanzierungsangebote, können in der interaktiven Kunst als direkte Handlungsaufforderung dienen. Während das traditionelle Kunstwerk eine Aktivität des Betrachters nur im Sinne einer visuellen und mentalen Auseinandersetzung einfordern kann, muss das interaktive Kunstwerk eine körperliche Handlung desselben forcieren, um realisiert zu werden.«72 Söke Dinkla beschreibt in Bezug auf die durch Performance, Musik, Ton und technische Anwendungen zu charakterisierende Arbeit von John Cage als eine Öffnung, 71 72

Kwastek, 2005, S. 157f. Ebd., S. 158.

65

66

Haptik am User Interface

da diese Arbeit durch den Einbezug der Betrachter viele Autoren hat, auch weil Cage »das Wesen der Technologie in ihrer nicht sichtbaren und selbsttätigen Funktion«73 sehe. Ist das Verschwinden der Spuren eines Autors oder Künstlers somit bereits eine Absage an eine Autorschaft des Künstlers? Söke Dinkla verweist auf die fließenden Grenzen der Autorenschaften von Künstler und Rezipient: »Durch diese technische Konzeption [Rückkopplungsmechanismen] entsteht eine inhaltliche Indifferenz und Unvorhersehbarkeit, die weder auf eine ausdrückliche Intention des Autors noch auf eine klare Interpretation durch den Rezipienten schließen läßt. In diesem Entwurf werden die Performer zu Elementen des Systems.«74 Der Künstler Rafael Lozano-Hemmer sieht den Einfluss der Medienkunst auf die Frage zur Bedeutung des Benutzereinflusses bzw. auch den Einfluss des Kunstbetrachters aller Gattungen auf das Kunstwerk so: »Ich glaube, jede Kunst, ob technologisch oder nicht, definiert ein ›intersubjektiv bindendes Referenzsystem‹. Meiner Meinung nach stellt gute Kunst jegliche ›Autonomie‹, die dieses Bezugssystem für sich in Anspruch nimmt, in Frage. Autonom wovon? Mit seiner Maxime ›Le regard fait le tableau‹ (›der Blick macht das Bild‹) brachte Duchamp die Unmöglichkeit künstlerischer Autonomie auf den Punkt. Alles hängt von Beziehungen ab. Einige dieser Beziehungen werden ad hoc hergestellt, andere sind sorgfältig choreografiert. Für mich persönlich sind die Spannungen und das Wechselspiel, die sich aus der Verbindung fremder Gedächtnisse, der Verknüpfung extrem disparater Erfahrungsebenen ergeben, sehr motivierend. Und ich denke, sie lassen sich sowohl mit als auch ohne explizite technologische Abhängigkeiten herstellen.«75 Künstlerische Autonomie existiere in seinem Sinne gar nicht, da er bereits die pure Konfrontation des Künstlers mit seiner Umwelt und der darauf folgenden künstlerisch-kreativen Antwort bereits als Einfluss erkennt. Lorenzo-Hemmer spricht sich gegen die Autonomie der klassischen Kunstgattungen aus, so wird im praktischen Sinne von nicht theoretischer, sondern auch realer Effekte seiner Gedanken allerdings der Einfluss des Benutzers auf die interaktive Arbeit eines Künstlers besonders betont. Im Medienkunstwerk ist ein Unterschied zwischen aktiv-interagierendem oder partizipierendem Benutzer zu ziehen, allerdings gilt auch: »Der Versuch, die Grenze zwischen Partizipation und Interaktion anhand der Verwendung eines Algorithmus zwischen dem medialen Input und Output zu ziehen, den z.B. S. Dinkla und F. Popper (1997) unternommen hatten, machte noch einmal 73 74 75

Dinkla, 1997, S. 35. Ebd. Lozano-Hemmer, 2001, S. 245.

2 Manipulation der Medienkunst

deutlich, dass die Unterschiede weder an einem Medium noch an einem Konzept festzumachen sind: Es ist immer eine Kombination von beiden, welche die ›interaktive Medienkunst‹ hervorbringt.«76 Die vorliegende Arbeit soll nun auch noch einmal die Vorstellungen prüfen, ob es nur ein abgeschlossenes interaktives Werk gibt, das (partizipierend) benutzt werden kann, so wie es der Künstler erdacht hat oder ein offenes Werk, in dem der Künstler Vorgaben macht, welche nun vom Benutzer nach eigener Vorstellung (aktiv-interagierend) genutzt werden kann. Gibt es auf Wahrnehmungserfahrung ausgelegte haptische Kunstwerke, die sich diesen Vorgaben zwischen künstlerischer Autonomie und Fremdbestimmtheit durch die Rezipienten entziehen, gewissermaßen beiden Theorien zuzuordnen sind? Wie ist der klassische Werkbegriff zu betrachten, in dem das benutzte Material (haptisch) veränderbar ist? Kann es trotzdem eine prinzipiell abgeschlossene Arbeit geben oder ist die Idee des multiplen Werks eine bessere Bezeichnung? Der Beschreibung des Moments und somit der immer wieder neuen Erfahrungen, Bedeutungen und Kontexten gilt an den haptischen Werken ein gesondertes Augenmerk. Der Fokus auf den Moment als performativer Akt soll in den kommenden Kapiteln noch eine Rolle spielen, was am Werk aber auch ein gesteigertes Interesse am Material bedeutet, wenn dieser Akt abhängig vom (interaktiven) Material sei. Denn zu klären ist letztendlich, welche Bedeutung die Bewegung am technischen Objekt des haptischen Medienkunstwerks hat. Damit ist wiederum nicht allein die Bewegung des Benutzers gemeint, der durch seine Handlung Prozesse bewusst oder unbewusst anstößt. Vielmehr werden diese Prozesse als Bewegungen und somit Veränderungen der Erscheinungsform des Werks einbezogen: »Noch vor kurzem verfügten wir über bestimmte Techniken der Darstellung, die sich wesentlich auf materialisierte visuelle Anhaltspunkte stützten. Das Tafelbild, die Skulptur stand vor unseren Augen. Berührbare Objekte enthielten die Totalität des Sinns. Heute ist der Sinn nicht mehr gänzlich im Objekt, sondern eher in den Intervallen zwischen zusammengeschlossenen Trägern. Die vernetzten Informationen bewirken, daß das endgültige ›Werk‹ niemals eine durch seine Materialität begründetet Form haben wird. Das Werk existiert nur im Kopf des Rezipierenden, der die Informationen in ihrer Totalität rezipieren wird, aus der das ›Block-Bild‹ besteht.«77 Sicherlich ist im Gespräch zwischen dem New Media Künstler Fred Forest und dem Medienphilosoph Paul Virilio, dem dieses Zitat entstammt, nicht explizit von haptisch interaktiven Kunstwerken die Rede, vielmehr beziehen sie sich auf visuell

76 77

Kacunko, 2004, S. 40. Forest/Virilio, 1991, S. 337.

67

68

Haptik am User Interface

orientierte Medien von Foto und Video.78 Doch sie verweisen auf wichtige Punkte, die die Handlung der Bewegung betreffen: die Subjektivität der Erfahrung und der Wahrnehmung und somit einem vielfältigen endgültigen Werk, das jedes Mal mit der Handlung des Benutzers individuell abgeschlossen wird. Die Subjektivität des Moments eines Einzelnen macht das Kunstwerk multipel endgültig, denn jeder Benutzer komplettiert das erfahrene Werk neu. Nun könnte man argumentieren, dass dies für jedes Kunstwerk gilt, denn die visuelle Erfahrung ist stets subjektiv. Der Unterschied liegt hier in der Offenheit des interaktiven Werks, das eine Bewegung im Sinne einer Veränderung zulässt.   Abschließend sei gesagt, dass interaktive Installationen oder Objekte, wenn sie im öffentlichen Rahmen von Ausstellungen oder Festivals gezeigt und genutzt werden, natürlich immer ein »doppeltes Publikum«79 haben, nämlich sowohl den oder die tatsächlichen Benutzer, die in dieser Arbeit mit ihren haptischen Erfahrungen des Nutzungsmoments von besonderem Interesse sind, als auch Menschen als gewissermaßen klassische Beobachter. Diese nehmen zwar keinen direkten körperlichen Einfluss auf die Prozesse des Werks, beeinflussen aber dennoch die Situationserfahrung des aktiven Benutzers. Es kann schwierig sein, sich von der Außenwelt völlig frei zu machen, wodurch sich ein Benutzer infolge der Beobachtung durch andere eventuell zurückhaltend verhält und so nicht in voller bewusster Konzentration die körperlichen Erfahrungen des Werks annimmt, wie in einer unbeobachteten, auf sich allein gestellten Nutzung. Diese Situation zwischen Betrachter und Benutzer verweist zudem auf einen wichtigen Punkt in der Beschreibung und Analyse der haptischen Medienkunstwerke in der vorliegenden Arbeit. Diese soll sich natürlich nicht nur auf die rezeptive Ebene der Sinne beschränken, sondern eine (medien)kunsthistorische Beschreibung betonen, die mehr Perspektiven einnimmt als die einer reinen Beobachtung, Interpretation oder Vergleichsanalyse. Gerade der Einbezug des Benutzers bzw. des Körpers im Allgemeinen in die Kunst erfordert Überlegungen, was dies für das Werk selbst bedeutet. Die prozessuale Wahrnehmung des Benutzers im Verhältnis von objektbezogener, räumlicher und zeitlicher Veränderung soll an dieser Stelle genauer klassifiziert werden.

78 79

Ebd. Simanowski, 2012, S. 110.

2 Manipulation der Medienkunst

2.3

Die performativen Handlungen mit Installationen und Environments »[…] the art work no longer confronts us with art objects but instead with processes that are closely linked to the processes of creation itself.«80   »Viele interaktive Kunstwerke sind daher ›einzigartige‹ Artefakte, ›Skulpturen‹ oder Installationen, die in bestimmten Raum- und Zeitkonstellationen erfahren werden können.«81

Die Integration von Haptik als integrierendes Moment des Benutzers in die (Medien)Kunst verweist auf die Verhandlung von Raum und Zeit und somit auch auf das Verhältnis von Prozess- und Objektästhetik dieser »Artefakte«. Die Künstler Christa Sommerer und Laurent Mignonneau beschreiben dies folgendermaßen: »We adopted evolutionary image processes to create process-oriented art rather than pre-designed, predicable and object-oriented art. In art, much of the production is centered around the art object, the artifact; even in interactive art, many artists still subscribe to the traditional notion of the art object. When we analyzed the very essence of digital technologies, we realized that it is the capability of creating, rendering and displaying processes that distinguishes Turing machines […] and computers from other media such as photography, film and video. The potential rewards of developing, emerging and evolving processes became a focal interest in our artistic investigations. Instead of presenting the audience with hand-crafted artifacts or art objects, we aim for process-oriented artworks.«82 Auch wenn einleitend bereits die Probleme der kunsthistorischen Zuordnung und Definition angesprochen wurden, muss dennoch ein Blick auf die verschiedenen Einflüsse gewagt werden. Ståle Stenslie schreibt haptisch integrierende Medienkunstwerke in ein multimodales Environment ein: »The term multimodal environment is […] referring to installations that combinations of multiple sensory impressions. Examples are various combinations of sound, still- and moving images, touch, heat, smell, wind and others. Audio-visual (AV) combinations are multimodal, but so commonplace that the multimodal environments of interest here lies in other combinations like sound and touch, image

80 81 82

Sommerer/Mignonneau, 1998, S. 160. Huhtamo, 1997, S. 25. Sommerer/Mignonneau, 1999.

69

70

Haptik am User Interface

and touch or expanded multimodal combinations of, for example, sound, image and touch.«83 Söke Dinkla schlägt in Bezug auf digital orientierte interaktive Kunstwerke sechs Klassifikationen vor: »Environments, Installationen, computergestützte Telekommunikation, computergestützter Tanz, computergestützte Roboter oder Automaten und Automaten-Doppelgänger«,84 wobei an dieser Stelle die Frage einer deutlichen Abgrenzung zwischen den einzelnen Klassen gestellt werden muss. Bezogen auf haptisch interaktive Medienkunst sind alle Klassifikationen denkbar, wenn man den Blick auf die sinnliche Interaktion als eine gattungs- und klassenübergreifende Handlung konzentriert. Des Weiteren beschreibt Dinkla diese Klassifikationen als sechs digitale Typen, die sich von analogen Ausführungen in Environments und Installationen abgrenzen. Allerdings erweisen sich auch hier Dinklas Ideen nicht als vollends fruchtbar, da sich die Gruppenzuweisung zur haptischen Medienkunst zwar auf die Interaktion mit computergestützten Werken bezieht, die Konzentration in der Definition der haptischen Medienkunst aber auf der Sinnlichkeit liegt. Diese Sinnlichkeit betont die analoge, reale Handlung durch den Menschen als Benutzer, womit im Umkehrschluss das Medium des Werks und die Frage, ob es analoge oder digitale Interaktionsmöglichkeiten besitzt, in den Hintergrund rückt. Roberto Simanowski betont die »Doppelrolle des Körpers als wahrnehmender und wahrzunehmender Faktor«85 innerhalb der interaktiven Installationen, die auch er als Untergruppierung der digitalen Künste sieht. Sommerer und Mignonneau setzen diese Unterscheidungen in der Definition auf die sinnliche Kommunikationsebene und betonen dabei die besondere Bedeutung benutzter Sensoren und technischer Interfaces: »Interactive Computer Installations can be defined as visual, tactical and/or auditory installations where visitors can interact with images, sound, textures, and artificial environments that are in most cases created through digital technologies. They all use real-time interaction as a significant characteristic: this real-time aspect allows the visitors to these installations to actively participate in the process of image or sound creation and to modify parameters or even the whole work of art itself. These works use different interactive technologies such as sensors and interface devices to allow real-time interaction. In many cases, the artists not only create the art work but also invent and develop sensors and interfaces themselves, closely involving them with research and design.«86

83 84 85 86

Stenslie, 2010, S. 23. Kacunko, 2004, S. 55. Simanowski, 2012, S. 142. Sommerer/Mignonneau, 1998, S. 11.

2 Manipulation der Medienkunst

Da sich die haptischen Medienkunstwerke einer Zuordnung zu den klassischen Kunstgattungen entziehen, ist Teil der Genealogie dieser Kunstrichtung auch das Verständnis der kunsthistorischen Benennung und ihrer spezifischen Eigenschaften. Haptisch interaktive Medienkunstwerke sind objektorientierte Kunstwerke, die dennoch oft nicht unabhängig von einer sie umgebenden atmosphärischen Installation gelesen werden sollten. In den 1970er Jahren etablierte sich der Begriff der »Installation« für Kunstwerke, die weder als Skulptur noch als Gemälde zu beschreiben sind, sondern allgemein in der Umgebung und im Raum zu finden oder gar als der den Benutzer umgebenden Raum zu charakterisieren sind. Die größeren, auf das Räumliche ausgelegten Werke werden auch als »Environment« benannt.87 Der Kunsthistoriker Slavko Kacunko verweist in seiner Abhandlung auf die kategoriale Bestimmung der Medienkunst durch Zitate von Julie H. Reiss88 und Oskar Bätschmann89 auf einen weiteren definierenden Bestandteil der Installation: die Integration des Betrachters in das Werk und die Aufforderung an ihn, das Werk zu erfahren.90 Die Integration des Betrachters bespricht Kacunko in Bezug auf closed-circuit-Installation, die ab den 1960er Jahren beispielsweise durch John Cage oder Nam June Paik erstellt wurden, was in den kommenden Kapiteln näher besprochen werden soll: »Anstatt oder zusätzlich zur Repräsentation eines Sujets kommt die mediale Repräsentation des Zuschauers, des vorhandenen oder eines entfernten Ortes etc. hinzu, die aufgrund ihrer »Unmittelbarkeit« auch als »Präsentation« und die entsprechende Kunst als eine der »new arts of presentation« bezeichnet werden kann.«91 Für eine Analyse der haptischen Medienkunst ist der Verweis auf die Repräsentation des Betrachters bzw. Benutzers interessant, denn die angesprochene Unmittelbarkeit der Erfahrung findet sowohl als sinnliche Erfahrung am zu berührenden Interface statt, sowie einer sofortigen digitalen Reaktion oder in einer wie auch immer gearteten Repräsentation der Aktion des Benutzers. So denn die mögliche Interaktion nicht nur eine konzeptionelle Idee ist, führen Installation oder Environments zu einer weiteren kunsthistorischen Gattung, die ebenfalls gedanklichen Einfluss auf die Analyse eines haptischen Medienkunstwerks haben sollte: der

87 88 89 90 91

Kacunko, 2004, S. 35. Der Autor verweist hier auf : Reiss, Julie H. : From margin to center : the spaces of installation art; Cambrigde, 2001. Der Autor verweist hier auf: Bätschmann, Oskar: Ausstellungskunst: Installationen und ästhetische Erfahrungen; 1999. Kacunko, 2004, S. 36. Ebd. Der Autor verweist hier auf: Morse, Margaret: Virtualities. Television, Media Art, and Cyberculture; In: Indiana University Press; Bloomington/Indianapolis, 1998.

71

72

Haptik am User Interface

Performance.92 Teil der Geschichte der klassischen Performance seit den 1960ern ist, dass oft auch die Erstellung der Objekte, der Installationen oder der theatralen Umgebung, in den Gesamtablauf einbezogen wurden, in diesem Sinne Aufbau und Ausführung ein gleichwertiger Prozess waren. Findet sich dieser Gedanke in den Medienkunstwerken, die durch ihren Bezug auf die Haptik mit den Interfaces meist objektorientiert sind, wieder? Wird also der künstlerische, kreative Prozess hin zum finalen Design hervorgehoben? Der Aufbau wird hier ebenso als eine Handlung verstanden, wie die Beschreibung eines Kunstwerks als performativ zu bezeichnen ist, die auf eine Aktion verweist, sei es durch den Künstler selbst, sei es durch einen Benutzer. Die Performance ist allerdings an eine Gegenwärtigkeit gekoppelt, die auch als »live« benannt werden kann. Dies widerspricht somit den technologischen Kunstwerken und eingeschlossen auch den haptischen Medienkunstwerken, da die Handlung, laut Kacunko, durch eine Übertragung vom Interface zum angeschlossenen Medium stattfinden muss.93 Aktion und Reaktion erscheinen nahezu zeitgleich, sind es aber de facto nicht. Aber: »Sobald die entsprechende Technologie durch den Willen des Künstlers und Regisseurs auch im Sinn einer Inter-Aktion eingesetzt wird, entschwindet auch die Grenze zwischen dem traditionellen Theater und der interaktiven Medienkunst.«94 Der Hinweis auf das Theater bezieht sich auf die Idee des Aufbrechens der »vierten Wand« im Sinne des aktiven Einbezug des Betrachters in das Theaterstück, der den Verlauf des Werks verändern kann, im Gegensatz zum passiven Einbezug eines zuvor definierten Ausgangs des Stücks, obwohl der Betrachter Teil wird. Dies wiederum bedeutet für interaktive Kunstwerke den Unterschied zwischen einem vom Künstler passiv integrierten Benutzer, der beispielsweise die erdachte Haptik erfahren kann, und einem aktiv handelnden Benutzer, der ein offenes Kunstwerk selbst gestalten kann. Die Grenzen dieser Offenheit wurden bereits diskutiert.95 »Wenn es zur Möglichkeit einer Rollenübernahme durch das Publikum kommt, wird trotz seiner Aktivierung das Performative nicht in Frage gestellt; wenn aber mit medialen Signal- und Datenübertragungsmitteln das Publikum zur freien Erkundung einer realen oder virtuellen Umgebung veranlasst wird, dann handelt es sich nicht mehr um eine erweiterte Performance, sondern um eine nicht-theatralische Interaktion, in der die jeweilige Person sie selbst bleibt.«96

92 93 94 95 96

Ebd., S. 37. Ebd., S. 38. Ebd. Siehe dazu Kapitel 2.2. Ebd., S. 39.

2 Manipulation der Medienkunst

Die sinnlich-haptische Erfahrung am Medienkunstwerk kann zunächst einmal als performativ beschrieben werden. Die Handlung am haptischen Interface ist, neben der sinnlichen Erfahrung eines haptisch orientierten Medienkunstwerks, eine Eingabe von Daten in den Computer, um durch einen Rechenvorgang eine programmierte Reaktion hervorzurufen. Kacunko verweist auf das Kybernetikmodel Norbert Wieners, wenn er schreibt: »Für Wiener bedeutete die Rückkopplung von Input und Output die Basis eines kybernetischen Systems, dessen wichtige Bestimmung, die Entropie-Resistenz, für die Bewältigung zahlloser praktischer Aufgaben genutzt werden kann, z.B. im Ingenieurwesen oder in der Nachrichtentechnik.«97 Das Verständnis von eingehenden und ausgehenden Daten als Rückkopplung muss nicht zwangsläufig bedeuten, den Körper des Menschen maschinell zu betrachten oder die Maschine als vermenschlicht, um eine Verbindung zu sehen, die in utopischen Zukunftsfantasien mit Robotern, Androiden, Cyborgs oder anderen fließenden Vermengungen von Mensch und Technik enden. Rückkopplung kann mit Blick auf einen Datenfluss und dem Verlauf von Handlung in Aktion und Reaktion ganz einfach als Kommunikationskette gesehen werden. Dateneingaben führen zu technischen Reaktionen, die bei haptischen Medienkunstwerken wiederum den menschlichen Sinnen »antworten«, indem die Haut etwas fühlt. Technisch formuliert kann hier auch von »Feedback«98 gesprochen werden. Durch das haptische Feedback am Interface schließt sich der Informationskreis von Dateneingabe zur Datenausgabe von Signalweiterleitung des Gehirns an die Finger über ein Interface an das Rechnersystem und zurück über das Interface an die Rezeptoren in den Fingern des Benutzers. Das Verständnis des menschlichen Körpers als Datengeber und somit als eine Art Biomaschine mit vielen kleinen Teilen, die wiederum im Einzelnen kontrolliert und »gelesen« werden könnten, führt zu medizinischen Untersuchungen wie dem »Biofeedback«99 oder dem in der Industrie genutzten »Force-Feedback«.100 Feedback als fühlbare Reaktion ist wesentlicher Bestandteil der haptischen Medienkunst, wenn es um die Frage eines sinnlichen Gefühls am Werk geht, wobei Feedback auch in der allgemeinen interaktiven, nicht auf die Haptik spezifizierten, Kunst als Reaktion des Werk auf die Handlung des Benutzers gesehen werden kann. Diese Unterscheidung eines sinnlichen oder auch messbaren Feedbacks und eines metaphorischen Feedbacks101 soll in der Analyse der Werke der haptischen Medienkunst Beachtung finden. Diese Formen des Feedbacks erzielen eine Unmittelbarkeit in der Erfahrung: 97 98 99 100 101

Ebd., S. 42. Ebd., S. 43. Ebd. Ebd. Ebd.

73

74

Haptik am User Interface

»Die rückgekoppelten Inputs und Outputs sind im technischen Sinn die Erzeuger der ›Immediacy‹, der audivisuellen und andersartigen ›Unmittelbarkeit‹. Diese ›Unmittelbarkeit‹ stellt neben dem ›Zielbegriff‹ der Interaktion den wichtigsten ›Grundbegriff‹ (eine Art Meta-Kategorie) im Zusammenhang der Medienkunst und -theorie dar.«102 Zwar bezieht sich Kacunko mit dieser Aussage auf eine Analyse des Einflusses von Video und dem closed-circuit-System auf die Medienkunstgeschichte sowie auf die Spiegeltheorie, also der Möglichkeit durch dieses geschlossene System dem Benutzer den »Spiegel« vorsetzen zu können.103 Die Unmittelbarkeit des Feedbacks der Technik am Interface ist dennoch für die haptische Medienkunst ebenfalls von Bedeutung. Das damit verbundene Gefühl eines gegenwärtigen Ereignisses ist wissenschaftlich und philosophisch stark diskutiert, da das Erfahren von Zeit immer auch subjektiv ist. Was als »gegenwärtig« erfahren wird, ist Definitionssache.104 R.F. Malina präzisiert die möglichen Eigenschaften der interaktiven Medienkunst, die mit Computerunterstützung arbeiten, in Bezug auf Rückkopplung und Feedback, wobei nicht jede Eigenschaft zutreffen muss: • • • • •

Ein Werk ist ihm zufolge als interaktives Medienkunstwerk zu bezeichnen, wenn es eine Mensch-Maschine-Interaktion in Echtzeit ausführt, die Interaktion durch Datenverarbeitung eine Neukonfiguration der Software und somit eine Veränderung der Aktion und Reaktion zur Folge hat, angeschlossene Computer wiederum durch weitere Verknüpfung über weite Entfernungen kommunizieren können, Speicherung und Verarbeitung, dabei leichterer Zugang zu einer Vielzahl von Daten möglich sind, sowie die Eigenschaft, Signale zu erkennen und zu verarbeiten, die mit den menschlichen Sinnen nicht wahrnehmbar sind, durch die Verarbeitung aber wahrnehmbar gemacht werden.105

Diese Eigenschaften konzentrieren sich, wie zuvor betont, lediglich auf den zu verarbeitenden Computer und verweisen dabei nur indirekt auf den Menschen als Benutzer. Somit kann mit Blick auf die Datenverarbeitung und -sammlung am Interface eines haptisch interaktiven Medienkunstwerks diese Definition von Eigenschaften besprochen werden. Am Interface werden Daten gesammelt, verarbeitet und neu (auch ästhetisch) angeordnet und somit dem Benutzer in veränderter Form zugänglich gemacht, wobei die Interaktion zwischen dem Benutzer und der 102 103 104 105

Ebd., S. 45. Ebd., S. 44. Ebd., S. 45ff. Ebd., S. 57.

2 Manipulation der Medienkunst

Datenverarbeitung durch den Computer ein Gefühl von Echtzeit vermitteln sollte. Somit werden Daten und ihre Verarbeitung zu einem künstlerischen Material. Welche Bedeutungen können diese Bewegungen und Verwandlungen von Daten in haptischen Ausdruck und umgekehrt die Aktionen des Benutzers und die Datensammlung der Sensoren an den Interfaces haben? Wie werden Daten im Werk verarbeitet? Wie offenkundig passiert dies auch in Hinsicht auf die aktuelle Debatte der Datenkrake »Technik« und der Vorratsdatenspeicherung? Sind diese Daten Mittel zum Zweck natürliche und technische Prozesse auf Informationsebene zu verbinden oder dient das Werk gar dem Aufzeigen von Datenverkehr? Im medienkunsthistorischen Beschreibungsprozess gilt es langfristig diese gesammelten Daten mit aufzunehmen, sie somit als wichtige Kategorie und Material der Medienkunst wahrnehmbar und verständlich zu machen – Digitalisierung von Kunst als archivarischer Erinnerungsprozess.

2.4

Die Künstlerwissenschaftler und ihre Experimente

Medienkunst und ihre Konzentration auf das zur Kunst genutzte Medium und auf die technischen Entwicklungen weisen auf ein verstärktes Interesse an den Wissenschaften hin. Was bedeutet dies für die Erarbeitung der Haptik durch Interfaces oder der Integration in medienkünstlerische Werke? Welche Themenbereiche decken die haptischen Medienkunstwerke ab und wie tief geht das forschende Interesse der Künstlerwissenschaftler? Dieses wissenschaftliche Interesse, nicht nur an den Themen, sondern auch an den Arbeitsweisen, vermeidet auf den ersten Blick den in den klassischen Kunstgattungen innewohnenden Hang zur Allegorie und Symbolik. Ist die scheinbar forschende Objektivität als ein Merkmal der Naturwissenschaften auch ein Merkmal der Werke der interaktiven, haptischen Medienkunst oder ist es vielmehr so, dass die Künstlerwissenschaftler mit ihren Werken »[…] den alleinigen Objektivitäts- und Wahrheitsanspruch der Naturwissenschaften in Frage […]«106 stellen? An dieser Stelle kann ein Einwand Ståle Stenslie zitiert werden: »Any objectivity contained in artworks is based on the subjectivity and therefore non-objective view of the artist.«107 Der künstlerische Einfluss in Form von kreativem Umdenken wird bei jeglichem Forschungsinteresse somit generell zu einer Infragestellung einer reinen Objektivität. Die Kunsthistorikerin Susanne Witzgall hat in ihren Untersuchungen des naturwissenschaftlichen Diskurses in der Kunst ab den 1990er Jahren108 sechs Typen von Kunst und Wissenschaft und deren Verhältnis zueinan-

106 Witzgall, 2003, S. 332. 107 Stenslie, 2010, S. 56. 108 Witzgall, 2003.

75

76

Haptik am User Interface

der erfasst, die sie für das 20. Jahrhundert herausfilterte, um die zeitgenössischen Werke einzuordnen. Auch die von ihr betrachteten Arbeitsweisen können sich einer Subjektivität nicht immer entziehen, suggerieren dennoch (zunächst) oft Objektivität. Künstler suchen dabei mit einem Einbezug der Naturwissenschaften nach einer neuen Formensprache in der Kunst, aber auch nach objektiver, bildlicher Formensprache der Wissenschaften, um diese in einen anderen Kontext zu setzen. Die naturwissenschaftlichen Arbeitsweisen werden sowohl als konzeptuelle Vorgänge benutzt, als auch in tatsächlich praktischer Durchführung wissenschaftlicher Methodik in Kombination mit künstlerischem Material. Schließlich wurden Kunstwerke zudem zur Durchsetzung wissenschaftlicher Ziele verwendet und damit eine Verschmelzung von Kunst und Wissenschaft angestrebt.109 Bei diesen unterschiedlich starken Annäherungen von Kunst und Wissenschaft erkannte Witzgall wiederum drei Methoden. Künstler benutzen wissenschaftliche Arbeitsweisen, um sie künstlerisch umzusetzen. Kunstwerke ahmen in Aufbau, Methodik und/oder Vorgehensweise Wissenschaft nach und die Verbildlichung der Wissenschaft und ihrer Darstellungsweisen wird künstlerisch verarbeitet:110 »Die Künstler der 1990er Jahre behandelten, untersuchten und diskutierten die Naturwissenschaften. Sammelnd, konservierend, dokumentierend, klassifizierend, simulierend, rekombinierend oder rekonstruierend analysierten sie das Wesen der appropriierten naturwissenschaftlichen Vorgehensweisen oder hinterfragten deren potentiellen Erkenntnisse und Ergebnisse.«111 Auf ähnliche Weise strukturierten Christa Sommerer und Laurent Mignonneau als Herausgeber des 1998 erschienenen Buches Art@Science112 die unterschiedlichen medienkünstlerischen Auseinandersetzungen, nicht nur mit der Naturwissenschaft, sondern auch mit den Zusammenhängen zwischen der schnell voranschreitenden Computertechnik, den Wissenschaften und der Kunst. Dieser Aufbau verzweigt sich in Bezug auf beispielsweise Telekommunikation, wissenschaftlicher Visualisierung durch Simulation und damit auch im nächsten Schritt dem Versuch, sich dem künstlichen Leben zu nähern oder dem Umgang mit interaktiver Technik im öffentlichen Raum. Jeffrey Shaw betont in einem Artikel zur Geschichte der Zusammenarbeit von Kunst und Wissenschaft, dass die interaktive Computertechnik als ein gemeinsames Material ein wichtiger Punkt für eine einfachere Annäherung sein könnte. Er bezeichnet diese gar als gemeinsame Sprache.113 Gerade die in der vorliegenden Arbeit behandelten Künstler der haptischen Medienkunst widmen sich vor allem der Simulation, aber auch der Rekombination 109 110 111 112 113

Ebd., S. 328. Ebd. Ebd., S. 329. Sommerer/Mignonneau, 1998. Shaw, 1998, S. 162.

2 Manipulation der Medienkunst

verschiedener wissenschaftlicher und künstlerischer Methoden, welche im Einzelnen noch genauer analysiert werden. Wie drückt das Werk die Arbeit nicht des Künstlers, sondern vielmehr des Künstlerwissenschaftlers aus? Wie konsequent sind die Werke der haptischen Medienkünstler? Setzen sie sich wirklich »[…] kritisch über den wissenschaftlichen Zugang zur Welt hinweg.«?114 »Konsequenterweise wäre eine technologische Kunst überdies eine Kunst, die sich in das technologische Dispositiv einschreibt. Ihre Akteure müßten also eine doppelte Kompetenz, d.h. eine technologische und eine künstlerische, besitzen. Berücksichtigt man die Spezialisierung des Wissens, so verweist diese Kompetenz auf eine Leistung, der gegenüber diejenige der Computer, selbst der größten und am besten programmierten, nur von einem geringen Nutzen erscheint! Manche ›Künstler‹ ziehen es daher vor, die Ausübung einer künstlerischen Tätigkeit im Bereich der Technologie vorzutäuschen, ohne sich direkt am wirklichen künstlerischen Dispositiv zu messen. Dadurch begeistern sie einige sensationsbedürftige Techniker, die allerdings die aktuelle künstlerische Wirklichkeit nicht kennen, in der das Ikonische kein Endzweck, sondern ein Material ist.«115 Jaques Fol verweist in diesem Zitat aus seinem Aufsatz »Fragen an den Benutzer von numerischen Technologien, die aktuelle Kunst schaffen oder an ihr teilnehmen wollen«116 in Bezug auf die Nutzung von Technologie in der Kunst, ebenfalls auf eine doppelte Kompetenz, betont aber, dass es eine künstlerische Verantwortung gäbe, diese nicht nur als künstliche Spielerei zu missbrauchen, sondern Kunst als Hinterfragung eines Themas zu sehen. Witzgall sieht hingegen in der Nachahmung schon den kritischen Charakter: »Mit der Nachahmung naturwissenschaftlicher Vermittlungs- und Darstellungsformen verliehen sie abstrakten Inhalten und Fiktionen den Anschein konkreter objektiver Zeugnisse, enthüllten den Charakter dieser Ausdruckskonventionen und sprengten ihre rigiden wissenschaftlichen Regeln.117 Fol stellt sich grundsätzlich gegen ein Streben nach Objektivität, die in der Kunstgeschichte kein Novum wäre und in gewisser Weise auch dem Nutzen des technologischen Materials als subjektive Erfahrungsmöglichkeit neuer Wahrnehmungsformen für den Benutzer widerspricht. Witzgall bezieht sich auf die verschiedenen Arten naturwissenschaftlichen Einbezugs in die Kunst: zunächst der explizit naturwissenschaftliche Zugang, der sich gedanklich noch einmal von der Hinterfragung des Verhältnisses von Technikern

114 115 116 117

Witzgall, 2003, S. 328. Fol, 1991, S. 575. Ebd. Witzgall, 2003, S. 329.

77

78

Haptik am User Interface

und Künstler abhebt. Die Verknüpfung von Designer und Künstler oder technischem Entwickler und Künstler hingegen, ob in einer Person oder als Arbeitsgruppe aus mehreren Personen, bedeutet danach eher eine Ausrichtung auf die (Weiter)Entwicklung und Erforschung der technischen Medien. Wobei der Einbezug der Naturwissenschaften wiederum bereits einen Fokus auf die wissenschaftliche Nutzung der technische Medien hat, die im Sinne der Kunst »missbraucht« werden. Abraham A. Moles bezieht sich auf die Herkunft des Begriffs »techne« (Kunst)118 , um noch einmal zu verdeutlichen, dass das kreative Schaffen einen gemeinsamen Ursprung hat, sei es nun im modernen Sinne industriell ausgerichtetes Design, technologisch industrielle Entwicklung oder in ihrer Bezeichnung Kunst:119 »An diesem Punkt scheint es nun sinnvoll, die zwischen dem Design und einer durch und durch artifiziellen Wirklichkeit bestehende Beziehung näher zu betrachten, das heißt, das Möglichkeitsfeld systematisch zu erforschen und zu einer neuen sensorischen Kombination zu gelangen, die aus einer »neuen Kunst« hervorgehen wird, die ihrerseits durch die von ihr manipulierten sensorischen Parameter und das von ihr in Vorschlag gebrachte neue ästhetische Arrangement definiert ist.«120 Moles sieht die Bedeutung der Verbindung verschiedener Disziplinen, rettet sich aber in Neologismen, um betonen zu wollen, dass eine gängige Bezeichnung nicht mehr ausreichen würde: »Neue Kunst« werde nun von »Neo-Künstlern« und »Metakünstlern« produziert, wobei er den Begriff ebenso bewusst mit Anführungszeichen als etwas Neues, Verändertes markiert.121 Die Designideen der »Neuen Kunst« gelten als künstlerischer Forschungszweig: »Dabei wird dem Design die Funktion zufallen, dieses neue Feld »programmierter Sensualisierungen« [Interfacesysteme] zu erforschen (die man früher als ›Kunstwerke‹ bezeichnet hat und künftig als ›Szenen einer ästhetischen Aktion‹ charakterisieren könnte). Aber was würde geschehen, wenn man beispielsweiße einen elektronischen Taktil-Detektor mit einem Minitel- oder einem Compuservesystem kombiniert? Würde – rein philosophisch gesprochen – das Ergebnis ein Nebenprodukt der immateriellen Kultur sein oder vielleicht ein neues Ereignis in der Sphäre ästhetischer Wertsetzung?«122

118 119

Moles, 1991, S. 164. Siehe zum Begriff »techne« auch: Kozel, 2007, S. 72ff. »[…] techne is about revealing what was concealed, rather than manufactering or simple instrumentality: techne is a bringing-forth, and technology is a mode of this revealing.« (Kozel, 2007, S. 74) 120 Moles, 1991, S. 167. 121 Ebd. 122 Ebd., S. 168.

2 Manipulation der Medienkunst

Moles schreibt hier Kunstwerken generell eine untersuchende Funktion und Hinterfragung der Umwelt zu. Die Suche nach dem Sinn hinter den Dingen habe sich demnach nicht geändert, nur der Begriff muss sich scheinbar erweitern, damit er sich abhebt, ohne dass direkt von einem Paradigmenwechsel gesprochen werden müsse.   Die Hinterfragung der Wissenschaft durch Kunst könnte allerdings in der haptischen Medienkunstgeschichte als ein schmaler Grat zwischen innovativer Technikentwicklung und Zukunftsfantasien bezeichnet werden. Wenn Witzgall genauer auf die interaktive Computerkunst eingeht, die in ihrem Fall beispielsweise das auch in der vorliegenden Arbeit behandelte A-Volve von Christa Sommerer und Laurent Mignonneau bespricht, so beschreibt sie den wissenschaftlichen Einfluss sprachlich abgeschwächter: »In den Computerinstallationen scheint ein moderner wissenschaftsaffirmativer Zug spürbar, der diese nicht nur mit der Kunst der 1960er und 1970er Jahre, sondern auch mit den angeführten Beispielen der klassischen Moderne und ihrem Glauben an eine >wahre< und erkennbare Natur verbindet.«123 In den Begriffen einer »wahren« und erkennbaren Natur steckt immer wieder auch die Frage nach dem Realitätsbezug sowie nach dem Verhältnis und der Verknüpfung von realer und virtueller Welt: »Die gezielte Aufhebung der Trennung von Natur und Kultur, von Objekt/Naturpol und Subjekt/Gesellschaftspol, spielt in der Kunst der 1990er Jahre bei der Auseinandersetzung mit den Naturwissenschaften generell eine wichtige Rolle, die in diesem Umfang bis dato ebenfalls ohne Vorbild ist.«124 Die vorliegende Arbeit wird zeigen, inwieweit diese Überlegungen nicht für die Werke der 1990er Jahre, sondern darüber hinaus bis heute gelten. Die Wahrnehmungserfahrung ist dabei eine der vorherrschenden Errungenschaften, die eine Verknüpfung von Kunst, Wissenschaft und Technologie leisten kann, wenn die getrennten Definitionen kombiniert werden: »Kunst bedient sich eines Minimums an geformtem Material zur Mitteilung eines Maximums an menschlichem Ausdruck (Gefühlen, Gedanken, Erfahrungen). Wissenschaft begeht den Weg des Denkprozesses, Technologie den der praktischen Erfahrung und der technischen Anwendung, Kunst teilt sich ›spontan‹ ästhetisch mit. Die Ökonomie der Kunst macht die Dosierung zur Intensität, zum Gewicht der Mitteilung möglich. Technologie elektronischer und anderer Art hilft bei der

123 Witzgall, 2003, S. 330. 124 Ebd., S. 332.

79

80

Haptik am User Interface

Aufbereitung, der Intensivierung, der Sublimierung, dem Transport und der Verbreitung der Kunst.«125 Zerdenkt man jedes zu untersuchende Werk nicht in der Frage, ob es nun ein rein technisches Experiment ist oder künstlerischen Wert hat und gibt dem technischen Objekt, das in einen künstlerischen Zusammenhang eingebettet wurde, die Chance sowohl Kunst, als auch für Technologie und Wissenschaft relevant zu sein, so ergibt sich die Möglichkeit es als Erfahrungsraum anzuerkennen. Das künstlerisch oder technisch orientierte Objekt könnte nun Gedankenprozesse anstoßen und sowohl ästhetisch als auch als tatsächliche Wahrnehmungserfahrung beispielsweise der Haptik der technischen Oberfläche sein. Dabei ist der Erfahrungsraum des Menschen eben nicht nur auf die Optik fokussiert, was einer Immersion in eine virtuelle Welt der Grafiken zugutekommen würde, sondern ist einer materiellen Welt verhaftet, die sich durch Fehler und nicht durch bewusste Nichtwahrnehmung aufgrund von Perfektionismus auszeichnet: »Diese materiellen Hilfsmittel drängen sich dem Bewußtsein nur wegen ihrer Unvollkommenheit auf – wegen der Notwendigkeit, den Computer beispielsweiße an das Stromnetz anzuschließen und ihn anzustellen, um ihn in Arbeitsbereitschaft zu versetzen. Die Infrastruktur ist durch den Umstand bestimmt, daß bereits ein minimaler Kontakt – ja sogar ein Telekontakt – all das in Bewegung zu setzen vermag, was die fortschrittlichste Technologie dem Computer an Möglichkeiten mitgegeben hat. Die materiellen Hilfsmittel bringen sich uns durch unsere Abhängigkeit von ihnen immer wieder in Erinnerung, insbesondere durch solche Defekte wie Schmutzflecken auf schlecht gereinigten Vinyl-Discs oder durch Störfaktoren wie das Hochhaus, das den Radioempfang beeinträchtigt, oder die Stimmen fremder Menschen, deren Gewirr uns beim Telefonieren irritiert.«126 Auch wenn Moles im Anschluss betont, dass gerade die Vollkommenheit ohne diese Unzulänglichkeiten Ziel der materiellen Hilfsmittel sein müsse, um ihr Nutzen zu vergessen, denkbar im Sinne der natürlichen Interfaces als »unsichtbares Hilfsmittel«, so verweist auch er auf das Verhältnis des Menschen zu seiner Umwelt: Merkmal einer (haptischen) Umwelt sind Fehler.   Ståle Stenslie verweist nicht nur auf eine freie, kreative Arbeitsweise und unkonventionelles Denken, sondern verschriftlicht seine Vorstellung der Unterschiede zwischen wissenschaftlicher und künstlerischer Forschung folgendermaßen: »One of the differences between scientific and artistic research through practice is that in the science the results usually feed back in two directions. 125 126

Piene, 1991, S. 273f. Moles, 1991, S. 169.

2 Manipulation der Medienkunst

i) a redevelopment of practice into more applied research and methods, and ii) a development of new technologies. In the latter, artistic research contributes to developing new technologies through accepting – at least instrumentally speaking – ›failures‹. In art, especially if we see art as a social system, making the better mistakes can be, artistically speaking, better than making no mistake at all.«127 Auch Stenslie zeigt die wissenschaftliche Vorgehensweise eines Experiments in seiner Wiederholbarkeit auf und betont somit die Bedeutung des Fehlers, der als ungeplantes und ungehofftes Phänomen aus dem Vorgang hervorsticht und zum Überdenken der Hypothese, eines Versuchsaufbaus oder einer technischen Konstruktion führen, im künstlerischen Zusammenhang aber durchaus ein Ergebnis sein kann. Als eben den überraschenden Moment, der einen Umgang zwischen Mensch und Objekt intuitiv und unvorhersehbar machen könnte, genau das, was im Perfektionismus eines Designers oder Technikers, der sein Gerät durchplanen muss, nicht vorgesehen ist, aber einen künstlerischen Umgang mit technischen Objekten deswegen so spannend macht. Der Künstler als Forscher kann somit durchaus auch eine Idee als Objekt realisieren, das nicht der Vollendung dient, sondern in seinem Dasein der Veränderung durch Weiterentwicklung begriffen ist: »The research process here produces art where knowledge is an embodied phenomenon articulated through both the creative process and the art object.«128 Zu betrachten sind demnach die Arbeits- und Denkweisen des Wissenschaftlers, Technikers und vor allem des Künstlerwissenschaftlers und welchen Stellenwert das Experiment als sich entwickelndes oder entwickeltes Objekt hat. Sieht sich der Künstlerwissenschaftler nicht »nur« als Künstler mit inhaltlichem und kreativem Bezug zu wissenschaftlichen Themen oder Arbeitsweisen, sondern sein Werk als experimentelles Mittel der Forschung oder im Zusammenhang eines größeren Forschungsprojekts? Wie ist das Werk als Objekt und Experiment beschrieben und zu bewerten; als Einzelschritt, mit dem Forschungen fortgeführt werden, oder als ein Ergebnis aus der Forschung heraus? Wenn das Werk als Experiment gesehen wird, ist es dann im Sinne eines Teils der Forschung auch als nicht abgeschlossen, als stets verbesserbar und vervollständigbar durch einen potentiellen Benutzer zu sehen? Das Werk als Kunstwerk muss demnach nicht nur im Rahmen der Bedingungen eines möglichen zeitlich begrenzten Forschungsanspruchs gelesen werden, sondern auch im fortwährenden Prozess eines wissenschaftlichen Interesses im Gesamtwerk des Künstlerwissenschaftlers. Ist das Kunstwerk, wenn es ausgestellt, präsentiert und diskutiert wird, abgeschlossen als Ende eines Prozesses oder ist es neben der interaktiven Offenheit durch den Einbezug des Benutzers

127 128

Stenslie, 2010, S. 30f. Ebd., S. 56.

81

82

Haptik am User Interface

nach wie vor unabgeschlossen, womit die Möglichkeit einer Weiterentwicklung besteht? Mögliche Materialien zur Festlegung des Status eines Kunstwerks können Skizzen, Vor- und Nachbearbeitungen, nachvollziehbare Arbeitsschritte und theoretische Überlegungen aber auch Patentnachweise sein, die das Objekt bzw. Vorarbeiten zum Objekt in den Gesamtvorgang der Forschung einbetten lassen. Wieviel offenbart der Künstler von seiner Arbeit? Was wird nicht gezeigt und welches Verhältnis scheint zwischen Theorie und Praxis zu bestehen? Die Wissenschaft wiederum erschafft innerhalb des Arbeitsprozesses Wissen, aber dabei auch sinnlich erfahrbare Ergebnisse zum Verständnis dieser komplizierten Prozesse, ist somit ebenso produktiv wie die Kunst. Der Unterschied besteht wiederum darin, dass wissenschaftliche Prozesse jedoch nicht zwingend visualisiert oder objektisiert werden müssen.129 Die zuvor angestellten Überlegungen beziehen sich somit umgekehrt auch auf die experimentellen Objekte im wissenschaftlichen und wirtschaftlich orientierten Forschungsbereich: Sind hier die technischen Objekte nur Präsentationsmittel zum Forschungszweck oder lässt sich gar ein künstlerischer Einfluss erkennen? Kurz gesagt: Wieviel Forschungsinteresse zeigen die Künstler, welches Kunstinteresse haben die Forscher und wie drückt sich dies am Beispiel der Entwicklung von haptischen User Interfaces aus? Gerfried Stocker, Initiator des Medienkunstfestivals Ars Electronica in Linz, fordert für ein besseres Verständnis der Forschungsgrundlage in der Kunst gar Verbindungen mit anderen Institutionen ein, wenn er schreibt: »Eine Wissenschaft und/oder Kunst, die nicht in einem wirtschaftlich industriellen Zusammenhang steht, bleibt für die Gesellschaft im weitesten Sinne irrelevant und wird nicht wirkungsvoll.«130 Stocker erkennt die Wechselwirkungen zwischen Kunst und Technologiewirtschaft und -wissenschaft: Sowohl durch Beeinflussung der Techniken, die Künstler anwenden, nutzen oder ihre ursprüngliche Nutzung verändern, als auch Kunstwerke, die als »funktionell und funktionalisiert« beschrieben werden, können neu entwickelte Technologien für die Gesellschaft relevant werden.131 Auch Stenslie sieht die Vorteile einer forschenden Medienkunst: »The reason for envolving art and media into research is that media arts have unique way of operating between real sensations (interfaces) and the design of mental- and contextual space. […] one of the advantages of practice based research is that practice – as the work of art – demonstrates thinking. Works of art present us with empirical material and – in the case of media art- with empirical experiences.«132

129 130 131 132

Welsch, 1986, S. 129. Stocker, 2004, S. 53. Ebd., S. 54. Stenslie, 2010, S. 100.

2 Manipulation der Medienkunst

Durch diese Formulierung beschreibt Stenslie nicht nur die Medienkunst, sondern liefert die Idee des wissenschaftlichen Experiments als Denkhilfsmittel gleich mit. Ist der Unterschied zwischen künstlerischer Forschung und wissenschaftlicher Forschung mit Hilfe praktischer Experimente anhand von Objekten oder Versuchsaufbauten nur der Stellenwert innerhalb des jeweiligen Projekts? Hat das Objekt als Kunstwerk einen hohen Rang als Arbeitsziel, um den sich die künstlerwissenschaftliche Forschung dreht? Ist das Objekt in der rein wissenschaftlichen Forschung somit nur Mittel zum Zweck? Wenn Stenslie (Medien)Kunstwerke als empirisches Material oder empirische Erfahrungen benennt, so wertet er in gewisser Weise damit das Kunstwerk als Mittel zum messbaren Zweck ab. Was als Einbettung und somit Rechtfertigung des Kunstwerks in einen wissenschaftlichen Forschungszusammenhang gedacht ist, kann ebenso als Abwertung der Einmaligkeit der verkörperten Idee gelesen werden; als die »Seele« eines Kunstwerks. Zu beachten beim Zusammenspiel in Projekten zwischen Kunst, Wissenschaft und Industrie ist dabei zudem die Frage, inwiefern die Kunst ganz praktisch (noch) aus sich und der Idee heraus entstanden ist oder ob sie sich durch die finanzielle Unterstützung durch beispielsweise Firmengelder gar verändert oder angebiedert hat: »Natürlich besteht hier sofort die Gefahr, Kunst zu instrumentalisieren und als zweckgebundene Dekoration oder als Design von neuen Kommunikationsmethoden zu benutzen. Dennoch sind die Möglichkeiten, wenn ernsthaft formuliert und künstlerisch verantwortlich betrieben, vielversprechend und interessant: Sie geben nämlich dem Künstler die Chance, sein Fachgebiet als ein den übrigen Wissenschaften gleichwertiges Gebiet anerkannt zu wissen, in dem er über Werkzeuge und Forschungsmethoden verfügt, die seinem von ausgeprägter Technik abhängigem Metier angemessen sind, ja oft für deren Entstehen voraussetzend wirken.«133 Eine »Abgrenzung und Definition der Bereiche«134 ist in interdisziplinärer Arbeit wichtig. Der Kunsthistoriker Edward E. Shanken nennt diese gemeinsamen Projekte zwischen Kunst, Wissenschaft und Technologie »AST« (Art, Science and Technology)135 und versucht in seinem Aufsatz Artist in Industry and the Academy136 sowohl auf die Vorteile durch Unterstützer wie Universitäten oder Technologiefirmen als auch auf die kritischen Momente einer solchen Zusammenarbeit hinzuweisen. Denn es wäre naiv anzunehmen, dass industrielle Partner aus reinem Interesse

133 134 135 136

Sommerer, 1996, S. 122. Ebd., S. 123. Shanken, 2006, S. 8. Ebd., S. 8ff.

83

84

Haptik am User Interface

an der Kunst Aufrufe zur Zusammenarbeit starten. Gar der Gedanke einer Imagekampagne seitens der Industrie oder der Kapitalisierung und Globalisierung mit einer Vereinnahmung des Zugpferds »Künstler« kommt mit seinem Verweis auf den Künstler Hans Haacke und seiner kritischen Arbeit »On Social Grease and Mobilization« von 1975 auf.137 Shanken fordert weiter, wenn die Industrie diese Kooperationen ernsthaft und nicht zum finanziellen Selbstzweck erarbeite, dann müssten sie Richtlinien, Methoden und Projektmanagement festlegen um wahrhaft interdisziplinär zu sein: »Artist, designers, scientists, and engineers who collaborate together must, on some level, share or develop a common language, negotiate mutually rewarding goals, establish clear communication and effective knowledge sharing, and develop a scheme for project coordination and management.«138 Die vorliegende Arbeit soll auch, so von den Künstlern darauf verwiesen wird, derartige Projektkooperationen zumindest namentlich nennen, auch wenn der Einfluss auf die künstlerische Arbeit bis zu einer möglichen Veränderung der Grundidee des Werks nur schwer nachzuvollziehen ist.

2.5

Begriffswelt des Magischen: Von Immersion zur Repräsentation »Seeing, thinking, acting and feeling through media art can appear as magic and magically real.«139

In den wissenschaftlichen Untersuchungen der quantitativen und qualitativen Kontaktbereiche zwischen Mensch und Technik stößt man immer wieder und vor allem in Verbindung mit der Virtual Reality, auf unterschiedlich wertende Begriffe. Die Immersion lässt den Benutzer in eine andere Welt eintauchen, der sich der Illusion am Medienobjekt hingibt. Inhalt oder Physiognomie werden nachgeahmt, simuliert oder werden durch einen Repräsentant mit neuer Funktion versehen. Der Moment des Aufeinandertreffens wird dabei meist über den visuellen oder auditiven Sinn definiert. Dieses Kapitel soll die Bedeutung für die Haptik klären. Dient sie nur als Assistenz um den magischen Moment zu kreieren oder lässt sie sich isoliert auf die Begriffe anwenden? Eine haptische Immersion wird dabei über

137

138

139

Ebd, S. 11. Der Autor verweist hier auf: Haacke, Hans: Museumas, Managers of Consciousness; In: Deutsche, Rosalyn/et al.: Hans Haacke: Unfinished Business; herausgegeben von Brain Wallis; New York und Massachusetts, 1985. Ebd., S. 13. Der Autor verweist hier auf: Legrady, G./Steinheider, B.: Interdisciplinary Collaboration in Digital Media Arts: A Psychological Perspective on the Production Process; In: Leonardo 37:4; 2004. Stenslie, 2010, S. 29f.

2 Manipulation der Medienkunst

die Definition eines Vergessens einer realen Wahrnehmung am Interface hinaus auf ihre Konzentrationsintensität betrachtet. Begriffe und Kategorisierungen ordnen die Welt wie die Wissenschaft, aus diesem Grund sollen auch die hervorstechenden Benennungen der Auseinandersetzung mit der Haptik in Kunst und Wissenschaft Erwähnung finden und natürlich kritisch hinterfragt werden. Allerdings soll diese Arbeit keine Neologismen als Versinnbildlichung eines Neudenkens leisten. Eine Neubewertung der alten Suche nach Namen wie der Immersion genügt, um der fortschreitenden wissenschaftlichen Erforschung haptischer Medienkunst neue Impulse zu geben. Der Kunsthistoriker und Medientheoretiker Oliver Grau widmete der Immersion eine vielzitierte Arbeit. Darin zeichnete er eine Entwicklungsgeschichte von Illusionsräumen wie dem Panorama nach, die zugleich zu einer medientheoretischen Frage des Bildstatus führte: »Im virtuellen Raum – historisch wie aktuell – wirkt die Illusion auf zwei Ebenen: Ihre klassische Funktion, die spielerisch-bewußte Hingabe an den Schein – der ästhetische Genuß der Illusion140 – kann durch eine Intensivierung bildlicher Wirkungsmittel gesteigert werden und zu einer Überwältigung der Realitätswahrnehmung führen. Dazu gehört, neben den Mitteln des Illusionismus, insbesondere das den Gesichtswinkel möglichst vollständig ausfüllende Bildformat und die Ansprache möglichst vieler anderer Sinne. Die hierdurch mögliche Suggestion, die den Betrachter gewissermaßen in den Bildraum eintauchen läßt, vermag die Subjekt-Objekt-Beziehung für einen gewissen Zeitraum aus den Angeln zu heben und dem ›Als-Ob‹ im Bewußtsein Konsequenz zu verschaffen. Diese sinnliche und rezeptive Verbindung zum Bild soll hier als ›Immersion‹ bezeichnet werden.«141 Im Zitat klingt an, dass ein Eintauchen in einen anderen Bewusstseinszustand vonnöten sei, der zudem »spielerisch-bewusste Hingabe« erfordere. Diese Hingabe kann auch als Sensibilität für den Moment beschrieben werden, als eine »Aisthesis«142 , wie sie Dieter Mersch beschreibt. Auf die Hinterfragung des Bewusstseins spielt auch Katja Kwastek an, wenn sie Immersion als eine »unreflective absorption in an activity«143 und als illusionistische Teilhabe bezeichnet. Sie verweist darauf, dass insgesamt angezweifelt wurde, ob diese Illusion in Bezug auf virtuelle Welten im propagierten Grad überhaupt möglich sei.144 Ein hoher Grad an Immersion als der Glaube daran, dass das Künstliche wahrhaftig sei, erfordert zunächst ein aktives Bewusstsein. Eine Verstärkung kann durch die Einbindung nicht nur der 140 Grau, 2001, S. 23. Der Autor verweist hier auf: Neumeyer, Alfred; Der Blick aus dem Bilde; S. 13; Berlin, 1964. 141 Ebd., S. 23f. 142 Mersch, 2002, S. 44. 143 Kwastek, 2013, S. 158. 144 Ebd.

85

86

Haptik am User Interface

visuellen Wahrnehmung, sondern durch das Ansprechen möglichst vieler Sinne erfolgen. Da die vorliegende Arbeit sich auf die Einbindung der Haptik in einen Wahrnehmungsvorgang konzentriert, muss die Bedeutung der Immersion sowohl auf eine haptische Einbindung in multisensuellen Installationen und Techniken in Verbindung mit der virtuellen Realität bedacht werden, als auch als isolierte Wahrnehmungserfahrung und reiner Informationsaustausch über haptische Sensationen. Die visuelle Wahrnehmung in Form von Bildern lässt sich mittlerweile realitätsnah nachahmen und simulieren. Hingegen ist eine Täuschung der haptischen Wahrnehmung nicht so einfach, aber dennoch möglich, wie in Kapitel 1.5. gezeigt wurde. Immersive Effekte in psychische und physische Teile zu unterscheiden, ist dabei durchaus sinnvoll, wobei Stenslie in seiner Dissertation den physisch immersiven Teil noch einmal in visuell, aural und taktil unterscheidet.145 »Taktil« ist hier einbezogen, weil er mit dem Begriff auf das unbewusste Eintauchen verweist: »The tactile immersion encountered can be divided into either a general haptic sensation caused by immersive environments and cross-modal synaesthesia or a specific vibrotacitle stimulation of the users as though bodysuits.«146 Hiermit deutet Stenslie nicht nur seine eigenen Werke mit bodysuits an, sondern verweist auch auf die Bedeutung der Haptik als prozessartigen Vorgang ausgehend von der Taktilität.147 Immersion bedeutet im positiven Sinne, entgegen der oft umgangssprachlichen Nutzung, den Verlust des Bewusstseins. Sie ist als Übergang von einer bewussten in eine unbewusste Nutzung als ein Begriff der Haptik durchaus auch brauchbar. Das Interface als Dateneingabegerät wie Tastatur und Maus wird immersiv gebraucht, wenn die Nutzung selbstverständlich und unbewusst ist, der Fokus aber auf den audiovisuellen Darstellungskomponenten wie einem Bildschirm liegt. Es gilt, umso besser und öfter der Umgang, desto immersiver ist der Effekt. Immersion oder immersive Technik kann und sollte somit nicht nur als ein komplettes Eintauchen in eine andere, künstliche, virtuelle Welt verstanden werden, sondern auch als der Moment, in dem die Benutzung des technischen Objekts, nicht nur der virtuellen Realität, als natürlich in der eigenen Realität eingebunden wahrgenommen wird: Die Natürlichkeit des Interfaces als immersiver Faktor. Immersiv wird ein haptischer Effekt, wenn das Eingabegerät auch zum Ausgabegerät für Information wird und das Spüren dieser Information selbstverständlich ist. Generell gilt für die Immersion, dass das Künstliche nicht mehr als das Andere wahrgenommen wird. Bindet man haptische Sensationen wie Vibrationen an

145

Stenslie, 2010, S. 124. Der Autor verweist hier auf: Sherman, William R./Craig, Alan B.: Understanding virtual reality: interface, application, and design; San Francisco, 2003. 146 Ebd., S. 125. 147 Siehe dazu Kapitel 3.5.

2 Manipulation der Medienkunst

Videospielcontrollern als Bewegungsreaktion an der Hand des Spielers oder mittels Force Feedback aber ein, so ist ein Immersionseffekt durch Verbesserung der Materialrealität am Interface möglich. Das heißt, die Konzentration verlagert sich auf die Virtualität und weniger auf die Realität. Ohne die Verbindung mit der Virtual Reality und der Immersion als Eintauchen in einen anderen Bewusstseinszustand könnte man den Begriff der Immersion nun abwandeln, wenn es sich um eine »Materialtäuschung« handelt. Bei dieser Täuschung werden dem realen Objekt weitere haptische Qualitäten addiert oder es wird als Informationsträger genutzt. Hier wirkt der Einbezug der haptischen Sensation bewusst auf den Realeindruck des Benutzers. Doch gerade an dieser Stelle muss noch einmal der Unterschied zwischen bewusster und unbewusster Berührung hinterfragt werden. Die bewusste haptische Wahrnehmung eines Objekts widerspricht einer Immersion als ein anderer Bewusstseinszustand, also einer glaubhaften Wahrnehmung einer künstlichen Welt oder eines künstlichen Objekts. Gerade die Unbewusstheit wird immer wieder als wichtiges Merkmal der Immersion genannt.148 Wird die Haptik mit der visuellen Wahrnehmung und weiteren möglichen Sinnen kombiniert, so wird die Konzentration eher auf das Visuelle verlagert Die haptische Immersion in Kombination mit anderen Sinnen funktioniert unbewusst. Oberflächen, Bewegungen, Vibrationen etc. müssen in Echtzeit mit der bildlichen Darstellung funktionieren; die Haptik darf aus dieser Verbindung nicht herausfallen. Steht die Haptik als Kommunikationsinstrument in Form des Interfaces allerdings allein, so muss wieder zwischen bewusster und unbewusster Haptik unterschieden werden. Inwieweit hat die Konzentration auf haptische Sensation als Informationsträger Einfluss auf die Immersion als eine Form der Täuschung? Und ist eine haptische Information, die sich im Objekt und somit im Realraum ausdrückt, überhaupt noch als »Täuschung« zu bewerten? Diese Frage stellt sich vor allem vor dem Hintergrund, dass einem Objekt mit der Materialveränderung- oder bewegung eigentlich nur eine zusätzliche Funktion als Interface zugeschrieben wird. Immersion bedeutet im weiteren Sinne nicht mehr nur die Veränderung des Bewusstseinszustands als ein Vergessen der Wahrnehmung des eigenen Körpers im Realraum, sondern sie entspricht auch dem Grad der Konzentration auf die haptische Sensation. Wird die Information haptisch ausgedrückt und »natürlich«, selbstverständlich vom Benutzer wahrgenommen und verstanden, so funktioniert die haptische Wahrnehmung in diesem Moment unbewusster. Somit wird im Blick auf die haptische Wahrnehmung gerade die Unbewusstheit zum immersiven Moment zwischen Mensch und Technik, nämlich einer Materialwahrnehmung, durch die der Benutzer nicht nur das reale Objekt in Oberfläche oder Bewegung erfahren kann, sondern durch die zu dem noch Informationen sinnlich ausgedrückt werden können. Immersion steht hier für den Glauben des Benutzers, dass die reale Welt durch Bewegung digitaler 148 Heller/Gentaz,, 2014, S. 185.

87

88

Haptik am User Interface

Daten erweitert werden kann. Ob diese digitale Erweiterung nun ebenfalls als Teil der Realwelt bewertet werden muss oder Realwelt und Virtual Reality somit näher rücken, soll an dieser Stelle nicht besprochen werden. Die Frage des »Glaubens«, oder besser gesagt der bewussten Wahrnehmung und Konzentration als Hingabe an eine wissende Form der Illusion, soll allerdings auch in den medienkünstlerischen Beispielen Anklang finden. Denn dies macht vielleicht den Unterschied zwischen Immersion und Illusion aus: Eine Illusion ist eine vom Wahrnehmenden unwissende Täuschung, eine Vortäuschung von Wirklichkeit, die nicht erwartet wird.149 Stenslie honoriert die Illusion gar als wichtiges Ziel des Interfacedesigns: »Simplified it can be said that designing in a user-friendly way is a core issue in ergonomics and developing a technology that touch is a matter of haptics. For the latter, a particulary important goal is to design a convincingly enough illusion of being in a virtual interaction.«150 Immersion kann durch unbewusste oder bewusste Mittel erfolgen, aber der Benutzer gibt sich hin, wobei ein Pygmalion-Effekt durchaus bedacht werden muss. So stellt sich die Frage, ob der Benutzer die Erwartungshaltung hat, dass haptische Illusion und Kommunikation funktionieren können oder ob eine abweisende Erwartungshaltung dazu führt, die haptische Wahrnehmung weniger ernst zu nehmen als andere beispielsweise audiovisuelle, Informationen. Das Illusionspotential des haptischen Interfaces als Informationsträger muss beleuchtet werden: Zum einen auf den unterstützenden Nutzen der Illusion im Zusammenhang mit der multisensuellen Installationen oder Objekte und zum anderen auch auf die Frage hin, ob man bei einem Realobjekt überhaupt von Illusion reden kann, wenn das Objekt nun mit zusätzlicher digitaler Funktion zur Materialbewegung oder -veränderung erweitert wurde. Auch die Frage nach der Wirkungsrelativität kommt in Bezug auf die Konzentration zur möglichen Immersion auf, wenn nach Grau der Grad der Immersion und die Dauer der Illusion bis zum Erkennen der Künstlichkeit von der medialen Erfahrung des Benutzers abhänge.151 Doch gerade diese Wirkungsrelativität könnte an einem von Grau präsentierten Beispiel des Kunstwerks A-Volve (Abbildung 1) von Christa Sommerer und Laurent Mignonneau entkräftet werden, ja gar eine ergänzende Qualität zum Ausdruck bringen.152 Dort ist die virtuelle Künstlichkeit der Figuren so stark, dass die Illusion einer natürlichen Umgebung eigentlich gar nicht gegeben ist, aber eben nicht eine mediale Erfahrung sondern eine völlig natürliche Handlung (das Streichen der Wasseroberfläche) zu einer selbstverständlichen Interaktion des Benutzers führt. Wichtig ist dabei, dass

149 150 151 152

Siehe auch: Mühleis, 2005, S. 210. Stenslie, 2010, S. 46. Grau, 2001, S. 213. Ebd., S. 199ff.

2 Manipulation der Medienkunst

die Figuren eine selbständige Bewegung suggerieren: »Befinden sich im virtuellen Bildraum artifizielle Wesen, Agenten, die sich subjekthaft verhalten und auf die Betrachter reagieren, so wird das Gefühl, im Bildraum zu sein, weiter intensiviert.«153

Abb. 1: Christa Sommerer und Laurent Mignonneau, A-Volve, Detailansicht

Somit wirken »eigenständig« agierende Bilder oder virtuelle Aktionen und damit verknüpfte, natürliche Handlungen gegenseitig: Nicht nur eine Immersion in eine mögliche virtuelle Welt oder eine selbstverständliche Handlung mit sogar offensichtlich nicht-natürlichen Figuren/Agenten ist möglich. Im Gegenzug wird auch die Ausführung einer natürlichen Handlung zu einem ganz anderen Zweck als im realen Alltag erlernt und als Interaktion mit einer virtuellen Welt erst einmal nicht hinterfragt. Der immersive Moment funktioniert hier also nicht nur über den komplexen technischen Aufwand oder den illusorischen Installationsaufbau im Ausstellungsraum, sondern vielmehr über den Einsatz einer simplen natürlichen Handlung, die unbemerkt durch Sensoren erfasst wird.154 Die haptische Qualität einer einfachen Handlung dient hier ergänzend zur medienkünstlerischen »Illusion«. Diese Erkenntnis entkräftet aber Graus These deswegen nicht: »Zunehmende Gewöhnung und wachsende Medienkompetenz kehren dieses Verhältnis wieder um. Erst ein neues Illusionsmedium, das ein Surplus an Illusionskraft entfalten kann, erhöht die Kraft der Suggestion.«155 Da Grau diese These auf die virtuelle 153 154 155

Ebd., S. 215. Siehe dazu Kapitel 3.3. Ebd., S. 213.

89

90

Haptik am User Interface

Realität bezieht, ist dies korrekt, muss allerdings im haptischen Moment auf die Illusionskraft eines realen Materials neu hinterfragt werden. Immersion ist somit stark an Illusionsbildmedien geknüpft. Wofür steht der haptische Handlungsmoment im Einzelnen? Dem Interface wird innerhalb der Immersion eine wichtige Aufgabe zugeschrieben: »Sie [die Interfacegestalt] determiniert Charakter und Dimension der Interaktion und bestimmt den Grad psychischer Entgrenzung mit dem Datenwerk, die Immersion. Überdies werden große Teile der Bildressourcen unserer natürlichen Umwelt mit den artifiziellen Bildern in Mixed Realities verschmolzen, oftmals ohne zwischen Simulacrum und Original unterscheiden zu können.«156 Die Frage nach einer Einzelbetrachtung der haptischen Wahrnehmung kommt wieder auf: Könnte Immersion im Sinne einer »psychischen Entgrenzung mit dem Datenwerk«157 als eine bewusste und unbewusste Informationsangabe und -abgabe begriffen werden, wenn sich Informationen nur noch zum Teil oder auch komplett nicht mehr visuell, sondern im Material haptisch manifestieren? In diesem Sinne wäre der Begriff der »Immersion« in der haptischen Interaktion nicht mehr als neuer Bewusstseinszustand zu sehen, sondern als selbstverständlicher Glauben des Benutzers zu definieren, dass ein reales Material noch eine oder viele digitale Funktionen und somit ein vielfacher Repräsentant sein kann. Es müssen ebenso die immersiven Strategien beleuchtet werden, die den Benutzer haptische Sensationen von bewusster haptischer Wahrnehmungserfahrung bis hin zu unbewusster Interaktion und Informationsaustausch durch haptische Interfaces erfahren lassen.   Slavko Kacunko beschreibt in seiner Abhandlung zur CC-Videoinstallation den Diskurs um die »Repräsentation« in verschiedensten wissenschaftlichen Teilbereichen, so auch innerhalb der neueren Kunstgeschichte der »New Art History«.158 Sie macht die Repräsentation zum zentralen Punkt, in dem ein Kunstwerk immer auf etwas anderes verweise.159 Kacunko nimmt Bezug auf den Kunst- und Medientheoretiker Peter Weibel, der zur Frage der Repräsentation genauer auf technische Medien einging und damit wieder auf die Diskussion um das technische Objekt zwischen Kunst und Medium zurückführt. Denn das technische Objekt verweist auf digitale Bilder und Zeichen einer Welt, die nicht fassbar ist, was Kacunko einem Seinsentzug gleichsetzt:

156 157 158 159

Ebd., S. 215. Ebd. Kacunko, 2004, S. 73. Der Autor verweist hier auf: Halbertsma, Marlite/Zijlmans, Kitty [Hg.]: Gesichtspunkte. Kunstgeschichte heute; Berlin, 1995 (Original Sun, Nijmwegen, 1993). Ebd.

2 Manipulation der Medienkunst

»Dem so bewirkten ›Seinsentzug‹ entsprängen die neuen kulturellen Praktiken der Abstraktion, die nicht mehr mit dem ›Sein‹, sondern mit dem ›Zeichen‹ korrelierten und dadurch die herkömmliche Ästhetik der (Re-)Präsenz durch ›Ästhetik der Absenz‹ abgelöst hätten.«160 Dies führe zu einem neuen Verhältnis des Seins: »Der ›intuitiven‹ Anschauung von (technischen) Bildern ist die Unterscheidung zwischen ›real‹ (›präsent‹) und ›fiktiv« (›abwesend‹) wesensfremd, genauso wie den elektronischen, errechneten Bildern ›gleichgültig ist‹, ob sie etwas für uns ›Gegenständliches‹ oder ›Abstraktes‹ darstellen.«161 Gerade dieser Unterscheidung arbeitet das haptische Interface entgegen, wenn es »fiktive« Daten im realen Objekt zusammenführt. Wenn wie bei Lev Manovich in Bezug auf den Bildschirm der virtuellen Realität die Räume des Physischen und des Virtuellen zu trennen sind,162 so wird der virtuelle Raum oder das virtuelle Objekt im realen Objekt des haptischen Interfaces durch Bewegung und Oberfläche materialisiert. Denn am Interface eines haptisch interaktiven Medienkunstwerks repräsentiert das reale Objekt und somit das Material eine Information, jedoch nur eine Information über Bewegung von Arbeitsleistung des Objekts oder der Anwendung. Sinnliche Stimulation bedeutet Aktion der virtuellen Objekte und Anwendungen. Diese Informationen können dabei digitale sein, aber auch mechanisch/analog zu einer Veränderung des Materials führen, ohne einem digitalen System zugrunde zu liegen. Die Kombination von Materialien, die durch ein angeschlossenes System veränderbar sind, und von Materialien, die nicht veränderbar sind, aber zur haptischen Sensation der Installation oder des Objekts beitragen, können der Immersion und der Mimesis zuträglich sein. Die Berührung des Interfaces und somit die Umwandlung dieser Berührung in digitale Daten oder in eine mechanische Aktion stellt letztendlich auch eine Repräsentation dar. Mit der Materialisierung von Daten am haptischen Interface soll nun aber nicht die Auflösung der Dichotomie von physischem und repräsentierendem, virtuellem Raum proklamiert werden, sondern vielmehr eine Vervielfachung der Repräsentation und des Ausdrucks von Daten. Der Einbezug des Materials des Benutzerinterfaces in die Kommunikation zwischen Mensch und Technik ist als Alternative oder auch als Addition zur grafischen Repräsentation von Vorgängen und Objekten zu verstehen, wenn das haptische Interface auf ein weiteres Interface verweist. Eine Doppelung des Objekts tritt ein:

160 Ebd., S. 74. 161 Ebd. 162 Manovich, 2001, S. 112.

91

92

Haptik am User Interface

»Therefore, if in the simulation tradition, the spectator exists in a single coherent space – the physical space and the virtual space that continues it – in the representational tradition, the spectator has a double identity. She simultaneously exists in physical space and in the space of representation.«163 Wenn der Betrachter bzw. Benutzer als Subjekt im virtuellen Raum eine doppelte Identität zwischen physischen und repräsentierendem Raum hat, so kommt dies dem haptischen Interface als Objekt ebenfalls zu, indem es simultan sowohl Objekt im realen Raum ist, das durch sein Material den Benutzer sinnliche Erfahrungen machen lässt, als auch repräsentatives Objekt für mechanische oder digitale Vorgänge. Das Objekt wird Verweis auf etwas anderes, das nicht am Ort der fühlbaren Oberfläche des Interfaces geschieht. Das haptische Interface greift in den physischen Raum des Benutzers, ist aber dabei durch angebundene technische Vorgänge bedingt. Der künstlich erschaffene Raum wird spürbar und rückt dem Körper näher: »VR continues the tradition of simulation. However, it introduces one important difference. Previously, the simulation depicted a fake space continuous with and extended from the normal space. For instance, a wall painting created a pseudo landscape that appeared to begin at the wall.«164 In den Dichotomien, die Donna Haraways in ihrer Abhandlung Die Neuerfindung der Natur 165 erstellte, stehen sich »Repräsentation« und »Simulation«, von ihr als nicht »natürlich« betitelt, gegenüber.166 Dieses zweigeteilte Begriffs- oder Symbolpaar wird hier in seiner beidseitigen Bedingung und Verbindung klar: Wenn Simulation zur Stimulation führt, dann wird diese Simulation durch Realität erweitert und es kann nicht mehr nur von einem »fake space« gesprochen werden. Die Stimulation ist somit die Repräsentation der Simulation, oder in Verbindung mit der Visualisierung durch den Bildschirm eine Ergänzung zur Simulation. Diese Repräsentation kann dabei nur eine Interpretation der digitalen Bewegung oder Aktion sein. Die Grundfrage ist, ob die physische Tastbarkeit als reales Ding eine Kommunikation, eine Arbeit mit der Maschine, dem digitalen Objekt oder der Anwendung direkter erscheinen lässt? Verringert dies den Graben zwischen Benutzer und technischem Gerät? Kacunko zieht im Sinne Weibels letztendlich aus der Computerkunst den Schluss, dass durch die Visualisierung von (digitalen) Prozessen, die zuvor unsichtbar waren und nun ein sichtbares Bild bekommen, diese Prozesse nicht mehr repräsentiert werden, sondern in einer Erhöhung präsentiert werden. »Aus der 163 164 165 166

Manovich, 2001, S. 113. Ebd. Haraway, 1995. Ebd., S. 172.

2 Manipulation der Medienkunst

›simulierten Präsenz im telematischen virtuellen Raum‹ ergibt sich für Weibel eine Ästhetik der Absenz, die strukturell einer Ästhetik der Telepräsenz gleichzusetzen ist.«167 Kacunkos Fokus liegt auf der Wahrnehmung der CC-Videobilder, doch diese Telepräsenz bekommt ihren leiblichen Ausdruck im Besonderen in der Materialiät eines haptisch interaktiven Interfaces. Der Vorstellung einer Telepräsenz liegt die Vorstellung eines Verschwindens des Körpers des modernen Menschen zu Grunde, die Überwindung von Raum und Zeit durch technische Neuerungen, die den Körper obsolet mache, was nach Peter Weibel in drei Schritten geschehe: »Man muß beim Verschwinden der Ferne von zwei Phasen ausgehen, die sich ungefähr ab 1900 stark zu unterscheiden beginnen: Die erste Phase ist geprägt von der materiellen, körperlichen, maschinellen Überwindung von räumlicher und zeitlicher Entfernung, während in der zweiten die drahtlose, immaterielle, körperlose Überwindung von Raum und Zeit umgesetzt wird. Beide Technologien entwickeln sich parallel weiter. Eine dritte Phase, die binäre Codierung, welche die Immaterialisierungstendenz radikalisiert fortsetzt, ist dazugekommen. Die Menschheit braucht alle drei für die globale Organisation ihrer Existenz.«168 Dieser »Immaterialisierungstendenz« stellen sich künstlerische wie auch wissenschaftliche Fokussierungen auf eine Objektisierung und eine haptische Verkörperung analoger, mechanischer und digitaler Vorgänge entgegen, wie die vorliegende Arbeit zeigt.

167

Kacunko, 2004, S. 75. Der Autor verweist im Zitat auf: Weibel, Peter/Lehmann, Ulrike [Hg.]: Ästhetik der Absenz, Bilder zwischen Anwesenheit und Abwesenheit; München, Berlin, 1994; Auch zu finden unter: www.peter-weibel.at/images/stories/pdf/1994/0444_AERA_DER_ABSENZ.pdf 168 Weibel, 1990, S. 19f.

93

Über die haptische Kunst und die Phänomenologie

Als gedankliche und historische Überleitung von der begrifflichen Einordung zu einer Geschichte der Haptik in der Medienkunst und der darauf folgenden Technikentwicklung sollen zunächst Überlegungen und Theorien beschrieben werden, die eine Haptik in der Kunst von Skulpturen, Plastiken oder Objekten thematisieren. Denn will man das haptische Fühlen als Teil der Medienkunst und der sinnlichen Erfahrung von Technik ernst nehmen, so muss man sich zunächst fragen, welchen Stellenwert die Haptik in der Kunstgeschichte, losgelöst vom dominanten Sehsinn, hat. Wobei mittlerweile einige Studien aufzeigen, dass diese Dominanz schon in der frühen Moderne nicht so stark ist, wie es im Allgemeinen vermutet wird. Denn Haptik oder Geruch, der Einbezug von Imagination oder Bewegung durch den Raum oder um ein Werk herum waren nicht nur Nebeneigenschaften zum Seherlebnis früher Kunstwerke.1 Volkmar Mühleis nahm sich dem Thema der sehbehinderten Künstler an, somit dem körperlichen Verlust des Sehsinns.2 Er stellt mit Verweis auf den blinden Künstler George Kabel Fragen, die nahtlos an die bereits geführte Diskussion um Immersion, Simulation, Mimesis und Repräsentation in der Kunst anknüpfen: »Hat Kunst unweigerlich mit Illusion zu tun? Die visuelle Tradition der Neuzeit legt diesen Gedanken nahe, philosophisch gestützt durch die Begriffe Schein und Sein. Ist Illusion allerdings im Tasten erfahrbar?«3 »Illusion« thematisiert die Frage der vorliegenden Arbeit, welche Informationen haptisch erfahrbar gemacht werden können. Mühleis nimmt mit seiner Arbeit die Haptik als losgelösten Wahrnehmungssinn ernst, und dem soll sich angeschlossen werden, ohne die audiovisuelle Erfahrung, die eine gesonderte Rolle in der Medienkunst spielt, zu vernachlässigen. Die Haptik soll sowohl als einzeln erfahrbarer Informationsträger wie auch in multisensueller Form betrachtet werden. Die haptische Medienkunst wird dabei nicht nur als Teilbereich der interaktiven Kunst, sondern auch als Teilbereich der haptischen Kunst verstanden, somit eine Fort-

1 2 3

Siehe dazu auch: https://openartsjournal.files.wordpress.com/2014/11/oaj_issue4_contents. pdf Mühleis, 2005. Ebd., S. 13.

96

Haptik am User Interface

schreibung dieses wenig besprochenen Teilbereichs der Kunst stattfinden, deren Diskurs nach Mühleis im 17. Jahrhundert begann.4 Der Philosoph Maurice Merlau-Ponty sah den Bezug zu Leib, Körper und der sinnlichen Wahrnehmung der Welt als Nullpunkt an, von dem aus der umgebende Raum erfasst wird.5 Die cartesianische Teilung in Körper und Geist wird bei ihm in gewisser Weise verbunden, da er den Körper als aktiven und als passiven Rezeptionspunkt des Geistes in der menschlichen Umwelt und Welt erkannte: »[…] the world is the flesh […]. According to this, living in the flesh, living in the here and now, is at the locus of the phenomenological process. Experience is a living thing, not something that can be canned and conserved outside the corpus.«6 Dieser Erfahrungsprozess konzentriert sich bei Merleau-Ponty dabei nicht nur auf den Körper, sondern ebenso auf das Objekt, womit Mensch und Welt und alle Formen der Existenz nicht unabhängig voneinander sind, sondern stets im Verhältnis zueinander stehen und in Verbindung zu denken sind:7 »Bewegung und Zeit sind nach Merleau-Ponty die Komponenten, welche taktile Phänomene bestimmen, so wie das Licht eine sichtbare Fläche konfiguriert.«8 Die Zeit als Faktor in Form der Bewegung bei einer Berührung (aber nicht nur da) ist ihm insofern wichtig, dass die reine Berührung eines Drucks auf beispielsweise ein Objekt wichtige haptische Informationen der Oberflächenstruktur vernachlässigen könnte. Der Körper steht über das Objekt mit seiner Umgebung in Kontakt, im künstlerischen Kontext ist das Objekt oft auch installativ an den Ausstellungsort angepasst, dabei nicht nur an den realen Ort, sondern auch in einen gesellschaftlichen Kontext. Das Objekt, und somit auch seine Rezeption, ist als ortsspezifisch zu benennen.9 Wobei dieser doppelte Kontext nicht gegen die Autonomie des Werks spricht, sondern vielmehr zum Merkmal werde, wenn das Objekt in ein übergeordnetes Verhältnis gesetzt werde.   Der Kunsthistoriker Heinrich Wölfflin forschte ebenfalls nach einer Erweiterung der Fokussierung auf das Visuelle in der Kunst: »Heinrich Wölfflin suchte zu Beginn des 20. Jahrhunderts in der Kunstbetrachtung eine Beziehung von Auge und Geist zu begründen, die das Zusammenwirken der Sinne voraussetzt. So vertrat er eine Geschichte des Sehens, die nicht in einer

4 5 6 7 8 9

Ebd., S. 9. Merleau-Ponty, 1961, S. 190. Stenslie, 2010, S. 207. Der Autor verweist hier auf: Merleau-Ponty, Maurice/Baldwin, Thomas: Maurice Merleau-Ponty: basic writings; London u.a., 2004. Ebd., S. 208. Mühleis, 2005, S. 32. Rebentisch, 2003, S. 233.

Über die haptische Kunst und die Phänomenologie

vermeintlichen Reinheit des Visuellen zu gipfeln habe, sondern sich sowohl aus Konzepten der Vorstellung speist, als auch aus einem Geflecht sinnlicher Wahrnehmung, welches Berühren, Sehen und Empfinden vereint.«10 Wölfflin kategorisiert körperliche Objekte wie Skulpturen unter tastbare Kunst, die je nach Form allerdings qualitativ in ihrer Tastbarkeit Abstufungen haben, Malerei und schließlich auch Architektur in eher mit dem Sehsinn erfahrbare oder mit dem Tastsinn erfahrbare Dinge.11 Im Gegensatz zur visuellen Wahrnehmung, bei der wissenschaftlicher Erkenntnisse zeigen, dass sie für Illusion und Täuschung in vielfältiger Weise (Farbe, Lichteffekte oder Fata Morganas) sehr anfällig ist, geht mit der haptischen Wahrnehmung nach wie vor eine Tatsächlichkeit einher, nämlich die Berührung als Bewusstwerden, dass ein Ding wirklich real ist, wenn man es betasten kann. Im Sinne Wölfflins ist das Sehen eine Kombination aus tatsächlicher visueller Wahrnehmung mit erlangten Erfahrungen aller anderen Sinne und der damit verbundenen Vorstellung über die Gestalt der Dinge. Wölfflin will damit das Wesen des Sehens erkunden, erkennt dabei aber unter anderem den Tastsinn nicht als untergeordnet an:12 »Am Beispiel der Plastik redet er nicht mehr im Als-ob vom Tastsinn, sondern von der ertastbaren Qualität einer Skulptur.«13 Mit Fokus auf die Haptik lässt sich jedoch feststellen, dass auch die haptischen Eigenschaften der Dinge der Realwelt von Erfahrungen geprägt sind, die im Laufe des Lebens und mit fortschreitendem (Be)greifen der Welt einhergehen. Die Erkenntnis, die sich aus Wölfflins multisensuellem Verständnis der Wahrnehmung ziehen lässt, ist, dass die haptische Wahrnehmung technischer Objekte und die mögliche Materialart und -bewegung als Informationsträger und -geber auf die haptischen Erfahrungen und somit subjektive Materialkonnotation einzelner Benutzer befragt werden müssen. Die haptische Erfahrung ist – in umgekehrter Definition nach der Idee von Wölfflin – sowohl die tatsächliche, momenthafte haptische Wahrnehmung eines Objekts als auch die Vorstellung und Vorkenntnis, wie es sich anfühlen müsste, ausgehend von der haptischen Erfahrung mit Objekten, die bereits in der Vergangenheit berührt wurden. Die Erfahrungen sind somit mit zunehmenden Erlebnissen immer weniger momenthaft oder neue bewusste Erkenntnisse. Sie werden immer öfter zu einem Abgleich mit bereits erlangtem Wissen. Sie verbinden sich mit den sinnlichen Erfahrungen der anderen Sinne zu einem Wissenskonstrukt des Objekts. Dem Abgleich von Erfahrungen und der damit verbundenen Erwartungshaltung innerhalb der Wahrnehmung nahm sich auch der Phänomenologe Edmund Husserl mit seinem Begriff der »Lebenswelt« an, der bei ihm ebendiese

10 11 12 13

Mühleis, 2005, S. 75. Ebd., S. 76f. Ebd., S. 76. Ebd., S. 75f.

97

98

Haptik am User Interface

natürliche Verarbeitung von erlangten Wahrnehmungen bedeutet.14 Diese Reflexion stellte für ihn wiederum nicht nur die Stellung des Menschen in der Natur und der Erfahrung dar, sondern genauer die Erlangung von Wissen, dabei nicht nur von geistigem, sondern eben auch von körperlichem Wissen. Dieses ist dabei nicht nur aus der Erfahrung heraus gegeben, sondern wird Schritt für Schritt erarbeitet, wobei die Lebenswelt bei Husserl als verbundenes (oder wie Stenslie es nennt: interaktives) Konzept zwischen Körper, Geist und dem Menschen umgebender Umwelt verstanden wird. Dies steht im Gegensatz zu Merleau-Pontys Welt als das dem Menschen Umgebende und durch den Körper Erfahrbare, was aber eher abgrenzend beschrieben ist.15 Husserls Konzept unterscheidet zudem genauer zwischen Tastwahrnehmung, der Konzentration auf die Objektwahrnehmung, und der Berührungsempfindung als auf sich selbst bezogene Wahrnehmung.16 Zur haptischen Wahrnehmung von künstlerischen Plastiken und Skulpturen und deren Abgleich mit bereits haptischem Wissen schreibt Mühleis mit Verweis auf eine phänomenologische Studie einer Kunstpädagogin mit ihren Schülern in der Hamburger Kunsthalle17 : »Es gäbe eine Bewegungsprojektion, wie es wohl weitergehe, Erwartungen entstünden, die bestätigt, variiert oder enttäuscht werden könnten. Man erfahre dadurch das Phänomen eines labilen Gleichgewichts, zwischen aktiv führender und eher passiv sich einfühlender Tastbewegung. Der Tasthorizont einer jeweiligen Plastik zeichnet sich dadurch ab (versteht man Horizont, wie Wölfflin es tat, als Andeutung des letztlich noch greifbar Erscheinenden).«18 Erwartungen zu haben und diese zu bestätigen oder zu revidieren ist in der reinen haptischen Wahrnehmung von Kunst (oder nur von Objekten) abhängig von Zeit. Diese Zeit besteht aus Momentaufnahmen einzelner Punktwahrnehmungen durch ganze Hände oder einzelne Finger, welche sich langsam zu einem Gesamtbild formen lassen. Die visuelle Wahrnehmung kann in kürzester Zeit einen Überblick schaffen, bei Skulpturen ist dies oft noch mit der Bewegung des Körpers um das Objekt herum verbunden. Die haptische Wahrnehmung ist von Beginn an punktiert, ein haptischer Gesamtüberblick ist praktisch nicht möglich. »Simultaneität und Sukzessivität bilden seither Grundmomente in der Frage visueller Wahrnehmung. Die Hände wiederum nehmen simultan nur wenig wahr, nämlich Ausschnitte und kein Ganzes.«19 Die haptische Wahrnehmung ist nach Mühleis,

14 15 16 17 18 19

Stenslie, 2010, S. 198. Ebd., S. 199. Diaconu, 2010, S. 317. Mühleis, 2005, S. 93. Ebd., S. 93f. Ebd., S. 96f.

Über die haptische Kunst und die Phänomenologie

der auf die neurologische Auffassung Semir Zekis’ und Max Imdahls in seinem Bezug auf die visuellen Unterschiede verweist, in zwei Kategorien zu unterscheiden: Erstens der Haptik als »Lesen, ein Sammeln von Informationen, welche im Geist zur Anschauung führt«.20 Der Verweis auf Max Imdahl soll im Übertrag auf die Haptik seine Vorstellung des Sehens als das wiedererkennende und das neu erfahrende Sehen unterscheiden.21 Zweitens sei die Haptik Erkenntnisgewinnung aus dem Material heraus: »Das Tasten ist nicht mehr Mittel zum Zweck (zur Vorstellung), sondern erhält einen produktiven Eigenwert im Verlauf der Rezeption. Die sinnliche Qualität einer taktilen Plastik liegt demzufolge nicht in einer reinen Form- oder Zeichenvorstellung begründet, welche sich gleichermaßen auch visuell rezipieren ließe, sondern in der haptischen Aussagekraft des materiell Gebundenen. Der Tastgehalt selbst ist nicht abstrahierbar. Es ist nicht allein in ein informatives und ein tatsächliches sehendes Sehen, wie Imdahl sagt, zu unterscheiden, sondern darüberhinaus in den Eigenwert des jeweiligen Vollzuges.«22 Es gäbe demnach einen Unterschied zwischen der haptischen Wahrnehmung als Aufnahme von Informationen und dem Übergang zu einem intensiveren Fühlen des Moments an der Plastik oder Skulptur,23 was im Vergleich nach einer leichten Analogie zur bereits besprochenen Immersion klingen mag, einem neuen Bewusstseinszustand durch unbewusste und bewusste Konzentration der Wahrnehmung. Die unterschiedlichen Qualitäten der Haptik zwischen Information und Wahrnehmungsmoment sollen in der Betrachtung haptischer Medienkunstwerke und technischer Experimente, die einen haptischen Bezug haben, erfasst werden. Wie bereits zu Beginn erwähnt, wird dem Tastsinn gegenüber dem Sehsinn eine geringere Täuschungsmöglichkeit zugeschrieben. Mühleis zitiert dazu den Dichter Francesco Petrarca, der im 14. Jahrhundert bereits die Besonderheiten von Plastiken gegenüber der Malerei hervorhob: Aufgrund ihrer Materialität seien sie langlebiger und könnten nicht nur betrachtet, sondern auch betastet werden; etwas, das zu einem hervorstechenden Merkmal der Plastik wird.24 Der Kunst im Sinne einer Nachahmung der Natur und somit einer Täuschung sei also die Malerei mehr verschrieben, im Sinne dieser Betrachtung von Kunst eine höhere Kunstform, wobei die Plastik im Material und der körperlichen Ausformung bleibe.25 Materialtäuschung und -nachahmung war zu diesem Zeitpunkt noch kein Thema

20 21 22 23 24 25

Ebd., S. 98. Ebd., S. 99. Ebd., S. 100. Ebd. Ebd., S. 113. Ebd., S. 114.

99

100

Haptik am User Interface

der Diskussion. Der Dichter Johann Gottfried Herder beschäftigte sich mit den Qualitäten der Bildhauerei im 18. Jahrhundert im Sinne Petrarcas: »Der Weimarer Gelehrte unterschied ebenfalls die Festigkeit im Tasten von der Unbeständigkeit der Dinge im Sehen und folgte darin der Argumentation Petrarcas. Er meinte, die Malerei stelle das genuin Ungreifbare dar: Licht und Schatten, Blitz und Donner, Bach und Flamme, Naturschauspiele, die Erscheinung, den Traum.«26 Durch das Tasten dringt man zur beständigen Kunst der Bildhauerei und ihrem artistischen Wesen hervor. »Herder postuliert dementsprechend ein Betasten mit geschlossenen Augen, die Gestaltwahrnehmung vollziehe sich auf diese Weise in der inneren Anschauung, in der langsamen Entwicklung einer idea vom erfühlten Kunstwerk.«27 Beide Zitate unterstreichen noch einmal die klar zu unterscheidende Idee von der Malerei und dem Sehsinn als das Täuschbare und der Bildhauerei mit Skulpturen und Plastiken, die dem Tastsinn eine Wahrheit versprechen: »Es geht für ihn nicht länger allein um Nachahmung oder Natürlichkeit, sondern um eine Selbstwertigkeit des Tastens im Rezipieren von Plastik, die sich für ihn im Erhabenen entfaltet, im Ideal der griechischen Antike. Abseits der Klassik gewinnt diese Selbstwertigkeit umso mehr an Bedeutung, in der Kunsttheorie wird man sie jedoch erst zu Beginn des 20. Jahrhunderts erneut analysieren.«28 Auch der Kunsthistoriker Alois Riegl schrieb im Jahr 1899 im Zusammenhang mit der haptischen Wahrnehmung von Material von einer Objektivität, die das Auge nicht leisten könne, und grenzte die Materialoberfläche als »[…] die >taktische oder objektive Fläche< von der >optischen oder subjektiven< […]«29 ab. Auslöser der Beschäftigung war bei ihm die Dominanz der Konzentration auf das Visuelle in der Kunst: »Während Gombrich [der Kunsthistoriker Ernst Gombrich] Mitte des 20. Jahrhunderts versuchte, über eine Kritik der Fixierung auf das Sehen […] den physiologischen Diskurs in der Kunst gänzlich einzudämmen, indem er sich auf das allein

26 27 28 29

Ebd., S. 132. Ebd., S. 135. Ebd., S. 136. Ebd., S. 147. Der Autor verweist hier auf: Riegl, Alois: Historische Grammatik der bildenden Künste; Hg. von Svoboda, Karl M./Pächt, Otto; Graz, Köln, 1966; Bexte, Peter: Blinde Seher: Wahrnehmung von Wahrnehmung in der Kunst des 17. Jahrhunderts; Amsterdam, Dresden, 1999.

Über die haptische Kunst und die Phänomenologie

Objektivierbare des Geistes in der Betrachtung von Kunst berief, war Riegl zur Jahrhundertwende darum bemüht gewesen, dieselbe Einseitigkeit im Rekurs auf die Vielschichtigkeit der Sinne hin aufzubrechen. er hat damit den Abgleich von Sehen und Tasten aus den Bereichen der Kunst und Philosophie in die Kunstgeschichte übertragen. Fruchtbar ist dieser Abgleich durch Heinrich Wölfflin geworden.«30 Wölfflin war es also, der die Taktilität als wichtigen Faktor in der Kunstbetrachtung fortschrieb. Die Eigenständigkeit der haptischen Wahrnehmung von Kunst, die in verschiedenen Darreichungsformen ohne die anderen Sinne diskutiert werden müsse, wurde durch den Kunsthistoriker Max Raphael zu Beginn des 20. Jahrhunderts betont.31 Raphaels Vorstellung des Tastsinns für die Kunst war nun nicht mehr untergeordnet, sondern stellte einen Teil der Erkenntnis dar. Er bezog sich unter anderem auf die Überlegungen einer »Tastwelt« des Psychologen David Katz,32 wenn er die taktilen Werte einer Skulptur qualitativ erschließen wollte. Mühleis schreibt über seine Fragestellungen: »Was ist an ihr taktil vergegenwärtigt, was im jeweiligen Detail über sich selbst hinausweist, eine plastische Anschauung?«33 Innerhalb vieler Ideen von Wahrnehmungsübungen aller Sinne34 gab es auch Vorstellungen eines Ausbaus des Tastsinns wie in der Anweisung zur Leibesübung von Johann Christoph Gutsmuths Ende des 18. und Anfang des 19. Jahrhunderts.35 Schüler sollten dabei beispielsweise mit verbundenen Augen Münzen mit ihren Händen erkennen. Der Schriftsteller und Künstler Carl Friedrich von Rumohr befürwortete ab Mitte des 19. Jahrhunderts Tastübungen für junge Menschen, um die Feinheiten und Schärfen der Oberflächen ihrer Umwelt genauer wahrnehmen zu können. Rudolf Steiner entwickelte mit dem Konzept der Waldorf-Schulen auch eine Ausbildung der Berührung, die mit einer Gottesnähe beschrieben wurde.36 Bis heute ist das frühe Heranführen von Kindergartenkindern an geometrische Formen und Schrift durch haptische und visuell-haptische Übungen Teil wissenschaftlicher Überlegungen.37 Empirische Studien als Aufbau eines differenzierten Tastsinns wurden nach Raphaels Idee, ab den 1920er Jahren auch an der Kunstschule des Staatlichen Bauhaus durch Johannes Itten in Bezug auf die Malerei und nach ihm mit Ausrichtung auf die Architektur durch László Moholy-Nagy durchgeführt.38 Die Übungen 30 31 32 33 34 35 36 37 38

Ebd., S. 150. Ebd., S. 164f. Siehe hierzu: Katz, David: Der Aufbau der Tastwelt; Barth, 1925. Mühleis, 2005, S. 166. Siehe dazu auch: Jütte, 2005, S. 157ff. Jütte, 2005, S. 161. Ebd., S. 250. Heller/Gentaz,, 2014, S. 182. Mühleis, 2005, S. 167ff.

101

102

Haptik am User Interface

dienten der Ausbildung der Sinne und nicht um eine neue Kunstart mit Haptik zu erlernen, wie Moholy-Nagy betont39 . Ittens Verständnis von Objekten, die gemalt werden sollten, waren dabei nicht nur vom Sehen abhängig, sondern eben auch von den taktilen Eigenschaften der Texturen eines Objekts, die sich schließlich malerisch in Form und Farbe ausdrücken sollten. Ein Objekt müsse auch ertastet werden, um es zu verstehen und wiedergeben zu können. Zur Weiterbildung des Tastsinns ließ er seine Schüler Objekte, Montagen und Materialcollagen anfertigen, mit denen sich unterschiedliche Materialien kontrastreich erfühlen ließen, was ganz als »allgemeine Kontrastlehre«40 entsprach.41 Ein Beispiel dieser Studien aus Ittens Vorkursen sind die Tastplatten von Vincent Weber aus dem Jahr 1920: »Am Bauhaus ließ ich zur taktilen Beurteilung der verschiedenen Texturen lange chromatische Reihen von realen Materialien anfertigen. Die Schüler mußten diese Texturfolgen mit den Fingerspitzen bei geschlossenen Augen erfühlen. Nach kurzer Zeit verbesserte sich das Tastgefühl in erstaunlichem Grad.«42 Auch bei Moholy-Nagy mussten seine Schüler mit verbundenen Augen Materialien haptisch erfühlen und ihre Charaktereigenschaften erörtern, um nach diesen Übungen sogenannte Tasttafeln und Tasttrommeln43 zu erstellen; Objekte, die die verschiedenen Stärken von Druck, Vibration und auch Schmerz in Form von Stichen verdeutlichen sollten.44 Moholy-Nagy schreibt von »tastorganen«45 um eben diese Empfindungen zu üben: »die form der tasttafel wurde bei keiner aufgabe vorgeschrieben, das einzige kriterium war, daß die zur darstellung gelangenden werte deutlich, doch in knappster weise erfaßt werden.«46 Die Zusammenstellung der Materialien für die Tasttafeln erfolgt dabei testweise sowohl nach ähnlichen als auch nach gegensätzlichen Empfindungsmöglichkeiten, um schließlich eine Tasttafel erzeugen zu können, die die gewünschten Empfindungsvarianten zum Ausdruck bringen.47 Hier kommt für die weiteren Überlegungen zur Bedeutung der Haptik in der Medienkunst eine erste Erweiterung durch bewegtes Material ins Spiel: Neben zu erwähnenden beispielhaften Tasttafeln aus dem Semester von 1927 mit Nägeln für Stichempfindungen von Siegfried Giesenschlag oder in verschiedenen Größen, Längen und Abrundungen kombinierten Schrauben an einer Tasttafel von Werner Zimmermann48 entstanden Tasttrommeln oder drehbare 39 40 41 42 43 44 45 46 47 48

Moholy-Nagy, 1968 (1929), S. 21. Itten, 1963, S. 17. Mühleis, 2005, S. 170. Itten, 1963, S. 47. Moholy-Nagy, 1968 (1929), S. 25. Mühleis, 2005, S. 171. Moholy-Nagy, 1968 (1929), S. 21. Ebd., S. 25. Ebd., S. 21. Ebd., S. 23.

Über die haptische Kunst und die Phänomenologie

Tasttafeln.49 Der Student Rudolf Marwitz entwickelte im Semester von 1928 solch eine Tasttrommel, die verschiedene Tastempfindungen durch eine drehbare Kurbel als Bewegung möglich machte. Die Trommel war mit verschiedenen Materialien bestückt und seitlich mit einem Band und einer Kurbel kombiniert. Somit war die Tastempfindung an einer Tasttafel ein aktiver Vorgang, bei dem der Benutzer seine Finger oder Handfläche über verschiedene Materialfelder streichen musste, was die Konzentration auf die Geschwindigkeit in der Wahrnehmung von sich veränderten Materialien erforderte. Die Trommel oder die sich drehenden Tafeln erzeugten durch ihre Bewegung und somit durch die unvermittelte Änderung des Materials, ohne dass der Benutzer hier eingreift, eine Erweiterung der Erfahrung. Moholy-Nagy beschrieb das Material dabei durch die Begriffe Struktur, Textur und Faktur: »Als Nachfolger Ittens erweiterte Moholy-Nagy dessen Terminologie, um im Bereich des Taktilen die Struktur von der Textur und Faktur zu unterscheiden. Die Struktur bezeichnet das unveränderbare Materialgefüge (bei Metallen die kristallinische Struktur, bei Papier die der Fasern etc.). Textur ist die Abschlussfläche der Struktur, ihre Oberfläche. Faktur schließlich betrifft das Bearbeitetsein des Materials, die Spuren einer Einwirkung: vollkommene Glätte etwa rührt vom Poliertoder Gedrücktsein her. Struktur, Textur und Faktur galt es seine Ausführungen nach nun aus dem Flächigen ins Räumliche zu entfalten.«50 Itten strebte nach dem bestehenden Charakter des Materials, Moholy-Nagy ging mehr vom eigenen Körper (des Leibes) und den Sinnen als Erfahrungsmöglichkeit des umgebenden Raums und der Dinge aus. Moholy-Nagys Verhältnis zu den Erfahrungsmöglichkeiten der Technik war ein offenes: »die losung ist demnach nicht gegen die technik, sondern – versteht man sie nur richtig – mit ihr. durch sie kann der mensch befreit werden, wenn er endlich einmal weiß: wozu.«51 Die Grundlage der Technik und ihr Vorbild war dabei die Natur, aus der heraus jede Technik entstehe,52 dabei aber niemals Zielvorgabe für den Menschen im Sinne einer Verbesserung sein sollte, sondern immer nur Mittel einer Weiterentwicklung.53   Auch der Schriftsteller Albrecht Fabri arbeitete sich gedanklich an einer Phänomenologie des Tastsinns in der Kunst ab.54 Er kam ebenfalls zu dem Schluss, dass

49 50 51 52 53 54

Ebd., S. 27. Mühleis, 2005, S. 173. Moholy-Nagy, 1968 (1929), S. 13. Ebd., S. 60. Ebd., S. 13. Mühleis, 2005, S. 181ff.

103

104

Haptik am User Interface

sich das Wesen einer Plastik in seiner tastbaren Hülle veräußern lasse ohne etwas zu verbergen, und somit sowohl bewusst als auch unbewusst kinästhetisch, haptisch und taktil erfasst werden könne. Der Medienwissenschaftler Rudolf Arnheim zog 1990 schließlich den Bogen zur Haptik in der Kunstgeschichte mit Blick auf die Kunst Blinder. Er betrachtete die Haptik somit ebenfalls unabhängig von den anderen Sinnen, konkretisierte aber auch sein Verständnis visueller Wahrnehmung, indem er die gleichen Bedingungen bei der Erfahrung von Haptik in der Kunst für Sehende und Blinde sah:55 »Wenn aber jemand zum Protagonisten eines haptischen Diskurses werden kann, dann ein Blinder. Erst der Verzicht auf Visualität schärft den Gegensatz zur Kunst für die Augen.«56 Mühleis verweist auf Rudolf Arnheim, der von einer Tagung von 1977 berichtet: Klaus Spitzer und Margarete Lange erörterten im Rahmen der Blindenpädagogik die »Möglichkeiten und Grenzen haptokinetischer Kunst«,57 also die Wechselwirkungen, der angesprochenen Kinästhesie, Taktilität und Haptik. In Bezug auf eine haptische Kunst fragten sie nach ihrer Autonomie und einer haptisch bezogenen Ästhetik ohne visuelle Erkenntnis(möglichkeiten). Aber nicht nur eine andere Form der wahrgenommenen Ästhetik wird überdacht, sondern auch ihr Bezug auf die Eigenschaften der berührbaren Materialien selbst.58 Arnheim forderte in diesem Zug eine haptisch orientierte Kunst ein: »Sein Grundgedanke [Arnheims] ist ebenso einfach wie diffizil: Wenn Künste sich sinnesspezifisch im Verhältnis zum Geist äußern – wie die Musik sich im Hören, bildende Kunst traditionell im Sehen erfüllt –, dann müsste dem Leib in seiner haptischen Verfassung ebenso eine Kunstform offenstehen.«59 Auch wenn die Zuweisung von Sinnen zu Kunstgattungen offensichtlich zu kurz gedacht ist, denkt Arnheim den interessanten Gedanken der autonomen haptischen Kunst. Der bereits diskutierte Walter Benjamin verknüpfte in seinen Ausführungen zur »Spur« und zur »Aura« hingegen wieder das Tasten mit Überlegungen über das Sehen, von Nähe und Ferne zum Objekt oder Materiellem.60 Tasten und Sehen bedingen sich hier gegenseitig zur Erkenntnisgewinnung: »Die Spur ist Erscheinung einer Nähe, so fern das sein mag, was sie hinterließ. Die Aura ist Erscheinung einer Ferne, so nah das sein mag, was sie hervorruft.«61

55 56 57 58 59 60 61

Ebd., S. 183f. Ebd., S. 184. Ebd., S. 185. Ebd. Ebd., S. 187. Ebd., S. 245f. Ebd., S. 245. Der Autor zitiert an dieser Stelle Benjamin aus: Benjamin, Walter: Das PassagenWerk. Gesammelte Schriften; Frankfurt a.M., 1998.

Über die haptische Kunst und die Phänomenologie

Ob die Autonomie oder die Teilhabe an multisensuellen Medienkunstwerken im Vordergrund steht wird sich noch zeigen. Wichtig ist die Erkenntnis, dass es konzentrierte Überlegungen gibt, Objekte aus ihrer audiovisuellen Orientierung herauszunehmen. Doch was sind nun die Kennzeichen und erweiterten Überlegungen, die zum Einbezug der Haptik als Kontakt von Mensch und Technik gezogen werden und wie erweitert dies die Bedeutung der Haptik? Was macht zudem den Unterschied zwischen der Berührung eines Objekts und eines haptisch interaktiven Medienkunstwerks aus? Wie differenziert man zwischen dem performativen Akt mit einem starren, passiven Objekt auf der einen Seite und einem einseitig in Richtung des Benutzers agierenden oder beidseitig reagierendem Objekt auf der anderen Seite?

105

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

»The crisis into which this concept of ›the work‹ has now plunged is a sign of developments in art over the last hundred years. The most radical attack was launched by the avant-garde, who rejected the notions of originality, identity, authority, and purposelessness or l’art pour l’art, in an attempt to overcome the dichotomy between art and life and change experience of life through aesthetic means. Action art, performance happenings of the 1950s and 1960s mark the point where, at the very latest, the concept of a work of art as a discrete entity starts to break down.«1 Die Geschichte einer haptisch interaktiven Medienkunst entwickelt sich aus verschiedensten Strömungen. Einer ihrer Ursprünge liegt in den technologischen Entwicklungen der Computerindustrie und dem Einfluss der militärischen Nutzung seit den 1960er Jahren, welche aus Experimenten heraus auch künstlerischen Ausdruck fand.2 Wobei Derrick De Kerckhove betont, »[…] daß erst Künstler diese Technologie, so wie sie war, aus dem Militärischen heraus in die allgemeine Kultur brachten.«3 Katja Kwastek wies auf die schwierige Definition des Attributs »interaktiv« hin, das bis heute als Beschreibung meist digitaler Werke oder Objekte genutzt wird, obwohl der Begriff aus der Sozialwissenschaft heraus eigentlich »nur« für eine Aktion und Reaktion gebräuchlich war und ist.4 Kwastek schlägt eine Einordung der Geschichte der Interaktiven Kunst in die Wissensbereiche der Soziologie, Kybernetik und Computerwissenschaften vor: Werke des soziologischen Bereichs fokussieren die soziale Einflussnahme durch den Zuschauer an Kunstprojekten, die kybernetische Kunst einer generierten Umgebung reagiert auf die Veränderung durch einen Benutzer und zum computerwissenschaftlichen Bereich zählen die Werke der Interaktiven Kunst, die mit Hilfe von Algorithmen durch Computer funktionie-

1 2 3 4

Grau, 2003, S. 205. Huhtamo, 1997, S. 22. De Kerckhove, 1993, S. 163. Kwastek, 2005, S. 156f.

108

Haptik am User Interface

ren.5 Interaktivität findet sich somit zudem außerhalb digital basierender Werke, wie im Folgenden zu sehen sein wird, als Teilhaberschaft der Betrachter, der zum Benutzer wird, von Theater, Aktionskunst, Performance, Happenings, objektbezogener Kunst, Cyborg Art oder eben auch dem, was gemeinhin und schließlich eingrenzend als Interaktive Kunst bezeichnet, in der vorliegenden Arbeit aber nicht eingrenzend gedacht wird. Interaktivität in seiner weit gefassten Definition kann sowohl ideologisch als auch instrumentell oder technologisch gedacht sein, wobei im Folgenden der Fokus auf den tatsächlichen Einfluss durch eine mögliche Handlung gelegt wird, im Sinne der Human-Computer-Interaction einer Kontroll- oder Aktionsmöglichkeit von Prozessen.6 Dieser Fokus auf die haptischen Möglichkeiten als interaktives Element öffnet die Grenzen einer eindeutigen Zuweisung auf ein einziges Kunstgenre; die vorliegende Arbeit soll die Verknüpfungen zwischen Technologie, Design und Kunst in Bezug auf Haptik zeigen. Dabei soll nicht der Eindruck entstehen, die Geschichte einer haptischen Medienkunst sei vordergründig von industriellem Einfluss geprägt. Es sollen lediglich alle möglichen, beeinflussenden Strömungen aufgezeigt und diskutiert werden. Denn: »Allerdings übersieht diese Art der ›Geschichtsschreibung‹ die Tatsache, daß die Interaktive Kunst fest in der ästhetischen Umbruchsituation des 20. Jahrhunderts verwurzelt ist. Die Dadaisten, Konstruktivisten und Surrealisten waren wegweisend für die Entwicklung der Interaktiven Kunst, da sie auf je unterschiedliche Art und Weise die Rolle des Künstlers, des Kunstwerks, des Publikums, des Marktes und auch das Verhältnis von Kunst und Gesellschaft in Frage stellten. In den 60er Jahren entwickelten dann die Fluxus-Bewegung, die Happenings, die ›Participation Art‹ (Frank Popper), die kybernetische Kunst, die ›Art & Technology‹-Bewegung sowie die Videokunst und die ›enviromental art‹ eine Reihe von Parametern, die später in der Interaktiven Kunst weiterentwickelt wurden.«7 Die Anfänge der Interaktiven Kunst sollen im Folgenden aufgezeigt werden, wodurch der allgemeine Blick auf den Einbezug des Zuschauers einer Annäherung an die besondere Thematik der Haptik in der Kunst dienen soll. Es soll dargelegt werden, welche dieser Entwicklungen Einfluss nahmen und Teil der Geschichte der Interaktiven Kunst sind und welche Künstler und Werke im Besonderen letztendlich als signifikanter Teil einer haptischen Medienkunstgeschichte zu sehen sind.

5 6

7

Kwastek, 2008, S. 17ff. Ebd., S. 20. Die Autorin verweist in ihren Ausführungen auf: Lister, Martin: New Media. A Critical Introduction; London, 2003; Daniels, Dieter: Strategies of Interactivity: In: Sommerer, Christa/Jain, Lakhmi C./Mignonneau, Laurent [Hg.]: The Art and Science of Interface and Interaction Design (Vol. 1); Berlin, Heidelberg, 2008. Huhtamo, 1997, S. 22f.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

3.1

Einbezug des Betrachters: Futurismus, Happening und Fluxus

Zu Beginn des 20. Jahrhunderts sind die ersten Zeichen der Interaktiven Kunst bei Filippo Tommaso Marinetti und der Kunstentwicklung des italienischen Futurismus zu finden, der geprägt war von Fortschrittswillen, Technikinteresse und der Öffnung der Kunst durch den körperlichen Einbezug des Betrachters in das im Moment stattfindende Geschehen:8 »Marinetti geht es vor allem um die körperliche Beteiligung des Zuschauers, sie soll eine befreiende Wirkung haben und die starren Konventionen der Kunstbetrachtung brechen.«9 Die »starren Konventionen« waren eine Kunst, die in Museen und Galerien, somit auch nur für ein eingeschränktes Publikum, und nicht für die Masse, stattfand. Die Involvierung des Betrachters hat hier die Bedeutung einer Gegenbewegung, der Wille zum physischen Einbezug oder gar eine Betonung der haptischen Sinnlichkeit haben nur eine indirekte Bedeutung. Es ging erst einmal ganz allgemein um das Aufbrechen von Regeln und Gebräuchen innerhalb der traditionellen Künste; die Kunst in den Museen wurde als passiv und ohne Körperlichkeit aufgefasst. Im Manifesto de Tactilisme10 wird zudem beschrieben, dass die Berührung nicht nur der Wunsch zur Aktivität war – analog zum futuristischen Hang zu mehr Bewegung und Geschwindigkeit –, sondern auch ein Mittel der Erkenntnis zu mehr Wissen über die Umgebung des Körpers oder über die Materialbeschaffenheit. Die Berührung wurde dabei aber stets auch in Kombination mit den anderen Sinnen gedacht.11 Marinetti formulierte im Manifest sechs Kategorien unterschiedliche Berührungsgrade, wobei er Materialen sinnliche Eigenschaften zuschrieb: die dritte Kategorie beinhalt beispielsweise Samtstoff, Wolle, Wolle der Pyrenäen [sic!] und Seidenwolle, dessen Berührung aufregend, warm und nostalgisch sei. Er führte zwar keine Sammlung aller zu dieser Zeit bekannten Materialien auf, dennoch erscheinen die Kategorien in ihrer Auswahl genau gewählt. Die Eigenschaften variieren zwischen abstrakt, irritierend oder sinnlich. Die Erkenntnisse überführte er wiederum in »tactile boards«,12 die an die bereits erwähnten Tasttafeln, Tastplatten und Tasttrommeln der Bauhaus Universität erinnern. Seine tactile boards hatten unterschiedliche Ausrichtungen, die zum einen boards einfacher Materialerfahrung waren, die er als Vorzeigewerke für Vorträge und Konferenzen nutzen wollte. Zum anderen beschrieb er Bretter mit inhaltlicher Materialerfahrungen, wie das Sudan-Paris betitelte, das durch Berührung der gewählten Stoffe und Papiere mehrerer Kategorien eine Reise vom Sudan nach Paris darstellte: ein Weg vom rauen, heißen Sudan (Sandpapier, Pinsel, 8 9 10 11 12

Dinkla, 1997, S. 25./Beim Einbezug der Theorien des Futurismus soll nicht deren kritischen, rassenpolitischen Tendenzen vergessen werden, die stets zu verurteilen sind. Ebd. http://peripheralfocus.net/poems-told-by-touch/manifesto_of_tactilism.html Flint, 1972, S. 109ff. http://peripheralfocus.net/poems-told-by-touch/manifesto_of_tactilism.html

109

110

Haptik am User Interface

schwammige Materialien) über das Meer (glatte Materialien wie das Silberpapier) bis ins angenehme Paris (Seide, Federn oder Samt). Marinetti entwickelte zudem Gedanken über gemeinsame Materialerfahrung mit »tactile boards for the opposite sexes«,13 die die Sensibilität durch den Austausch von Erfahrungen mehrerer Personen erhöhen sollte. Die Hände von einem Mann und einer Frau waren dabei aneinandergebunden. Grundlage seiner Überlegung war dabei, dass sich die Berührungssensibilität von Mann und Frau stark unterscheiden würden. Neben der tactile boards plante Marinetti taktile Kissen, Betten, ganze Räume bis hin zu Theatern, die an multisensuelle Kinosäle erinnern. Musik oder Lichtdarstellungen sollten dabei mit rotierenden Rädern oder Bändern an den Sitzplätzen kombiniert werden. Der Fokus des Kunstkontextes lag letztendlich nicht nur auf der Wahrnehmung, sondern auch auf der Aktion der Betrachter an sich. Söke Dinkla verwendet in Bezug auf die Futuristen den Begriff »bühnenartige Aufführungen«,14 was eine Theatersituation beschreibt, die den Graben zwischen Betrachter und Künstler oder Schauspieler öffnet. Dieser Aspekt wird später im Rahmen der Performances noch einmal zur Sprache kommen. Max Ernst führte den Betrachter in den 1920er Jahren nicht nur im bühnenartigen Kontext, sondern in Galerien und Museen auch direkt an Kunstwerke heran. Die Betrachter waren nicht nur Teil performanceartiger Aufführungen, sondern konnten nun auch Objekte beeinflussen. Dinkla beschreibt beispielhaft die Rahmenhandlung einer Ausstellung mit Max Ernst, Hans Arp und Johannes Theodor Baargeld, bei der die Betrachter eine Axt zur Verfügung gestellt bekamen, um damit die Werke zerstören zu können, wenn sie ihnen nicht gefielen.15 Des Weiteren konnten sie in dadaistische Zeichnungen eigene Worte und Kommentare einfügen. Letztendlich blieb dieser Einbezug des Betrachters allerdings konzeptionell, auch wenn tatsächlich Besucher dem Willen der Künstler nachkamen. Wichtiger dabei ist allerdings folgendes: »Vor allem der Handlungsaufforderung Max Ernsts kommt Bedeutung für die spätere Entwicklung der Interaktiven Kunst zu, da sie die Rezeptionsbedingungen innerhalb des Ausstellungskontexts reflektiert.«16 Auch hier spielten die haptischen Sensationen der Betrachter oder vielmehr Benutzer am Werk noch keine Rolle im Kunstkontext, allerdings wurde das »unantastbare Kunstwerk«17 hinterfragt. »In der Avantgardebewegung wird die Forderung nach einer Annäherung von Kunst und Leben, nach einer Auslöschung der Grenzlinie zwischen beiden Sphä-

13 14 15 16 17

Ebd. Dinkla, 1997, S. 25. Ebd., S. 25f. Ebd., S. 26. Ebd.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

ren laut. Die wesentliche Reorganisation des Verhältnisses vom wahrnehmenden Körper des Zuschauers und dem Gegenstand der Kunst zeigt sich in der Feststellung Duchamps, dass es die Zuschauer seien, die den Gegenstand letztendlich zur Kunst erhöben, wodurch der Beobachter (durch einer Art mechanische Operation) als Akteur in die Kunstsphäre eindringe.«18 Einen weiteren Schritt machte schließlich Marcel Duchamp in seiner berühmten Ausstellung Exposition Internationale du Surréalisme 1938 in Paris, indem er nicht nur andere Menschen mit seinen Werken handeln ließ, sondern auch technische Komponenten einbezog.19 Seine Bilder sollten zunächst nur beleuchtet sein, wenn die Betrachter eine Lichtschranke durchtraten, sich ihnen also näherten. Da dies technisch nicht gelöst werden konnte, wurden Lampen an die Betrachter verteilt. Sie wurden aufgefordert, die Bilder selbst zu beleuchten, da sie sonst nicht zu sehen gewesen wären. Dies ist analog zur Handlungsaufforderung späterer technischer interaktiver Kunstwerke zu interpretieren, die nur funktionieren, wenn der Benutzer sie verwendet. Marcel Duchamps Interesse galt aber neben der Aufhebung der Distanz zwischen Werk und Betrachter auch schon der Wahrnehmung. Er verfolgte, wie Dieter Daniels analysierte, gar ein naturwissenschaftliches Interesse, bei dem der Betrachter nicht nur den Schöpfer ersetzt, sondern gar eine »absolute Subjektivität«20 erzeuge, was an die Thesen in Kapitel 2.4. anknüpft. In Duchamps Rotoreliefs von 1935 veränderte sich die Wahrnehmung der Spiralen durch deren kreisende Eigenbewegungen, die durch Technik beeinflusst war.21 Die Rolle des Künstlers, der ein Werk allein erschafft, schwächte Duchamp nicht nur durch den Einbezug des Betrachters ab, sondern auch durch sein künstlerisches Konzept der »Ready-mades«. Diese sollten Kunstwerke sein, die durch das Handwerk und die Industrie hergestellt waren, allerdings von ihm in den künstlerischen Zusammenhang gebracht wurden. Duchamp wollte damit etwas erschaffen was zwischen Kunstwerk und Industrieprodukt steht. Hier ist somit der Wille des Künstlers zu einer Einbindung der Kunst in die Alltagswelt zu sehen: »Damit sorgt er dafür, daß nicht die Realisierung eines Kunstwerks, sondern die Idee, die es hervorgebracht hat, als kunstwürdig gilt. Diese Umdeutung des Kunstund des Künstlerbegriff hat Auswirkungen auf die Rezipientenrolle in der partizipativen Kunst. Sie schließt eine Aufwertung des Rezipienten, die vor allem an eine physische Partizipation geknüpft ist, aus. Gefordert sind vielmehr bedeutungsoffene Strukturen, in den der Besucher an der konzeptionellen Realisierung beteiligt wird.«22 18 19 20 21 22

Wolfsteiner, 2011, S. 53f. Dinkla, 1997, S. 26. Daniels, 1992, S. 213. Dinkla, 1997, S. 26. Ebd., S. 27.

111

112

Haptik am User Interface

Der Einbezug des Betrachters in das Werk bedeutet demnach weder Abwertung der kreativen Rolle des Künstlers noch Aufwertung des Betrachters, der Fokus liegt vielmehr auf einer Öffnung der Strukturen. Eines der im neuen Kontext genutzten Alltagsobjekte war beispielsweise das Bicycle Wheel (1913); ein auf einem Hocker befestigtes Rad eines Fahrrads, das durch den Besucher in Bewegung versetzt werden konnte, allerdings nicht musste. Dieses Beispiel zeigt den Willen des Künstlers, den Betrachter teilnehmen zu lassen, das Interesse an der haptischen Sensation war hier allerdings auch nicht gegeben. Dieter Daniels Unterschied zwischen Partizipation eines Besuchers und einer Interaktivität ist am Beispiel des Bicycle Wheel zu erkennen, da am Rad kein Austausch stattfindet, der für eine Interaktion vonnöten wäre.23 Einlenkend soll eine der Thesen der vorliegenden Arbeit darauf hinweisen, dass die Berührung des Rads im Sinne Daniels bereits als Interaktion zu sehen sein kann. Denn auch wenn Duchamp die sinnliche Sensation der Haptik des Rads nicht im Sinn hatte, so ist sie dennoch da. Der Benutzer erfährt die Oberfläche des Kunstwerks durch seine Berührung und kann es im Gegensatz zur bloßen Anschauung erweitert, damit anders wahrnehmen. Die, wenn auch indirekte, Sinnlichkeit des Werks ist der unbewusste Austausch zwischen ihm und dem Betrachter. Dies kann so als eine frühe Form der Interaktion beschrieben werden.24 Dass Duchamp ein Interesse an der tatsächlichen Wahrnehmung einer Berührung hatte, zeigt auch die gemeinsame Arbeit mit Frederick Kiesler, der Twin-Touch-Test (1943).25 Er war die hintere Umschlagsseite der surrealistischen Zeitschrift VVV Almanac, Nr. 2-3 (Abb. 2).26 Diese Seite hatte ein ausgeschnittenes Loch, welches (auch zur Stabilität) mit Draht durchzogen war und einer Frauensilhouette glich. Der Leser war nun aufgefordert sich selbst zu spüren, indem er seine Hände auf beide Seiten der durchlöcherten Seite zusammenzulegte. Auch das berühren fremder Hände war möglich. Dieser Moment der haptischen Wahrnehmung des Drahts, der Zeitschriftenseite und der Haut der eigenen oder der anderen Hand sollte anschließend beschrieben und als Feedback an die Herausgeber gesandt werden. Hier ist also ein deutliches Interesse an der bewussten Haptik des Moments in Kombination mit einem künstlerischen Ausdruck in Form einer Zeitschrift zu erkennen. Der Twin-Touch-Test kann somit als eines der frühen haptischen Medienkunstwerke bezeichnet werden. Zeigt man die Geschichte der Interaktiven Kunst auf, so werden oft auch die auf Aktion ausgelegten Kunstrichtungen der sogenannten »Happenings« oder der ähnlich agierenden Fluxus-Bewegung erwähnt. »Happening« wurde 1952 als Begriff von Allan Kaprow benannt, und stellte etwas dar, was zuvor Versammlungen

23 24 25 26

Sprenger, 2010, S. 20. Ebd., S. 20f. Ebd., S. 21. Der Autor nimmt hier Bezug auf: Huhtamo, 2007, S. 82. Hare et al., 1943.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

im Rahmen der Kunst waren, bei denen die Zuschauer teilhaben konnten.27 Wie die bereits erwähnte Erweiterung der Theaterformen oder Duchamps Öffnung in und außerhalb der Museen und Galerien hat bereits John Cage vor der Idee der Happenings ebensolche Veranstaltungen organisiert. Waren Duchamps Kunstwerke noch auf Alltagsobjekte konzentriert, so ging Cage von den Objekten weg und hin zur Musik sowie den Geräuschen des Alltags.28 Diese künstlerische Verarbeitung schloss den Moment mit ein, der durch seine Vorgaben der Instrumente oder technischen Gegebenheiten, aber auch durch den Zufall der zeitlichen Ausführungen und der Teilnahme von anderen Menschen geprägt war: »Eines seiner Ziele ist, das menschliche Ohr auch für zufällige, ungeformte Klänge zu sensibilisieren. Dies geschieht nicht nur durch eine Transformation des Duchampschen Ready-made-Konzepts in Klangprozesse, sondern auch durch die Verteilung der Autorschaft.«29 Cages künstlerische Ausdrucksweise ist musikalisch geprägt und kann daher für die haptische Wahrnehmung innerhalb der Kunst nicht fruchtbar gemacht werden, allerdings prägen seine »offenen Kunstwerke« spätere Künstler der Interaktiven und haptisch interaktiven Kunst, wie Christa Sommer und Laurent Mignonneau, die im Rückbezug auf ihn »ein offenes oder sogar lebendes Kunstwerk anstreben«,30 was im Folgenden31 noch detaillierter diskutiert werden soll.32 Auch spätere Happenings, die auf gemeinsamen Aktionen der Künstler und der Zuschauer basierten, vermischten die Grenzen zwischen Künstler und Zuschauer, lösten sie aber durch die Anweisungen der Künstler, was zu tun sein könne, nicht auf.33 Eine derartige Aktion ist auf den Moment und die angeleitete Ausführung ausgelegt; gemeinsame Erfahrungen, die sich nicht auf die Wahrnehmung des Einzelnen fokussierten. Verschiedene Künstler sind sowohl im Zusammenhang der Happenings wie des Fluxus zu finden. Dabei war Fluxus seit den 1960er Jahren nicht auf die Zusammenführung von Künstler und Zuschauer konzentriert, sondern auf Aktionen, bei denen der zeitliche und räumliche Moment durch die aufkommenden neuen Techniken von Video, aber auch durch Ton oder Licht, beeinflusst werden sollte. Der Zuschauer wurde dabei meist nicht über die Veränderung des Moments instruiert: »Für die Beurteilung der Rezeptionssituation ist

27 28 29 30 31 32 33

Dinkla, 1997, S. 28. Ebd. Ebd. Sprenger, 2010, S. 23. Siehe dazu Kapitel 3.3. Ebd., S. 22ff. Der Autor nimmt hier Bezug auf: www.hgb-leipzig.de/daniels/vom-readymadezum-cyberspace/strategien_der_interaktivitaet.html Dinkla, 1997, S. 29.

113

114

Haptik am User Interface

ausschlaggebend, inwieweit unvorbereitete Zuschauer ohne konkrete Handlungsanweisungen auch außerhalb des vorgegebenen Handlungsrahmens aktiv werden können.«34 Diese Situationen ohne Anweisungen sind vereinzelt auch bei künstlerischen Objekten wie den Finger Boxes und Tactile Boxes des japanischen Fluxus-Künstlers Ay-O zu finden. Konzeptseitig sind sie auch als »sculptures from inside«35 bezeichnet (Abb. 3). Die Werke wurden dabei ab 1964 in zahlreichen Variationen erstellt: Vornehmlich waren es würfelartige Boxen mit einer fingergroßen Öffnung, in die der Benutzer hineinfassen sollte, um das darin versteckte Material zu erfühlen. Dies besaß unterschiedliche Strukturen, wie zum Beispiel Schwämme, Haare oder auch Perlen. Ay-O ermöglichte mit diesen Werken sowohl Lernerfahrungen durch unvorsichtiges und somit schmerzhaftes Erfühlen von in den Boxen versteckten Nägel, als auch eine soziale Komponente, die das gleichzeitige Erfühlen mehrerer Benutzer durch eine Box mit vielen Fingerlöchern an der Oberseite möglich machte.

Abb. 2: Marcel Duchamp/Frederick Kiesler; Twin-Touch-Test; Abb. 3: Ay-O, Tactile Boxes und Finger Box

3.2

Einbezug durch Technik: Reaktive Kunst, Cyborg Art und Digital Art

Die Handlungsanweisungen wurden in den Entwicklungen der 1950er und 1960er Jahre neben der kinetischen Kunst auch in der sogenannten reaktiven oder responsiven Kunst immer mehr von technischen Apparaten übernommen.36 Diese Kunst34 35 36

Ebd., S. 30. Hendricks, 1988, S. 175f. Dinkla, 1997, S. 30. Der Autor nimmt mit den »responsive enviroments« Bezug auf: Krueger, Myron W.: Artificial Reality; Reading, 1983.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

form enthält die bereits diskutierte Komponente des Feedbacks und somit die Idee einer Verknüpfung von Mensch und Maschine zu einem aufeinander reagierenden System. Theoretisch zurückführend auf Norbert Wieners Kybernetik-Theorie beschreibt die reaktive Kunst, und ihre stärkste Ausprägung die Cyborg Art, zum einen den menschlichen Körper als technisches System und zum anderen die Technik in ihren Möglichkeiten, biologisch anknüpfbar oder als Ersatz für menschliche Komponenten zu sein. Söke Dinkla erläutert dabei die Cyborg Art, wie sie vom Kunsttheoretiker Jack Burnham aufgefasst wurde, folgendermaßen: »Während die erste der Cyborgs so programmiert ist, daß […] sie auf Umweltstimuli reagiert, die nicht (direkt) vom Rezipienten hervorgerufen werden, ist in der zweiten Gruppe – Burnham nennt sie auch >cybernetic games< – menschliche Teilnahme Voraussetzung für die intendierte Funktion.«37 Zwar geht die von Design geprägte haptisch interaktive Medienkunst ebenfalls meist von der Idee des Interfaces als möglichst selbstverständlich und selbsterklärendes Werkzeug zum Kontakt zwischen Mensch und Technik aus, aber die extreme Ausprägung einer Cyborg Art zu einer Gleichstellung von biologischen und technischen Komponenten der Kunst soll in dem vorliegenden Arbeitsrahmen nicht das Thema sein: Immersion durch Mimesis und Simulation ist ein wichtiger Faktor der haptisch interaktiven Medienkunst, dennoch soll hier keine tatsächliche Verschmelzung diskutiert werden, vielmehr liegt der Fokus auf dem Berührungsmoment mit sinnlicher Sensation und der genutzten Technik. Die zugrundeliegende Theorie der Kybernetik der reaktiven Kunst und ihre Ausprägungen sowie die Frage nach der Steuerung von Maschinen sind somit zu diskutierende Aspekte dieser Arbeit. Dies soll im kommenden Kapitel am Beispiel des Performancekünstlers Stelarc geschehen. Dinkla sieht in der Involvierung von Technik einen entscheidenden Schritt: »Die Einführung technischer Kontrollmöglichkeiten in die Kunst markiert gegenüber der partizipativen Happening- und Performancekunst eine Zäsur. Denn die Teilnahme des Publikums ist in der reaktiven Kunst wesentlich durch die Funktion des zum Dialog auffordernden Systems bestimmt. Teilnahme wird in apparativen Kunstformen ebenso wie in den Happenings als emanzipatorischer Akt verstanden, bezieht sich jetzt allerdings auf den technologischen Kontext.«38 Neben der reaktiven Kunst entwickelte sich in den USA der 1960er Jahre die Kunstund-Technologie-Bewegung, die, wie viele andere Zweige der Kunstgeschichte des 20. Jahrhunderts, das Ziel hatte, die Gattungen zu sprengen und neue Formen zu 37 38

Ebd. Burnham betonte zudem den Sprung zwischen einer objektverhafteten Skulptur und einer systemorientierten Skulptur, die funktionell und mobil sei. Ebd., S. 32.

115

116

Haptik am User Interface

entwickeln, in diesem Fall durch die Zusammenführung von Kunst und Technik.39 Dies geschah zum Beispiel durch bewusste Zusammenkünfte von industriellen und künstlerischen Vertretern, deren Ziel »[…] weniger die künstlerische Erprobung bestimmter Technologien als vielmehr die Überwindung der Unterschiede zwischen den Bereichen Kunst und Industrie […]«40 war. Die medienkünstlerischen Arbeiten waren demnach nicht nur konzeptionell durch eine Übernahme von Ideen aus einem anderen Forschungsbereich angelegt, sondern es gab auch finanziell unterstützte Projekte. So schufen die Kuratoren Maurice Tuchman und Jane Livingston 1967 das Art and Technology Program,41 das bis heute an der Ohio State University an der Entwicklung von Technologie im künstlerischen Kontext forscht.42 Ebenfalls 196743 wurde durch den Künstler und Kunsttheoretiker Gyorgy Kepes das Center for Advanced Visual Studies (CAVS) am Massachusetts Institute of Technology ins Leben gerufen, an dem bereits namhafte Videokünstler wie Nam June Paik oder Bill Seaman gearbeitet haben und das bis heute kooperierende Projekte durchführt.44 Auch die 1967 gegründete Organisation Experiments in Art and Technology aus New York verband die experimentelle Arbeit von Künstlern und Forschern, allen voran des Künstlers Robert Rauschenberg und des Ingenieurs Billy Klüver.45 Innerhalb dieser Organisation wollte man Technik vor allem als neues Ausdrucksmaterial nutzen, da man die klassischen Kunstmaterialien als abgearbeitet ansah: »Ausschlaggebend ist hier die Auffassung, daß eine Kunst, die moderne Technologien ausklammert, an sozialer Relevanz verliert. Eine Glorifikation der Technik wie in der konstruktivistischen und futuristischen Kunst der zwanziger Jahre bleibt in den sechziger Jahren aber aus.«46 Rauschenbergs kreative Arbeit richtete sich schließlich weg von der reaktiven Kunst im Performance- oder theaterähnlichen Bühnenzusammenhang, hin zu installativen Raumarbeiten. Diese Environments hatten das Ziel, den bereits angesprochenen, unwissenden Besucher in das Werk zu integrieren, ohne explizite Handlungsanweisungen geben zu müssen.47 Der Raum oder die Objekte als seine Bestandteile sollten auf die Gegebenheiten und Aktionen des Besuchers reagieren. Die Arbeiten von Rauschenberg ebenso wie die Arbeit von Cage waren dabei, so Söke Dinkla, auf die Öffnung für die Aktionen und Integration des 39 40 41 42 43 44 45 46 47

Ebd., S. 33. Ebd. Ebd. www.artandtech.osu.edu. Laut Website cavs.mit.edu ist das Gründerjahr 1967, in Dinklas Aufführungen ist es 1968: Dinkla, 1997, S. 33. Dinkla, 1997, S. 33. Ebd., S. 34. Ebd. Ebd., S. 36.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Besuchers, damit des Benutzers, ausgelegt. Der Inhalt rückte dabei bewusst in den Hintergrund:48 »In reaktiven Arbeiten greifen die Zuschauer zunächst nicht bewußt in den Werkkontext ein, sondern werden unvermittelt durch – oft versteckte – elektronische Sensoren in einen visuellen oder auditiven Ablauf verwickelt. Diesem Prinzip folgen auch einige der interaktiven Arbeiten. Mit der technisch vermittelten Involvierung des Rezipienten in einen visuellen und/oder auditiven elektronischen Prozeß im (musealen) Ausstellungskontext sind die wesentlichen Voraussetzungen für die Interaktive Kunst geschaffen.«49 Die Involvierung des Rezipienten durch seine eigenen Handlungen wurden Ende der 1960er Jahre mit dem Einfluss der Videotechnik und dem damit verbunden Closed-Circuit-Verfahren insofern erweitert, dass der Zuschauer oder Benutzer nicht nur zu einem Teilhaber des Werks wird, sondern in diesem auch selbst sichtbar.50 Denn der geschlossene Kreis der Videotechnik und die damit nun mögliche gleichzeitige Aufnahme und Wiedergabe des Zuschauers schließt ihn handelnd wie bildlich ins Werk mit ein. In den Arbeiten, die als Ideengeber und schließlich als erste interaktiven Kunst zu sehen sind, ist demnach zu erkennen, dass erst einmal die Gegenüberstellung von Künstler, Betrachter mit dem Werk oder auch der Theater/PerformanceKontext in den Blick rückte, ohne dass das Objekt an sich in Frage gestellt oder auch aufgehoben werden musste. Die Künstler der Happenings und Performances werden dabei in den künstlerischen Ablauf einbezogen, indem sie durch ihre eigenen Handlungen die Aktion in Ausrichtung und Dauer beeinflussen können. Dahingegen ist die Involvierung des Benutzers »[…] in vielen interaktiven Arbeiten ein intellektueller Vorgang der systematischen, experimentellen Problemlösung. Dieser Dialog mit dem System wird zum künstlerischen Material.«51 Die künstlerische Ausrichtung verlagert sich somit auf die Kommunikation zwischen Benutzer und dem interaktiven Raum oder dem Objekt und im Falle der haptisch interaktiven Medienkunst auf den kommunikativen Kontakt an der Oberfläche von Raum und Objekt: »Das künstlerische Material der Interaktiven Kunst ist der automatisierte Dialog zwischen Programm und Anwender.«52 Die Handlungsanweisungen durch den Künstler fallen durch diese Automatisierung weg. Es wird eine möglichst selbstverständliche Aktion des Benutzers möglich, was im Hinblick auf das Design dem Idealfall des selbsterklärenden, natürlichen Interfaces näher kommt. Sie sind dabei, wie noch ausführlicher gezeigt werden wird, nicht nur 48 49 50 51 52

Ebd., S. 37. Ebd. Ebd., S. 39f. Ebd., S. 41. Ebd.

117

118

Haptik am User Interface

durch ihre selbstverständliche Nutzung charakterisiert, sondern auch durch die Unsichtbarkeit der Sensorik und Funktionen. In Bezug auf die Medientheorie sei hier auf eine Unterscheidung in Immediacy und Hypermediacy verwiesen, also hinsichtlich der Frage, ob Medien ihre Funktion als Datenträger aufzeigen oder verstecken.53 Natürliche Interfaces fungieren somit in ihrer Art wie unsichtbare Immediacy und präsentieren dem Benutzer den Inhalt durch gleichzeitige Ausblendung des vermittelnden Interfaces. Die Aufladung als Datenträger mit Informationen findet wiederum statt, wenn das Bewusstsein eines haptischen Wahrnehmungsprozess am User Interface thematisiert wird. Die Nutzung von Graphic User Interfaces ist prinzipiell auch intuitiv verständlich, in ihrer (audio)visuellen Form aber funktionell im Design eingeschränkt. Eine natürliche Nutzung wird erst einmal mit einer Unabhängigkeit von einem Objekt gleichgesetzt, in dem die reale Handlung, die gleichermaßen auch eine virtuelle Handlung induziert, eine im Leben bereits erlernte Aktion ist. Wobei bei der Verknüpfung von Unsichtbarkeit und Natürlichkeit, wie auch immer »natürlich« in diesem Sinne definiert wird, die Frage aufkommt, wie Künstler und Designer dieser Interfaces die Wahrnehmung des Benutzers überhaupt zu einer Benutzung hinleiten. Wie drückt sich die selbstverständliche Nutzung des Interfaces aus? Erst nach einer Abarbeitung an einer Verringerung des physischen Abstands zur Kunst konnte man sich tatsächlich den physischen Möglichkeiten am Objekt nähern. Welche dieser Möglichkeiten und Interpretationen der Haptik finden sich nun in der Geschichte der Medienkunst, wie und welche Interfacetechnik wird genutzt oder auch zweckentfremdet? Eine Abarbeitung am Einfluss der Haptik zeigt sich vor allem ab den 1990er Jahren, wie im Verlauf der vorliegenden Arbeit dargelegt wird. Dazu schreibt auch Kacunko: »Im Umfeld der Medienkunst und der entsprechenden Kunsttheorien machte sich indessen Anfang der neunziger Jahre die Tendenz bemerkbar, die ›interaktiven‹ Kunstwerke/Installationen durch die Präsenz bzw. Absenz der haptischen Schnittstellenlösungen (z.B. touch screen) als solche an- oder abzuerkennen.«54 Ein frühes Beispiel dieser Touch Screen involvierenden Kunst ist die 198455 entstandene Arbeit Deep Contact von Lynn Hershman Leeson (und Sarah Roberts), die zudem mit der Videodisk noch ein weiteres Medium seiner Zeit repräsentiert. Ein 53 54 55

Kwastek, 2013, S. 143. Kacunko, 2004, S. 52. 1984 laut der Website der Künstlerin (www.lynnhershman.com/deep-contact/), 1989 laut dem Lynn Hershman Archive des Rose Goldsen Archive of New Media Art der Cornell University Library, welches Storyboards, Manuskripte und andere projektbezogene Materialien bewahrt (http://goldsen.library.cornell.edu/special/lynn.php).

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Touch Screen war in eine körperhohe Box eingelassen, die wiederum mit einem separaten Bildschirm verknüpft wurde. Die »Interactive Touch Screen Videodisk«56 Installation stellt zum ersten Mal den Versuch dar, einen cybersexuellen Gedanken auszuführen. Dabei hatte der Benutzer die Möglichkeit, sein virtuelles Gegenüber tatsächlich zu berühren. Durch Lichtschranken und eine Kamera erkannte die Installation einen Benutzer in der Nähe und wurde eingeschaltet.57 Die Figur Marion erschien auf dem Bildschirm, eine leicht bekleidete, auf einem Sofa sitzende Frau klopfte an die Scheibe, durchbrach somit die (im Theaterjargon) vierte Wand zwischen Darsteller und Publikum, und forderte so auf, sie anzufassen. Diese Berührung sollte über den Touch Screen geschehen, auch in Textform als »Touch me« zu lesen, sowie einer pixelig-animierten Repräsentation des Frauenkörpers. Genauer: Die Berührung einzelner Körperteile war nun gefordert. 57 verschiedene Bereiche waren dabei definiert.58 Je nachdem wo die Berührung erfolgte, wurde ein anderer Teil einer erotischen Geschichte aktiviert. Die Berührung des Bildschirms stellte natürlich für den Benutzer keine haptische Sensation dar, sondern war letztendlich nur ein Drücken eines Knopfes. Dennoch ist die Berührung der Technik hier stellvertretend für eine virtuelle Aktion (oder vielmehr die audiovisuelle Ausführung als Videosequenzen) zu sehen, die einer sexuellen Berührung gleichkommt. Dies greift aber natürlich auf einen heterosexuellen Machtgedanken zurück, demzufolge jede Berührung so sinnlich sei, dass sie bei der Frau zu einer erotischen Reaktion führe. Slavko Kacunko hat in seiner Abhandlung über das Verhältnis der ClosedCircuit-Technik und der Medienkunst bereits die Verknüpfung von Optik und Haptik in der Medienkunst beschrieben. Allerdings vernachlässigt er dabei haptische Sensationen, konzentriert sich auf die durch die Kombination der Interfaces entstehende Möglichkeit der HCI-Kommunikation in Echtzeit und hebt vor allem die Trennung von Körper und Computer hervor.59 Denn die CC-Videotechnik oder die auf Bewegung eingestellten Sensoren lassen eine Computernutzung auch ohne Berührung zu. Mit den interaktiven Medienkunstwerken, die diese berührungslose Technik dezidiert hervorheben, gibt es aber ebenso, wie die hier vorliegende Arbeit zeigt, Kunstwerke, die sich im Besonderen auf die Haptik konzentrieren. Diese Arbeiten behandeln die Berührung nicht nur als Mittel zum Kommunikationszweck wie bei Deep Contact, sondern thematisieren die haptische Wahrnehmung in ihren vielfältigen Ausprägungen. Der in Kapitel 3.5. näher beschriebene Ståle Stenslie erkennt die CCVideotechnik und ihren Übergang zu Kunstwerken mit Echtzeitsimulationen

56 57 58 59

www.lynnhershman.com/deep-contact/ www.medienkunstnetz.de/werke/deep-contact Weibel, 2016, S. 164. Kacunko, 2004, S. 52f.

119

120

Haptik am User Interface

ebenfalls als dreiteilige Geschichte der sogenannten Digital Art.60 Diese Einbettung der haptischen Medienkunstwerke ist wichtig, da hier nicht nur die Verbindung zur künstlerischen Beschäftigung mit den in der jeweiligen Zeit aufkommenden objektorientieren Technologien gezeigt wird, sondern auch das Verhältnis von haptischen zu audiovisuellen Technologien und vor allem der Vorstellung und Verhandlung der aufkommenden Virtual Reality in den 1980er und 1990er Jahren.61 Dies wird im Kapitel der Interfaces in der Computergeschichte detaillierter ausgeführt.62 Eine reine kunst- oder medienwissenschaftliche Beschäftigung mit dem Interface oder der Haptik ist eher selten. Öfter wird die Orientierung auf Haptik, wie interessiert und objektbehaftet sie von den Künstlern auch verfolgt wird, mit audiovisuellen Bildern kombiniert, weswegen Stenslie die Abkürzung VR eher als Visual Reality als Virtual Reality verstanden haben möchte63 . Eine umfassende und exakte Beschreibung eines haptischen Medienkunstwerks beinhaltet, wie gesagt, oft auch eine visuelle, grafische Umsetzung beispielsweise als Projektion. Stenslies drei Phasen einer sich an der Technik entwickelnden Kunstgeschichte, basieren zunächst auf der Erfindung und Vorstellung des ersten rein digitalen Computers ENIAC (Electronical Numerical Integrator and Computer) im Jahr 1946. Die ersten Schritte und Möglichkeiten, Grafiken digital zu erstellen, bestimmten die erste Phase einer digitalen Kunstgeschichte ab den 1960er Jahren. Die zweite Phase ist die bereits beschriebene Auseinandersetzung mit der CC-Videotechnik und die dritte Phase ist der ebenfalls soeben dargestellte Übergang zu Echtzeitsimulationen. Hier ist als eines der ersten responsiven Werke Videoplace von Myron Krueger aus dem Jahr 1974 zu nennen, von dem es leicht variierende Versionen in den darauffolgenden Jahren gab.64 Zwei Personen wurden mit Hilfe von Kameras in zwei voneinander getrennten Räumen gefilmt, wobei beide Körper als abstrakte Silhouette an die gemeinsame Wand geworfen wurden. An dieser Wand konnten die beiden Personen somit durch ihr Wandabbild und durch die eigenen Körperbewegungen miteinander in Echtzeit kommunizieren. In der ersten Version wurde dabei noch kein Computer benutzt, bei den folgenden Versionen konnten dann unterschiedliche Programme gewählt und so die Interaktionen variabler werden. So konnte zum Beispiel Kruegers eigens entwickeltes Computersystem die Silhouetten als grafische Abbilder gestaltbar machen. Obwohl diese gefilmten Abbilder nur in ihrer grafischen Form des Körperumfangs und der Echtzeitbewegungen als Feedback zur eigenen Aktivität zu erkennen waren, ergab sich dennoch das Gefühl einer Telepräsenz und Verkörperung des Benutzers. Die gemeinsame Projektionsfläche war ein abstrakter, 60 61 62 63 64

Stenslie, 2010, S. 118f. Ebd., S. 119. Siehe dazu Kapitel 4. Ebd., S. 128. Ebd., S. 118.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

sozialer Raum, oder wie Krueger es nannte: künstliche Realität.65 Obwohl hier der Körper des Benutzers interaktiv beansprucht wird, ist die haptische interaktive Komponente nicht vorhanden. Das Projekt kann deswegen als Videokunstarbeit66 beschrieben werden, und dabei als wichtiger medienkunsthistorischer Schritt in der Involvierung des Körpers. »The environment was made believable, not because of photorealism, but –similar to ›Telematic Dreaming‹ – through convincingenough illusion due to video superposition.«67 Telematic Dreaming von Paul Sermon von 1992 war ein ähnliches videobasiertes Environment, das die Illusion der Telepräsenz weiterführt und dabei nun die Haptik ins Werk integriert.68 Wieder in getrennten Räumen lagen die Benutzer dabei jeweils auf einem größeren Bett, das für mehr als eine Person Platz bot. Eine an der Decke angebrachte Kamera filmte den Benutzer. Über einen Beamer, der das Bild auf die hellen Laken als Projektionsfläche nutzte, wurde der Benutzer des einen Raumes auf das Bett des anderen Raumes projiziert. Über zwei neben dem Bett aufgestellte Fernseher wurden zudem die in fast Echtzeit ablaufenden Aktionen im anderen Raum noch einmal gezeigt. Die Benutzer bekamen das Gefühl, die andere Person läge mit im Bett. Sie wurden zu Performern in der vorgegebenen Situation. Sermon selbst übergibt dem Benutzer den Titel des »creator or artist«,69 nimmt sich selbst als Künstler demnach komplett zurück. Die Projektion war dabei natürlich eine flache Videoprojektion, dennoch anders als bei Myron Kruegers Arbeit das naturalistische Videobild und keine abstrakte, grafische Form. Obwohl die Benutzer »nur« das Bett, die Laken oder Decken und keine hautähnliche Oberfläche oder Körper simulierenden Materialien berührten, kam die Illusion einer Berührung durch den anderen Benutzer auf, einer intimen Situation mit vielleicht sogar einer fremden Person. Derrick De Kerckhove beschreibt hier gar eine »ganz neue Art taktiler Erfahrungen«,70 um zu betonen, dass die Installation nicht die Berührung eines Menschen oder den Tastsinn simulieren wolle. Letztendlich funktioniert die Berührung als Sinneserfahrung aber dann doch als bewusste Konzentration auf das Ertasten des Lakens, was für sich gesehen auch schon ein interessantes, interaktives Benutzermoment darstellt. Die Illusion, und das ist das Neue eines telepräsenten Moments, findet im Kopf des Benutzers statt, in dem er der Berührung der projizierten Laken ein Mehr an Eigenschaften zuschreibt. Diese Berührung ist nicht nur der Hautkontakt mit dem präsenten Laken, sondern in der Vorstellung des Benutzers auch eine Art Berührung des telepräsenten, rein

65 66 67 68 69 70

Ebd., S. 119. Ebd. Stenslie spricht von »second phase digital video art prjoect«. Ebd., S. 119. www.medienkunstnetz.de/werke/telematic-dreaming/ Sermon, 2010, S. 162. De Kerckhove, 1993, S. 153.

121

122

Haptik am User Interface

visuellen Körpers. Der voyeuristische Moment des Beobachtens des Anderen wird mit dem Bewusstsein kombiniert selbst gesehen werden zu können.71 Das Laken als Objekt wurde mit einer neuen Funktion versehen. Auch bei der Multimediaarbeit To Touch (1993) von Janet Cardiff musste der Benutzer über eine bekannte Oberfläche Inhalt entdecken. Ein hölzerner, alter Tisch in einem abgedunkelten Raum wurde erst durch die Berührung des Benutzers aktiviert. Das Erfühlen des Holzes aktivierte elektronische Photozellen, die mit neun verschiedene Soundaufnahmen von Seufzern, kleinen Geschichten bis hin zu Gesprächsfetzen verknüpft waren.72 Das Möbelstück gab seine Geschichte frei. Bei einem zu Telematic Dreaming ähnlichen Werk mit dem Titel Bodymaps: artifacts of Touch73 projizierte zwischen 1995 und 1997 die kanadische Medienkünstlerin Thecla Schiphorst Aufnahmen ihrer Person in Kombination mit Bewegungen eines digitalen Körpers auf eine tischähnliche Interfaceoberfläche. Diese erschien als ein helles Bett. Hier kann bereits von interaktivem Mapping gesprochen werden, denn die Berührung des Benutzers aktivierte hier tatsächlich das Bild durch 15 elektromagnetische Felder unter dem »Bett«, die jeweils Sound erzeugten. Technisch ist dies vergleichbar mit einem Theramin. Acht Kraftsensoren waren empfindlich für reine Berührung und festeren Druck auf die Interfaceoberfläche durch eine oder mehrere Hände sind.74 Durch Berührung der Bettinstallation fing die gezeigte Person an, sich zu bewegen oder Töne abzugeben, so als würde sie nun aufgeweckt. Die Künstlerin selbst benennt ihre Arbeiten als »new media participatory installation«,75 eine Formulierung, die den Einbezug des Benutzers betonen soll. Gleichzeitig beschreibt sie dabei die Berührung, somit den Kontakt zwischen Mensch und technischem Werk als einen dritten Raum zwischen dem objektiven Sehen und dem subjektiven Fühlen.76 Allerdings muss man sagen, dass Bodymaps: artifacts of Touch deutlich auf ein audiovisuelles Erlebnis abzielt, das haptische Erlebnis beschränkt sich trotz Streichen und Drücken eines Objekt »nur« auf eine gerade, glatte Fläche. In ihrem Projekt soft(n) (Prototypname move.me, 2005 bis 2007) transportiert sie das Interesse an der Berührung von Objekten auf haptischere Stoffe. Zehn bis zwölf verschiedenartige weiche Objekte, die an bis zu körpergroße Kissen erinnern, können berührt, gedrückt und durch den Raum geworfen werden. Schiphorsts Interesse liegt bei dieser »multi-user networked public art installation«,77 an der Art der Berührung. Je nach Berührungs- und Bewegungsverhaltens

71 72 73 74 75 76 77

www.paulsermon.org/dream/ Christov-Bakargiev, 2001, S. 48. Stenslie, 2010, S. 155. www.art.net/∼dtz/schipo1.html www.fondation-langlois.org/html/e/page.php?NumPage=46 www.art.net/∼dtz/schipo1.html www.sfu.ca/∼tschipho/softn/design.html

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

des Benutzers reagieren die weichen Objekte durch eingebaute Bewegungsdetektoren und Drucksensoren mit Vibrationen, Leuchten oder Audiospuren wie einem Seufzen.78 Letzteres soll nicht nur eine Lebendigkeit der künstlichen Körper assoziieren, sondern vor allem den Benutzer die Art der haptischen Interaktion je nach Reaktion des Objekts hinterfragen lassen. Eine ähnliche Form des Lernprozesses erwägt auch Simon Schiessls Haptic Opposition,79 das im MIT Media Lab entwickelt wurde. Ein an der Wand angebrachtes länglich horizontales Display, das durchlaufend digitalen Text generiert, wird sowohl von der dahinterliegenden Maschine bewegt als auch von der Berührung des Benutzers beeinflusst.80 Durch ein eingebautes Force Feedback System kann die Maschine auf zu festen Druck aggressiv reagieren und der gewünschten Bewegung des Benutzers widersprechen, sanften Bewegungen folgt das Display und belohnt die Person mit einer geheimen Nachricht im Textfeld. Es scheint demnach so, als habe das Display einen eigenen Willen, der auf freundliches und unfreundliches Verhalten reagiert. Bezüglich Schiphorsts »drittem Raum«, der als Bezeichnung fraglich bleibt, da er impliziert, dass objektives Sehen und subjektives Fühlen völlig konträre Sphären wären, sind ihre sowie Schiessls beispielhafte Arbeiten Stenslies vierter Phase zuzuordnen: Stenslie schließt nämlich an die Geschichte einer digitalen Kunst nach seinen zuvor bereits erwähnten drei Phasen noch eine vierte, analoge Phase an: »body-centred systems reaching out of the screen and into the multisensory domain«,81 wie sie in den Bereichen der sogenannten Mixed Realitys, Embodied Interaction und Augmented Realitys zu finden ist. Diese analoge Phase ist als Fokuswechsel der (die digitale Technik einschließenden) Kunst auf sensorische Erlebnisse in der Realwelt zu beschreiben; digitale Programmierungen und technische Entwicklungen werden genutzt, um reale Empfindungen neu zu entdecken. Diese Neuentdeckung bekannter Wahrnehmungen von Pflanzen oder dem Eintauchen in Wasser sollen anhand der Künstler Christa Sommerer und Laurent Mignonneau ausführlicher betrachtet werden.

3.3

Die natürlichen Interfaces von Christa Sommerer und Laurent Mignonneau

Medienkunsthistorische Beispiele für eine kreative Auseinandersetzung mit den technischen Entwicklungen von Tangible User Interfaces und Natural User Interfaces (NUI), aber auch mit der Integration von Haptik im nichttechnischen Sinne, 78 79 80 81

Ebd. www.signalfluss.de/ https://www.digitalartarchive.at/database/general/work/haptic-opposition.html Stenslie, 2010, S. 127.

123

124

Haptik am User Interface

bietet das Künstlerpaar Christa Sommer und Laurent Mignonneau seit dem Beginn der 1990er Jahre. Ihre Werke nutzen die Technik und ihre Möglichkeiten formal und in ästhetischer Ausrichtung.82 Sie selbst beschreiben ihre Auseinandersetzung mit dem Interfacedesign als »metaphoric, emotional, natural, intuitive and multi-modal«.83 Das metaphorische und emotionale Design von Interfaces spielt dabei auf erlerntes Wissen oder Erfahrungswerte von Dingen an. Dieses erlernte Wissen wird auf die Benutzung des Interfaces übertragen, eine Form von Illusion stellt sich ein, die in der Kunst ein gängiges Mittel zur Bewunderung des Betrachters oder Benutzers ist.84 Durch das Design lassen sich somit in begrenztem Maße sinnliche Erregungen planen, indem auf etwas Bekanntes angespielt wird. Das Erzeugen von Metaphern, bekannten Emotionen und das Abrufen von Wissen geben dem Benutzer bereits in der Erstbenutzung eines technischen Objekts eine selbstverständliche, intuitive Hilfestellung. Dies verstehen Sommerer und Mignonneau als natürliches Interface. Die Kombination aus Intuition und Wissen ergebe wiederum einen leichten Lerneffekt auch für komplexe Systeme und Umgebungen: »We believe that interaction should not be linear but instead feel like a journey. The more one engages in interaction, the more one learns about it and the more one can explore it. We call this principle nonlinear interaction or multilayered interaction: interaction should be easy to understand but also rich so that the visitor is able to continuously discover different levels of interaction experiences.«85 Die Interaktivität ist dabei für sie ein wichtiger Kommunikationsprozess zwischen unterschiedlichen Teilen eines (komplexen) Systems, die von Emergenz86 geprägt sind. Es entstehen Eigenschaften des Systems, die erst durch den Kommunikationsprozess oder das Zusammenarbeiten der Einzelteile des Systems möglich und erklärbar sind:87 »One of the central roles in the creation of complexity and emergence is interactivity. By coupling with each other and by exchanging salient information that in turn can trigger the creation of new information, interactivity can be described as a key principle in the organization and transformation of components within a complex dynamic system.«88

82 83 84 85 86 87 88

Kacunko, 2004, S. 52. Mignonneau/Sommerer, 2007, S. 105. Ebd., S. 107. Sommerer/Mignonnneau, 2009, S. 254. Mignonneau/Sommerer, 2003, S. 244f. Siehe hierzu auch: Sommerer, Christa/Mignonneau: Modelling Complexity for Interactive Art Works on the Internet; In: Casti, John/Karlqvist [Hg.]: Art and Complexity; Amsterdam, 2003. Mignonneau/Sommerer, 2003, S. 245.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Bereits ihre erste gemeinsame Arbeit Interactive Plant Growing89 im Jahr 1992 behandelte das Thema der natürlichen Interfaces (Abb. 4). Die Kunstobjekte sind Pflanzen, die als Bedienung und Beeinflussung virtueller, an die Wand projizierter Pflanzen dienten. Der Aufbau der interaktiven Installation besteht aus skulptural präsentierten, verschiedenartigen Pflanzen, die auf oberkörperhohen Sockeln im abgedunkelten Raum atmosphärisch hell erleuchtet wurden. Der Benutzer ist aufgefordert, sich mit den Händen diesen Pflanzen zu nähern. Über ihre Wurzeln sind sie an einen Computer angeschlossen, sodass eine Näherung mit dem Körper als Veränderung des elektrischen Potentials wahrgenommen wird. Diese wird wiederum in Daten umgesetzt, die eine Reaktion auf eine digitale, der echten ähnlichen, Pflanze auslösen, die in Übergröße an einer Leinwand gezeigt wird. Die Reaktion kann dabei ein Wachstum der Pflanze, aber auch Drehungen, Deformierungen oder auch Kombinationen mit anderen sein. Abhängig ist dies davon, wie nah die Benutzerhand der Pflanze kommt. Sommerer und Mignonneau haben fünf verschiedene Distanzmöglichkeiten programmiert, die sie in Kreationsalgorithmen umsetzten.90 Diese Algorithmen können durch eine weitere Pflanze, einen Kaktus, gestoppt werden, der ebenfalls vorsichtig berührt werden muss. Das ist verständlicherweise schmerzhaft. Die Projektion wird dann wie durch einen schwelenden Brand gelöscht; größer werdende Löcher fressen sich durch das Bild. Diese tabula rasa ergibt dann die Möglichkeit für andere Projektionen. Neben dem Schmerz, der als Symbol für Zerstörung gebraucht wird, macht der Benutzer die Erfahrung bewusster, vorsichtiger, aber auch lernender Berührungen von Topfpflanzen wie einem Farn, Moos oder einer Kletterpflanze, die normalerweise nicht gestreichelt werden. Sie erzeugen eine bildliche Metapher des Lebens, der Kreation von Variationen des Wachstums, aber auch die schon zur Plattitüde verkommene Interpretation des Künstlers beziehungsweise Benutzers, der mit einem offenen, interaktiven Kunstwerk oder auch »open or living artwork«91 Gott spielt und Leben wachsen lassen kann, ist möglich. Eine Neuinterpretation des Werks mit gleicher Interaktionstechnik entstand 2004 mit Eau de Jardin. Hier interagierte der Benutzer mit sechs hängenden, an Flüssen angesiedelten Pflanzen wie Lilie, Lotus oder Bambus und ließ sie als eine virtuelle Pflanzenwelt wachsen.92 Das Thema der Arbeit korreliere dabei mit der genutzten Technik und dem Interface im Werk, so Sommerer und Mignonneau: Wachstum wird durch Pflanzen verdeutlicht, künstliches Leben

89 90

91 92

Stocker/Sommerer/Mignonneau, 2009, S. 40. Ein Artikel im eigenen Buch der Künstler beschreibt dabei fünf Distanzmöglichkeiten (Stocker/Sommerer/Mignonneau, 2009, S. 40.), die Website der Künstler hingegen sechs Variationen (www.interface.ufg.ac.at/christa-laurent/WORKS/FRAMES/FrameSet.html). Sommerer, 2006, S. 62. Stocker/Sommerer/Mignonneau, 2009, S. 46ff.

125

126

Haptik am User Interface

wie in ihrer darauf folgenden Arbeit A-Volve durch Wasser.93 Der Kunsthistoriker Erkki Huhtamo beschreibt des Weiteren die Interaktion so: »The interactor’s hand was not like the mythological hand of God – it was not the omnipotent initiator, but rather an element whose interference unleashed a chain of (re)actions toward the unknown. Nature, the humans and the computer algorithms were all parts of a system that created alternative parallel ›natures‹.«94

Abb. 4: Christa Sommerer und Laurent Mignonneau, Interactive Plant Growing; Abb. 5: Christa Sommerer und Laurent Mignonneau, A-Volve

Eine weitere Form der Integration von Haptik und somit eine nächste Variation des natürlichen, unsichtbaren Interfaces erarbeiteten Sommerer und Mignonneau 1994 mit A-Volve.95 Der Benutzer betritt hier einen abgedunkelten Installationsraum, in dem ein Wasserpool und ein daran angeschlossener Computer stehen (Abb. 5). An dessen Touchscreen legt der Benutzer zunächst selbst Parameter für Größe und die Form virtueller, fischähnlicher Wasserkreaturen fest. Durch diese Programmierung wird eine Art künstliche DNS erzeugt, die nicht nur das Aussehen der Kreaturen, sondern auch ihr Verhalten wie beispielsweise die Geschwindigkeit ihrer Bewegungen oder ihren Status als Jäger oder friedlichere Wesen definiert.96 Diese Wasserkreaturen werden in einen Wassertank projiziert, in den der Benutzer von oben hineinsehen und greifen kann. Dieser Behälter ist allerdings nur eine 93 94 95

96

Sommerer/Mignonneau/Iglhaut, 2003, S. 60. Huhtamo, 2009, S. 34. Entstehung des Werks wird mit 1994 beschrieben (Stocker/Sommerer/Mignonneau, 2009 S. 40.) oder auch mit 1994 – 1997 (www.interface.ufg.ac.at/christa-laurent/WORKS/FRAM ES/FrameSet.html). Stocker/Sommerer/Mignonneau, 2009, S. 77 ff .

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

flache Oberfläche echten Wassers, die durch eine Projektion als tiefes Aquarium erscheint. Durch ein Sensorsystem an der Decke werden die Bewegungen und Positionen der Benutzerhände registriert. Dies beeinflusst wiederum das Verhalten der eigenen, aber auch der Kreaturen anderer Benutzer. Die erschaffenen Wesen können verscheucht oder verlangsamt werden, wodurch ihr Leben beeinflusst wird: Sie können sich je nach programmierter DNS gegenseitig jagen, fressen oder miteinander verbinden, wodurch neue Kreaturen entstehen, die eine Kombination aus der digitalen DNS beider Eltern besitzt. Als eine soziale Komponente kommt die Interaktion der menschlichen Benutzer hinzu, die gemeinsam über das Verhalten im Wasserbecken entscheiden.97 An dieser Stelle interessiert nicht die auf die Grundelemente reduzierter Programmierung und Visualisierung künstlichen Lebens. Die Abarbeitung der Künstler an diesem Thema kann allerdings als Metapher ihrer künstlerischen Arbeit, nämlich der Kunst als lebendiges, sich veränderndes System durch Kodierung gesehen werden: »From an artistic point of view we aim to create artworks that are like dynamical living systems themselves (›Art as a Living System‹), as they constantly change, adapt, and diversify according to their environmental input parameters.«98 Zu betonen ist in A-Volve die Integration der Haptik, die durch den Wasserfilm erreicht wird. Huhtamo beschreibt den Wasserfilm als Übergangsbereich zwischen Realität und Virtualität: »It was more like a metaphor made tangible.«99 Denn obwohl das Wasser keine Form der Interaktion repräsentiert, und das Werk auch ohne reales Wasser realisiert sein könnte, so ist es doch ein wichtiger Bestandteil der Performanz. Der Benutzer kann in eine Wasserschicht greifen, somit in die Wasserwelt der Kreaturen. Die haptische Immersion als ein Eintauchen wird hier wörtlich genommen. Obwohl die virtuellen Kreaturen aufgrund der damaligen technischen Möglichkeiten nicht naturalistisch Fische im Phänotyp nachahmen, das Aussehen künstlicher Fischformen sogar bewusst künstlich sind und der Benutzer bei der digitalen »Geburt« dabei war, erzeugt die haptisch immersive Wirkung des Wasserfühlens dennoch den Eindruck mit selbstständigen Kreaturen zu interagieren. Inwieweit sie allerdings als »Biofakte« bezeichnet werden könnten, wie die Philosophin Nicole Karafyllis künstliche Lebewesen, die real als simulierte Metaphern wirken, benennt,100 wäre zu diskutieren. Das Fühlen des realen Wassers lässt den Benutzer vergessen, dass er eine flache Projektionsfläche berührt und auch, dass er die Kreaturen nicht wirklich anfassen kann. Auch die Künstler sprechen nicht von einer Interaktion mit einer technischen Umgebung: »the users were able to touch the creatures.«101 97 98 99 100 101

Sommerer/Mignonneau, 1997, S. 171. Mignonneau/Sommerer, 2003, S. 245. Huhtamo, 2009, S. 34. Karafyllis, 2003. Mignonneau, 2001, S. 303.

127

128

Haptik am User Interface

Im Jahr 2002 entwarf das Künstlerpaar für die Ausstellung Science+Fiction im Sprengel Museum Hannover102 mit Hilfe eines haptischen Interfaces eine unsichtbare, aber fühlbare Skulptur, Nano-Scape.103 Ästhetisch gesehen ist die Arbeit eine Installation aus vier Tischen, die eine glatte, gläserne Oberfläche und im Inneren mehrere Elektromagnete und einen Computer besitzen. Das haptische Interface ist ein elektromagnetisches Force-Feedback Interface, kombiniert mit einem hand-tracking system durch eine Videokamera an der Decke. Das Interface stellt sich für den Benutzer sehr einfach und unkompliziert dar. Es besteht aus zwei Magnetringen,104 die an den Fingern angebracht werden. Ein oder mehrere Benutzer lassen ihre Hände oberhalb der Tischoberfläche entlanggleiten, die Magnete im Tisch und an den Fingern ziehen sich an oder stoßen sich ab. Es können somit durch eine »atomic force simulation«105 unsichtbare Atome in Form eines haptischen Widerstands erfühlt werden. Sommer und Mignonneau gestalteten somit unsichtbare Formen durch die Kraft der unterschiedlichen Anziehungsstärken an verschiedenen Teilen des Tisches. Durch das hand-tracking system besteht mittels Kamera und Marker in den Magnetringen die Möglichkeit die Position der Hände zu erkennen. Die unsichtbaren Formen sind 120 Simulationen von Atomen, die miteinander agieren und aufeinander reagieren, wobei die Programmierung für jedes, durch Magnetkräfte fühlbare Atom so viele Nachbaratome hat wie möglich. Bildlich gesprochen ist der Aufbau eine Form aus zusammenhängenden Kugeln, die sich zu möglichst vielen Nachbaratomen und somit bestmöglich platzsparend anordnet und eine stabile Struktur einnimmt. Ein oder mehrere Benutzer drängen mit Hilfe des Magnetringinterfaces durch Handbewegungen oberhalb der Tischplatte in diese simulierte Atomstruktur ein und verändern die bestehende Struktur durch Verdrängung der Atome. Gleichzeitig bekommen sie aber ein Feedback.106 Eine schnelle oder tiefe Bewegung in die Struktur erzeugt eine stärkere Gegenkraft der unsichtbaren Atome. Ab einer gewissen Kraftstärke führt dies sogar zur Vibration des Interfaces an der Hand. Das haptische Erlebnis ist somit eine Mischung aus Kontrolle und kontrolliert werden.107 »However, each interaction disturbs the system, so the user will never be able to experience the system in full equilibrium.«108 Die Verweigerung der visuellen Darstellung war nicht nur der Versuch eine unsichtbare Skulptur zu schaffen, sondern auch konzeptionell bedingt durch die Nichtsichtbarkeit der Nanostruktur der Atome. Zudem hätte eine visuelle Unterstützung, beispielsweise durch ein Bild der 102 103 104 105 106 107 108

Mignonneau/Sommerer, 2005, S. 849. Stocker/Sommerer/Mignonneau, 2009, S. 196ff. Ebd. Die Magnetringe bestehen aus Neodymium mit einer Stärke bis 3500 G. Stocker/Sommerer/Mignonneau, 2009, S. 198. Ebd., S. 200. Mignonnau/Sommerer, 2005, S. 849. Stocker/Sommerer/Mignonneau, 2009, S. 200.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

zu fühlenden Struktur, das haptische Erlebnis in der Erwartungshaltung beeinflusst:109 »Im Falle der Nanotechnologie dagegen ist eine visuelle Umsetzung eher kontraintuitiv und eine haptische Umsetzung nahe liegend. Besonders die Sprödheit und schwere Zugänglichkeit des Nanobereiches, der ja mit unseren normalen fünf Sinnen nicht erfahrbar ist, wollten wir mit der Installation Nano-Scape einfangen und künstlerisch umsetzen.«110 Die Förderung der Verständlichkeit physischer Modelle, nicht nur durch gängige Grafiken oder 3D-Formen, sondern durch eine tatsächliche Greifbarkeit von Objekten, findet sich ähnlich in forschungsorientierten Projekten am Human Interface Technology Lab111 in Washington wieder. Hier werden diverse Interfacespielarten erarbeitet. Ein Forschungsprojekt sind die »Augmented Tangible Molecular Models«. Bei ihnen handelt es sich um Kombinationen aus einer virtuellen Visualisierung von Molekülen und ihren Verbindungen, durch das Programm »Python Molecular Viewer« (PMV).112 Reale, physische Modelle und ein multimodales User Interface erlauben es, Teilbereiche der Molekularbiologie durch haptisches Feedback zu erfühlen, da es beispielsweise elektrostatische Kräftefelder innerhalb der Modelle wahrnehmbar werden lässt.   Eine weitere haptische Arbeit von Sommerer und Mignonneau fokussiert die Aufnahme, Sendung und Wiedergabe von Daten, die der Körper ausstrahlt, via tragbarer Interfaces, mit deren Hilfe zwei Benutzer haptisch miteinander kommunizieren konnten. Das Projekt Mobile Feelings existiert in zwei Varianten: Mobile Feelings I 2003 und Mobile Feelings II 2004. Beide wurden gemeinsam mit dem IAMAS Institute of Advanced Media Arts and Sciences in Gifu, Japan, und dem France Telecom Studio Creatif aus Paris realisiert.113 Variation I ist an einem Flaschenkürbis orientiert und besteht aus zwei orangenen, mit Unebenheiten und unruhiger Oberflächenstruktur geformten Interfaces, die der Benutzer mit einer Hand halten kann (Abb. 6). Variation II sind sechs glatte, schwarze Eier. Hier können zwei Benutzer mit je einem eiförmigen Interface miteinander kommunizieren (Abb. 7). Im Inneren ist die Technik in Form von Mikrosensoren, Aktuatoren, Mikrocontrollern, tragbaren Kommunikationsmodulen und Batterien untergebracht.114 Die Sensoren nehmen den Puls des Benutzers, die Berührungen sowie den Atem durch

109 110 111 112 113 114

Ebd., S. 201. Sommerer/Mignonneau/Iglhaut, 2003, S. 60. www.hitl.washington.edu www.hitl.washington.edu/projects/scripps/ www.interface.ufg.ac.at/christa-laurent/WORKS/FRAMES/FrameSet.html Stocker/Sommerer/Mignonneau, 2009, S. 206.

129

130

Haptik am User Interface

Abb. 6: Christa Sommerer und Laurent Mignonneau, Mobile Feelings I; Abb. 7: Christa Sommerer und Laurent Mignonneau, Mobile Feelings II

einen Atemsensor inklusive Hitzesensor auf. Die Übertragung der aufgenommenen Daten zum zweiten Benutzer wird durch einen kleinen Motor, einen Ventilator und LED-Leuchten in haptische und visuelle Signale umgesetzt. Beide Varianten funktionieren gleich: Nimmt der eine Benutzer das Interface in die Hand und hält den Finger der anderen Hand auf die Spitze des Kürbisinterface oder des Eiinterface, so wird an dieser Stelle über die Fingerberührung der Puls gemessen. Dieser ist entsprechend als gleichmäßige, pulsierende Bewegung in der Handfläche des anderen Benutzers zu spüren. Diese haptische Sensation wird durch den kleinen Motor ausgelöst, der ein Metallstück im Inneren in Bewegung bringt und zeigt trotz Einfachheit Wirkung: »Both users can thus feel a strong sense of bodily connection through these devices, similar to ›holding each other’s heart in their hands‹ and feeling the other’s heartbeat and strength.«115 Zusätzlich zum Puls oder Herzrhythmus wird das Pusten in eine kleine Öffnung von dem Atem- und Hitzesensor erfasst und an das andere Interface gesendet. Ein interner Ventilator bläst dann einen erwärmten Luftzug als eine Art Atem aus. Die zwei Varianten des Interfaces werden in Ausstellungen als bewusste Situationen, mit zwei Sesseln präsentiert. Diese stehen etwas entfernt voneinander,

115

Ebd., S. 207.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

sodass sich die Benutzer bequem und ruhig sich auf die Haptik ihres Interfaces konzentrieren können. Auf diese Weise wird auch eine Art Rückbesinnung auf die Bedeutung von Berührungen und Atems erzeugt. Obwohl die Interfaces eindeutig technische Geräte sind, entsteht doch eine Art von Intimität: »Users of the Mobile Feelings devices described their experience as very unusual and slightly unsettling; in real life one usually does not touch others much, let alone breathe at them. Others found the experience very comforting and sensual, reminding them of touching a lover, a child, their mother or other persons with whom we usually share private feelings through touch.«116 Das zeigt, dass bereits relativ einfache Installationen haptischer Ereignisse tiefere Erfahrungen und Gefühle erzeugen können. Sowohl regelmäßig rhythmische Bewegungen als auch der einfache Luftzug eines Ventilators sind nun nicht mehr nur eindeutig, sondern werden mehrdeutig, da sie zusätzliche Assoziationen im Rahmen der Kommunikation zwischen den zwei Benutzern bekommen. Die soziale Gegenüberstellung innerhalb der Installation erzeugt, dass die Datenübertragung und Bewegung des Interfaces mit dem Bewusstsein kombiniert wird, dass diese Übertragung und Bewegung durch das Gegenüber ausgelöst wurde. Die Haptik am Interface ist zudem in beiden Varianten noch einmal unterschiedlich, da es bei Variation I die unregelmäßige Oberfläche der »Frucht« gibt, bei Variation II dagegen ein reduzierteres und auf die Kommunikation konzentrierteres Design verwendet wurde.   Zusammengefasst heißt das, dass Sommerer und Mignonneau es mit der Integration kleiner haptischer Momente schaffen, die Aufmerksamkeit des Benutzers auf das Berührungsmoment zu lenken. Die Idee der natürlichen Interfaces hängt hier nicht an der Vorstellung, dass die digitale Welt in die reale Welt greifen müsse. Die Künstler erzeugen vielmehr eine Verschleierung der Grenze von real und virtuell durch kleine Überlappungen, die dem Benutzer illusorisch nicht unmittelbar bewusst werden.   Die beiden Varianten von Mobile Feelings beschreiben mit ihrer Übertragung von haptischen Daten von einem Benutzer zu einem anderen Benutzer durch interaktive Objekte die Idee der Teletaktiliät, die im folgenden Kapitel genauer untersucht werden soll.

116

Ebd., S. 207f.

131

132

Haptik am User Interface

3.4

Teletaktilität und die Haut

Teletaktilität lässt sich als Teil der Telepräsenz oder Teleoperation beschreiben, der Vorstellung der Übertragung leiblicher Präsenz, Bewegungen, Gesten oder Ausdrücken durch Sensorik an einen entfernten Ort. Sie versteht sich sprachlich als Äquivalent zu bekannten Technologien wie der Telegrafie oder Telefonie. Technisch betrachtet ist sie eine Verknüpfung aus Robotik, der Telekommunikation und der Virtual Reality.117 Der Unterschied zu Paul Dorishs etabliertem Begriff der »Embodied Interaction«118 liegt in der Perspektive: Geht es bei der Embodied Interaction um die Beschreibung digitaler Vorgänge, die als Aktion in die realen Welt geholt werden, um sie dort (haptisch) wahrnehmbar zu machen, so geht die Teletaktilität vom Benutzer in der realen Welt selbst aus, der über das Interface und die Virtualität Entfernungen überwinden will. Die sinnlichen Sensationen sind letztendlich gleich, auch die Interfaces sind prinzipiell dieselben, allein die Blickrichtung ist eine andere. Auch die Begriffe Telepräsenz und Teleoperation wurden, so Robert J. Stone, bis in die 1990er Jahre nicht deutlich voneinander abgrenzt, wobei Teleoperation die eben beschriebene Möglichkeit der feedbackbasierten Manipulation via Technik über Entfernung bezeichnet. Telepräsenz hingegen ist eine Idealvorstellung der durch die Technik aufgebauten physischen Präsenz an einem anderen Ort.119 Hier könnte man schon sprachlich eine defensive Haltung gegenüber der technischen Entwicklung postulieren, indem man Teleoperation als realistisch oder auch skeptisch einer Utopie der Telepräsenz gegenüberstellt. Teletaktilität wiederum bezieht sich im Besonderen auf einen sensorischen Austausch am Körper und müsste durch das Bewusstsein der im Moment stattfindenden Kommunikation demnach Telehaptik genannt werden. Es ist von der Telepräsenz insofern abzugrenzen, als dass Telepräsenz als »audio-visual potential of real time exchange of visuals and sound«120 verstanden wird, also der Kommunikation mit hauptsächlicher Orientierung auf Bild und Ton, wie sie heute im Sinne eines Bildtelefons oder Videotelefonie bekannt ist.121 Betrachtet man die Idee der Teletaktilität genauer, so kann man Weibel sowohl in der Überwindung der Ferne zustimmen ihm aber andererseits auch widersprechen, wenn digitale Prozesse durch die Überwindung der Ferne nicht den Körper überflüssig machen, sondern ebendiese Vorgänge am Körper fühlbar werden. Nach Weibel trennt sich das Signal vom Körper. Durch ein haptisches Interface kehrt das Signal aber wieder zurück an diesen, nur eben auch an einen möglichen anderen Körper in der Ferne. Raum 117 118 119 120 121

Grau, 2001, S. 39. Dourish, 2001. Stone, 2001, S. 1f. Stenslie, 2010, S. 115. Ebd.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

und Zeit haben sich verwandelt; sie wurden gedehnt, angehalten oder ganz einfach neu wahrgenommen, doch das Moment am eigenen Körper ist gegenwärtig. Weibel sieht die Technik in einem McLuhanschen Sinne als Ausweitung des Körpers, wenn er schreibt: »Raum und Zeit wurden also nicht tatsächlich besiegt. Für den Körper sind sie noch immer die enggesetzten Kantschen Grundlagen der Erfahrung. Er kann aber aus dem Gefängnis von Raum und Zeit ausbrechen, es perforieren, indem er seinen Geist via Teletechnik auf die Reise schickt.«122 Signale des Körpers überwinden Raum und Zeit, doch Körperlosigkeit ist ein futuristischer Gedanke, dem sich die vorliegende Arbeit nicht anschließen will. Austausch und Verarbeitung von Signalen verschiedenartiger Natur sind zwischen Mensch und Technik möglich; die Vielzahl der Wechselwirkungen sind hierbei von Interesse. Der menschliche Körper soll dabei aber nicht als obsolet angesehen werden, der technische Objekte als Prothese zum Überleben in einer modernen, technisierten Umgebung benötigt.   »Im deutschen Wort begreifen drückt sich die Unmöglichkeit aus, Sinn und Sinne klar in eine kognitive und eine perzeptive Sphäre zu trennen. Begreifbarkeit bedeutet nicht, dass der Sinn buchstäblich einfach mit den Händen fassbar wäre.«123 Bei der Fokussierung auf die haptische Sinnlichkeit darf jedoch nie die Beziehung zwischen den Sinnen vernachlässigt werden, denn natürlich arbeitet kein Sinn für sich allein. Die Begriffe »Körperlichkeit oder »Leiblichkeit« spielen eine wichtige Rolle: »Körperlichkeit« meint mehr und etwas Anderes als die biologische Fleischlichkeit unserer Existenz. Unser Leib ist als eine physische und lebendige Struktur aufzufassen, in der sich das Äußere und das Innere verflechten.«124 Diese Verflechtungen treffen sich vor allem an der Haut. Sie wird, nach Claudia Benthien spätestens seit dem 20. Jahrhundert,125 als abgrenzende Oberfläche zwischen Körper, Leib und der Umwelt benannt. Künstler nutzen diese Grenzen immer wieder, durchlöchern sie, lassen sie permeabel werden oder thematisieren sie als Kontaktpunkt. Die Haut ist nicht nur ein biologischer Teil des Körpers, sondern vielmehr vielfältig kulturell eingeschrieben. Im 18. Jahrhundert war sie die Grenze des Leibes von Innen und Außen: Mit der Entwicklung der Anatomie und dem grundsätzlichen Interesse an den Vorgängen des Lebens wurde das zuvor abstrakte Innere dann sichtbar und verständlich gemacht. Das Verständnis der biologischen Vorgänge führte schließlich zu Fortschritten in der Transplantationsmedizin

122 123 124 125

Weibel, 1990, S. 32. Robben/Schelhowe, 2012, S. 9. Robben, 2012, S. 24. Benthien, 1999, S. 7.

133

134

Haptik am User Interface

und damit zu der Möglichkeit, kranke Teilbereiche verarzten oder gar austauschen zu können, nicht zuletzt durch technische Hilfsmittel wie den Herzschrittmacher. Der Leib ist Behälter und die Haut seine trennende, aber leicht zu öffnende Oberfläche.126 Die Haut wird kulturhistorisch betrachtet zum Objekt, das von außen analysiert und klassifiziert wird.127 Ab den 1970er Jahren wurde sie zudem zu einem Symbol einer feministischen Auseinandersetzung mit der Behandlung und der kulturellen Bedingtheit der Frau, wie zum Beispiel bei Valie Export, die ihren eigenen Körper als künstlerisches Bild und »haptic object«128 nutzte, um auf Missstände aufmerksam zu machen oder auch Orlan, die ihren Körper durch performancehafte Operationen neu und nach kunsthistorischen und kulturellen Vorbildern formte.129 Der Performancekünstler Stelarc erklärte seinen Körper gegenüber der technischen Entwicklung der modernen Welt endgültig als obsolet und nutzte ihn als Material und Anknüpfungspunkt für cyborgartige Technik und neue Körperfunktion, wie bei einem dritten Raum aus Technik. Dabei erachtete er die Technik selbst nicht als wichtig, sondern sah durch die Verbesserungen neue phänomenologische wie physiognomische Realitäten als erkundet und eröffnet. Diese Beispiele für die symbolische Nutzung der Haut übertrugen sich auch auf medienkünstlerische Werke mit technischen Objekten, wobei die Haut selbst analog zum technischen Interface als Interface betrachtet wurde.130 Der Begriff Teletaktilität etablierte sich nun als interaktive Berührung über die Ferne. Er war geprägt durch mögliche, aber nicht zwingende Anonymität und der Zwischenschaltung eines haptischen Interfaces zwischen biologischen Körpern. Diese Anonymität, die Benthien »physische Distanz«131 nennt, führte – neben den Cyborgdiskussionen über fließende Grenzen zwischen dem was Mensch und dem, was Maschine oder Roboter ist – zur der Vorstellung oder Hoffnung auf eine technisch basierte vorurteilsfreie Welt ohne Rassismus oder Geschlechterdiskriminierung.132 Claudia Benthien betont in ihren Ausführungen zu Teletaktilität und der Haut in den neuen Medien sehr richtig eine Undifferenziertheit der Benennung des Tastsinns. Dieser sei sowohl Wahrnehmung durch die Hände als auch durch andere Körperregionen. Sie verweist auf den Phänomenologen Hermann Schmitz, mit dessen Ausführungen sie zwischen Eigenleiblichkeit und Körperlichkeit unterscheidet.133 Die eigenleibliche Wahrnehmung bezieht sich dabei auf das passiv

126 127 128 129 130 131 132 133

Benthien, 1999, S. 16f. Ebd., S. 17. Salomon, 2010, S. 133. Benthien, 1999, S. 8. Ebd., S. 10f. Ebd., S. 265. Ebd. Benthien, 1998, S. 229.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

ausgerichtete Spüren des Leibes, wogegen die Körperlichkeit eine aktivere Wahrnehmung nach außen beschreibt. Diese genaue Aufschlüsselung des Begriffs regte auch in der vorliegenden Arbeit dazu an, noch einmal die Taktilität auf den Unterschied zur Haptik zu hinterfragen. Taktilität oder eben genauer gesagt, die haptische Wahrnehmung als Kombination aus aktiver und passiver Wahrnehmung stellt genau diese Frage nach Kontrolle, Aktion, bewusster und unbewusster Wahrnehmung sowie nach passivem Empfangen von haptischen Informationen: »Genau jene aus der ästhetischen Debatte bisher eliminierten Anteile der Hautsinne werden nun strategisch eingesetzt. Es ist die (attributierte) Unfreiheit, Unwillkürlichkeit und Erotik des Taktilen, die den gegenwärtigen Trend zur Integration der Haut in die elektronische Vernetzung bedingt. Es geht um den kontrolliert erzeugten Kontrollverlust, um eine paradoxale Verknüpfung von Selbstbestimmung und Ausgeliefertsein.«134 Die Parallelen zur Diskussion und Suche nach verstärkter Immersion in die Virtual Reality sind offensichtlich, wenn der Fokus auf den bewussten Kontrollverlust gelegt wird. Der Benutzer setzt sich einer Sinnestäuschung aus, die mit der taktilen Authentifizierung von Materialeigenschaften kombiniert wird: »Im Kunstdiskurs seit der Renaissance wurden zumeist Sehen und Tasten als und Sinn gegenübergestellt, wobei dem Sehen negativ immer wieder der Charakter des Scheins zugeschrieben wurde, dem Tasten hingegen die Fähigkeit zur Beglaubigung von Materialität und Realpräsenz: Auch hieran knüpft die heutige Diskussion an: Die Authentizitätserfahrung durch das Taktile soll der Virtualität die bisher fehlenden Dimensionen von Schwere, Masse, Temperatur, Bewegung und Räumlichkeit generieren, um so Realerfahrung weitgehender simulieren zu können.«135 Die Täuschung, Illusion, Simulation oder eben auch die Immersion sind dahingehend zu hinterfragen, wo die haptische Grenze zwischen simulierter und tatsächlicher Materialerfahrung liegt. Das zur Interaktion genutzte wie auch immer geartete Material kann haptisch sowohl auf sich verweisen als auch mit neuer (haptischer) Bedeutung eingeschrieben werden. Verändert dies die haptische Erfahrung, indem plötzlich das Fühlen von natürlichen Materialien in seiner bekannten Haptik neuartig ist? Der Medienkünstler Ken Goldberg verwendet zur Beantwortung dieser Frage den Begriff der »teleepistemology«.136 Er besagt, dass sich ein Benutzer durch technische Illusion und Simulation nicht mehr sicher sein kann, was er in Bezug auf sein erlerntes Wissen über die Haptik der realen Dinge fühlt.

134 135 136

Benthien, 1999, S. 265. Ebd., S. 265f. Stenslie, 2010, S. 147.

135

136

Haptik am User Interface

Wie an mehreren Stellen in dieser Arbeit beschrieben, kann einer der Schlüssel einer gelungenen Simulation von Haptik die Multiplizierung der Sinnlichkeit durch Verknüpfung verschiedener Technologien sein.137 Multisensualität wird dem singulären Sinnesanspruch vorgezogen, wenn das genutzte Material, ob künstlerisch oder nicht, eine andere Haptik vortäuscht. Claudia Benthien verweist auf Derrik de Kerckhove, der diese neuen Erfahrung durch Teletaktilität ganz klar betont, also nicht nur ein Simulieren der biologischen Vorgänge sieht, sondern vielmehr eine Erweiterung der Möglichkeiten.138 Dies ist ganz im Sinne seines wissenschaftlichen Ziehvaters Marshall McLuhan, der sowohl eine Veräußerung des Körpers auf die in die Ferne agierenden Medien,139 als auch daraus resultierend neue Wahrnehmungsmöglichkeiten durch den »touch«140 der Medien propagierte. Wobei gesagt sein muss, dass unter »touch« bei McLuhan nicht die tatsächliche Berührung am Körper zu verstehen ist. Medien sprechen ein Zusammenspiel der Sinne an, durch die der Mensch aus seiner Passivität herausgeholt werde. De Kerckhove sieht die Besonderheit des Tastsinns in der bereits zitierten und diskutierten Authentizitätsbekundung als einen scheinbar schwerer zu täuschenden Sinn: »De Kerckhove setzt Taktilität mit ›Propriozeption‹ gleich, was er als »Sinn für den eigenen Leib, am eigenen Leib da zu sein« […] bestimmt. Propriozeptive Wahrnehmung, die durch die Neuen Medien laut de Kerckhove ›wiederentdeckt‹ wird, bedeutete, die Beziehung zur Umwelt zu »empfinden«, anstatt sie wie bisher zu ›visualisieren‹ […]. De Kerckhove zufolge dient Propriozeption der Beglaubigung Virtueller Realität […].«141 Schon Benthien überdenkt an dieser Stelle jene Überlegungen, indem sie fragt, wie stark die Bedeutung des Tastsinns wirklich für Kunst und Medien einzuschätzen ist und ob die Unterscheidung von »Nah- und Distanzsinnen«142 in der Teletaktilität neu bewertet werden müssten.143 Denn auch wenn die Kunst- und Medienwelt von der audiovisuellen Wahrnehmung dominiert ist, so war auch die Haptik stets ein Teil der künstlerischen oder computerinteraktiven Überlegungen im Sinne einer

137 138

Ebd., S. 148. Benthien, 1999, S. 266f. Die Autorin verweist hier auf: De Kerckhove, Derrick: Touch versus Vision: Ästhetik Neuer Technologien; In: Welsch, Wolfgang [Hg.]: Die Aktualität des Ästhetischen; Herausgegeben im Rahmen des Kongresses »Die Aktualität des Ästhetischen«, 2.-5. September 1992; München, 1993. 139 McLuhan, 1964, S. 4f. 140 Ebd., S. 364. 141 Benthien, 1999, S. 267. 142 Ebd. 143 Ebd.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Multisensualität, wie in zahlreichen Beispielen in der vorliegenden Arbeit belegt ist. Die Distanz oder Lücke zwischen Körper und medialen wie künstlerischem Objekt scheint durch die Integration der Haptik »geschlossen« zu werden, zumindest nähern sich biologische Wahrnehmung und technische Sensoren an, was vor allem in der Kunst der Neuen Medien auch im Sinne einer Intimität interpretiert wird, wie sie als Nähe zwischen Menschen möglich ist. »Wie sich bereits auf den Fünf-Sinne-Folgen des Barock zeigte, wurde der tactus historisch schon früh als Sinn der Intimität verstanden, da er – im Gegensatz zum Gesichtssinn, Gehör und Geruch – ein Kollektiverlebnis wesentlich ausschließt.«144 Dazu auch Grundwald: »After the 13th century, the Jewish Tradition, for example, underwent a change that also may be seen later in the allegorical representations of the five senses in the Renaissance or in the Age of baroque: the sense of touch falls increasingly into disrepute. The culprit, once more, is Aristotle, or more precisely, his Nicomachean Ethics […], where the sense of taste is associated with »pleasures of love« and accused of ›disorderliness‹. No less a figure than the Jewish medieval philosopher and learned physician Maimonides […], who refers to this passage in his Guide for the perplexed […], decided to approve it. It was, however, his later translators and commentators who forged a connection between this approving quotation of Aristotle and various places in the Bible (e.g., Deut.4:28), thereby helping to ensure that the mental association of touch with sinful behavior (voluptuousness and unrestrained sex drive) became widespread.«145 Die Betonung der Intimität kann jedoch doppelt gelesen werden: zum einen als das von Benthien angesprochene Paradoxon von Nah- und Distanzsinn, da die Haptik für das Subjekt körperliche Nähe suggeriert. Gleichzeitig könnte über das berührte technische Medium eine Berührung ausgelöst oder aber eine Berührung am eigenen Leib gespürt werden, die aus einer undefiniert weiten Ferne durch einen oder mehrere Menschen gesteuert wird. Bezogen auf das vorausgegangene Zitat bedeutet das somit, dass die Haptik durch die Zwischenschaltung eines technischen Objekts und Interfaces nun doch ein kollektives Erlebnis sein kann. Was es, wenn man es genau betrachtet, auch ohne Objekt sein kann; zwar können zwei Menschen nicht dieselbe Körperstelle einer dritten Person gleichzeitig erfühlen, aber Intimität kann sehr wohl kollektiv sein, die individuelle Wahrnehmung ist von vorne herein subjektiv, bei allen Sinnen. Die Betonung der Intimität ermöglicht zum anderen eine doppelte Lesart, weil sie nun auch als körperliche Nähe zur Technik 144 Ebd. 145 Grundwald, 2008, S. 6.

137

138

Haptik am User Interface

und damit sexuellen Bezug auf das technische Objekt gesehen werden kann, ohne dabei über den Distanzaufbau zu einem oder mehreren Menschen nachzudenken: »Telepresence can thus define a relationship between the medium and the physical world different from that of virtual reality. While virtual reality would replace the physical world with a simulacrum, telepresence brings the physical world into the virtual environment (and vice versa). While virtual reality abandons the world, telepresence insists that computer-mediated signals and real-time tracking devices are part of the physical world and can join with human operators in affecting their environment. The interface of a telepresence system is highly mediated and yet is supposed to be transparent, in the sense that it should transmit a view to the human operator and allow the operator to interact ›naturally‹ with what she sees.«146 Diese »natürlichen« Interfaces, wie sie bei Sommerer und Mignonneau zum künstlerischen Material werden, wie zuvor gezeigt wurde, und deren Merkmal unsichtbare und unbemerkte Handlungsmöglichkeiten sind, werden sowohl bei Ståle Stenslie, als auch bei Stelarc erst einmal nicht thematisiert. Telepräsenz durch teletaktile Technik wird bei ihnen vordergründig mit Blick auf die globig und unelegant designten Komponenten in den Vordergrund gestellt.

3.5

Die Haptik steckt im Anzug: Ståle Stenslie »We feel pain and pleasure, and these seem essential to existence.«147

Ståle Stenslie gehört zu den viel zitierten Künstlern, wenn es um den kreativen Gebrauch von ganzkörperbezogenen haptischen Interfaces geht, die zudem die Themen haptische Kommunikation, »Intimität« und »Sexualität« miteinbeziehen. Sein Œuvre umfasst dabei nicht nur eine künstlerische Auseinandersetzung, sondern auch eine wissenschaftliche Dissertation mit dem Titel »Virtual touch. A study of the use and experience of touch in artistic, multimodal and computer-based environments«,148 die er 2010 an der School of Architecture and Design in Oslo (Norwegen) veröffentlichte. Gemeinsam erarbeitete Stenslie am Anfang der 1990er Jahre mit Kirk Woolford an der Kölner Kunsthochschule für Medien kommunikative Anzüge, die Teile des Körpers bedecken, an Computer angeschlossen sind und über Sensoren zwei Menschen miteinander haptisch kommunizieren lassen können.149 Die Anzüge werden 146 147 148 149

Bolter/Grusin, 1999, S. 215. Heller, 1991, S. 3. Stenslie, 2010. Benthien, 1999, S. 268ff.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

»Touch Suits«150 oder »bodysuits«151 genannt. Stenslie schreibt, dass sein Ziel eine qualitative Haptik sei um damit den ungenauen Raum zu erforschen, der entsteht, wenn man selbst einen Effekt auf jemanden anderen hat und ein ebensolcher Effekt von jemand anderem bei sich ausgelöst wird.152 Dies schließt sowohl die Berührung, aber auch das bewusste Nichtberühren mit ein. Grundlegend versteht Stenslie den Körper als Möglichkeit der Konstruktion und Technologie, als Weg neue Erfahrungen zu generieren, so schrieb er 1995 in einem Text, der einem Manifest gleich kommt.153 Er erscheint unter dem Einfluss von Virtueller Realität, Cyborgtheorien und Science Fiction in der Kunst zunächst übereuphorisch geschrieben worden zu sein, wie Stenslie selbst betont.154 Es wird sich im Folgenden zeigen, dass eine eventuelle Überhöhung der Möglichkeiten neuer Technologien einer fundierten Wissenschaft der Körpererfahrung gewichen ist. Erste Versionen der bodysuits wurden ab 1992 als cyberSM-Projekt an der Kunsthochschule für Medien erarbeitet und bis 1995155 ausgeführt (Abb. 8). Die Kunsthochschule unterstützte ihn auch bei der Finanzierung und dem Sponsoring.156 Zwei Benutzer konnten innerhalb dieses Werks in ebendiese bodysuits schlüpfen, wobei sie über das zusätzliche visuelle Interface eines Bildschirms die grafische Repräsentation eines Körpers als Avatar vorfanden. Einzelne Körperregionen konnten dabei über Tastatur und Maus angeklickt werden. Das Projekt beinhaltete neben den bodysuits als haptische Kommunikation und dem grafischen Interface ein Live-Audio-System, da die Benutzer auch miteinander sprechen sollten. Technisch war die Kommunikation zwischen ihnen neben den bodysuits an die neuesten textbasierten Kommunikationssoftwares der Zeit angelehnt, wie Minitel (einem Onlinetextservice, der als Vorgänger des World Wide Web gilt), MUD (Real Time World-Variante für mehrere Spieler) und BBS (Bulletin Board System), aber auch dem Experimentieren mit 3D-Grafiken der Avatare.157 Dieses Anklicken des Avatars mit einem Trackball oder einer Maus löste entweder beim Gegenüber oder bei sich selbst mittels elektromechanischer Stimulatoren der bodysuits (von Stenslie »Effektoren«158 genannt) Sensationen wie Vibrationen durch rüttelnde Bewegungen, Wärme (»similar to the touch of a warm hand«159 ) und leichte Elektroschocks bis fünf Volt aus. Diese Schocks wurden mitunter auch als schmerzhaft 150 151 152 153 154 155 156 157 158 159

Ebd., S. 268. Stenslie, 2010, S. 19. Ebd., S. 88. Stenslie, 1995, S. 179. Stenslie, 1995, S. 179. Stenslie, 2010, S. 166. Stenslie, 1995, S. 186. Stenslie, 2010, S. 162. Ebd., S. 166. Ebd., S. 167.

139

140

Haptik am User Interface

Abb. 8: Ståle Stenslie, cyberSM, bodysuit und Ansicht des Interfaces

erfahren.160 Zudem gab es in ersten Designideen die Möglichkeit von Injektionen von Designerdrogen, was aber nicht ausgeführt wurde.161 Der Einbezug der grafischen Interfaces in Form der Avatare bedeutete auch eine Anonymisierung durch ein Nichtzeigen des Gegenübers beispielsweise per Videobildübertragung. Diese Zwischenschaltung des Avatars war eine zusätzliche Abstraktion, da zwar den Benutzern bekannt war, dass sie mit einer realen Person über Entfernung auf mehreren Ebenen kommunizieren, doch es wurde dadurch gleichzeitig auch das Gefühl des Kommunizierens mit einem simulierten Körper erzeugt.162 Die Körperteile des Avatars konnte der Benutzer aus einer »bodybank«163 zuvor auswählen. Er konnte sich so einen virtuellen Phänotyp für den anderen Benutzer erschaffen. Nach mehreren Werkschauen zeigte sich, dass die Anonymisierung in Kombination mit der Intimität der Berührung zugleich auch eine Neugier erzeugte, den anderen Benutzer in persona zu treffen.164 Interessanterweise ist gerade die Ausführung der bildlichen Komponente des grafischen Interfaces nicht einem totalen Realismus verfallen oder einer Ansicht eines kompletten Avatars. Lediglich Körperregionen ohne Gesicht wurden in Form von Berührungen der sekundären Geschlechtsmerkmale von Mann und Frau gezeigt, wodurch eine visuelle Immersion durch fanta160 161 162 163 164

Ebd. Ebd., S. 166. Ebd., S. 163. Ebd., S. 164. Ebd., S. 163.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Abb. 9: Ståle Stenslie, Inter_Skin

sievolles Ergänzen des restlichen Körpers nötig, wie auch die Konzentration des Benutzers auf die Haptik des bodysuits Teil des Werks war: »Similarly, one reason why participants of my cyberSM project found it so real was that it created a staged theatre for the senses that did not try to be photorealistic. It did not try recreate a specific, holographically real representation of others. Instead selective and blurred impressions of a body allowed the participants to fill in the missing gaps and expand the experience with their imagination and fantasy.«165 Die bewusste Missachtung von Perfektionismus im Design aller Elemente regte die Fantasie an: Spricht ein Kunstwerk oder Objekt nur Teile der Wahrnehmung an, so versucht der Benutzer die Lücken (»gaps«) selbst kreativ zu füllen.166 165 Ebd., S. 117. 166 Ebd.

141

142

Haptik am User Interface

Die bodysuits sollten möglichst tragbar und leicht sein und die Benutzer so wenig wie möglich einschränken.167 So stellten sich als variabelste Variante für verschiedene Körpergrößen eine Kombination eines Gürtels aus sieben Teilen und eine Hose zum Umschnallen heraus. Dabei gab es unterschiedliche Versionen für Männer und Frauen.168 Die Kabel, die den bodysuit an den Computer anschlossen, bündelten sich am Nabel, die Hose war mit den Effektoren in Form von Vibratoren zwischen den Beinen und um die Hüfte positioniert, ebenso an den Armen, Oberschenkeln und der Brust. Zusätzlich wurden noch flexible Effektoren169 eingesetzt, die an vom Benutzer gewünschten Stellen angebracht werden konnten. Dies zeigt, dass die Körperstellen zwar einerseits bewusst von den Künstlern ausgewählt wurden, andererseits cyberSM immer noch ein fortlaufendes und experimentelles Projekt war, das sowohl die Erwartungen und tatsächlichen Erfahrungen in den Verlauf einfließen lassen und berücksichtigen sollte. Wie schon der Verweis auf die Idee Designerdrogen zu injizieren zeigte, gab es mehrere Entwicklungsstufen bis zum fertigen Werk. So verweist Stenslie in seiner Dissertation in Bezug auf cyberSM darauf, dass die Effektoren zuerst nur für die erogenen Zonen Brust, Anus und Genitalien vorgesehen waren,170 bevor er und Kirk Woolford sich für eine Neuverteilung entschieden. Daneben führten Verständigungsprobleme zwischen den Benutzern zu Veränderungen, da Stenslie und Woolford beispielsweise bei einer der praktischen Ausführungen in Paris merkten, dass unterschiedliche Sprachen sprechende Benutzer sich nicht unterhalten können und so schnell das Interesse an der Interaktion trotz der vorhandenen haptischen Möglichkeiten verloren. Die Möglichkeit eines Gesprächs musste somit durch universellere Illustrierungen ersetzt werden.171 Die tatsächliche sinnliche Erfahrung sollte dabei stets möglichst naturalistisch erscheinen: »The model of reproducing ›naturalistic‹ touch became an obvious starting point in developing the first framework of what could be called a haptic language. This language is the basis for forming a sensible vocabulary that is necessary in the process of making practical use of the various haptic technologies. In later projects this vocabulary has been developed to model ›standard‹ to include everyday sensations like pulling, pushing, resistance, falling, movement from a specified direction, the movement of the wind etc.«172

167 168 169 170 171 172

Ebd., S. 165. Ebd., S. 168. Ebd., S. 167. Ebd. Woolford, 1996, S. 191. Stenslie, 2010, S. 165f.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Die Wahrnehmung von Berührung und das unterschiedliche Empfinden von leichtem bis schwerem Schmerz hängen zudem von den Erwartungshaltungen der Benutzer ab. Diese Erwartungen werden sowohl vom Design des bodysuits und der Effektoren, als auch der Gestaltung der Installation geprägt.173 Denn das Design und Werktitel ließen von Beginn an Sadomasochismus beim Benutzer assoziieren, sodass auch eine haptische Erfahrung von zumindest leichtem Schmerz nicht ausgeschlossen werden konnte und ein Bogen zwischen leichter Berührung und Schmerz im Kontext von einer anonymen Form der Erotik gespannt wurde. Stenslie betont, dass bei der Nutzung keine Daten gespeichert wurden, obwohl es aus wissenschaftlichen Gründen durchaus interessant gewesen wäre. Dies ist wichtig für die Frage nach der Datensammelwut digitaler Objekte, die sich natürlich auch haptische Technik stellen muss, da sie verschiedenste Informationen des Körpers sammelt: »No data were formally recorded during the cyberSM perfomances. My assessment is based in the oral feedback given during conversation with participants of numerous performances and shows all over Europe.«174 Dies zeigt zum einen eine wissenschaftliche Vorgehensweise im Rahmen des künstlerisch ausgerichteten Projekts, aber auch das Interesse an einer fortlaufenden Arbeit, dem Willen nach Auswertung der Erfahrungen und einem Lernprozess, der in Folgeprojekte einfließen sollte. Dies zeigte sich zum Bespiel auch in der Vermehrung der Effektoren von acht Bereichen bei der ersten Version eines bodysuits auf 16 Bereiche.175 Im Folgeprojekt Inter_Skin-Projekt, das Stenslie allein entwickelte, wurde das visuelle Interface weggelassen. Obwohl gerade die Multimedialität und Multisensualität von cyberSM durch Kombination der haptischen Effektoren, realer Stimme via Lautsprecher und visuellem Eindruck durch die Avatare laut Stenslie die haptische Erfahrungen ausmachte und er sogar der Meinung war, die reine Haptik der Effektoren würde schnell monoton.176 Die Kommunikation via Touch Suit verlagerte sich nun auf den Benutzer, der jetzt sich selbst und den eigenen Anzug anfasste, wodurch die selben Körperregionen simultan beim anderen Benutzer stimuliert wurden (Abb. 9). Die Frage, die sich hier wieder stellt, ist, ob man hier »nur« von passiver Taktilität sprechen kann, wie es beispielsweise Benthien macht,177 oder vielmehr von aktiver und bewusster Haptik. Stenslie selbst benutzt in der Beschreibung seiner Werke den Begriff telehaptisch bzw. »telehaptically communicated«.178 Wartet der

173 174 175 176 177 178

Ebd., S. 169. Ebd., S. 168. Ebd., S. 170. Ebd., S. 168. Benthien, 1999, S. 268. Stenslie, 2010, S. 29.

143

144

Haptik am User Interface

Benutzer beim cyberSM-Projekt noch auf die Stimulation des anderen, um schließlich bewusst die erzeugten Erregungen zu erfühlen, so ergibt sich beim Inter_SkinProjekt sogar eine doppelte haptische Sensation. Denn neben den Sensationen eines anderen werden noch der eigene Körper beziehungsweise der eigene Anzug, sein Material und seine berührungsempfindlichen Sensoren bewusst berührt. Die haptischen Erfahrungen sind also das Erfassen der Teile des Anzugs sowie das Erleben der ausgelösten haptischen Sensationen durch das Gegenüber. Diese Sensationen sind eine Kombination aus aktiver, haptischer, bewusster Erfahrung und passivem Fühlen. Passiv ist es im Sinne einer nicht kontrollierbaren, aber doch bewussten Erfahrung. Stenslie übertrug somit die aktive und passive Wahrnehmung auf das Design von Kleidung: »The three main points of Inter_Skin is the technological development of ›sensitive‹ clothing that can be experienced as a ›second skin‹, the practical inclusion of the body as the surface of interaction and the haptic design of a new and ›transparent‹ bodysuit.«179 Benthien weist zu Recht darauf hin, dass sich cyberSM und Inter_Skin zwar auf andere fühlende Teile des Körpers als die Hände konzentrieren, aber dennoch keine Ganzkörpererfahrung darstellen, obwohl Stenslie die bodysuits als »world’s first haptic, full-body, person-to-person communication system«180 beschreibt, da der Körper in stimulierte und nicht stimulierte Regionen unterteilt ist. Auch die Betrachtung als »Kommunikation« sei fraglich, so Benthien:181 »Diese Vorstellung einer analogen Übertragbarkeit reduziert Berührung auf ein mechanistisches Modell, das sowohl das Atmosphärische als auch jegliche subjektiven Momente außen vor läßt (was bei erotischem Kontakt umso eklatanter ist). Zugrunde liegt hier weiterhin die Vorstellung des Knopfdrucks oder der Bedienung von Tastaturen, nur daß dafür jetzt die Körperoberfläche herhält.«182 Diese Interpretation der körperlichen Stimulation als »Knopfdruck« am eigenen oder fremden Körper verweist auf die Vorstellung des Menschen als ein lesbares Wesen voller Informationen. Dabei versteht Stenslie dies nicht als unnatürlich im Sinne der Gegenüberstellung eines künstlich beschriebenen Menschen zum natürlichen Menschen, sondern in einem wissenschaftlichen Zusammenhang der Erforschung des Körpers. Das Natürliche liest er indirekt durch eine Ungenauigkeit in eben dieser Messbarkeit von Daten:

179 180 181 182

Ebd., S. 170. Ebd., S. 39. Benthien, 1999, S. 269f. Ebd., S. 270.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

»A test case to see how our perception is influenced as well as changed is a situation of extreme harmony: what if the meaning of a touch given is perceived identical by two recipients? […] Then both would possess identical codes of perception and production. This seem highly unlikely, not at least given the wide range of subjectively differences between all humans. Codes can be learnt, and perceptions approximately be similar, but it appears unlikely that they will ever be exactly the same.«183 Benthien stellt des Weiteren die Interpretationsmöglichkeit einer sexuellen Erfahrung in Frage, da natürlich Atmosphäre und eine wirkliche Ganzkörpererfahrung wegfallen im Sinne ihrer Definition der Teletaktilität als anonym, fern und durch Technik getrennt.184 Dazu ist aber zu sagen, dass Stenslie und Woolford sicherlich keinen durch Technik erzeugten Klon eines erotischen Moments schaffen wollten. Gerade diese Reduzierung auf die Haptik einzelner Körperteile und die daraus resultierende Erfahrung einer Einzelstimulation, die nach wie vor in ihrer Ausführung überraschend ist, erzeugt Spannung, da der Benutzer nicht weiß, was durch den Anderen, wie und wo am eigenen Körper stimuliert wird. Benthien verweist auf Woolford, der zugibt, dass die ausführenden Erfahrungen nicht oder noch nicht mit einer realen Berührung vergleichbar sind, was als Hinweis weder überrascht, noch das Werk schmälert.185 Schon der Titel cyberSM in der ersten Ausführung des Projekts zeigt nicht nur den gedanklichen Unterschied zwischen einer »Berührungs-Erotik«,186 und der Idee einer künstlerischen Verarbeitung der Qual oder des Erzeugens sinnlicher Schmerzen. Die variiert durchaus zwischen erotisch und qualvoll qualitativ und quantitativ, aber konzentriert sich auch im gängigen SM auf Körperstellen und dortiger partieller Erzeugung von haptischer, weil bewusster, Erfahrung: »The physical dialogue made possible by the cyberSM bodysuits included nipple, anal, penile, and vaginal stimulation. In terms of pleasure, sexual feelings can be provoked through a combination of visual stimuli and vibrators. This has a certain degree of sexual brutalism, and putting a dildo in/up your groin is not always necessarily pleasant. Or wanted. But the playfulness and multisensory sensations of cyberSM compensated for the brutalism and most of the participants observed reported having a good experience.«187

183

Stenslie, 2010, S. 105. Der Autor verweist hier auf: Robbins, Derek: Bourdieu and culture; London, 2000. 184 Benthien, 1999, S. 270. 185 Ebd. 186 Ebd. 187 Stenslie, 2010, S. 263.

145

146

Haptik am User Interface

Bezogen auf haptische Interfaces sind beim cyberSM-Projekt bewusste, aber passive haptische Sensationen möglich. Die eigene Aktion des Benutzers ist dabei an das Klicken von Tastatur und Maus gebunden, das Inter_Skin-Projekt fügt hier noch das bewusste Erfühlen des Materials des Touch Suits am eigenen Körper hinzu. Die haptische Erfahrung der technischen Komponenten wird zu einem wichtigen Teil des Kunstwerks. Stenslie beschreibt addierend dazu über seine Auseinandersetzung mit Sexualität und Technik von Howard Rheingolds Idee eines »physical cybersexual VR systems«.188 Dieses wurde 1990 mit dem Begriff »teledildonics«189 (Teledildonik oder Cyberdildonik)190 zusätzlich geprägt und war wie die bodysuits als Ganzkörperanzug zu verstehen. Menschen könnten damit via Virtual Reality Sex haben, einer körperlichen Variante des cybersex im Gegensatz einer »nur« internetbasierten, textuellen bzw. audiovsisuellen Variante. Die haptischen Interfaces der Teledildonik wirken dabei stimulierend auf die erogenen Zonen. Der Begriff der Teledildonic geht dabei auf den Computerphilosophen Ted Nelson zurück, der mit »dildonic« 1974 der Verbindung von Sexualität und Technik einen Namen gab.191 Rheingold bezeichnet diese Verbindung als »unnatural fruit of the marriage of lust and craft«, wodurch, wie bei Benthien zuvor angeklungen, die Gegenüberstellung von natürlicher Sexualität und unnatürlicher Technik betont wird. Er sieht als negativen Effekt einen Verlust der Intimität zwischen Menschen, die durch Maschinenkontakt ersetzt wird. Dieser Trennung von Natürlichkeit und Unnatürlichkeit folgt Stenslie nicht. Zudem will er nicht die gern diskutierte Trennung192 von Sex als Befriedigung körperlicher Bedürfnisse und Sex, welcher der Fortpflanzung dient, betonen, sondern eine futuristische Form der Erotik propagieren. Wobei natürlich sofort darauf hingewiesen werden muss, dass diese Trennung keiner Technik bedarf: Sex war stets auch Vergnügen, obgleich mal mehr, mal weniger Bestandteil von kultureller, religiöser oder auch wissenschaftlicher Missgunst.193 Der vermeintlichen Konzentration einer Teledildonic auf Genitalstimulation folgt Stenslie nicht. Vielmehr versucht er größere Hautareale erregbar zu machen. Wenn er Sex in seiner Arbeit betont, dann nicht nur in penetrierender Form, sondern anhand sich ausbreitender Variabilität auf Form, Intensität und Fläche: »Dennoch bietet unser Körper über diese eng gefasste Definition [Penis-VaginaPenetration] hinaus unendliche Möglichkeiten, eine Vielzahl an Sexualitäten und

188 189 190 191 192 193

Ebd., S. 121f. Ebd., S. 122. Sowie Rheingold, 1995, S. 329ff. Döring, 2004, S. 179. Rheingold, 2004, S. 319. Siehe dazu auch: Stocker, Schöpf, 2000. S. 18ff. Bagemihl, 2000, S. 115.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Geschlechterrollen auszuleben, die auszulösen es nur wenig mehr als unserer bewussten Hinwendung bedarf.«194 Stenslie fasst in seinem künstlerischem Manifest diese Vielzahl von Möglichkeiten so zusammen: »Sex wird so zu einem verteilten, dynamischen, vernetzten, arten- und lebensformübergreifenden Prozess, zu einer romantischen Orgie der Life-Art.«195 Letztendlich dreht sich die zuvor beschriebene Abwehr gegen eine virtuelle, technik- oder objektorientierte Sexualität immer um den Irrglauben, neue Maschinen würden menschliche und somit körperliche Erfahrungen ersetzen. Die neuen, hier haptischen, Technologien verändern, erweitern oder konzentrieren manchmal auch die Möglichkeiten. Der Mensch selbst handelt aber immer noch in seiner eigenen Realität; Sexualobjekte, wenn man Stenslies bodysuits oder andere teledildonische Systeme ausschließlich als solche diskutiert, sollten als neue Erfahrungen gesehen werden. Der Vergleich mit dem realkörperlichen Erlebnis ist zwar nach wie vor ein Perfektionsziel eines Hardwaredesigners hautähnlicher Materialien. Würden solche Technologien allerdings nicht als Ersatz und somit stets negativ als Verlust der Realität diskutiert werden, so wäre ein Umdenken, vielleicht sogar eine Erweiterung und Vervielfachung einer körperlichen, haptischen Kommunikation möglich. All die »selfs«, die in der Techniksorge um die virtuelle Welt und hier in der Anonymität oder avataren Vervielfachung der Persönlichkeiten schon verloren gegangen sein sollen, so »dislocated and disembodied«196 das Internet und seine Verbindungen auch beschrieben werden, finden sich letztendlich doch in der Erfahrungswelt des eigenen Körpers wieder. Auch die direkte Verknüpfung zwischen Technik und Körper macht den Menschen gewissermaßen zum datengebenden Objekt. Aber bedeutet dies einen Verlust des Subjektstatus? Der Mensch sei in der Interaktion sowohl Subjekt als auch Objekt: »In any form of interaction, the body becomes an object to one’s self and others, presenting itself as an acting subject and a viewed object.«197 Körper und Geist sind stets die Kombination und Summe der Intensität ihrer Erfahrungen in einer Lebenszeit. Diese variantenreicher, vielleicht sogar genderübergreifend, zu machen und so den eigenen Körper neu und intensiver zu erleben, sei eines der Ziele, wenn der Körper in die Computerkommunikation miteinbezogen wird: »Computer-mediated communication is a dislocated form of interaction that occurs in a social ›place‹ without necessary connection to geographic ›space‹, where the activities of participants and experiences of self are not necessarily contained

194 195 196 197

Ebd. Stenslie, 2000, S. 211. Waskul, 2004, S. 35. Ebd.

147

148

Haptik am User Interface

or affixed to corporeal bodies […]. These characteristics create a context in which online interaction may assume unique forms that have the potential to challenge traditional understandings of self, body, and social situations and the relationships among them.«198 Dieses Zitat, welches sich in seiner Beschreibung auf Televideo-Cybersex konzentriert, zeigt letztlich, was die haptischen Interfaces schaffen. Sie holen den Körper wieder zurück in die Kommunikation, fordern aber dennoch generelle Definitionen heraus. Wie Stenslies Arbeit zeigt, kann haptische Kommunikation, eingebunden in audiovisuelle Strukturen oder alleinstehend, als haptisches Alphabet neu interpretiert werden. Sie kann sowohl auf männliche als auch auf weibliche Interfaces bezogen sein, dabei auch eine genderübergreifende Stimulation möglich machen; ein sexuell konnotiertes, haptisches Erlebnis, das geschlechtsneutral ist. Bei mehreren Benutzern kann es zudem dislokalisierte Haptik sein, die trotzdem körperbezogen ist. Der Einbezug von Technik kann nun eine weitere Möglichkeit von »sozialer« Interaktion sein, nämlich einer Auslesung des Körpers auf mehreren Datenebenen, die wiederum eine eigene Form der Interpretation und daran verknüpfte, letztlich automatisierte Reaktion auslöst: »[…] the body is not just a thing that exists; it is something that people read, interpret, present, conceal, and make meaningful in an ongoing negotiated process of situated social interaction.«199   Wie bereits zitiert, zweifelt Benthien an der Definition der Kommunikation bei der Teletaktilität: »Der Begriff der teletaktilen Kommunikation ist demnach in Frage zu stellen, da es eben nicht um kodierte und kodierbare Wahrnehmung oder Information geht, sondern um diffuse und möglichst umfassende Propriozeption. Zudem sollen die Grenzen zwischen Wahrnehmendem und Ausführendem verschwimmen, so daß im Hinblick auf das klassische Kommunikationsmodell zwischen Sender und Empfänger gar nicht länger zu unterscheiden sein wird.«200 Kritisierte Benthien zuvor die Konzentration auf ausgewählte Körperstellen, etwas, das nicht einer atmosphärischen, den ganzen Körper ansprechenden Form der Sexualität entspreche, so betont sie nun die Ungenauigkeit in dieser Konzentration, wenn es um Informationsübertragung geht. Sicher ist diese im Falle eines Touch Suits in seiner Exaktheit und Differenz nicht vergleichbar mit einem geschriebenen Text. Information stellt sich hier als Erlebnis dar, dessen Qualität gerade seine 198 Waskul, 2004, S. 56. Der Autor verweist hier auf: Waskul, D./Douglass, M./Edgley, C.: Cybersex: Outercourse and the Enselfment of the Body; Symbolic Interaction 23(4); 2000. 199 Ebd., S. 58. 200 Benthien, 1999, S. 271.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Ungenauigkeit ist. An der Stelle, an der nicht mehr genau zu erkennen ist, wo Sender und Empfänger anfangen oder aufhören, greift zwar das klassische Kommunikationsmodell nicht mehr, aber es gewinnt das intuitive Erleben. Teletaktilität soll hier nicht als Verfahren erarbeitet werden, das Telegramm, Telefon oder Email ablösen soll, sondern vielmehr als Möglichkeit des Kontakts verstanden werden, eben einer Kommunikation zwischen Menschen. Haptik und Teletaktilität zeichnen sich durch einen Variantenreichtum aus, der von ungenau und unverständlich bis hin zu exakt definiert und lesbar reicht. Technische Entwicklungen zeichneten sich bisher zumeist populär in einem klaren Verständnis aus: der direkten Lesbarkeit durch den Erstbenutzer. Doch Intuition, wie sie auch bei den natürlichen Interfaces zu sehen ist, ist zunächst nicht konkret begreifbar, sondern die selbstverständliche Nutzung von Erfahrungen, somit auch durch Begriffe wie Diffusität und Spontaneität beschreibbar. Intuition legt lediglich erst einmal durch das Design des Interfaces Nahe, dass der Benutzer eine bekannte Handhabung voraussetzen kann.201 Stenslie selbst versuchte seine eigenen praktischen Erfahrungen und die anderer Benutzer seiner künstlerischen Technologien in seiner Dissertation zu erfassen, da er in Bezug auf haptische Kommunikation diverse Beobachtungen machte, die computer- und wissenschaftshistorisch wiederholt – so auch in der vorliegenden Arbeit – bestätigt werden: •

•

201 202 203 204

Die Integration von haptischen oder anderen körperbezogenen Funktion fördere den immersiven Charakter, sodass der Benutzer eine sehr intensive, sinnliche Erfahrung mit der Technologie macht, wobei Stenslie im Folgenden interessierte, welche Qualitäten denn nun haptische Erfahrungen gegenüber beispielsweise audiovisueller Kommunikation habe. Er vermutete eine verstärkte Form der Präsenz.202 Mit dem Fokus der Präsenz verweist Stenslie auf Martin Heideggers »Dasein«, somit auf die Konzentration auf die Gegenwärtigkeit des Moments.203 Diese Frage nach der Gegenwärtigkeit verweist auf die bereits in dieser Arbeit gestellte Frage nach dem Verhältnis von aktiver und passiver bzw. bewusster und unbewusster Haptik mit (medienkünstlerischen) Objekten: »One of my artistic goals is to develop a better understanding of the user experience when she or he is ›being there‹ – immersed in multisensory environments.«204 Die haptischen Interfaces bestünden meist aus mehreren Teilen, die einzelne sensorische Punkte ansprechen. Dies unterscheidet sich zur fließenden, zu-

Becker, 2011, S. 83. Stenslie, 2010, S. 24. Ebd., S. 201. Ebd., S. 202.

149

150

Haptik am User Interface

•

•

205 206 207 208 209 210 211

sammenhängenden Wahrnehmung in audiovisuellen Installationen, wodurch sich Stenslie die Frage stellte, ob eine Vermehrung der angesprochenen haptischen Punkte die Immersion erhöhe, damit die Sensorik ebenfalls fließender erscheine. Stenslie spricht hier auch analog zur bildlichen Auflösung von einer »sensory resolution«.205 Stenslies dritte Beobachtung beschreibt den illusionistischen Faktor der haptischen Kommunikation vor dem Hintergrund, dass er Benutzererfahrungen zur Sensorik erlebte, die die Funktionen der Installationen eigentlich nicht ermöglichen können, »[…] like movement and being pushed and pulled.«206 Aus diesen Erkenntnissen leitete er die Frage ab, ob eine haptische Erzählstruktur möglich ist.207 Sie verweisen darauf, dass Stenslie die unterschiedlichen Benutzererfahrungen als elementaren Bestandteil seiner Arbeiten sieht.208 Die Frage einer möglichen haptischen Erzählung beschreibt er unter anderem anhand der im Folgenden beschriebenen wissenschaftlichen Installation, die beispielhaft und situativ die Technologie eines Interfaces erklärt und zugleich die illusorischen Möglichkeiten zwischen Haptik, Gehör und der bildlichen Vorstellungskraft zeigt, ohne dabei auf visuelle Eindrücke zurückzugreifen:209 Stephen Barrass und Chris Gunn entwickelten mit dem SenseAble einer Art kleinen, an einen Computer angeschlossenen Roboterarm, der in seiner Spitze mit einem Fingerhut als haptisches Interface versehen ist. Die haptische Erzählung bildet ein spielerisches Beispiel der Funktionsweise des SenseAble: Das Erfühlen eines nicht vorhandenen Glases ausschließlich mit der Fingerspitze. Verschiedene Bereiche eines Cocktailglases werden vom Rand über den Bauch bis hin zum Stiel haptisch simuliert. Kleinste Bereiche sind dabei unterschiedlich definiert und erzeugen beispielsweise Töne eines Partyambiente im Innen- und Außenbereich, Schluckgeräusche oder Gesprächsfetzen.210 Der Benutzer wird über die Haptik und Oberflächenbewegung in eine Partysituation versetzt. Die Installation bekam den passenden Namen The Cocktail Party Effect.211 Sie beschreibt zudem den Effekt, trotz überlauter Atmosphäre Teilbereiche wahrnehmen zu können und selektiv zum Beispiel einem Gespräch zu folgen. Die vierte Beobachtung aus den haptischen Erfahrungen mit den bodysuits war, dass bestimmte Formen sich bei verschiedenen Benutzern ähnlich wiederholen ließen. Dies führte Stenslie zu Überlegungen für ein haptisches Vokabular, das ähnliche ordnende und erlernbare Strukturen hat, wie beispielsweise Ebd., S. 25. Ebd. Ebd. Ebd., S. 31. Ebd., S. 145f. http://stephenbarrass.files.wordpress.com/2009/09/spatial-story-layout-wide.jpg www.experimenta.org/vanishingpoint/barrass.htm

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

die Braille-Schrift.212 Aus denselben Gedankengängen entstand eine Genauigkeit in der Forschung, der auch die vorliegende Arbeit mit dem beschreibenden Kapitel über die Vorgänge der Haut bei haptischer Wahrnehmung folgt:213 ein Basiswissen des Forschungsgegenstands zu entwickeln, das in dieser Arbeit noch durch ein technisches Basiswissen ergänzt ist. Die Kommunikation innerhalb seiner Werke verortet Stenslie selbst bevorzugt in einer körperlichen Erfahrung zwischen Benutzer und Werk beziehungsweise body suit. Zweitranging ist dabei die soziale Bedeutung der Entfernung der realen Körper mehrerer Benutzer durch die sogenannte Teletaktilität, die negativ als Anonymität beschrieben wird. Stenslie betont sein besonderes Interesse an der Erforschung der »physio-pleasure«214 als sinnliche, sensorische und somit körperliche Befriedigung, neben den drei anderen möglichen Befriedigungen der »socio-pleasure« (in etwa: Freude sozialer Interaktion), »psycho-pleasure« (in etwa: Freude bewältigter Aufgaben) und »ideo-pleasure« (in etwa: Freude an abstrakten, kreativen oder künstlerischen Dingen, die völlig subjektiv und persönlich sein können).215 Er stellt sich selbst als (Medien)künstler im Bereich der new media dar, somit steht seine Arbeit stets in Bezug zu neuen technischen Entwicklungen und der Nutzung des Computers an sich.216 Gleichzeitig zieht er aber als »research artist«217 in den Konstruktionen und konzipierenden Arbeitsweisen Verbindungen zur wissenschaftlichen Arbeitsweise: »[…] artistic knowledge in no way needs to be inferior to, but rather supplements and expands the way we construct, understand and utilize scientific knowledge.«218 Damit beschreibt er nicht nur seine künstlerischen Ausdrucksweisen als Mittel der Erkenntnisgewinnung, sondern auch das Experiment im Allgemeinen, das nicht nur zur Ergebnis- und Hypothesenüberprüfung dient, sondern vielmehr gedankliche Konzepte greifbar, realisierbar oder unrealisierbar werden lässt. Dies wird ebenfalls deutlich, wenn er das Phänomen der »wickedness« behandelt.219 Dabei handelt es sich um eine Form der gegenseitig bedingenden Weiterentwicklung von geplanter Forschung und sich real entwickelnden Ereignissen in der Ausführung, die eine Idee oder ein Konzept wie von selbst weitertreibt: »Without really knowing why or what, I had built something with cyberSM that people liked and triggered their interest. That indicates the ›wickedness‹ of the 212 213 214 215 216 217 218 219

Stenslie, 2010, S. 26. Siehe dazu Kapitel 4.2.2 Stenslie, 2010, S. 93. Ebd. Der Autor verweist hier auf: Tiger, Lionel: The Pursuit of Pleasure; New Brunswick, 2000. Ebd., S. 29. Ebd., S. 27. Ebd., S. 28. Ebd., S. 30.

151

152

Haptik am User Interface

project: I had come up with a (artistic) ›solution‹ before I had a (formal) problem.«220 Stenslie praktiziert »research through practice«.221 Damit ist eine künstlerische Vorgehensweise beschrieben, die sowohl geplant als auch als intuitiv und dem Zufall behaftet ist: »Here the potential of technologies and a corresponding new practice is developed through experimental application of new technologies into prototypical (art) projects.«222 Stenslie bezeichnet seine Werke selbst auch als Experimente (»Inter_skin experiment«223 ) eines Denkens durch testendes Arbeiten.224 Dabei verweist er in der Kombination aus wissenschaftlicher Vorgehensweise und kreativem Denken in Form von experimentellem Arbeiten auf den Philosophen Paul Feyerabend.225 Stenslies Werk sense:less226 von 1996 (Erstausstellung) ist ein gutes Beispiel einer Zusammenarbeit zwischen Künstler, Techniker und Wissenschaftler. sense:less ist eine multisensuelle Installation eines eiförmigen, aufblasbaren Plastikbereichs im Raum, fünf Meter hoch, sodass ein Benutzer hinein passt (Abb. 10). In diesem Ei, das aus einer halbtransparanten Außenschicht besteht, die durch ein Gebläse als begehbarer Bereich gehalten wird, ist der Benutzer dann mit einem bodysuit ausgestattet, der 16 Punkte des Körpers haptisch beanspruchen kann. Der Anzug schließt hier durch Vibration sowohl den Oberkörper als auch Bereiche der Arme und Oberschenkel mit ein. Virtuelle Videobilder von fünf computergenerierten Gestalten werden sowohl innen für den Benutzer an die Wand projiziert, als auch außen für die Besucher der Rauminstallation. Jede Gestalt kann auftauchen und je nach Art und definierter Persönlichkeit den Benutzer unterschiedlich stark haptisch berühren und/oder ansprechen. Die Figuren besitzen zwar nicht-irdische, oder besser gesagt unbekannte, biologische Körper, aber menschliche Stimmen, die durch Lautsprecher für Benutzer und Besucher zu hören sind. Sie basieren auf Personen, die Stenslie selbst kennt. Die virtuellen Kreaturen leben in einer Echtzeitwelt, durch die der Benutzer mittels eines Navigationsstabs die Richtung vorgeben kann. Dabei handelt es sich um einen stabartigen Controller mit Drucksensoren, der aber bewusst ohne biologisches oder reales Vorbild designt wurde. Er gleicht vielmehr einer länglichen, alienbiologischen Masse, in welche die Technik integriert ist, die durch das halbtransparente Hartplastik hindurch zu erkennen bleibt (Abb. 11). Die kreierte Welt ist mit einem Netzwerk über das Word Wide Web 220 221 222 223 224 225

Ebd. Ebd. Ebd. Ebd., S. 40. Ebd., S. 71. Ebd., S. 30. Der Autor verweist hier auf: Feyerabend, Paul: Against Method: outline of an anarchistic theory of knowledge; London, 1975. 226 https://www.digitalartarchive.at/database/general/work/sensless.html

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

und hier realen Nutzern verbunden. Deren Aktivitäten veräußern sich wiederum in einer Veränderung der Erscheinung der virtuellen Welt, da die Stärke der Datenströme den Phänotyp beeinflusst.227 Der Benutzer wird somit in einer unbekannten Umgebung mit fremdartigen Wesen konfrontiert und berührt. sense:less wurde zuerst für die Ausstellung Electra des Henie-Onstad Art Center228 in Oslo und in Zusammenarbeit mit drei weiteren Personen erstellt: Der Softwaredesigner Knut Mork programmierte und textete die Arbeit, Designer und Koordinator der Electra 1996 Marius Watz war für das Grafikdesign und das Design im Allgemeinen zuständig. Die Schauspielerin Kate Pendry erarbeite ebenfalls den Text sowie den Ton und die Stimmen und Stenslie selbst natürlich den bodysuit und das Installationsdesign.229 Die Arbeit an einer Installation als Gruppe zeigt, dass Stenslies künstlerischer Beitrag eine Ausrichtung auf den Einbezug des Körpers und der Technik am Körper hatte, dies aber in einen Gesamtzusammenhang einbetten wollte. Der bodysuit sollte so nicht nur für den einzelnen Besucher zum sinnlichen Erlebnis werden, sondern gleichzeitig für viele andere Betrachter zur installativen Performance. sense:less ist somit für unterschiedliche Benutzer oder Betrachter ein vielschichtiges Werk. Von Innen ist es haptisch interaktives Medienkunstwerk und von außen eine audiovisuelle Skulptur als Installation innerhalb des Ausstellungsraums.

Abb. 10: Ståle Stenslie, sense:less

227 www.stenslie.net 228 www.hok.no/utstillinger-1990-1999.202250-180148.html 229 www.evolutionzone.com/hardwork/senseless/index.html

153

154

Haptik am User Interface

Abb. 11: Ståle Stenslie, sense:less, Controller

Ein Verweis auf die wissenschaftliche Forschung eines bodysuits macht Stenslie in seiner Dissertation selbst, auch wenn er hier keinen direkten Bezug zur Arbeit sense:less zieht,230 mit dem Hinweis auf das TactaVest-Projekt, das 2004 von der Forschungsgruppe um Robert W. Lindeman am Department of Computer Science at Worcester Polytechnic Institute (WPI) erarbeitet wurde.231 Auch wenn Stenslie das System »full-body haptic feedback«232 nennt, so ist auch hier wieder darauf zu verweisen, dass lediglich Teile des Körpers haptisch beansprucht werden, wie der Name Vest, also Weste, schon verrät. So ist die Eigenbeschreibung des Wissenschaftsteams als »upper-body garment«233 hier auch exakter. Was bei Stenslie die Effektoren sind, entspricht bei der TactaVest den Taktoren (englisch: Tactors).234 Dabei handelt es sich um 16 Motoren, die bestimmte Körperpunkte durch Vibration, die fein auf 200 Stufen verstellbar ist, stimulieren können, so zum Beispiel Ellbogen, Bereiche der Schultern oder in der Nierengegend.235 Die gefühlten Vibrationen stellen bei Anschluss an eine virtuelle Umgebung hauptsächlich Übertragungen von Zusammenstößen von Spieler und Raum dar.236 Verbunden via Bluetooth werden die Einstellungen hier mittels sogenanntem »TactaBoard«237 230 231 232 233 234 235 236 237

Stenslie, 2010, S. 125. http://web.cs.wpi.edu/∼gogo/hive/hive_tactavest.shtml Stenslie, 2010, S. 125. http://web.cs.wpi.edu/∼gogo/hive/hive_tactavest.shtml Stenslie, 2010. S. 125. www.terathon.com/news/article052706a.php Siehe dazu Kapitel 4.2.3. zum haptischen Feedback von Videopielecontrollern http://web.cs.wpi.edu/∼gogo/hive/tactaboard/

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

kontrolliert sowie Integration in den »TactaCage«.238 Der Spieler steht mit TactaVest und Kopfdisplay in einen abgetrennten Bereich, in dem die Realbewegungen durch Motion Capture-Tracking System eingefangen und in die virtuelle Welt übertragen werden. Des Weiteren wird mit einem zweiten kompletten System an einem Multiplayer-System gearbeitet.239 Eine der Herausforderungen der Weste war die Anpassung an unterschiedliche Körperstaturen: »Difficulties to be overcome are wearability problems such as fitting problems of interface/suit, restriction of movement and vibrotactile stimuli with a poor range/expressivity.«240 Der Übergang zu dem Versuch Kleidung und Technik zu kombinieren liegt hier nahe, wie zum Beispiel das Hug Shirt 241 der designorientierten Firma CuteCircuit zeigt. Dieser langärmliche dünne Pullover ist mit zehn handflächengroßen Feldern versehen, die per Bluetooth und Java-Software auf dem Handy in Vibration versetzt oder leicht erhitzt werden können.242 Sensoren erfassen durch eigenen Daten von Herzschlag, über Körpertemperatur bis hin zu Druck und Zeit wie man sich selbst berührt oder sich selbst umarmt. Dies verweist auf den Titel »hug«, zu deutsch: umarmen. Diese Daten werden auf ein zweites, verknüpftes Hug Shirt übertragen und haptisch umgesetzt, das heißt eine zweite Person kann die Berührungen ebenfalls spüren. Sie erreichen dabei zwar weniger Körperstellen, dafür ist der Zusatz von Hitze zur Vibration interessant. Es findet eine Kombination aus aktiver Berührung seiner selbst zur Übertragung und passiver Annahme von Berührungen des Anderen in Form von Vibration und Hitze statt. Eine Berührung oder Umarmung wird hier also nicht nur als vibrierende Stimulation der Haut interpretiert sondern auch als eine Form der Wärme. Dies ist eine klare Interpretation einer Umarmung, umgesetzt durch haptische und technisch bedingt einfache Funktionen, die im Rahmen eines auch tragbaren Pullovers umzusetzen sind. Der Versuch eine reale Umarmung auch haptisch naturalistisch zu simulieren wird nicht gemacht. Stenslie interpretiert das im Sinne seiner Gedanken einer Taxonomie oder eines haptischen Vokabulars243 einerseits negativ.244 Andererseits ist dies aber auch positiv in dem Versuch einer kreativen, kommunikativen Nutzung der haptisch technischen Möglichkeiten. Die Entwicklung eines fühlbaren Vokabulars soll im folgenden Kapitel näher betrachtet werden.

238 239 240 241 242 243 244

http://web.cs.wpi.edu/∼gogo/hive/hive_tactacage.shtml http://web.cs.wpi.edu/∼gogo/hive/hive_tactacage.shtml Stenslie, 2010, S. 126. Ebd., S. 159. Ebd. Ebd. Ebd., S. 160.

155

156

Haptik am User Interface

Haptisches Vokabular Nach den Projekten cyberSM und Inter_Skin, die sich in der haptischen Technologie vor allem auf Kommunikationsexperimente zwischen mehreren Menschen konzentrierten, machte Stenslie mit sense:less und ab 1997 mit Solve et Coagula den Schritt zur Einzelkommunikation des Benutzers mit dem Computer.245 Dabei war der künstlerisch philosophische Schritt der einer Symbiose zu einer »post-human life form«:246 »[…] the Solve et Coagula installation was an art-technological attempt to give birth to a new life form: half digital, half organic.«247 Dieser symbiotischen Interaktivität248 zugrunde lag die Idee eines Wechsels der Perspektive: Die Maschine oder virtuelle und technische Umgebung der Installation sollte möglichst menschlich wirken, der Mensch als Benutzer hingegen maschinenähnliche Vorgänge ausführen. Effektiv war die Installation eine möglichst immersive Umgebung, die den Benutzer wieder in einen Anzug steckte, der nun »stimulationsuit«249 hieß. Als neue Version eines bodysuits war er wie bei sense:less eine Kombination aus einer Virtual Reality-Brille, großflächigeres Textil zur Inanspruchnahme von Körperflächen sowie einem organisch anmutenden Handinterface. Der Benutzer stand mit Hilfe der VR-Brille in einer virtuellen Welt, in der realen Welt des Museums- oder Galerieraums wiederum in einem fünf Meter hohen und ballrunden Metallkäfig. Der Käfig war für Zuseher imposant, da er unverhältnismäßig groß erschien. Für den Benutzer war er jedoch zugleich auch ein Schutzraum für die Bewegungen, da er mit sich in der virtuellen Welt beschäftigt war und die reale Welt um sich herum leicht vergessen konnte.250 Der Installationsaufbau ähnelte somit in den Grundzügen und auch in der Projektion des virtuellen Geschehens für Zuseher nach Außen dem Aufbau von sense:less. Der Unterschied liegt im angesprochenen Austausch durch eingebaute Sensoren. Die auch hier genutzten virtuellen Kreaturen, mit denen der Benutzer kommunizierte, reagierten auf das bewusste Verhalten durch Drucksensoren in zwei organischen Handcontrollern und der Stimme,251 aber auch auf unbewusst mitgeteilte Informationen, die durch Biosensoren aufgenommen wurden.252 Hier wurde nun mit einem »two way communication interface« sowohl auf haptischer als auch auf auditiver Ebene253 gearbeitet: »It provides (i) tactile stimuli so that the creature can touch the participant’s body and manipulate his haptic perception, and (ii) built-in pressure sensors through which

245 246 247 248 249 250 251 252 253

Ebd., S. 170ff. www.c3.hu/collection/sec/secconcept.html Stenslie, 2010, S. 170. Stenslie, 2006, S. 153. Stenslie, 2010, S. 171. Ebd., S. 172. Ebd., S. 177. http://stensliehome.wordpress.com/2014/06/15/sec/ https://stensliehome.files.wordpress.com/2014/06/solve-et-coagula-pdf.pdf

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

the creature can sense the user’s body.«254 Die »taktile Resolution« war hier schon auf 120 verschiedene Bereiche und feinere Abstufungen von Druck und leichter bis starker Vibration erweitert.255 Mit dieser Resolution als Ausdifferenzierung der haptischen Abstufungen erweiterte sich auch der Variationsreichtum und wird zu dem, was – wie bereits angesprochen – Stenslie haptisches Vokabular nennt. Er spielt dabei zum einen auf frühe Ideen Giovan Battista della Portas aus dem 16./17. Jahrhundert an, der bereits davon schrieb, dass zwei Personen je eine offene Wunde hatten, um welche kreisförmig das Alphabet geschrieben wurde, sodass der jeweils andere mit einem Messertippen bzw. -stechen der Buchstaben haptisch und vor allem durch Schmerz Nachrichten übertragen konnte.256 Diese extreme Form der Nutzung besonders sensibler, weil verwundeter Hautpartien übernahm Stenslie natürlich nicht. Vielmehr sollten Resolution und Variation zu verschiedenen Stufen der Haptik führen, die zum einen ein Erlernen dieser Sprache erfordern, zum anderen aber auch kombiniert mit den haptischen Ausdrücken sind, die der Mensch in seinem Leben erlernt hat. Dabei hat ein hartes Drücken in die Haut eine andere Bedeutung oder Reaktion als ein Kitzeln: »Our haptic vocabulary developed into being able to create distinct sensations from being pulled, pushed, resistance, weight, (human) touch, tickling to objects and ›insects‹ crawling around on the user’s body. One user in the initial blind test was not told anything about what the sensations could or should mimic, but had several scary impressions and reported during one instance that insects were crawling on the body«257 Stenslie verweist in diesem Rahmen auf die Philosophen Hubert und Stuart Dreyfuss, die die Erscheinung der Dinge der Welt sowie deren Wahrnehmung in drei Kategorien unterteilen: erstens in biologische Grundvoraussetzungen, wie der gegebene Körper und seine Grundkondition wahrnimmt, zweitens in historisch erlerntes Können und Wissen über die Dinge, das die Erwartungshaltung der Wahrnehmung beeinflusst und drittens in kulturbezogenes Können und Wissen über die Dinge.258 Im Zusammenhang mit der bereits erwähnten phänomenologischen Theorie Merleau-Pontys wird somit der Bogen zwischen biologischen Gegebenheiten des Körpers als Bezugspunkt in der Welt zur historischen Erlernbarkeit und Erlangung von Wissen gespannt. Daraus resultiert, dass Wahrnehmung nicht nur gegeben ist, sondern auch von außen kulturell beeinflusst wird: »We experience 254 255 256 257 258

Stenslie, 2010, S. 173. Ebd., S. 174. Ebd. Der Autor verweist hier auf. Zielinski, Siefried: Archäologie der Medien; Reinbek, 2002. Ebd., S. 175. Ebd., S. 213. Der Autor verweist hier auf: Watkin, Christopher: Phenomenology or Deconstruction: the question of ontology in Maurice Merleau-Ponty, Paul Ricoeur and Jean-Luc Nancy; Edinburgh, 2009.

157

158

Haptik am User Interface

the world through our biological given body. How we interpret our experience is influenced by the cultural, historical and contextual framing of the same experience.«259 Davon ausgehend bedeutet das, dass die Möglichkeit besteht, haptische Wahrnehmungen in unterschiedlichen Kategorien wie eine Sprache erlernbar zu machen.   Die Frage, die man sich im Laufe von Stenslies Ausführungen stellt, ist, ob er seine unterschiedlichen Arbeiten, die verschieden benannt sind, als einzelne »Fallstudien«260 sieht? Das heißt, werden sie als eigenständige, also abgeschlossene Projektarbeiten betrachtet oder ist sein künstlerischer Fokus in der Chronologie seiner Werke auch eine fortschreitende Weiterentwicklung des experimentellen Arbeitens mit interaktiver Haptik? Die einzelnen Projekte selbst scheinen im Gesamtwerk Stenslies ein Weiterdenken der haptischen Integration erkennen zu lassen, wie bereits mehrfach angedeutet. Allerdings wird das Einzelwerk jeweils nur als Endprodukt in Ausstellungen präsentiert, nicht als sich entwickelndes Objekt mit Vorstufen in einem Prozess, die ebenso Technik wie Denkfehler aufzeigen würden. Stenslie beschreibt sein Projekt Erotogod,261 oder Erotogod experiment,262 das er 2001 realisierte, explizit zweigleisig als künstlerisch wie auch forschungsorientiert.263 So verbesserte und erweiterte er diese Arbeit auch im Laufe mehrerer Präsentationen.264 Der bekannte bodysuit aus Effektoren und Berührungssensoren wurde hier in eine räumliche Installation aus drei projizierbaren Wänden auf ein mit einer Rampe zu erreichendes Podest gesetzt (Abb. 12). Diese versperrte dem Benutzer die Sicht nach außen, sodass er sich ganz auf sich selbst und die Situation konzentrieren muss. Dabei saß er auf Knien auf einer sattelähnlichen Vorrichtung. Die Berührungen waren dieses Mal autoerotisch und in einem Loop auf den Benutzer zurückgerichtet, nicht wie zuvor auch auf andere Menschen oder im Kontext virtueller Wesen. Der Berührungsloop des bodysuits war in einen Kreislauf aus dreidimensionalem Sound und Grafiken an den Wänden eingebunden. Dabei wurde die gleiche Information auf unterschiedliche, multimodale Weise überbracht: Worte erschienen audiovisuell, aber auch als Berührung. Der erhöhte Installationsraum wird als »Altar«265 bezeichnet. Dies verweist auf die Idee einer religiösen Anmutung, die der autoerotischen Berührung gegenübergestellt wird. Denn Reli-

259 260 261 262 263 264 265

Ebd., S. 214. Ebd., S. 74. Ebd., S. 219. Ebd., S. 220. Ebd., S. 219ff. Ebd., S. 220f. https://stensliehome.files.wordpress.com/2014/06/erotogod-pdf.pdf, S. 2.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

gion und Sexualität sind für Stenslie thematisch konträr.266 Diese Themen konnten durch den Benutzer haptisch beschrieben und somit verknüpft werden, denn das »Schreiben« im Sinne einer Kreation von Wörtern funktioniert über die Berührung: Der Benutzer fasste den bodysuit an, dies wurde wiederum sensorisch in Daten umgesetzt, die in Echtzeit sich bewegende Grafiken aus Wörtern an den Wänden erzeugten (Abb. 13). Dazu waren sphärischen Sounds zu hören und im Loop haptische Eindrücke am Benutzerkörper zu spüren, wieder durch die Effektoren im bodysuit. Der Berührungsloop ist hier hervorzuheben, da er einen Bezug zum Closed Circuit innerhalb der Geschichte der Videokunst zieht. Der visuelle Loop steht innerhalb der Videokunsthistorie als Reflexion des (Ab)Bildes, der Körperbewegungen und somit der Real-Time-Reflektion des Kunstwerks auf den Benutzer. Beim Berührungsloop entsteht nun auch die Feedbackmöglichkeit auf die eigene Handlung.

Abb. 12: Ståle Stenslie, Erotogod

Das Thema Religion legt den Bezug zum Schöpfungsmythos um das Schaffen des Künstlers ähnlich der göttlichen Kreation nahe. Es gibt dem Benutzer der Installation hingegen auch ein allgemein bekanntes Themenfeld an Geschichten vor, sodass eine Erwartungshaltung gegenüber dem inhaltlichen Ablauf entsteht, welcher wiederum erfüllt oder gebrochen werden kann. Sexualität drückt sich in der Selbstberührung des Benutzers aus. Die altarhafte Installation, das Niederknien und die Worte, die thematisch aus dem Bereich der Mythen erstellt sind, beziehen sich auf Religion. Für die Zuschauer der autoerotischen Performance stellt sich durch die erhöhte Rückenansicht ebenfalls eine Anbetungssituation dar.

266 Stenslie betont, dass er mit dieser Themenkombination jedoch keine religiösen Gefühle verletzen wollte: Stenslie, 2010, S. 271f.

159

160

Haptik am User Interface

Abb. 13: Ståle Stenslie, Erotogod, bodysuit

Stenslie arbeitete hier also mit einer Kombination aus aktiver und passiver haptischer Stimulation. Dabei betont er, dass eine aktive Passivität (»actively passive«267 ) möglich sei. Das bedeutet, dass die Reaktion einer haptischen Aktion durch die Installation eine passive, da unbewusste, ist, nämlich ein Hinknien: »Erotogod utilizes tactual touch [aktiv] when the users actively and autoerotically have to touch their own body. This action turns the body of the user into an object and lets the body sense tactile [passiv], indirect and passively. In this way tactual and tactile touch is combined in the same action.«268 Die audiovisuellhaptische Präsentation der gleichen Informationen in Form von Wörtern erforderte Stenslies Vorstellung eines haptischen Alphabets, einer Interpretation und gewissermaßen Verkörperlichung von geschriebener Sprache, welche hier in zwei Richtungen übertragen wurde: zum einen wirkte die haptische Übersetzung als »print words as experience on the body«269 auf den Körper des Benutzers und zum anderen wurden die Selbstberührungen in lesbares und hörbares Wort umgewandelt: »Combining input and output made the suit into a two-way interface to the installation. Such a combinatory ›hot spots‹ of sensor and effector make it easier to map the body and allow for direct feedback. If the user pressed a button the vibrator underneath would give immediate feedback. This made learning and sensing the autoerotic functionality of the suit more intuitive.«270

267 268 269 270

Stenslie, 2010, S. 87. Ebd. Ebd., S. 224. Ebd., S. 241.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Bei Erotogod wurde mehr als bei den anderen genannten Projekten der Frage nach einer Materialisierung von im Grunde Materiallosem nachgegangen. Audiovisueller Sprache sollte hier ein Körper geben werden. Die Erfahrungen in der Installation folgten einer Geschichte, die aus einem Intro, drei Phasen und einem Outro bestanden. Dennoch sollten sie von Benutzer zu Benutzer individuell erfahrbar sein, wobei sie nicht direkt mit Kapiteln oder ähnlichem konfrontiert waren, sondern vielmehr eine Form von Freiheit gegenüber dem zeitlichen Ablauf spürten. Tatsächlich ist die Dramaturgie nicht zuletzt durch den Datensatz der Installation technisch begrenzt.271 Er reagiert auf die neuen Daten der Bewegungen und Berührungen der Benutzer, die durch die flächigen Sensoren im bodysuit gesammelt werden: »Each effector was individually controllable by the analogue interface and variable in strength from the slightest shivering to intense vibration. […] The Erotogod suit has a resolution that can reproduce the ›exploratory movement‹ that MerleauPonty deemed necessary for recognizing sensations of touch like roughness and smoothness […].«272 Sensoren und Effektoren sind im suit auf Flächen an Schulter, Brust, Bauch, Rücken, Oberschenkel und den vorderen erogenen Zonen des Hüftbereichs angebracht.273 Die Idee, wie zuvor verschiedene Designs für männliches und weibliches Geschlecht sowie drei unterschiedlichen Körperformen zu erstellen, wurde verworfen.274 Stattdessen wurde eine flexible, größenverstellbare, anpassbare Variante entwickelt. Die Haptik der Technik orientierte sich somit durch die Nähe und Gleichschaltung von beispielsweise Druckgeben und Druckfühlen an natürlicher Haptik. Technisch wurde so gewissermaßen ein Feedback in Real-time formuliert, das biologisch wie die Nähe der verschiedenartigen Rezeptoren der Haut gedacht war. Die bereits erwähnte flexible Dramaturgie wurde durch drei Grundprinzipien eines haptischen Vokabulars geschaffen: »These were i) the ground, basic patterns used in every part of the installations dramaturgy, ii) the designed and specific patterns used for specific parts of the dramaturgy and iii) the random patterns that were generated as response to user’s touch.«275

271 272 273 274 275

Ebd., S. 232f. Ebd., S. 251. Ebd., S. 245. Ebd., S. 234. Ebd., S. 246.

161

162

Haptik am User Interface

Diese grobe Kategorisierung ist der Versuch haptische Sensationen zu unterscheiden und beschreibbar zu machen, um sie wie Werkzeuge (»toolbox«276 ) für ihre spezifischen theatralen oder perfomativen Zweck einzusetzen. In dieser »tactile taxonomy«,277 die hier haptische Taxonomie genannt werden soll, müssen zum einen diese haptischen Werkzeuge aufgrund ihrer technischen Grundlage hinterfragt werden, wie beziehungsweise mit welcher Technik ein Gefühl erzeugt wurde. Zum anderen müssen die haptischen Werkzeuge nach den durchaus unterschiedlichen Reaktionen auf die technisch- oder objektbedingte Gefühlsinduktion beschrieben und untersucht werden. Stenslie betont dies, wenn er noch einmal auf den Unterschied zwischen taktil und haptisch eingeht: »It is necessery to clarify the difference between a haptic or tactile resolution. Tactile resolution refers to the number of effectors used and haptic resolution refers to the sensed effect of these effectors.«278 Stenslie setzte für die Basissensation (»i«) für die verschiedenen Körperregionen von Brust, Hüft und Beinen unterschiedlich viele Sensationsgrade von Vibration ein. Diese wurden nach dem Ort der Sensation durch Vibration, Bewegung der Vibrationen wie Kreise und Härtegrad benannt, beispielsweise »Legliallsoft«279 für eine leichte Vibration am linken Bein. Der Dramaturgie von Intro bis Outro (»ii«) wurden wiederum spezifische Sensationen zugeordnet, gewisse Formen der Haptik konnten die Benutzer somit nur in diesen Phasen spüren, so beispielsweise punktierte Vibrationen im Intro und Vibrationen, die sich schlangenförmig im sogenannten »Creation«-Teil über die Haut bewegten.280 Dabei muss betont werden, dass Stenslie nicht versucht naturalistische Haptik nachzubilden, sondern einen weiteren Weg der Immersion zu modellieren.281 Zusammengefasst nimmt das haptische Vokabular grundlegend Rücksicht auf die Intensität der einzelnen, punktuellen haptischen Sensation. Eine Kombination aus diesen Sensationen ermöglicht es wiederum verschiedene Formen darzustellen. Diese Formen werden möglich durch Bewegungen einer punktuellen Intensität zur nächsten, um dann mit Variationen von Intensität ergänzt werden zu können. Dies kann dann als haptische Wellenbewegungen im Sinne einer Ortsbewegung wahrgenommen werden, aber auch als ein Auf und Ab der Intensität. Die Erwartungshaltung des Benutzers ist dabei ebenso zu berücksichtigen wie das Bewusstsein gegenüber dem zu erwartenden haptischen Gefühl. Beide beeinflussen die Erfahrung durch Konzentration auf beispielsweise ein leichtes, ein stärkeres oder ein schmerzhaftes Gefühl. Letztendlich sind durch viele Variationsmöglichkeiten von unterschiedlichen Faktoren zahlreiche zu beschreibende haptische Vokabeln 276 277 278 279 280 281

Ebd., S. 246. Ebd., S. 248. Ebd., S. 251. Ebd., S. 248. Ebd., S. 249. Ebd., S. 252.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

möglich, die wiederum einen Lerneffekt erzeugen. Dieser könnte im Nachhinein das Gefühl gegenüber der haptischen Sensation beeinflussen. Stenslies Ziel ist es, diese Sensationen mit einer Dramaturgie aus Worten, Bildern oder Tönen zu verknüpfen und durch das bloße Auftauchen eines Wortes eine Erinnerung an die haptische Vokabel zu ermöglichen:282 »Our haptic vocabulary has over time developed into a toolbox able to create distinct sensations from being pulled, pushed, resistance, weight, (human) touch, tickling to objects and ›insects‹ crawling around on the user’s body. We also tried to induce sensations of things going inside as well as through the body. Most users had an impression of the suit being alive. It was felt as a Live Skin on the body.«283 Dieses Erzeugen von haptischen, quasi dreidimensionalen Bildern, die sich flächig über und um den Körper, gefühlt auch durch ihn bewegen, ist durch ein Anregen haptischer Erinnerung möglich. Im Leben bereits erlernte Berührungen, die mit Bildern, Gefühlen oder Erfahrungen assoziiert sind, werden stimuliert, können aber auch neu mit in der Installation auftauchenden Worten kombiniert werden. Der Lernprozess verbindet somit Bekanntes mit Unbekanntem.   Seine zuvor gelegte Orientierung auf den bodysuit und somit auf ein Objekt, das der Künstler oder andere Benutzer als technologischen Anzug tragen mussten, wandelte sich zu einer musealen oder andersartig installativen Umgebung. Die Idee eines ganzheitlichen Konzepts wurde bei Stenslie wichtiger: »My approach to psychophysics has not just been technological, but also environmental. Through my artistic projects it has been my experience that the physical design of the installation in relation to the environment influences the behavior and perception of users.«284 Dieser Hinweis zeigt zunächst ein gedankliches Verarbeiten von Immersion auf einer körperlich haptischen Ebene durch Technik am Körper (cyberSM, Inter_skin, Inter_skin II). Die daraus resultierenden Benutzererfahrungen in einer der Situationen, die durchaus eine intime, leicht bekleidete und somit einschüchternde sein kann, wurden in ihrer Umgebung angepasst, was sich als Ergebnis in Erotogod zeigt. Das Einlassen auf sinnliche Erfahrungen am eigenen Körper in Anwesenheit anderer Menschen erfordert eine besondere Sensibilität.

282 Eine Untersuchung eines Lernprozesses, die wie jedes Erlernen einer Sprache, länger dauert, war jedoch noch nicht Teil des Projekts »Erotogod«. 283 Stenslie, 2010, S. 253. 284 Ebd., S. 96.

163

164

Haptik am User Interface

Stenslie erarbeitet seine Werkumgebungen dabei als Kombination aus dem Verhältnis von »Psychophysics«285 und »Psychotechnology«.286 Psychophysik beschreibt die Stimulation und der daraus resultierenden psychischen Verarbeitung der Wahrnehmung. Diese kann letztlich zu einer bereits diskutierten Illusion einer physischen Wahrnehmung führen. Als Psychotechnologie nutzt Stenslie die designten Entwicklungen wie technologische Versuchsanordnungen um psychologische Phänomene zu testen. Beides verhandelt in ihrer Weise mit einer Erwartungshaltung des Benutzers: »Many of my installations intentionally employ atypical design through sculptural forms (see SeC installation, […]) and the texture of clothing to promote a general sensation of difference from other environments […]. Designing installations so that they appear more or less incomparable to others can influence our expectations of functionality and experience. A reset of expectations of what can occur could possibly make users less jugdemental of what can and will happen.«287 Stenslie verortet seine technischen Objekte mit dem Verweis auf die Psychotechnologie als psychowissenschaftliche Experimente, was dem gängigen Verständnis von Kunst ähnelt: das Aufbrechen einer Erwartungshaltung gegenüber einem Objekt, einer Installation oder gegebenen Realität, um dem Benutzer neue Erfahrungen oder Sichtweisen zu verschaffen. Die Psychotechnologie wird somit genutzt, um psychophysikalische Phänomene zu untersuchen. Stenslie verweist hier auf den Psychologen Torao Obonai, der beschrieb, wie visuelle und haptische Verbindungen dazu führen können, dass eine sich kreuzende Wahrnehmung vorkommen kann. Visuelle Stimuli führten zu Benutzerwahrnehmungen nicht vorhandener Haptik oder umgekehrt regten haptische Stimuli zu visuellen Veränderungen an, die in Realität nicht passierten.288 Dies zeigt, dass psychologische Faktoren, wie die einer bewussten oder unbewussten Erwartungshaltung eines Benutzers, wie technische Gegebenheiten eines Objekts, aber auch die Einbettung von Benutzer und Werk in eine Umgebung, eine übergreifende, den Menschen beeinflussende Rolle in der Gesamtwahrnehmung von Realität spielen. Stenslie experimentiert mit den illusionistischen Möglichkeiten der Haptik, betont aber, dass die Basis seiner Arbeit die Körpererfahrung selbst ist. Dies mache für ihn eine taktile Ästhetik aus: »Haptic sensations produced by touching technologies can be understood as ›artificial‹ as they simulate some kind of touch. The vibrotactile simulation used in my

285 286 287 288

Ebd., S. 96f. Ebd., S. 97f. Ebd., S. 97. Ebd., S. 98. Der Autor verweist hier auf: Imada, Hiroshi [Hg.]: Origin and Development of Scientific Psychology in Different Parts of the World; In: International journal of psychology; Oxford, Paris, Amsterdam, Letchworth, 2002.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

projects need not necessarily be anything more than that what they appear to be, that is mechanical vibrations. Even when touch is a simulation, it is still a touch of some kind. Technologies such as bodysuits create a layer between the subject and the experience. This distance makes it possible for the body to experience so to speak for itself. This again can be considered a phenomenological experience of corporeal autonomy. In Kant’ian terms, haptics so cause aesthetical pleasure and form the basis of tactile aesthetics.«289 In der gedanklichen Symbiose von Benutzer und Technik und dem Versuch, dies auch praktisch im Wechselspiel der durch Sensoren aufgenommenen Informationen umzusetzen, wägt Stenslie immer weiter das Verhältnis von aktiver und passiver Steuerung sowie aktiver und passiver haptischer Kommunikation ab. Der im folgenden Kapitel diskutierte Performancekünstler Stelarc geht dabei sowohl in philosophischer als auch in physiologischer Hinsicht noch ein Stück weiter. So wird zum einen aus der Symbiose von Mensch und Technik ein Cyborg, zum anderen aus dem haptischen Kontakt als Kommunikation ein bewusster Verlust der Kontrolle.

3.6

Stelarcs Schmerzen und sein Verhältnis zur Theorie McLuhans

Der australische multimediale Bodyart- und Performancekünstler Stelarc (Stelios Arcadiou) verhandelte innerhalb seiner Cyborgfantasien und Aktionen mit Technikeinbezug beim Stimbod/Stimbox-System die Möglichkeit der Teletaktilität und Fremdberührung über und mit Technik. Dieses »Fernberührungssystem«290 oder auch »Touch-Screen-Muskelstimulationssystem«291 funktioniert über Muskelstimulation, das heißt die Muskeln des Trägers, im Falle der Performances meist Stelarc selbst, sind mit Sensoren und Kabeln an einen Computer angeschlossen. Stimbod oder Tele-Stimbod bezeichnet dabei die notwendige Software, Stimbox die technische Hardware, die der Benutzer des Systems am Körper trug.292 Die Integration von Haptik in die Medienkunst findet in diesem Fall über leichte bis schwere Stromstöße statt, somit über Muskelaktivierung bis zum Empfinden von Schmerzen. Das System aus Hardware und Software wurde für Performances wie Ping Body (1995) genutzt. Hier wurden die Muskeln vom Datenfluss (Ping) einer Website bestimmt, das heißt der Datenverkehr wurde mit unterschiedlichen Körperregionen Stelarcs verbunden. Je nach Stärke wurden dann 0 bis 60 Volt

289 290 291 292

Ebd., S. 260f. Benthien, 1999, S. 271. www.sterneck.net/cyber/stelarc-fleisch/index.php www.t0.or.at/stelarc/stelarc2.htm

165

166

Haptik am User Interface

abgegeben, sodass der Körper bewegt wurde.293 Das System wurde zudem mit weiteren künstlerischen Objekten wie der Third Hand kombiniert, die ebenfalls für Performances genutzt wurde (Abb. 14). Bei ihr handelt es sich um eine an seinem eigenen rechten Arm angebrachte Roboterhand, die ebenfalls durch Muskelstimulation der angeschlossenen Bauch- und Beinmuskulatur bewegt werden konnte.294 Ähnlich wie bei Stenslie und Woolfords cyberSM-Projekt ist nun der Körper des Systemträgers mit einem grafischen Interface verbunden, über das durch eine weitere Person die unterschiedlichen Muskelbereiche Bizeps (beidseitig), Schulter, Unterarm, Ober- und Unterschenkel gereizt werden können:295 »Es wurde dadurch eine Methode entwickelt, die es ermöglicht Körperbewegungen zu programmieren, indem die Muskelbereiche an einem Computermodell berührt werden. Die Bewegungssequenz kann durch eine Loop-Funktion fortlaufend wiederholt werden. Es ist gleichermaßen möglich durch Druckbefehle Bewegungen zu choreographieren wie auch Bewegungssequenzen aus einer Bibliothek von Gesten aneinander zu fügen. Vor der Übermittlung der Signale ermöglicht das System die Stimulation der programmierten Bewegung zur Analyse und Bewertung. Auf einer tieferen Ebene der Stimulation ist es ein System, um einen Körper zu etwas zu veranlassen, auf einer höheren Stimulationsebene ist es ein System, um einen Körper zu bestätigen.«296 Stelarc betont in diesem Zitat die bewusste Auslieferung des Körpers an die Technik, in seinem Sinne als gemeinsames, künstlerisches Material. Seiner Vorstellung nach sei der biologische Körper mit der rasanten Entwicklung der Technik obsolet geworden und müsse deshalb geöffnet werden. Stelarc sprach und schrieb in der Vergangenheit meist unpersonalisiert und neutral von seinem eigenen Körper als »der Körper«.297 Dies lockerte sich im Laufe der letzten Jahre allerdings, sodass nun hin und wieder eine Beschreibung seiner Arbeit aus der Ich-Perspektive zu lesen ist. Dies kann als Hinweis auf eine Entwicklung vom frühen Stelarc als Performancekünstler, der Körper und Technik als künstlerisches und zu diskutierendes Material nutzt, hin zu einem Cyborg- und Biokünstlerwissenschaftler gedeutet werden, der seine Arbeit immer als Grundlage eines Körperdiskurses sieht.298 Die vorliegende Arbeit soll sich nicht in Cyborgtheorien oder seinen ironischen Übertreibungen der Technikfantasien verlieren. Seine Arbeit bietet allerdings Ideen über praktische Anwendungsmöglichkeiten einer haptischen Kommunikation, die in die Diskussion miteinfließen sollten: 293 294 295 296 297 298

Stenslie, 2010, S. 152. http://stelarc.org/?catID=20265 Kunstforum, 1995, S. 75. www.sterneck.net/cyber/stelarc-fleisch/index.php Kunstforum, 1995, S. 72ff. Sprenger, 2008.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

»Cyber-body projects such as Stelarc’s Stimbod and PingBody performances are examples of undeniable support for virtual communication systems as an alternative means of inducing body stimulation, activation and response. Virtual communication in the form of predominantly online text-based interaction, may […] be construed as a ›faceless‹ form of information exchange.«299 Wie Stelarc selbst betont,300 gehe es ihm nicht um eine Möglichkeit der Fernsteuerung seines oder eines anderen Körpers. Der Körper wird vielmehr zur ausgeführten Idee der geteilten Aufgabe, denn sowohl Stelarc selbst als auch der Benutzer des Computersystems können seine Muskeln aktivieren. Aktivität und Passivität können somit an einem Ort zusammenfallen. Wie bei cyberSM und Inter_skin von Stenslie werden die Körperstellen überraschend und unvermittelt aktiviert und zur Bewegung gebracht. Bei Stelarc ist dies aber weniger im sexualisierten Kontext eines körperlichen Fühlens gedacht. Vielmehr führt hier die eigene aktive Bewegung zu Performances mit mehreren Akteuren aber nur einem sichtbaren Ausführenden. Der Körper wird somit zum Teil eines größeren Ganzen, seine oder einige seiner Funktionen werden durch das angeschlossene System audiovisuell verarbeitet: »Die Performance selbst war vielleicht der Schlüssel zu diesem Schritt [Wechsel zwischen Kontrolle und Hemmungslosigkeit], indem sie den Übergangskörper als ein Phänomen zur gleichzeitigen Beobachtung, Analyse und Erfahrung wieder belebte.«301 Dies entspricht in theoretischer Weise den Überlegungen des Medientheoretikers Marshall McLuhan, der die Bedeutung medialer Technik in ihrer Verbindung mit dem Körper sieht. Er propagiert körperliche Anpassung durch zukünftige Anforderungen durch Technik und möchte Technik dabei gar als veräußerte Organe und somit Erweiterungen des Körpers ebenso erkennen wie die Möglichkeit der Einverleibung. Demzufolge könne das zentrale Nervensystem gewissermaßen die Welt umspannen.302 In diesem Sinne wird alles Teil eines anderen, die Haut ist nicht mehr Grenze des Selbst, sondern Verknüpfungspunkt mit der Umgebung. Die Berührung sei somit nicht nur sinnlicher Kontakt, sondern auch metaphorische Vernetzung mit der Welt und anderen Menschen.303 Stelarc als multimedialer Performancekünstler führt durch Anknüpfungen und Einverleibungen technischer

299 http://libserv5.tut.ac.za:7780/pls/eres/wpg_docload.download_file?p_filename=F146094602 2/steyn.pdf, S. 130. 300 www.sterneck.net/cyber/stelarc-fleisch/index.php 301 Goodall, 2002, S. 312. 302 McLuhan, 1964, S. 3. 303 Ebd., S. 52.

167

168

Haptik am User Interface

Geräte auf anschauliche, oft auch humorvolle Art vor, wie die mechanische und digitale Realität aussehen könne. Wo McLuhan im obsoleten Körper gegenüber der Entwicklung der Technik eine Warnung ausspricht und ohne Erweiterung des Körpers eine Überforderung erkennt, sieht Stelarc die positive Möglichkeit auf eine nächste Evolutionsstufe.304

Abb. 14: Stelarc, Third Hand

Weitergehende Überlegungen zu den Möglichkeiten des Stimbod/StimboxSystems zum Cybersex wurden im Rahmen eines Seminars in Melbourne mit Sandy Stone angeregt.305 Die multiple Nutzung des Systems durch beispielsweise gleichzeitig zwei Personen, die sich an verschiedenen Orten befinden, befruchtet die Überlegungen zur gleichen und gleichzeitigen Berührungsempfindung, wodurch theoretisch über eine Symbiose zu einer gemeinsam empfindenden Haut nachgedacht werden kann. Hierbei ergebe sich auf symbolische Weise eine Umbenennung der Haut als nicht mehr wahrnehmendes und in welcher Qualität auch immer trennendes Interface. Es komme zu einer symbiotischen Verschmelzung mehrerer Subjekte in ein einzelnes Subjekt.306 In der Gedankenwelt Stelarcs führe dies sogar zur Verschmelzung zu einem Objekt im Sinne des Körpers als Material.307 Das System fordert bewusstes aktives Handeln mit einem bewussten passiven Ausliefern und somit die Annahme von Information über die Haut und den Körper. Die Information stellt sich dabei als eine Aufforderung zur Bewegung einzelner Körperpartien heraus:

304 305 306 307

Sprenger, 2008, S. 35f. www.sterneck.net/cyber/stelarc-fleisch/index.php Benthien, 1999, S. 273. Vgl. auch dazu: Sprenger, 2008.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

»Bedenke, daß das Stimbod nicht bloß die Empfindung einer Berührung, sondern ein Betätigungssystem ist. Kann ein Körper mit Erfahrungen extremer Abwesenheit und fremder Handlung zurechtkommen, ohne von altmodischen metaphysischen Ängsten und Besessenheiten von Individualität und Handlungsfreiheit überwältigt zu werden? Für ein Stimbod würde es also notwendig sein, Wirklichsein weder als vollständig-präsent-in-diesem-Körper, noch als vollständig-präsent-in-jenem-Körper zu erfahren, sondern als teilweise Hier und teilweise Dort. Ein einsatzfähiges System von räumlich verteilten aber elektronisch gekoppelten Klustern von Körpern, in hin und her fließendem Bewußtsein, erweitert und verändert durch eine Fremdsteuerung.«308 Diese Kombination von Eigen- und Fremdsteuerung macht auch die Gegenwärtigkeit seiner Performance aus, dem Überraschungseffekt des Moments. Dies ist ähnlich der in der interaktiven Kunst vom Künstler vorgegebenen Handlungsmöglichkeit oder -freiheit. Ein Benutzer wird geleitet, handelt aber auch selbst. Stelarc betont, dass die Technologie selbst nicht wichtig sei, sie werde aber interessant, weil sie neue phänomenologische und physiognomische Realitäten eröffnet und erkunden lasse.309 Somit folgt das Design seines Systems auch keinen aktuellen Strömungen, ist nicht besonders alltagspraktikabel oder im allgemeinen Sinne ästhetisch. Seine Nacktheit, die schon früh in seiner Arbeit präsent war, lenkt im Besonderen den Blick auf die angebrachten oder integrierten technischen Geräte, ohne etwas verstecken zu wollen. Stelarc und Stenslie bieten eine intensive haptische Verbindung zwischen Mensch und Maschine an. Diese kann einen hohen Involvierungsgrad des Benutzers bis hin zu Schmerzempfinden bedeuten. Ein Entziehen ist nur schwer möglich. Dies soll im kommenden Kapitel noch einmal anhand der Teletaktilität reflektiert werden.

3.7

Zurück zum Begriff der Teletaktilität zwischen Nah und Fern

An dieser Stelle soll noch einmal Derrick De Kerckhove erwähnt werden, der in Bezug auf die Kommunikation mit dem Cyberspace sowohl eine Auflösung der Hautgrenzen als auch deren Ausweitung erkennt, wobei er jede Form der Interfaces mit den Funktionen Druck, Bewegung und Berührung meint:310

308 www.sterneck.net/cyber/stelarc-fleisch/index.php 309 Stelarc frei zitiert aus der Dokumentation »BioArt: Kunst aus dem Labor«: http://creative. arte.tv/de/bioart-kunst-aus-dem-labor 310 Becker, 2002, S. 255.

169

170

Haptik am User Interface

»Er spricht in diesem Zusammenhang nicht nur von einer globalen Propriozeption (was immer das auch sei), sondern zudem von einer durch elektronische Kommunikationsnetzwerke realisierten Erweiterung der Haut. Ihm zufolge zeigt die neue Haut des technologisch transformierten Körpers eine entgrenzte Universalität, die das Individuum nicht mehr an einen bestimmten Ort bindet und seine Berührungen abhängig macht.«311 Propriozeption als Körpererfahrung, sowohl des inneren Körpers als auch äußerer Ereignisse312 ist eine Bewusstwerdung des Körpers, wobei De Kerckhove dies wiederum auf eine »universelle Taktilität«313 der Haut bezieht. Sie symbolisiert nicht mehr die abgeschlossene Hülle und des Selbst, sondern vielmehr die Verbindung zwischen vielen Menschen durch physische Inanspruchnahme an den Interfaces. Taktilität steht hier somit nicht nur für einen tatsächlich physischen Tastsinn: »De Kerckhove hat daher recht, wenn er davon spricht, ›daß alle Schnittstellentechniken Variationen zu den Ausdrucksformen des Tastens sind‹, insofern es darum geht, den Körper direkt und unausweichlich virtuellen Umwelten auszusetzen. Euphorisch spricht er davon, daß ›jedes Interaktionssystem zwischen Körper und Maschine eine Abwandlung der Fähigkeit [ist], berühren zu können und sich berühren zu lassen‹. Die Hautsinne avancieren zum neuen Leitsinn, indem fortan alle Sinne durch die direkt mit dem Körper verbundenen Schnittstellen mehr oder weniger nach dem Modell taktilen Kontakts funktionieren sollen.«314 Wobei hier relativierend angemerkt werden muss, dass De Kerckhove vielmehr die Rückholung der restlichen Sinne betonen will, entgegen einer Dominanz der Visualität nach »[…] Buchdruck, Malerei, Fotografie, Film und Fernsehen […]«,315 mitnichten damit ein Manifest des Tastsinns anstrebt.316 Er benutzt Begriffe wie »Wiederentdeckung«317 und »Trend«,318 wenn er über Telepräsenz schreibt. Konkret wird sein Verweis auf den Tastsinn, wenn er eine Weiterentwicklung von der 2D zur 3D Computersimulation beschreibt, die schließlich von Force Feedback319 oder Sensationen durch Datenhandschuhe320 ergänzt wird. 311 312 313 314

Ebd. De Kerckhove, 1993, S. 139. Becker, 2002, S. 255. Benthien, 1999, S. 275/Die Autorin verweist hier auf: De Kerckhove, 1996, S. 335f./Hier ist ein weiterer Hinweis auf die Nutzung des im Gegensatz zu »haptisch« zu kurz gedachten Begriffs »taktil«. Auch De Kerckhove schreibt von »electro-tactile technology«, siehe De Kerckhove, 1995, S. 43. 315 De Kerckhove, 1993, S. 155. 316 Ebd., S. 140f. 317 Ebd., S. 145. 318 Ebd., S. 149. 319 Ebd., S. 43. 320 Ebd., S. 45.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Claudia Benthien beschreibt mit dem Bezug auf De Kerckhoves Überlegungen eine Symbolisierung der Haut als Äußeres des Körpers und des Selbst, als Kontaktmöglichkeit sowie Orientierung in und mit der Umwelt. Doch auch wenn eine Auflösung der Sinne befürchtet oder die Technik propagiert wird, die als Kontaktwerkzeug dem Körper angelegt werde und ein Fernsinn zu einem Nahsinn werde,321 so werden die Veränderungen der Sinne durch eben diese neuen Techniken fehlinterpretiert. Der Benutzer einer Datenbrille könne sich nicht mehr von der virtuellen Welt abwenden, in die er schaut. Der Körper selbst fühlt immer noch gleich, aber die Umwelt ist es, die in anderem Gewand erscheint, wenn sie nicht real ist, sondern virtuell. Doch der sinnliche Kontakt und die zu verarbeitenden Informationen durch den Körper verändern sich nicht, allein die Simulation von Sinneseindrücken durch Technik und somit die Form von Stimulation für den Körper ist neu. In diesem Sinne sollten auch die telehaptischen Interaktionstechniken als vom Menschen erschaffene Möglichkeit der realen Umwelt zu sehen sein, welche Stimulationen bieten können, die sich ähnlich wie reale, natürliche Objekte oder Menschen anfühlen. Dies wäre eine Annäherung an ein künstliches Hautgefühl. Oder seien es eben auch die Ideen durch zwischengeschaltete Technik Stimulationen als neue Art einer erweiterten Kommunikation zu erproben. Die teletaktilen oder telehaptischen Techniken führen dabei die tatsächliche Körperlichkeit vor: »Während im imaginären Selbst- und Körperbild die Haut als sichtbare Körpergrenze fungiert, wird man sich der Haut als erlebter Körpergrenze nur in bestimmten Momenten bewusst: Wenn das Selbst mit anderen (Menschen oder Dingen) in körperlichen Kontakt tritt, z.B. sich verletzt wird oder in der erotischen Begegnung Lustgefühle erlebt.«322 Diese erlebte Grenze sei, laut Barbara Becker, bereits an sich sowohl eine Erkenntnis der Begrenzung, da der Körper auf einen Widerstand der Umwelt stößt, als auch Entgrenzung, da dieser Kontakt mit dem anderen (Mensch oder Ding) ein Gefühl der Verbindung zwischen dem Eigenen und dem Fremden gebe.323 Es ist richtig, dass sich der Körper einer sinnlichen Wahrnehmung bei Nutzung einer virtuellen Datenbrille oder gar eines Datenanzugs (im Sinne Stenslies oder Stelarcs Systeme) nicht entziehen kann. Doch dies muss keine Neudefinition der Sinne zur Folge haben. Das Annehmen von Technik im Anlegen an den Körper ist eine ebenso bewusste Entscheidung zur visuellen oder haptischen Kommunikation wie ein Händedruck oder das Streicheln und Gestreicheltwerden von und mit einem anderen Menschen. Zwar kann man sich in einem Datenanzug der haptischen Sinneseindrücke nicht entziehen, doch die haptische Wahrnehmung bleibt

321 Benthien, 1999, S. 275. 322 Becker, 2002, S. 261f. 323 Ebd., S. 262.

171

172

Haptik am User Interface

eben Nahsinn, die Fernsinne bleiben Fernsinne. Auch mit einer Datenbrille kann man noch die Augen schließen, etwas, das auch in der realen Welt ebenfalls die einzige Möglichkeit wäre, nicht wahrzunehmen. Der Erregung aller anderen Sinne kann sich der Mensch nicht entziehen. Die visuelle Wahrnehmung bleibt aber ansonsten sowohl in der realen wie auch virtuellen Welt gleich. Die Möglichkeit der Teletaktilität, also der Integration von Ferne in den Nahsinn der haptischen Wahrnehmung, bringt neue Formen der Kommunikation und Informationsübertragung am Körper des Empfängers, die nicht nur audiovisuell sind, sondern Informationen in einer anderen Ästhetik zeigt. Die sinnliche Wahrnehmung bleibt aber immer noch dieselbe: Der Sender berührt etwas und der Empfänger interpretiert es. Die Zwischenschaltung von technischen Geräten kann nun eben im negativen Sinne als Entfernung der Körper zueinander gesehen werden oder im positiven Sinne als Möglichkeit darüber nachzudenken, was diese Berührung überhaupt bedeutet und welche Informationen in einem haptischen Kontakt stecken. Der Diskurs der Teletaktilität sollte sich nicht um die dystopischen Gedanken einer gefühlslosen, kalten Welt von Menschen drehen, die sich nicht mehr direkt berühren wollen. Vielmehr sollten Gemeinsamkeiten und Unterschiede einer haptischen Berührung von (mindestens) zwei Menschen und der Berührung mit zwischengeschalteter Technik betrachtet und die Technik als erweiterte Möglichkeit gesehen werden, die einen neuen Blickwinkel auf die so scheinbar selbstverständliche Form des Fühlens erlaubt. Der wichtige Teil einer Diskussion der Teletaktilität sollte sich demnach nicht (nur) um die Bedeutung der Distanz und Ferne drehen, sondern vielmehr um die erweiterten Möglichkeiten der Haptik. Die Verarbeitung der Stimulationen hat sich und wird sich dabei, wie bereits erwähnt, nicht verändern, doch könnte die Technik neue ästhetische Informationsformen wie Vibration, Druck oder Wärme und Kälte anbieten, die sich eben qualitativ von bisheriger haptischer Kommunikation unterscheidet. Haptische Kommunikation könnte sich in einem Lernprozess somit auch zu einem stärkeren Informationsträger entwickeln. Neben der propagierten Anonymität, die entsteht, wenn zwischen zwei Menschen Technik geschaltet wird,324 ist auch die Multiplizierung der Teleberührung ein wichtiger Punkt. Denn eine Berührung, die durch Technik in Daten umgesetzt wird, kann nun nicht nur auf eine (anonyme oder nicht anonyme) Person, sondern gleichermaßen auf viele Personen übertragen werden. Der Berührung zweier Menschen, die sich auf einen lokalen Kontakt von Haut an Haut bezieht, wird nun diesem Ortsbezug entzogen, denn der Berührungsort stellt nun die Technik dar.

324 Hier wird außer Acht gelassen, dass auch reale, körperliche Nähe zwar intim, aber dennoch anonym sein kann, nur eben nicht gesichtslos im Sinne einer sehr weiten Entfernung zueinander.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Die Berührung wird in Daten umgesetzt und an einen nächsten Ort weitergegeben, der wiederum die gleiche Körperstelle eines oder mehrerer Nutzer sein könnte. Wichtig ist, dass die haptische Berührung des Interfaces einen diskutierten Bezug zur haptischen Kommunikation zwischen Mensch und Mensch(en) hat. Allerdings sollten auch hier die Interfaces im Besonderen als haptische Möglichkeiten betrachtet werden. Der Einbezug des menschlichen Faktors betont dabei noch einmal den Gedanken rund um das bewusste, aktive oder passive, haptische Erleben an den Interfaces, die hier die Kommunikation mit einer anderen Person darstellt und nicht als Feedback der technischen Aktivität aufgrund der Benutzeraktion zu sehen ist. Zur weiteren Analyse einer Berührung werden im Folgenden die Möglichkeiten und der Einfluss biologischen Wissens auf die Beschaffenheiten eines künstlichen Objekts in besonderen Bezug auf Interfacematerialen betrachtet werden. Dabei wird auch eine Materialkonnotation besprochen werden. Wie lassen sich die fühlbaren Möglichkeiten der Vibration, des Drucks oder der Temperatur noch künstlich nachahmen oder integrieren? Was kann von der Biologie auf haptische Technik übertragen werden, um vielleicht sogar so etwas wie künstliche Haut zu erschaffen?

3.8

Jill Scott: Künstliche Haut »Doch was ist diese Haut der Maschinen? In erster Linie ist sie das Organ, das gleichsam berührend und berührt ist, jene Oberfläche, auf der die Wahrnehmung des Eigenen und des Fremden in eins fallen (Merleau-Pontys Chiasmus-Konzept): Es sind gerade die vielfältigen Oberflächen und Mechaniken der Maschinen (ihre Peripherien), welche: 1) die Zugänglichmachung der Maschine für den Leib bedeuten und 2) zugleich als Bilder zur Beschreibung des Körpers fungieren. Die so entstehenden Schnittstellen von Körper und Maschine können in diesem Sinne sowohl als verkörpertes Wissen als auch als entkörperte Handlung betrachtet werden.«325

Die Künstlerin Jill Scott nimmt sich der zuvor zitierten Thematik unter anderem in dem Projekt e-skin an, das sie zwischen 2003 und 2006 erarbeitete.326 Sie forschte in dieser Zeit an tragbaren Interfaces und deren Möglichkeiten der Nachahmung der bekannten Grundeigenschaften der haptischen Wahrnehmung von Druck, Temperatur, Vibration und Propriozeption. Ihr künstlerisches Œuvre ist seit Mitte der 325 Wolfsteiner, 2011, S. 44. Der Autor verweist hier auf: Merlau-Ponty, Maurice: Das Sichtbare und das Unsichtbare; München, 1994 [1959]. 326 jillscott.org/homepage.html

173

174

Haptik am User Interface

1970er Jahre ähnlich wie bei den zuvor besprochenen Künstlern Stenslie und Stelarc durch Performances geprägt, zudem durch Videokunst und dem Einfluss von technischen Environments auf die Interaktivität. Die Frage der Definition und nach dem Verhältnis des Körpers war stets Teil ihrer Arbeit: Sie interessierte die Kodierung des Körpers, der Körper als performatives Material und wie dieser mit dem Publikum interagieren kann. Zudem untersuchte sie Metaphern des Körpers, die feministische Auseinandersetzung, sowie Cyborgkonzepte und hatte das »[…] Bedürfnis, die Grenzen konventionellen Denkens zu durchbrechen«.327 Aus Arbeiten, die nie nur für sich standen, sondern stets auch von ihr selbst thematisch besprochen wurden, entstand vermehrt das Interesse an vernetzter interdisziplinärer und wissenschaftlicher Arbeit, die unter anderem bis heute in der Professur für Art and Science am Institut for Cultural Studies in the Art an der Züricher Universität der Künste (ZhdK) oder einem Artists-in-Labs Programm mündet.328 Dieses Programm verfolgt dabei nicht nur das verbreitete Ziel, Wissenschaft anschaulich zu machen – Scott nennt es eine Validierung oder gar nur Visualisierung der wissenschaftlichen Arbeit – sondern will die künstlerische Arbeit interdisziplinär und gemeinsam mit den Wissenschaftlern verorten (englisch: »situate«):329 »If knowledge is ›situated‹ it must include the surrounding cultural and contextual field as well as take the audience into consideration. The term ›situated knowledge transfer‹ automatically implies the willingness to cede information from one person to another without any level of snobbery.«330 Dieser Wissenstransfer erfordert, wie bei Shanken im Eingangskapitel zu den Künstlerwissenschaftlern bereits angedeutet, sowohl eine gemeinsame Sprache als auch Metaphern, die die wissenschaftliche Arbeit, aber auch den Lernprozess und somit die Fortschritte, verdeutlichen.331 Zudem wurden im Rahmen des Projekts die Wichtigkeit und der eigentlichen Nutzen der Kreativität in Bezug auf den Prozess der wissenschaftlichen Arbeit sowie ethische Fragestellungen diskutiert.332   e-skin ist ebenso nicht »nur« die Idee ein Kunstwerk oder eine Installation zu schaffen, sondern künstlerischer Ausdruck einer längeren forschenden Arbeit. Ziel der e-skin-Forschungsgruppe um Jill Scott, bestehend aus je zwei Künstlern und Wis-

327 Scott/Atkins, 2003, S. 14./http://medienkunstnetz.de/themen/cyborg_bodies/erweiterte_koerper/ 328 jillscott.org/homepage.html 329 Scott, 2006, S. 25. 330 Ebd. 331 Ebd. 332 Ebd., S. 27ff.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

senschaftlern, einem Psychologen und den Versuchsteilnehmern,333 ist es, tragbare und dem Körper anpassbare HCI-Objekte zu schaffen, die die Kommunikation über die audiovisuelle Ebene hinausbringen. Die tragbaren Interfaces sollen dabei die menschliche Sensorik simulieren. Das Projekt umfasst neben dem grundsätzlichen Interesse nach Kommunikationshilfen für audiovisuell beeinträchtigte Menschen erstens die Frage der cross-modal interaction und der dafür genutzten Hirnareale, also der gleichzeitigen Wahrnehmung der Umgebung oder Objekten durch mehrere Sinne und deren Verhältnis zueinander. Zweitens behandelt es das damit verbundene cognitive mapping, kurz gesagt der Kodierung und Dekodierung von Information über die Räumlichkeit, somit dem körperlichen Wissen über den Standort in der Umgebung. Drittens wird die Körperlichkeit in digitalen Umgebungen diskutiert.334 Um diese theoretischen Ziele zu erreichen, wurde das Projekt mit einem experimentellen, wissenschaftlichen Versuchsaufbau durchgeführt. Hierfür entstand eine räumliche Anordnung um die jeweilige Testperson herum, die aus einer Plattform mit drei Projektionen auf drei Wänden und einem Sechs-Kanal-Surround-Sound bestand. Der Bereich konnte interaktiv durch Bewegungen, Gesten und audiovisueller Kontrolle genutzt werden.335 Der Benutzer der, künstlerisch formuliert, interaktiven Installation, ist zudem mit sensorischen Objekten konfrontiert, die mit radio-frequency identification (RFID) versehen sind. Er nimmt somit über elektromagnetische Wellen Bewegungen der Objektumgebung wahr. Zudem ist die Testperson mit tragbaren Interfaces versehen, die eine weitere körperliche Rückkoppelung und Verbindung mit dem Raum und den Objekten ermöglichen. Die Anordnung ähnelt dabei noch mehr einem Versuchslabor336 und Versuchsaufbau als bei Stenslie, der auch die Installation für ein zuschauendes Publikum konzipierte, die genutzten Interfaceobjekte spielerisch organisch formte oder den Raum der Interaktion des Benutzers gestaltete. Die Endausführung des eskin-Projekts bleibt eher nüchtern, konzentriert sich auf die haptischen Interfaces und audiovisuellen Ereignisse der Projektionen. Teilziel war zudem ein ähnlicher Gedanke wie bei Stenslie, wenn Scott von einem gemeinsamen Code schreibt, nämlich ein haptisches, auch hier »tactile«337 genanntes, Vokabular zu schaffen, das sowohl beeinträchtige als auch nicht beeinträchtige Menschen gleichsam verstehen würden: »We now assume that these cues could develop into a type of communication code, which can be easily learnt and would allow for tactile and sound combinations to be shared through visual associations with non-impaired audiences. In

333 334 335 336 337

Scott, 2008, S. 64. Ebd., S. 63. Ebd., S. 64. Marsh, 2003, S. 36. Scott, 2008, S. 64.

175

176

Haptik am User Interface

other word, codes from tactile stimulation and acoustic feedback by an impaired actor could be transferred into visual stimuli for a sighted audience.«338 Zwei Wege werden dabei angestrebt: zum einen die direkte Elektrostimulation auf den Körper und zum anderen eine tragbare sensorische Technologie, die kabellos mit der ebenso sensorisch verknüpften Umgebung kommuniziert. Der Code steht bei ihr aber auch allgemein als Auseinandersetzung mit dem Einbezug anderer Menschen in ihre Werke. Scott interessiert die damit verbundene »Manipulierbarkeit«339 des Verhaltens. Dies geht allerdings nicht von einem kontrollierenden Machtgedanken einer Künstlerin aus, sondern aus der Möglichkeit, durch wissenschaftliche Analysen die Reaktionen der Benutzer in den konzeptuellen und kreativen Prozess der Entstehung eines Projekts oder Werkes mit einzubeziehen.340 Das prozessuale Arbeiten ist für Scotts gesamtes bisheriges Œuvre symptomatisch. Sie selbst teilt ihr künstlerwissenschaftliches Leben durch ihre Reisen und unterschiedlichen Forschungsaufenthalte in mehrere Phasen ein, die zu einer steten Beschäftigung mit dem Körper, aber immer »[…] progressive Auslegung ihrer Arbeit […] im performativen Raum, im nicht-linearem Raum des Bildschirms und im sozialen Raum der Interaktion einer entsprechenden Ausdruck […]«341 fand. So war auch das e-skin-Projekt von Beginn an nicht als Schaffensprozess mit einem am Ende abgeschlossenen Kunstwerk in Form einer Installation oder von Objekten aufgefasst, sondern als Testphase mit Prototypen und dem Ziel, bestehende technische Möglichkeiten weiterzuentwickeln: »Tatsächlich ist mein Entstehungsprozess von Medienkunstwerken von Natur aus wissenschaftlich. Er führt von der Formulierung einer Idee (Hypothese) über die Durchführung von Untersuchungen (Experimente und Prototypen) zur Schlussfolgerung (Beweis – das vollendete Kunstwerk). In der Tat habe ich häufig versuchsweise die Rolle einer ironisch-distanzierten Wissenschaftlerin angenommen und dabei gelegentlich Information decodiert und klassifiziert.«342 Die Interfaceprototypen des e-skin-Projekts wurden Skulpturen »Smart Sculptures« genannt.343 Die Bezeichnung legte den Stellenwert fest, nicht tragbare Interfaces im Sinne einer Fernsteuerung oder eines Bedienwerkzeuges zu sein, sondern vielmehr Skulpturen, deren Berührung oder Handhabung Echtzeitereignisse am Interface, aber auch bei der gesamten, angeschlossenen Rauminstallation auslöste. Die Smart Sculptures waren muschelähnlich geformt und kabellos mit tragbaren

338 339 340 341 342 343

Ebd. Scott/Atkins, 2003, S. 15. Ebd. Ebd., S. 5. Ebd., S. 12. Scott, 2008, S. 64.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Computern sowie mit Sensoren für Bewegung, Temperatur, Vibration und Druck versehen. Technisch gesehen können sie als funktionsstärkere Maus verstanden werden, mit dem Unterschied, dass die Skulptur als Controller in der Hand gehalten werden musste, nicht über eine Fläche gezogen. Mit diesen Controllern konnten sich die Benutzer mit Hilfe der Vertonung durch den Surround-Sound durch verschiedene virtuelle Visualisierungen von Hautschichten und abstrakten Körperarealen bewegen. Die Sensoren waren dabei mit unterschiedlichen Effekten verknüpft, wobei die Töne der Orientierung dienten:344 Änderung des Drucks auf die Smart Sculpture veränderten Tonvariationen, Temperaturschwankungen hob oder sank die Lautstärke, eine Neigung der Sculpture bewegte das Bild. Zudem regelten die Vibrationssensoren die Geschwindigkeit und waren Feedbackvibration von animierten Figuren, die noch einmal eine Art virtueller, sich wie der Benutzer bewegender Avatar des Benutzers im selbstkontrollierten Bild darstellten. Die Avatare waren ein virtueller Schatten im Bild. e-skin verhandelt eine haptische Raumorientierung, dessen Lernprozess ein Learning by Doing ist. Das Benutzen einer Maus oder von ähnlichen Geräten, um sich durch virtuelle Welten zu klicken, ist nicht neu, doch die Integration der Haptik schon. Jeder Benutzer muss hier erst einmal mit bewusster Konzentration haptische Erfahrungen am Interface machen, um zu erkennen, welche Möglichkeiten für welche Funktionen stehen. Die angesprochenen Forschungsfortschritte ergaben sich aus der Nutzung durch sehbeeinträchtige und nicht beeinträchtigte Teilnehmer, die in der ersten Prototypenstufe die unterschiedlichen haptischen Funktionen mit Tönen und Bilder verbinden sollten. Nach einer ersten Lernstufe fingen sie aber selbstständig an, Töne und Bilder aneinanderzuhängen und zu komponieren. Die körperliche Handlung wurde zu einem Lern- und Erinnerungsprozess. Dies kann als ein Verweis auf Scotts generelle Vorstellung gesehen werden, dass zwischen Körper und Erinnerung eine Verbindung besteht.345 Die kreativen Ergebnisse wurden wiederum in einer nächsten Stufe als visuelle Objekte mit Tönen und haptischem Feedback verknüpft. Diese Objekte wurden »Artefakte« (»artefact«346 ) benannt, je nach wissenschaftlicher Definition ein Objekt mit festgesetzter Bedeutung. Eines von ihnen bekam eine individuelle Arbeitsbezeichnung: die Medienskulptur Derma-tone.347 Diese Artefakte oder Ebenen mussten vom Benutzer durchwandert werden. Im Fall von Derma-tone war es die metaphorische Audiovisualisierung des, wie der Titel verrät, Dermatom; das heißt das Hautareal, dass sich um den Rückenmarksnerv herum befindet. Diese virtuelle Audiovisualisierung war in den

344 345 346 347

Ebd., S. 65. Scott/Atkins, 2003, S. 20. Scott, 2008, S. 65. Ebd.

177

178

Haptik am User Interface

verschiedenen Ebenen als Buch dargestellt. Damit könnte die haptische Orientierung metaphorisch auch als eine Art Reise der Erkenntnis zu mehr Wissen wie beim Lesen eines Buchs gesehen werden, dessen »Seiten« hier wiederum als digitale Haut gestaltet worden waren. Dieses Erkunden der Haut erinnert an ein einfaches und in seiner Simplizität liebevoll künstlerisches Spiel mit der Maus, dem gängigen Interface der ersten Computergeneration, die in Bezug auf die Interfaces zeitlich bis zum heutigen Tag reicht: Masaki Fujihata zeigte 1999 mit Impalpability auf einem Bildschirm eine virtuelle, grafische Umsetzung einer Hautoberfläche, über die sich der Benutzer entlang bewegen konnte. Die Maus als Interface sollte dazu umgedreht werden, bewegt oder gescrollt wurde somit durch Berührung der Fingerkuppen an der/den Mauskugel/-balls. Diese Kugeln früherer Mäuse wurden mittlerweile größtenteils durch Lichtsensorik ersetzt. Die Nutzung des User Interfaces erzeugte die haptische Illusion, dass der Benutzer seine eigenen Finger über die virtuelle Haut bewegte.348 Interfaces zur Kontrolle virtueller Installationen nutzte Scott schon seit den 1980er Jahren mit einem für diese Zeit selten gesehenen Touchscreen349 bei Paradise Tossed (1982 – 1992)350 oder bei einem zum händischen Interface abgewandelten Endoskop351 in Interskin (1992 – 2009).352 Auch den Begriff der Smart Sculptures verwendete Scott bereits in einer früheren Arbeit, die gemeinsam mit Martin Häberle entstand, A Figurative History353 war ihre erste Arbeit, die sich der Haut als Interface354 widmete. Genutzt wurde dabei die Elektrizität der Körper der Benutzer, um virtuelle Avatare auf mehreren Bildschirmen der Installation zu kontrollieren:355 »Martin Häberle und ich hatten entdeckt, dass wir ein Interface herstellen konnten, indem wir das Wasser im Körper der BesucherIn durch Berührung als elektrische Leitung an den Stromkreis anschließen konnten.«356 Fünf Bildschirme als fünf miteinander verbundene Terminals zeigten dabei Repräsentationen von bekannten Körpermetaphern und Cyborgs der Kulturgeschichte, die den Einfluss der Technologie auf den Körper mal mehr, mal weniger fantasievoll verhandelten. Darunter befanden sich unter anderem Frankensteins Monster oder Lady Miso. Mehrere Benutzer saßen sich dabei durch eine kreisförmige Anordnung der 348 349 350 351 352 353

Kohle/Kwastek, 2003, S. 177. Scott/Atkins, 2003, S. 27. http://jillscott.org/homepage.html Scott/Hahne/Ascott/Elsen, 2003, S. 180. http://jillscott.org/homepage.html Das Werk ist laut eines Artikels auf 1995 datiert (Nach: http://medienkunstnetz.de/themen/ cyborg_bodies/erweiterte_koerper/). Scotts Website benennt das Jahr 1996 (Nach: http:// jillscott.org/homepage.html). 354 Scott/Atkins, 2003, S. 13. 355 http://medienkunstnetz.de/themen/cyborg_bodies/erweiterte_koerper/ 356 Scott/Atkins, 2003, S. 28.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Bildschirme, die zudem ebenerdig gesetzt waren, wie in einem Meditationskreis gegenüber. Neben den Benutzern, die sich gegenseitig Hände haltend berührten, waren auch mechanische Berührungen Teil der Installation. Die nächste Stufe zur tragbaren e-skin war dann der Übergang zu einer Art haptischen Manschette, die flexibel am Unterarm und Nacken angelegt werden konnte und mit passiven und aktiven Sensoren ausgestattet war. Hautareale der Unterseite des Arms spürten Druck und Vibration, da auf seiner Oberseite ein brailleartiges Punktesystem angebracht wurde. Ein Benutzer war damit in der Lage punktuellen Druck am Unterarm eines zweiten Benutzers auszulösen und umgekehrt. Das Schultersystem war mit einem Kompass und einem Messsucher ausgestattet und wurde je nach Position im, mit Sensoren ausgestatteten, Raum aktiviert. Dies war als Vibration des Unterarms spürbar und diente der zusätzlichen Orientierung im medialen Raum: »Electro-touch sensivity and pattern recognition. In this task we measured the visually impaired participants’ touch sensivity levels using electronic skin stimulation as a cue for orientation. We noticed that each participant had a different idea about the recognition of patterns though direct skin stimulation. They all agreed that a type of Braille electro-pattern-stimulation code on the arm could be easily learnt as a form of augmented communication but they did have difficulties recognizing patterns with dots less than 2 cm apart.«357 Das Punktsystem stellte somit ein bekanntes Vokabular dar, setzte aber auch Grenzen in der Erkennung. Diese ersten beiden Stufen der Entwicklung von den Smart Sculptures zu e-skin mündete in dem Gedanken diese gelernten Codes kreativ weiter in eine dritte Phase überzuleiten: »Perhaps even the essential transfer of visual information codes from impaired persons to a sighted audience already constitutes a ›kind of script‹. In this light, we are also beginning to explore different types of appropriate content that can be used as educational themes for the development of theatre scripts. Thus this third stage of e-skin might empower both participant and audience member with a deeper level of perception and communication. This is the ›embodied way‹ for HCI: one that focuses on ubiquity, tangibility and most of all shared awareness, intimacy and emotion.«358 Dieses Zitat zeigt nicht nur einen Rückblick auf die bestehenden Projektphasen, sondern auch als zukünftiges Ziel etwas, was die haptische Medienkunst bisher noch zu wenig zeigt: den Willen, über die Erkenntnis hinaus haptische Technologie nicht nur differenziert rezipieren zu können, sondern auch durch die Entwicklung 357 Scott, 2008, S. 67. 358 Ebd., S. 69.

179

180

Haptik am User Interface

feiner Abstufungen eigene kreative oder auch theatrale Ausführungen auf haptischer Ebene zu entfalten, die losgelöst von der Audiovisualisierung funktionieren, wie Scott und zuvor auch Stenslie es anklingen lassen. Die Smart Sculptures und e-skin dienten der Orientierung in virtuellen Welten. Sie bekommen zwar einen erhobenen Stellenwert als Feedbackinstrument, sind aber dennoch Teil eines multimedialen Konzepts. Abschließend soll ein Auszug aus einem Gespräch zwischen Jill Scott und der Kuratorin und Medienkunsthistorikerin Ivonne Volkart einen Einblick in die Arbeit zwischen Kunst, Industrie und Wissenschaft bieten und zeigen, dass Projekte mit Teilnehmern verschiedener Interessengruppen auch immer einen Kompromiss fordern: »[…], dass es bei ›e-Skin‹ um zwei grundlegende Untersuchungen geht. Da ist zunächst einmal das von Ihnen bereits erwähnte Konzept, ein reaktives BüroEnvironment, bei dem die Verwendung des Interfaces mit einer realen Umgebung verbunden ist und, ja, es sollte die Konnotationen und die kritischen Auseinandersetzungen mit der Überwachung und der Entkörperlichung beinhalten. Dies ist gleichzeitig auch das kommerzielle Interesse einer unserer Forschungspartner im Bereich des Informationsmanagements. Außerdem gibt es zwei virtuelle audio-visuelle Environments, bei denen das Interface dazu verwendet werden kann, um auf Themen aus den Bereichen Kunst und Wissenschaft zu reagieren. Der wissenschaftliche Kontext besteht aus einer Reise durch unterschiedlichen Hautschichten (die Epidermis und die Dermis der menschlichen Haut). Hier kann der Betrachter etwas über den aktuellen Diskurs rund um die wissenschaftliche Erforschung der Haut lernen, indem er das Interface benutzt. Als Künstlerin ist der Kunst-Kontext natürlich weitaus interessanter für mich. In diesem Fall können drei Charaktere, die einen jeweils unterschiedlichen kulturellen Background haben, ihre persönlichen Geschichten erzählen, indem sie auf die Verwendung des Interface durch den Zuschauer reagieren. Wir hoffen, dass diese drei Interaktions-Level eine Art ergonomischer und metaphorischer Erweiterung der Haut in Form eines intelligenten Interface ergeben werden. Außerdem kann die Verwendung von ›e-Skin‹ das Bewusstsein dafür wecken, dass eine intuitivere Wahrnehmung und gesündere Navigationsgeräte im Rahmen der Technologie eher vonnöten sind, als dass man einfach nur zusätzliche Kontrollmechanismen entwirft.«359 Das Zitat verrät auf mehreren Ebenen, welche Gruppen und Themen verhandelt werden. Der kommerzielle Aspekt eines multimedialen Raums zur Büronutzung ist ein Punkt, welchen sich ein Finanzier wünscht. Hinzu kommt eine wissenschaftliche Erforschung der Raumorientierung für Sehbeeinträchtigte und die 359 http://medienkunstnetz.de/themen/cyborg_bodies/erweiterte_koerper/

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Wissensvermittlung über die Hautforschung. Auch die künstlerische Weiterentwicklung des Interfaces und die thematische Bearbeitung der Erweiterung oder Integration des Körpers in die Kunst ist ein Thema. Dies bringt Gedanken rund um die Vereinfachung der Mensch-Computer-Kommunikation und einer verbesserten Natürlichkeit mit ein, die Scott am Ende gar noch mit dem Schlagwort der Gesundheit verbindet. »Ich selber glaube, dass Künstler sehr wohl in der Lage sind, die problematischen ethischen Folgen und die gesellschaftlichen Implikationen der Transformation des Körpers mit Hilfe von wissenschaftlicher Forschung zu kommentieren.«360 Während Scott die Haut unter anderem als Metapher zur Kommunikation mit virtuellen Welten nutzt, arbeitetet die im Folgenden besprochene Medienkünstlerin Zane Berzina mit dem Gedanken, dass responsive Materialien eine zweite Haut darstellen könnten.

3.9

Das responsive Material von Zane Berzina

Die Künstlerwissenschaftlerin Zane Berzina erforscht und konzipiert aktive Materialien und interaktive Textilien, die sich an der Biomimetik orientieren.361 Die Berührung als Handlung ist ebenso Teil ihrer Werke wie Überlegungen, welche Oberflächen und Strukturen Haut hat und repräsentiert. Ihre analoge Arbeit EStatic Shadows,362 die 2009 unter anderem mit dem Architekten Jackson Tan realisiert wurde, ist eine textilorientierte Arbeit. Bei ihr hing eine weiche geschwungene Decke, in einem abgedunkelten Raum, der nur von eingewobenen LED-Lampen im Objekt erhellt wurde. Der Benutzer strich nun über die Oberfläche, die elektrostatische Veränderung wurde registriert und dunkelte die berührten Stellen ab. Die ausgeschalteten Lampen bildeten somit einen Schatten, eine Visualisierung der Berührung und eine Bewegung des Materials. Die eigens für die Installation erstellte Website präsentiert jedes Detail eines vorangegangenen zweijährigen Forschungsprozesses von September 2007 bis August 2008. Es sind die ersten Prototypen im dreistufigen Prozess des Designs und der Technikentwicklung verzeichnet, der historische Kontext der Elektrostatik, sowie die mitarbeitenden Ingenieure oder Materialwissenschaftler, bis hin zum Funding und Sponsoring von Institutionen im Bereich Forschung und auch Industrie. Die endgültige Präsentation in einer Galerie erfolgt durch das installierte Artefakt, so die Benennung seitens des Projekts.363

360 361 362 363

Ebd. www.zaneberzina.com/bio.htm www.zaneberzina.com/e-staticshadows.htm www.zaneberzina.com/e-staticshadows09/artefact.htm

181

182

Haptik am User Interface

Das Objekt als Kunstwerk wurde unter den Namen von Zane Berzina und Jackson Tan ausgestellt. Das responsive Material des Werks verdeutlicht metaphorisch ihre Definition menschlicher Haut als (non-verbaler) Kommunikator mit der Umwelt, aber auch sozialer Einschreibungen, die sich als Ästhetik oder Struktur der präsentieren.364 Die Haut wird hier als ein technisches Material betrachtet, wie ein Designer es als Teil einer Arbeit gebrauchen würde. Dabei wollen Berzina und Tan die analogen, direkten Eigenschaften einer Berührung in einer vermehrt digitalen, technischen Umgebung des Menschen betonen.365 Begrifflich wird Kleidung als zweite Haut und die Umgebung des Menschen als dritte Haut interpretiert,366 womit in der Folge verschiedene Lagen von Realität miteinander korrespondieren können. Dieser Korrespondenz liegt eine Vorstellung vom natürlichen Körper zugrunde, dessen Funktionen durch Technik verbessert oder vielmehr erweitert werden können: »The controversial idea of the technologically enhanced human body to improve its natural performance and appearance has influenced the development of my textiles concerned with the various issues of skin.«367 Dies stellt dabei keine Glorifizierung von Technik dar, Berzina betont vielmehr explizit, dass Technik für sich genommen weder gut noch schlecht sei.368 Ihre Technik formuliert sie als »Textiles«,369 etwas, das für sie die bereits erwähnte zweite und dritte Haut darstellt. Dass sich das Design der Textilien in ihren Aktionsmöglichkeiten an der natürlichen Funktion der Haut orientieren soll beziehungsweise hier ein Wissensaustausch von Möglichkeit und Ästhetik stattfindet, bestätigt den Gedanken der Haut als mehrere Ebenen einer Sache. Es zeigt aber auch die generelle Vereinfachung von Korrespondenz auf, indem ein gemeinsamer Nenner von Funktionen hergestellt wird. Dieser gemeinsame Nenner wiederum geht in die Richtung des intuitiven Designs von Interfaces, wie es beispielhaft bei Sommerer und Mignonneau präsentiert wurde. Die technische Herstellung der Textiles im Sinne eines »(Re)making of skin«370 erfolgte sowohl durch eine theoretische als auch durch eine praktische und experimentelle Aneignung von Materialwissen. In verschiedenen Schritten arbeitete Berzina mit Institutionen zusammen, die ihr den Zugang zu Laboren gewährten. Hier konnte sie die Physik der Haut bis auf mikroskopische Größe nachvollziehen. Im ersten Schritt erfolgte somit eine visuelle Beobachtung der Topografie der Oberfläche (»topography«)371 und Architektur der Hautstruktur (»architecture«).372 364 365 366 367 368 369 370 371 372

Berzina, 2004, S. 13. Berzina, 2008, S. 147. Berzina, 2004, S. 14. Ebd., S. 69f. Ebd., S. 70. Ebd., S. 84ff. Berzina, 2004, S. 99. Ebd., S. 101. Ebd., S. 104.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Hier assoziierte sie sprachlich die Haut bereits mit architektonischem Baumaterial. Das Design der Textilien erfolgt im nächsten Schritt dann durch eine Nutzung diverser Materialien dezidiert als Experiment.373 Ihre Forschungsorientierung liegt dabei letztendlich nicht nur auf der Herstellung von Kunst, sondern allgemein auf einer Wissensgewinnung auch für andere Designprodukte.374 Die Materialien sollen auch auf ihre haptischen Eigenschaften hin getestet und genutzt werden. Wie verhält sich das Material zu Druck, Gewicht oder Elektrizität? Welchen generellen Aggregatzustand hat es? Und wie verändert sich dieser bei Temperaturschwankungen? Die Experimente führten schließlich zu drei Produktionsmethoden, bei denen sich die Textilien mit elektrischen Geräten kombinieren lassen: •

• •

das Versicolour-System,375 bei dem sich die Farbe der Textilien durch die Zugabe von leichter Elektrizität und der daraus resultierenden Beeinflussung der Temperatur ändern lässt, das Multicolour Chromic Design,376 bei dem verschiedene Lagen von Farben hervorgehoben werden können, das sie temperaturabhängig reagieren, und die Heat’n’Sniff-Methode,377 bei der durch die Integration und Freisetzung von Gerüchen Materialtemperaturveränderung möglich sind.

Als objekthaftes Ergebnis dieser Methoden entstand 2003 das Werk Pulsating Object, eine »interactive heat-sensitive textile installation«378 in der Größe 1,7 Meter x 1,2 Meter x 1 Meter.379 Berzina will hier die Illusion380 einer Lebendigkeit erschaffen, indem die hautähnliche Fläche im Raum die Farbe sowohl durch Veränderung der Umgebungstemperatur, beispielsweise durch einen Ventilator oder eine Heizung, scheinbar »selbstständig« ändert, als auch durch die Berührungstemperatur eines Benutzers aktiv veränderbar ist. Die Kollektion, die sie für ihre Dissertation Skin stories: charting and mapping the skin, erstellte, wurde zusätzlich durch die erlangten Erkenntnisse zur Topografie und Architektur der Haut durch dreidimensionale Eigenschaften von Struktur ergänzt: »The generated textile surfaces carry tactile references to variety of epidermal states from smooth, soft to dry, disturbed or shed skin […], and provoke immediate emotional responses upon touching.«381 Ihre skulpturale Arbeit an der Oberfläche von Objektmaterialien ist letztendlich sozial orientiert, indem sie die 373 374 375 376 377 378 379 380 381

Ebd., S. 119. Ebd., S. 193. Ebd., S. 148ff. Ebd., S. 157ff. Ebd., S. 167ff. www.zaneberzina.com/pulsating.htm Berzina, 2004, S. 211. www.zaneberzina.com/pulsating.htm Berzina, 2004, S. 193.

183

184

Haptik am User Interface

haptische Sensation des Berührungsmoments verbessern und neue Qualitäten einbringen will: »[…] aim to offer unusual sensory experiences that simultaneously involve sight, smell and touch. They can be used as precious objects or decorative tiles aplied in a series or as one-off pieces. Furthermore, their integration in interactive interiors would enhance people’s senses and their wellbeing by releasing aromatherapeutic fragrances, performing soothing colourplays and intimately responding to touch. Such a multi-sensorial concept would be particularly useful for private environments – at home or in the office. It could offer a unique sensory experience which could enhance people’s emotional and physical wellbeing in calming and therapeutic ways, and also provide a unique personalised environment.«382 Die Haptik in der Medienkunst wird, wie sich gezeigt hat, in einer Telehaptikdebatte, dem Cybersex und vielen Versuchen, Materialien an ihrer Oberfläche neue Bedeutungen zu geben, verortet. Dies soll im folgenden Kapitel der jüngeren Medienkunstgeschichte noch einmal abschließend bestärkt werden.

3.10

Sensorisch orientierte Werke bis heute: Bewusste Körpererfahrungen und Hardwarehacking

Schmerz »But pleasure is not a single kind of experience. Haptic pleasure and haptic pain are related.«383 Dieses Zitat des bereits diskutierten Künstlers Ståle Stenslie führt nicht nur seine eigenen Werke zwischen leichter bis schmerzhafter haptischer Stimulanz durch seine bodysuits vor, sondern auch zu einem Werk, das interaktives Spiel, Gamegeschichte und die seltene Involvierung von Schmerz für den Benutzer im Kunstprojekt verbindet: das PainStation-Projekt der Medienkünstler Volker Morawe und Tilman Reiff, die mittlerweile unter dem Namen //////////fur//// art entertainment interfaces bekannt sind.384 Das installative Kunstwerk entstand an der Akademie für Medienkunst in Köln. Es wurde 2001 fertig gestellt und ist heute, unter anderem, im Computerspielemuseum385 in Berlin zu benutzen. Bis heute gibt es mehrere Versionen der jeweils als Einzelstücke gebauten Installationen, die dann anderorts benutzbar sind, wie beispielsweise in ihrer ersten Einzelausstellung im Museum für Kommunikation Berlin im Jahr 2016.386 Sie besitzen alle

382 383 384 385 386

Ebd., S. 234. Stenslie, 2010, S. 262. Ebd., S. 263. www.computerspielemuseum.de/ www.mfk-berlin.de/no-pain-no-game/

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

einen eigenen Projektnamen, so unter anderem Willi, Rudi oder Harri.387 Der Name Painstation ist ironisch an die bekannte Videospielkonsole Playstation angelegt, inklusive gleicher Typografie. Das Spielprinzip ist videospielhistorischer Natur, da zwei Spieler gegeneinander Pong, eines der ersten Video- und Arcadespielhallenspiele der 1970er Jahre, (erneut) spielen können. Jeder Teilnehmer steuert einen vertikalen Balken auf einer Seite, mit dem er einen Pixel wie einen Tennisball abprallen lassen kann um zu verhindern, dass dieser hinter die Balkenfläche gelangt, was einen Punkt für den Gegner bedeutet. Der Spielbildschirm ist in der tischartigen Installation mit der Größe 100 x 80 x 100 cm eingelassen, der Balken wird durch Drehen eines Knopfes auf der rechten Seite bedient (Abb. 15). Die PainStation erweitert das Spielsprinzip nun um haptische Sensationen: Jeder Benutzer legt seine linke Hand auf eine Fläche aus Edelstahl an der Seite, der sogenannten PainExecutionUnit (PEU),388 wobei ein Knopf gedrückt und gehalten werden muss, da sonst das Spiel für ihn beendet ist. Sobald der Gegner einen Punkt macht, können drei Bestrafungen folgen, die daneben als Symbole hinter dem eigenen Balken grafisch zu sehen sind: Die Fläche erhitzt sich, es erfolgt ein leichter Stromschlag oder eine kleine Plastikpeitsche schlägt auf die Handaußenfläche. Sie kann dabei schmerzhafte blaue Striemen, aber auch Wunden erzeugen. Je nach Spieldauer erhöhen sich die Geschwindigkeit, die Anzahl der Pixelbälle und die Intensität der Strafen durch Kombination aus allen drei Varianten. Das führt dazu, dass es für die Benutzer immer schwieriger, aber auch immer aufregender wird, dem Spiel zu folgen und sich zu konzentrieren. Bei den Nachfolgemodellen der ersten PainStation lässt sich die Plastikpeitsche austauschen. Es stehen dafür verschiedene Varianten zur Verfügung, darunter weichere Peitschen oder eine Feder. Auch die Stromstärke kann im Verlauf des Spiels intensiviert werden. Dazu kommt eine zusätzliche Schmerzvariante, die durch eingebaute Blitzlichter im Display, die den Spieler kurzzeitig blenden können, erzeugt wird. Schließlich gibt es eine Soundvariante, bei der die Installation selbst die Spielabläufe wütend kommentiert. Eine Erholung ist in Form eines Ventilators eingebaut, der sowohl die schmerzende Hand kühlt, wenn das entsprechende Grafiksymbol abgeschossen wird, als auch den erhitzten Stahl der Installation. Durch //////////fur//// entstanden weitere Werke, die zwischen multisensorischen Installationen und Spielen für einen oder mehrere Benutzer angelegt sind, wie den Legshocker aus dem Jahr 2002. Bei ihm handelt es sich um eine haptische Erweiterung des PlayStation 2 Controllers für das Videokonsolenfußballspiel FIFA 2002 und FIFA World Cup 2002.389 Dabei wird ein mechanisches Feedback als

387 www.painstation.de/collection.html 388 www.painstation.de/peu.html 389 http://2012.fursr.com/?p=338

185

186

Haptik am User Interface

Abb. 15: Volker Morawe und Tilman Reiff, PainStation

Schienbeinschoner getragen. Mit ihm wird jedes Foul als Hämmern eines Stahlbolzens auf das Bein spürbar. Dies ist eine schmerzhaftere und für das Fußballspiel immersive Ergänzung zur zuvor bereits besprochenen DualShock-Funktion des Controllers. Die immersive Wirkung kann je nach Intensität der Empfindung zweideutig interpretiert werden: Zum einen unterstützt sie die Aktionen der visuellen Grafik haptisch. Wird der Schmerz jedoch zu stark oder als überraschend oder explosiv erfahren, so kann er den Benutzer aus der Immersion des Spiels herausreißen, da sich das körperliche Bewusstsein auf den punktuellen Schmerz konzentriert. Wie bei der PainStation erfolgen sowohl eine haptische Bereicherung des Spiels als auch eine mögliche Ablenkung vom Geschehen. Elektrische Stimulation als schmerzhafte haptische Sensation, ebenso wie die Muskelkontraktion als Beeinflussung der Körperfunktion des Benutzers von außen, wurde zuvor bereits bei Stelarc besprochen. Auch in dem Forschungsprojekt der um den Wissenschaftler Max Pfeiffer angesiedelten Human-Computer Interaction Group an der Universität Hannover geht es um eine Kontrolle der Bewegungen von Fußgängern im Alltag durch derartige Kontraktionen.390 Die Cruise Control wurde unter anderem bei der CHI (Conference on Human Factors in Computing Systems) im Jahr 2015 in Korea vorgestellt. Sie folgt Überlegungen eines Navigationssystems via App über elektrische Muskelkontraktion des Schneidermuskels im Oberschenkel: An ihm wird eine kleine Elektrode angebracht, die über Bluetooth mit dem Handy und so mit dem System der Wissenschaftler verbunden ist. Erste

390 http://hci.uni-hannover.de/papers/pfeiffer2015CHICruise.pdf

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Vorführungen zeigten so die Möglichkeit eines haptischen Navigationssystems, bei dem die Benutzer beispielsweise bei einem Gang durch einen Park auf ihr Display schauen mussten und dabei die Kontrolle der Beine durch Stimulation des linken oder rechten Beins über die Wissenschaftler geleitet wurde. Das System ist hier nicht auf starken Schmerz ausgelegt. Die Kontraktion dient lediglich als stimulierender Hinweis: »The system does not cause walking movements, but only slightly rotates the leg in a certain direction while the user is actively walking. The user can easily overwrite the direction by turning the leg. If the user stops, the system does not have any observable effect, as the EMS signal is not strong enough to rotate the leg when the foot is resting on the ground.«391 Somit ist mitnichten von einer Übernahme der Körperkontrolle im Sinne Stelarcs als eine Art Ausgeliefertsein die Rede, sondern vielmehr von einer zusätzlichen und bewussten haptischen Erweiterung, die eine mögliche Aktion oder eine Richtung anzeigen, denen der Benutzer aber leicht widersprechen kann. Diese Form eines Lenksystems durch leichte haptische Impulse auf den Körper führt gedanklich zu Lernsystemen wie dem Piana Touch-Projekt392 von Kevin Huang, Ellen Yi-Luen und Thad Starner der Georgia Tech School of Music, die einen Datenhandschuh mit Exoskelett entwickelt haben. Dieser ist mit Vibrationssensoren versehen und mit einem beleuchteten Keyboard verbunden, das das Erlernen des Klavierspielens erleichtert. Die Finger der Benutzer können sowohl frei spielen als auch durch die Vibration eine Form der unbewussten Lenkung zu den richtigen Tasten erfahren. Anders aber als das vibrotaktile Feedback, welches mittlerweile schon einige Nutzungen zum Beispiel auf Mobiltelefone gefunden hat, ist die elektronische Muskelstimulation noch nicht verbreitet. Experimente von Max Pfeiffer und seinem Team zeigten, dass bei Interaktionen mit virtuellen Objekten, deren freihändiges Betasten mit einer EMS-Stimulation und Vibrationsstimulatoren am Unterarm verknüpft war, ein elektronischer Impuls eher mit hartem Material assoziiert wurde.393 Die Experimente führten auch vor, dass zwischen Vibration und Elektrostimulation Sensationsvariationen zwischen hartem und weichem Material sowie Kälte oder spitzen Objekten möglich ist.394   Ein anderer Zugang zu Schmerz in der Kunstgeschichte findet sich schon fast traditionell bei den Körper- und Bewegungserfahrungen im Bereich der Performance

391 392 393 394

Ebd. www.music.gatech.edu/research/spotlight http://hci.uni-hannover.de/papers/pfeiffer2014AHLetMeGrabThis.pdf, S. 2. Ebd., S. 6.

187

188

Haptik am User Interface

und Body Art. So legt sich zum Beispiel Gordan Savičić seit 2007 bei Constraint City eine Art technisches Korsett um,395 für das er die Bauteile einer Spielkonsole umfunktionierte. Kleine Servomotoren reagieren nun auf jegliche Formen kabelloser Netzwerke im Umfeld. Geht Savičić nun durch die Stadt, ist die Perfomance ein Akt des Schmerzes, denn das Korsett wird je nach Stärke des Signals aktiviert, zieht sich zusammen und erzeugt so Druckstellen am Oberkörper. Die Navigation kann in der Folge wie eine Aufzeichnung von Schmerzwegen präsentiert werden: »He uses a Geographic Information System to keep track of how his routes change both over time and on individual days, depending on his moods, desires, and plans in relation to the encrypted networks he has become aware of in the landscape around him.«396 Die Performance ist somit im Gegensatz zur sanften Navigationshilfe der Cruise Control ein harter Weg des Künstlers, sich den unsichtbaren Signalen seiner Umgebung auszusetzen und sie dem Körper haptisch zu präsentieren. Zusammengefasst lässt sich also sagen, dass Schmerz als haptischer Informationsgeber als harte Beeinflussung des Körpers funktioniert. Der Mensch wird körperlich stark und bewusst gefordert; er kann sich der Information gewissermaßen nicht entziehen. Im Rahmen marktorientierter Nutzungen werden schmerzhafte Interaktionsmöglichkeiten meist gar nicht erst in Betracht gezogen, da eine Verletzungsgefahr durch Benutzer in der Regel als nicht verkaufsfördernd gilt. Dennoch ist es prinzipiell eine Option sowohl virtuelle Aktionen haptisch darzustellen oder zu unterstützen als auch den Benutzer unabhängig virtueller Welten in eine bewusste Aufmerksamkeitshaltung und Momenterfahrung der Berührung technischer Objekte zu versetzen, der er sich in seiner Deutlichkeit sofort bewusst wird.

Telepräsenz Das BeAnotherLab, seit 2012 eine Gruppe aus technophilen Wissenschaftlern und Künstlern, die sich in Barcelona stationiert haben, arbeiten mit The Machine to be Another 397 in der Welt der Telepräsenz, Immersion und technischen Version der Spiegeltherapie. Ihre performative Arbeit stellt eine Verbindung zwischen zwei Personen her, die sie zum einen als User und zum anderen als Performer beschreiben. Der Performer ist dabei mit einer Kopfkamera und Mikrofon ausgestattet und überträgt seine Handlungen in Echtzeit auf ein Head Mounted Display, das der User trägt. Die Handlungen des Performers sind objektorientiert und frei erzählt. Anhand von Gegenständen wie Fotos, Tassen oder einer Schachtel Zigaretten beschreibt der Performer eine Geschichte, seine persönliche Beziehung zum Objekt,

395 Stern, 2013, S. 208ff. 396 Ebd., S. 209. 397 www.themachinetobeanother.org

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

nimmt es dabei aber auch in die Hände, um es zu erfühlen. Der User sieht die Umgebung und Objekte auf dem Display. Er ist angehalten mit seinen eigenen Händen, die er aufgrund des Displays nicht sehen kann, dieselben Objekte, die vor ihm aufgebaut sind, aufzuheben und zu erfassen. Der Performer wird zum menschlichen Avatar des Users. Die haptischen Sensationen werden somit nicht technisch hergestellt, sondern sind rein reale Eigenerfahrungen. Die Erzählungen führen zu einer neuen Konzentration auf das Erfühlen der Objekte sowie einer Verbindung zur anderen Person, die durch verschiedene Experimente zu anderen emphatischen Momenten werden: »Based on the statements from users and performers regarding their newfound awareness and interest towards ›the other‹ we have concluded that the system has great potential as a social tool to stimulate empathy among different groups.«398 Experimentvariationen sind beispielsweise die Momente zwischen Mutter und Tochter in der Performance »la noia de les lagrimes vermelles« (»the girl with red tears«) oder einer Performance mit Youssoupha, einem Immigranten aus dem Senegal, der nun in Spanien lebt, und seine Geschichte ebenfalls anhand von Objekten erzählt. Eine weitere Form mit dem technischen Aufbau von The Machine to be Another ist die Körpererfahrung als Gender Swap, wenn sich ein männlicher und weiblicher Benutzer oder auch andere Konstellationen verbinden, dabei über das Head Display jeweils die Sicht des oder der anderen gezeigt wird, während sie mit dem Rücken zueinander sitzen. Die Benutzer sind nun aufgefordert, mit ihren Armen und Händen den Körper zu ertasten; langsam ohne hektische Aktionen, damit die Bewegungen möglichst simultan angeglichen erfahren werden. Der männliche Benutzer bekommt so beispielsweise immersiv das Gefühl, seinen eigenen, nun weiblichen Körper zu streicheln, die eigentliche Haptik am eigenen männlichen Körper kollidiert mit dem Visuellen des weiblichen Körpers. Die Arbeit fordert wissenschaftlich gesehen ähnlich wie die Spiegeltherapie bei Phantomschmerzen dazu heraus, zu fragen, in welchem Verhältnis Haptik und Optik zueinander stehen, wie suggeriert werden kann, etwas zu fühlen, das nicht zum eigenen Körper gehört oder wie bei der Spiegeltherapie nicht vorhanden ist und inwiefern die Illusion einer Selbstwahrnehmung in einem anderen geschaffen werden kann. Kunsthistorisch erinnert die Arbeit formal an Dan Grahams Installation Body Press399 aus den Jahren 1970 bis 1972, bei der ebenfalls zwei Personen nackt mit dem Rücken zueinander in einem verspiegelten Raum gegenüberstehen. Sie führten zwei zu ihnen gerichtete Kameras nah um ihrem Körper herum, um

398 www.themachinetobeanother.org/wp-content/uploads/2013/09/THE_MAC HINE_TO_BE_AN OTHER_PAPER_2014.pdf 399 http://medienkunstnetz.de/werke/body-press/

189

190

Haptik am User Interface

sie sich anschließend an einem bestimmten Punkt zu überreichen. Für den Betrachter der Installation wurden somit die verschiedenen Blickpunkte des eigenen Außen, der Performer und der »Blick« der Kamera als jeweils Identität schaffende Sichtweisen aufgezeigt. Keith Armstrongs Intimate Transactions (in drei Stufen von 2002 bis 2008 entstanden)400 erschafft ebenfalls eine gemeinsame Interaktionserfahrung, konzentriert sich dabei aber auf den Benutzerkörper mit bewusster Balance und Druckpunkten. Die audiovisuelle Wahrnehmung wird weg vom Körper auf die Virtual Reality mit Sound gelenkt. Zwei Benutzer stehen jeweils in getrennten Räumen auf einer sogenannten »bodyshelf« (Abb. 16). Diese Skulptur (so der Künstler)401 stellt eine Art schräg nach hinten gelehnte, aufgestellte Plattform aus Rücken- und Fußplatten dar. Die Benutzer stehen darauf und können durch Gewichtsverlagerung auf der Plattform und im Rückenteil eingebaute Sensoren aktivieren. Ihre Bewegungen werden zudem durch Video Motion Tracking erfasst. Gemeinsam mit dem nicht sichtbaren anderen Benutzer navigieren sie sich durch eine virtuelle Welt, die sich vor ihnen auf einer Leinwand präsentiert. Diese Welt ist in drei Teile geteilt und wird durch die beiden Avatare der Benutzer sowie andere Figuren bewohnt, die sich in unterschiedlichen Formen wie Pflanzen oder Steinen darbieten können. Aufgabe der Benutzer ist die Interaktion mit den Figuren und das Erlernen ihrer Eigenschaften. Das Verhalten von Körperdruck und Balance erfordert zudem einen Lernprozess, der somit auch vom Verhalten des Gegenübers beeinflusst ist, da die virtuellen Aktionen durch beide Seiten verändert werden. Zusätzlich zu Druck und Balance, die von den Benutzern selbst aktiv ausgeführt werden, wird jedem ein tragbares »haptic pendant« gegeben.402 Dieses wird an den Bauch geschnallt, sodass Handlungen, wie das Aufeinandertreffen der Benutzeravatare, durch unterschiedliche Vibrationsstärken spürbar werden. Die Integration der Haptik als Vibration wird in der Installation demnach als Indikator für das reale Gegenüber genutzt, die virtuellen Figuren sind nicht mit diesem Feedback verknüpft. Eine ähnliche Körpererfahrung, wie zuvor über den kontrollierenden Rücken, entwickelte der Künstlerwissenschaftler Chris Salter mit seinem Projekt Just Noticeable Difference #1: Semblance (2010 bis 2013),403 wobei der Benutzer hier durch Reduktion der eigenen Aktivität und vor allem der Umgebungsinformation auf spezifische Wahrnehmungen seines eigenen Körpers gelenkt wird. Die installative Arbeit ist von außen eine große, weiße oder schwarze, minimalistische Box, die vom Benutzer einzeln durch eine kleine Tür betreten wird. Im Inneren muss dieser sich in Dunkelheit auf den Boden legen, der mit zwölf vibrotaktilen Aktuatoren versehen

400 401 402 403

http://embodiedmedia.com/homeartworks/intimate-transactions/ http://embodiedmedia.com/homeartworks/intimate-transactions/how-it-works http://embodiedmedia.com/homeartworks/intimate-transactions/detailed-description Kwastek, 2013, S. 151./http://chrissalter.com/projects/just-noticeable-difference-jnd/

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

Abb. 16: Keith Armstrong, Intimate Transactions; Abb. 17: driessen&verstappen, Tickle Robot

ist. Innerhalb eines zwölfminütigen Ablaufs ändern sich sowohl Art und Intensität von Vibrationen an verschiedenen Punkten unter dem Benutzerkörper wie auch das schwache, farbige Licht in Form einer dünnen LED-Leiste an der Decke und die damit verknüpften Töne.404 Der reaktive Boden ist zudem mit Drucksensoren ausgestattet, die die Bewegungen des Benutzers analysieren und den Ablauf vordefiniert in seiner Intensität der Töne oder Vibration beeinflussen und verändern können. Der Benutzer wird für kurze Zeit auf nur wenige Wahrnehmungen reduziert, wodurch sich die Konzentration auf schon leichte Veränderungen erhöht. Die Installation sorgt für eine intensivere Wahrnehmung des eigenen Körpers, die in dessen Beruhigung gar meditative Wirkung zeigt. Diese Meditation weicht in seinem Werk Haptic Fields (2016) einer diffusen Sinnlichkeit des eigenen Körpers. Bis zu zwanzig Benutzer bewegten sich dazu in einem abgedunkelten Raum und waren dabei durch eine milchige Kapuze visuell eingeschränkt.405 Über eine Jacke wurden Vibrationen auf den Körper übertragen. Der Benutzer musste sich orientieren lernen. Lichtpunkte flackerten und veränderten ihre Form, die Lichtfarbe des Raums variierte, die Akustik sowie die vibrohaptische Interaktion am Körper wurden intensiver oder schwächer. In der Bewegung entstand das Verständnis über unterschiedliche Bereiche des Raums ohne eine klare Zuordnung machen zu können. Salter interessierte dabei die Beeinflussung der Aufmerksamkeit in technisch erweiterten Umgebungen.406 Er blendet in der multisensuellen Ansprache nicht komplett aus, sondern hebt und senkt die Konzentration untereinander.

404 http://chrissalter.com/v2/wordpress/wp-content/uploads/2012/10/JND_TEC HRIDER_Europe 2012.pdf 405 http://chrissalter.com/projects/haptic-field-2016/ 406 http://median.newmediacaucus.org/research-creation-explorations/mediations-of-sensation-designing-performative-sensory-environments/

191

192

Haptik am User Interface

Die Amsterdamer Künstlergruppe driessen&verstappen wiederum fokussiert sich auf den einzelnen Sinn und entwickelte unter anderem die Tickle Robots,407 die zwar nicht der Meditation, aber dennoch der Entspannung dienen sollen. Erwin Driessens und Maria Verstappen Arbeiten sind, wie der Name schon verrät, kleine automatische Geräte oder Roboter, die die menschliche Haut kitzeln sollen. Die Tickle Robots sind dabei in drei verschiedenen Ausführungen zwischen Design und Kunst verarbeitet worden: als Spear,408 Tickle409 und Tickle Salon.410 Spear war die erste Version eines »automatic ticklers« aus dem Jahr 1993, der das sanfte Gefühl von weichen Grashalmen auf der Haut automatisieren soll. Es handelt sich dabei um einen Grashalm, der über eine starre Metallkette an einem elektromechanischen System befestigt ist, welches Kette und Halm kreisend in Bewegung hält. Das relativ klein anmutende Gerät wird in einer festen Höhe über die Haut des passiven Benutzers gehängt, sodass der Halm sie nur leicht berührt. Das Gerät führt eine wiederkehrende Bewegung in festgelegter Position aus. Das leichte Kitzeln löst bei dem zunächst passiven Benutzer eine aktive Reaktion aus: Eine kaum kontrollierbare automatische Bewegung des Körpers, um dem Kitzeln zu entgehen. Je nach Intensität und Empfindlichkeit von Benutzer und/oder Körperstelle stellt dies ein angenehmes bis unerträgliches Gefühl darstellt. Das Erarbeiten eines Benutzerkitzelns führte driessen&verstappen 1996 zu einem ersten Prototyp des Massageroboters Tickle (ausgearbeitet bis 2006), der ebenfalls die Haut des Benutzers abtastet, dieses Mal aber aufgelegt. Das kleine, schachtelförmige Gerät aus glattem Aluminium beinhaltet zwei Motoren für die Vorwärtsbewegung und die Rückwärtsbewegung und sowie für Batterien, die die angebrachte Silikonnoppenfüße antreiben (Abb. 17). Neigungssensoren erkennen Unebenheiten der Haut, sodass sich Tickle, sobald eine zu tiefe Stelle oder Abgrund festgestellt wird, in eine andere Richtung bewegt. Wieder wird eine sanfte Kitzelbewegung automatisch hervorgerufen, ohne nun auf einen Radius beschränkt zu sein. Prototyp 3 (2006) kann dann »spontane« Richtungsänderungen ausführen kann. Der Tickle Salon ist ab 2002 schließlich die Erarbeitung des Themas als »robot installation«.411 Sie integriert das Gerät in einen Raum, der zuvor sowieso Teil des Konzepts war. Die Installation besteht aus einem Bett, einem liegenden Benutzer, der in der Beschreibung so auch als Teil der Installation erwähnt wird, sowie einem »Roboter«, der an der Decke montiert ist. Dieser hat vier sich bewegende, herabhängende, sensorische Kabel, welche in einem weichen Stoffende, »feeler« genannt, zusammenlaufen. Die vier Kabel sind in ihrer Länge variabel und lassen

407 408 409 410 411

http://notnot.home.xs4all.nl/ticklerobots/ticklerobots.html http://notnot.home.xs4all.nl/ticklerobots/spear/spear.html http://notnot.home.xs4all.nl/ticklerobots/tickle/TICKLEcat.html http://notnot.home.xs4all.nl/ticklerobots/TickleSalon/TickleSalon.html Ebd.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

so eine dreidimensionale Position des Körpers im Raum bestimmen. Sobald die Kabel Haut berühren, wird dies erfasst, da es zu einer Änderung der Spannung führt. Sofort hören sie auf sich zu bewegen. Die Position durch Kontakt wird gespeichert, die Kabellänge ändert sich nach Neigung der Hautebene und bereits kurz danach bewegt sich der »feeler« weiter bis zum nächsten Kontakt, wodurch mehrere erfasste Positionen eine räumliche Oberflächenkarte des Benutzers erstellen. Diese wiederum wird auf einem Monitor virtuell erzeugt und ähnelt visuell einer Decke, die sich über den Körper des Benutzers schmiegt: »In this work the concept of ›feeling‹ is ambiguous: on the one hand there is the feeling of the person who experiences the stimulation of the skin, and on the other is the feeling of the robot whose only sense is a feeler and which tries to form a spatial image of the body by means of touch.«412 Die bewusste Erfahrung eines Erfühlens des eigene Körpers durch technische Hilfsmittel kann aber auch für mehrere Benutzer als gemeinsame Interfaceerfahrung genutzt werden, dem Betasten fremder Haut bei gleichzeitiger Beeinflussung angeschlossener Technik: Alexander Müller-Rakow kollaboriert am Design Research Lab der UDK Berlin mit den Soundkünstlern Oscar Palou und Juan Pablo Garcia Sossa am Open Source Projekt Skintimacy v1.0.413 Offen ist dieses Projekt, weil sie gemeinsam ein technisches Hardware-Kit414 zusammengestellt haben, das von jeder beliebigen Person seit 2013 bestellbar ist. Downloadbare, experimentelle Software-Codes sollen andere anregen mit ihren Bauteilen zu spielen und weiterführende Ideen mit den Künstlern auszutauschen. Die verschiedenen kleinen Projekte werden hier als Experimente mit der entwickelten Technik verstanden. Was zunächst als elektronisches Musikinstrument für mehrere Personen konzipiert wurde, entwickelte sich als Skintimacy schließlich zum Interface, das durch einen Microcontroller Audio und Video am Computer sensorisch kontrollierbar macht.415 Genauer gesagt ist nicht das technische Kit das vordergründige Interface, sondern integriert den Benutzer in den Kreislauf, wodurch die Haut selbst zum haptischen Interface wird. Eine Person, die mit dem Skintimacy-Kit verkabelt ist, fungiert dabei als sogenannter »Master«, der zum Teilstück eines elektronischen Kreislaufs mit dem Computer oder einer technischen Komponente wird. Ein »Arduino-Board«416 (Open Source Hardware)417 leitet über eine Verkabelung die Werte des Hautwiderstands des Masters an den Computer weiter,

412 413 414 415 416 417

http://notnot.home.xs4all.nl/ticklerobots/TickleSalon/installation.html Skintimacy.org http://skintimacy.org/wp-content/uploads/2013/06/skintimacyparts.pdf https://monarch.qucosa.de/api/qucosa%3A19535/attachment/ATT-0/, S. 225ff. Ebd. www.arduino.cc

193

194

Haptik am User Interface

die Open Source Software Pure Data418 kann dann aus den Daten Grafiken oder Sound erzeugen. Weitere (bis zu fünf) Personen können in diesen Kreislauf durch Berührung mit einsteigen und schließen den Kreislauf letztendlich erst, wodurch Aktionen wie zum Beispiel Klänge entstehen. Diese sind zudem abhängig von der Unterschiedlichkeit der Haut, zum Beispiel der Feuchtigkeit oder von Verunreinigungen, die die ausgehenden Werte verändern.419 Das »Instrument« bzw. das Interface ist intuitiv und einfach zu erlernen durch »learning by touching«. Dies wird allerdings durch die sozialisierten und kulturellen Grenzen der Intimität limitiert, aber auch den persönlichen Bezug des Masters und des Slaves zueinander, da deren Beziehung Einfluss auf Intensität und Länge der Berührungen haben kann. Die Künstler selbst haben auf ihrer Präsentationswebsite das Projekt in ihrer Erweiterung mit verschiedenen, zunächst einmal einfachen Beispielen vorgeführt: Juan Pablo Garcia Sossa entwickelte mit They Grow420 einen berührungssensiblen Kreislauf, der die Entwicklung und das Wachstum verschiedener digitaler, grafischer Ellipsen steuert; je nach Menge der Berührung und somit nach dem Hinzufügen von elektrischer Spannung zur Haut des Masters entstehen Kreise. HCI Sucks! wiederum verbindet die Enden der Drähte des Kits mit Lutschern. Durch Lutschen werden wieder Daten der Zungenberührung übertragen. Die Lutscher werden wie üblich an Papierstielen gehalten, damit keine Elektrizität über eine Fingerberührung die Übertragung beeinflusst. Ähnliche Experimente mit der Leitfähigkeit von Haut werden in vielen Projekten gemacht, wie zum Beispiel auch in Skinput.421 Hier können Tasten auf die Haut projiziert werden, die wiederum durch Berührung der Haut und der darauf folgenden Erkennung der mechanischen Vibration technische Aktionen auslösen. Ein anderes Beispiel ist die Cracklebox 422 (auch CrackleBox oder Kraakdoos), die 1975 von Michel Waisvisz erfunden wurde. Es handelt sich um einen kleinen Kasten aus Holz und um elektrische Schaltungen, die abhängig von Druck und Feuchtigkeit der berührenden Finger Töne auslösen, indem wieder ein Kreislauf geschlossen wird. Ein recht junges Performance-Projektbeispiel mit Einbezug von Haptik gibt die Gruppe Quimera Rosa,423 die seit 2014424 mit ihren performativen Installationen

418 419 420 421

http://puredata.info/ https://monarch.qucosa.de/api/qucosa%3A19535/attachment/ATT-0/, S. 228. http://skintimacy.org/?page_id=954 http://iconof.com/blog/skinput-appropriating-the-body-as-an-input-surface-chi-2010-vide o/ 422 www.crackle.org/CrackleBox.htm 423 quimerarosa.net 424 Erste Idee 2012, Prototypen 2013. Siehe dazu http://sexoskeleton.org/nws.html

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

(»interactive sensorial installation and performance«425 ) SXK oder Sexoskeleton Turing Test 426 ein selbstbeschriebenes, fiktional wissenschaftliches Werk geschaffen haben, das sich im Titel an die bereits erwähnte Cybersexdebatte anschließt: Berührung als intimer Akt. Das Werk entstand in Zusammenarbeit mit Victor Mazón Gardoqui und Oscar Martin. Die Künstlergruppe will konzeptionell den berühmten Turing-Test invertieren. Dieser wurde 1950 von Alan Turing erfunden, um herauszufinden, ob eine Maschine oder künstliche Intelligenz den Vorgängen im menschlichen Gehirn nahekommen kann.427 Die Künstler kehren dieses Prinzip nun um und stellen damit die Teletaktilität zur Diskussion: Ist es möglich, körperlich Kontakt aufzunehmen, obwohl die Menschen räumlich getrennt sind? Ist dabei über das Interface spürbar, ob man entweder mit einem Menschen oder einer »Künstlichen Intelligenz« beziehungsweise Software Kontakt hat? Die Gruppe arbeitet dabei mit einer technischen Auffassung des Körpers, der demnach genauso kodiert sei wie ein Computer. Der physische Kontakt zwischen einer Person und einer weiteren unbekannten Person wird hier (wieder) durch ein physische Sensationen generierendes Exoskelett hergestellt, was in seinen Bestandteilen so verarbeitet wurde, dass es in Kleidung integriert werden könnte, somit für verschiedene Körpergrößen variabel ist. Die genutzte Software für den Austausch der Daten zwischen den Exoskeletten der beiden Nutzer funktioniert wie bei Skintimacy zuvor auch mit Pure Data und Arduino. Erste Prototypen und Konzeptzeichnungen des Exoskeletts auf der Website der Künstler428 zeigen die Stimulationsmöglichkeiten durch kleinere, verkabelte Pads auf der Haut, die elektrische Stimulation ermöglichen, eine Art Heizspirale um Hautbereichen in ihrer Temperatur zu beeinflussen, sowie Skizzen von Drucksensoren. Die Ausarbeitung des Exoskeletts erinnert letztlich durch die Nutzung von Leder und Latex an sadomasochistische Kleidung, wie auch einem ledernen Halsband, das Hardware wie Chips oder Verkabelung trägt, inklusive einer Verkabelung, die an einem dicken Stahlring befestigt in den Mund reicht. Diese sexuelle Konnotation findet sich auch bei Ståle Stenslie wieder.429 Die Installation selbst führt zur einführenden Bemerkung zur Wissenschaftlichkeit durch die Aufteilung der Benutzer in zwei voneinander getrennte Räume und einem Außenbereich zurück. Denn indem andere Teilnehmer dem Vorgang durch audiovisuelle Projektion beiwohnen können, ohne aber die Benutzer selbst zu sehen, ergibt sich eine auf Daten beschränkte Beobachtersituation. Gewissermaßen könnten diese rein die Daten auswerten, so es denn ein ernsthaft wissenschaftliches Experiment wäre. Die Nichtsichtbarmachung der Körper der Benutzer 425 426 427 428 429

http://sexoskeleton.org/synopsis.html http://quimerarosa.net/sxk-sexoskeleton-turing-test/ Turing, 1950, S. 433ff. http://sexoskeleton.org/stimulators.html Siehe hier auch Kapitel 3.5.

195

196

Haptik am User Interface

unterstützt zudem die intime Situation, die zwischen den Körpern hergestellt werden will, macht dies aber vor allem auch für die Außenstehenden zu einem voyeuristischen Einblick in eine Situation, die nicht direkt beobachtet werden kann und auch Zugang zu Daten über die Körper gewährt, die sonst nicht für andere erkennbar wären.

Abb. 18 everyware, Soak, Dye in light

Hardwarehacking Wie bereits das Beispiel Skintimacy zuvor zeigte, kann auf Seite der Künstler sowohl ein Interesse vorhanden sein, das Werk für andere Nutzer zu öffnen, als auch Softund Hardware offenzulegen und für jeden zugänglich zu machen. Ein grundsätzliches Interesse am Verändern oder einer Manipulation von bestehender Technik führt hier also zum Hardwarehacking oder auch der Device Art,430 Mischformen aus Kunst, Technologiebegeisterung und Design. Sarah M. Schlachetzki beschreibt in ihrer Arbeit über die Device Art in Bezug auf die japanische Medienkunst431 diesen Begriff definierend schon den Unterschied, der als Frage auch in dieser Arbeit aufgeworfen wurde, nämlich, ob das Interesse der Künstler eine reine Technikbegeisterung oder Ausführung neuer technischer Möglichkeiten ist oder aber auf der anderen Seite Künstler auch eine Manipulation dessen ersuchen.432 »The freedom to design your own software and create your own hardware could be compared to mixing your own colors out of pigments as opposed to using a paint-set with

430 www.aec.at/center/de/ausstellungen/device-art/ 431 Schlachetzki, 2012. 432 Ebd., S. 31. Die Autorin verweist dabei auf ein Interview mit dem Medienkünstler Ryota Kuwakubo.

3 Eine Geschichte der Haptik in der Medienkunst: Berührungspunkte

a predetermined number of premixed colors.«433 Das Hardwarehacking geht, wie das Softwarehacking auch, der Frage nach, welche Freiheiten ein interaktives Medium wirklich hat und haben könnte. Was folgt der generellen skeptischen Hinterfragung von Interaktivität, ob ein Medium dem Benutzer alle Möglichkeiten freier Handlungen bietet? Oder ist es nicht doch eher so, dass Handlungen durch technische Gegebenheiten wie Programme vorgegeben sind, diese Handlungsanweisungen aber in geschickter Form vor dem Benutzer verborgen sind? Hacker versuchen aus gegebener Hardware oder Software etwas Neues herauszuarbeiten oder zu eigenen Interfaces umzubauen. Eines dieser Konzepte selbstgebauter Interfaces ist beispielsweise das WoodenHaptics-Kit von Jonas Forsslund, Michael Yip und EvaLotta Sallnäs.434 Sie liefern mit diesem Spatial Haptic Interface die Anleitung für eine einfache elektromechanische Umsetzung mit Open Source-Software und eine Liste für die zu besorgende Hardware. Damit antworten sie auch auf die hohen Kosten, die nach wie vor für haptische Interfaces gezahlt werden müssen. Das von ihnen entwickelte Interface funktioniert haptisch auf Basis des Force Feedback. »As more applications have 3D user interfaces […], spatial haptics becomes increasingly useful for feeling the shapes of occluded objects, collisions, object stiffness and inertias, surface textures, and so on […].«435 Vor allem ist der Vorgang der Kollision im Videospielbereich bekannt, […]. Das hier zu bauende Interface ist letztlich eine Art Arm, durch den man, an den Computer angeschlossen, beispielsweise 3D-Objekte bewegen kann und dies in der virtuellen Umgebung durch das Feedback real fühlt. Das Design folgt dabei bereits existierenden Interfaces wie den Phantom Devices oder auch dem Novint Falcon.436 Mit einem Hack des Kinectsystems von Microsofts Xbox erschaffte die koreanische Gruppe everyware 2011 Soak, Dye in light ein installatives Werk zwischen Malerei, haptischer Interaktion und Simulation visueller Effekte in Form und Farben,437 das sie unter anderem 2012 auf dem Japan Media Arts Festival vorstellten. Der Benutzer betrat einen verdunkelten Raum und sah eine leere Leinwand, die bereits vom Material her an klassische Gemälde erinnerte. Später testeten die Künstler auch unterschiedliche Varianten als Tischprojektion oder als Bespannung wie ein Gemälde auf Oberkörperhöhe. Der dunkle Raum hob die Beleuchtung der Leinwand noch einmal atmosphärisch hervor. Indem er dann einen oder mehrere Finger in die Leinwand drückt, wurden unterschiedliche Lichtprojektionen aktiviert, die die Fläche mit Farbe füllen (Abb. 18). Eine Art abstraktes Gemälde aus farbigen 433 434 435 436

Mignonneau/Sommerer, 2003, S. 243. http://woodenhaptics.org/woodenhaptics-tei-2015-paper.pdf Ebd., S. 1. Ebd., S. 4. Vgl. zudem auch Kapitel 4.2.3. Kraftübertragung durch Force Feedback/Haptik virtueller Umgebungen. 437 http://everyware.kr/home/soak/

197

198

Haptik am User Interface

Flecken entstand, die sich je nach Intensität des Drucks an Ort der Berührung unterschieden. Ein erneut gesetzter Druck auf die Leinwand führte zu einer neuen Farblichtprojektion. Die abstrakten Gemälde erinnern allerdings auch an gefärbte Kleidung, wie sie als Batik bekannt sind: »Especially in Korea, people have deep affection toward the unique colors and textures of fabric dyed with traditional materials. Now in the age of new media, we tried a whole new way of coloring fabrics with the essential materials of new media, ›light‹ and ›interactivy‹.«438 Die dargestellte Geschichte der haptischen Medienkunst zeigt, dass die Suche nach neuen Integrationsformen des Betrachters im Werk zu neuen Umgangsformen mit den User Interfaces führen kann. Mit dem folgenden Übergang auf die facettenreiche Technikgeschichte der UI sollen die Ideen haptischer Kommunikation zwischen Mensch und Maschine beschrieben warden, die zunächst nicht in Kunstwerken verhandelt werden sollten. Wie sich zeigen wird, ist die Grenze zwischen wissenschaftlichen Experimenten, spielerischen Projektpräsentationen und der zuvor gezeigten Kunstwerke allerdings fließend.

438 http://everyware.kr/home/soak/

4 User Interfaces im Wandel der Zeit

Das Interface als Begriff der Materialwissenschaften als Austauschort von Energie und Materie versteht sich in der Computerwissenschaft als Hardware der Kommunikation von Benutzer und Computer oder auch als Mensch-ComputerSchnittstelle bzw. Mensch-Maschine-Schnittstelle ohne Computerverknüpfung.1 Die Erforschung der Human Computer Interaction (HCI) dient der Anpassung der Bedienung des Computers an die Bedürfnisse des Menschen. Dabei findet natürlich kein Austausch von Materie statt, dennoch aber, wie noch zu zeigen sein wird, ein Austausch oder Übergang von Energie, von Informationen und Daten an der Materie. Der Fokus liegt in folgendem Kapitel auf dem technischen Objekt oder der technisierten Umgebung, die sich zwischen benutzerorientiertem Design als vereinfachtes Handlungsverhältnis zwischen Mensch und Maschine und dem Informationsdesign bewegt: »Das dichotomische Verhältnis des in der Maschine verkörperten Handlungswissens und des auf ihren Oberflächen dargebotenen Handlungsangebots geht in zwei Disziplinen auf: In der Interface-Theorie und im Informationsdesign werden Phänomene der Codierung von Handlungsangeboten und der Formatierung von Informationen verhandelt, zumal Benutzeroberflächen mittlerweile selbst nach Schichtenmodellen aufgebaut sind,, die zwischen >Programmcode der Oberfläche< und der >Benutzeroberfläche selbst< oszillieren.«2 Wie drücken sich Informationen unter Einbezug unterschiedlicher Materialien in der Haptik von technischen Objekten aus? Um sich der Komplexität der korrelierenden Themenfelder Haptik und Design weiter zu nähern, sollen zunächst gegenwärtige Interfacetypen beleuchtet werden, die eine Berührung in die Kommunikation mit der Technik einbeziehen könnten. Anschließend soll ausführlich die Entwicklungsgeschichte der modernen Mensch-Maschine-Interaktion mit besonderem Augenmerk auf die Haptik erläutert werden.

1 2

Hellige, 2008 [II], S. 7. Wolfsteiner, 2011, S. 77.

200

Haptik am User Interface

4.1

Interfacetypen »Die berührbare Benutzeroberfläche (Tangible User Interface, TUI) unterscheidet sich grundlegend von der grafischen. Die TUI verleiht digitalen Informationen physische Gestalt und dient sowohl der Darstellung als auch der Steuerung. Über die berührbare Benutzeroberfläche kann man digitale Information im wahrsten Sinn des Wortes manipulieren – sie wird durch unsere peripheren Sinne wahrnehmbar, da sie eine gegenständliche Form erhält.«3

Die direkte Fingernutzung auf einem berührungsempfindlichen Monitor kann im Gegensatz zum zusätzlichen Gebrauch durch Mousepad oder Tastatur eine verstärkte immersive Wirkung haben. In wissenschaftlichen Versuchsreihen ist das Ergebnis immer wieder ein intuitiverer Gebrauch ohne nötige Anleitung.4 Der Nachteil lag bisher in der Verarbeitung und Eingabe von größeren Datenmengen. Im Allgemeinen unterscheidet die Industrie mehrere Grundarten von berührbaren Interfaces: »[…] resistive, capacitive, surface acoustic wave and infrared light.«5 Bei resistiven Touchscreens bekommen zwei Oberflächen durch Druck Kontakt. So wird ein elektrischer Kreis geschlossen und eine Information an dieser Stelle weitergeleitet. Dieser Druck muss nicht durch einen Finger ausgeführt werden, auch ein Stift oder ein andersartiger Gegenstand kann verwendet werden. Kapazitive Systeme haben über der Touchscreenfläche eine Glasschicht, die dünn mit einem Metall, beispielsweise als Folie, versehen ist. Diese Schicht wird über den Rand des Screens unter minimale elektrische Spannung gesetzt. Berührt ein Finger oder leitender Stift die Oberfläche, dann wird an dieser Stelle Ladung übertragen und die Koordinaten dieses Punktes werden als Information weitergegeben. Surface Acoustic Wave-Systeme (SAW oder AOW für Akustische Oberflächenwelle) funktionieren mit Ultra-Sound-Transmittern, die in den Rändern der Touchscreens eingebaut sind. Diese senden ein konstantes Wellensignal zu gegenüberliegenden Empfängern. Werden diese Wellen durchbrochen, indem ein Finger oder ein Stift dazwischen kommen, so ergibt dies die Koordinateninformationen.6 Infrarotlichtbasierte Systeme funktionieren analog dazu. Ein Faktor, der zur letztendlichen weiten industriellen Verbreitung der SAW-basierten Systeme führte, ist die Helligkeit der verschiedenen Systeme: Neben mehreren nötigen Schichten sind die resistiven Systeme nicht sehr hell und auch die kapazitiven Systemen reichen im Helligkeitsfaktor SI (Lichtstärke pro Quadratmeter) nicht an die Helligkeit der SAW heran:7 3 4 5 6 7

Ishii/Tangible Media Group, 2001, S. 254. Holzinger, 2003, S. 390f. Holzinger, 2003, S. 391. Ebd., S. 391ff. Ebd., S. 392.

4 User Interfaces im Wandel der Zeit

»Its drawback was that it is relatively easily affected by contaminants on the screen, which absorb the waves and cause dead zones. Also it is not very flexible; in order for an acoustic wave to be sent, the screen must always be touched with a finger; something hard like a pen did not work.«8 Allgemein gesehen ist ein Merkmal taktiler/haptischer Interfaces die Übertragung von Informationen in Echtzeit. Verändert sich eine Position in der virtuellen Welt, wird zum Beispiel ein virtuelles Objekt angestoßen oder eine simulierte Oberfläche abgetastet, so ist dies auf unterschiedliche Weise im User Interface sofort spürbar. Dazu beschreibt »Echtzeit« Reaktionen unter einer Millisekunde.9 Leichte, bewegende Kräfte am User Interface können zum Beispiel das Gefühl einer weichen Oberfläche auslösen, zu starke oder schnelle Kräfte werden wiederum als Vibration wahrgenommen. Weitere Merkmale der Interfaces sind die realen Bedingungen eines Arbeitsplatzes, die Größe und Ausführung der Interaktion limitieren und bisher auch immer noch auf bestimmte haptische Aktionen spezifizieren. Wie noch zu sehen sein wird, sind viele moderne haptische Interfaces kleinen Armen, Fingern und Stiften nachempfunden, um größtmögliche Bewegungsfreiheit für den Benutzer zu ermöglichen. Heller und Guantez unterscheiden in ihrer Übersicht die User Interfaces zwischen: • •

•

thermaler Wahrnehmung, Hitze- und Kälteempfindung durch Thermoelektrik oder auch Gebläse und Ventilatoren, kutane Wahrnehmung, durch die angesprochene 1. vibrotaktile Aktivierung, 2. schwache elektrotaktile Stimulation, 3. verformbare Oberflächen, die auf virtuelle Aktivität reagieren, 4. berührbare Objekte, die ihre natürliche Form oder Oberflächentextur haben, aber als Informationsgeber der virtuellen Welt umgenutzt werden, und letztendlich 5. taktile Hologramme, die keine echte Berührung des virtuellen Objekts generieren, sondern diese Berührung simulieren, kinästhetische Wahrnehmung, durch Exoskelette; das heißt durch Kräfte, die die Interfaces in Bewegung bringen von beispielsweise isometrischen oder robotisierten Geräten.

Im Folgenden soll anhand ausgewählter Beispiele und unter Berücksichtigung der zuvor aufgezeigten Merkmale und haptischen Ausrichtungen eine Wissenschaftsgeschichte der User Interfaces geschrieben werden.

8 9

Ebd. Heller/Gentaz, 2014, S. 184f.

201

202

Haptik am User Interface

4.2

Wissenschaftsgeschichte des Human Interaction Design (HCI): Graphical User Interfaces ([G]UI) bis Tangible User Interfaces ([T]UI)

Paul Thomas, Koordinator des Studio Electronic Arts der Curtin Universität in Perth (Australien), beschreibt in einem Aufsatz über »Nano Vibrational Interfaces« einen frühen haptischen Kontakt zwischen Mensch und Maschine mit einem Verweis auf den Wissenschaftler Etienne-Jules Marey.10 Marey entwickelte Ende des 19. Jahrhunderts den sogenannten Sphygmographen, eine Apparatur, die an die Innenseite des Handgelenks befestigt werden konnte. Ein kleiner Hebel lag zur einen Seite auf dem Puls auf, das anderer Ende bildete einen Stift, der, wenn das Blut durch die Venen gepumpt wurde, durch die Hauterhöhung den Stift auf ein Blatt drückte. Diese einfache, maschinelle Befestigung führte so zu einer Grafik der Pulsbewegung, einer Verbildlichung körperlicher Vorgänge. Doch wie sieht es neben bildgebenden Verfahren nun umgekehrt aus, wie ist es möglich über haptische Vorgänge Information weiterzugeben? Die Geschichte von Technik, Maschinen und letztlich auch die der Computerentwicklung orientiert sich an immer schneller voranschreitenden Leistungen; an einem »höher, schneller, weiter«. Die Geschichte der Computer ist aber auch durch die Frage charakterisiert, wo die Aktionen stattfinden, die er als Arbeitsleistung für den Menschen ausführt und wie und in welcher Form sie dargestellt wird. Ersatzleistungen werden designt, genauso wie Handlungen. Sie sind das, was wir als künstlich erzeugte Welt beschreiben würden, entweder abstrakt grafisch oder simuliert bis zum Naturalistischen. Mark Weiser beschrieb den Anspruch an die zukünftige Computerwelt als eine Welt, in der wir »[…] die künstlich erzeugte Wirklichkeit von der stofflichen Welt nicht mehr zu unterscheiden vermögen«.11 Er propagierte demnach eine Form der Mixed Reality, einer Vermischung der Realität und der virtuellen Welt bis hin zu einer nicht mehr wahrnehmbaren Vermischung beider Welten, welche zum Zeitpunkt seiner Prognose 1988 nicht selbstverständlich war. Die Geschichte des Interfacedesigns arbeitete früh mit der These, dass Sinneswahrnehmung keine besondere Bedeutung mehr habe. Um Computer nutzen zu können, wäre allein der Gebrauch von Tastatur oder Maus und die damit verbundene Kommunikation und Interpretation der am Bildschirm gegebenen Symbole nötig.12 Die Interfaceentwicklung zeigt aber weniger die Tendenz des Schwindens, als vielmehr ein Überangebot für die Sinne. In der vorliegenden Arbeit soll aus diesem Überangebot

10 11 12

Thomas, 2008, S. 81ff. Robben/Schelhowe, 2012, S. 7. Ebd., S. 8.

4 User Interfaces im Wandel der Zeit

allerdings die Bedeutung der Haptik am User Interface, der Schnittstelle im Sinne haptischen Kontakts zwischen Mensch und Technik, genauer ergründet werden. Das Interface als Schnittstelle zwischen Mensch und Maschine war in den 1940er Jahren ein Nebenobjekt der Technikentwicklung, dem keine besondere Aufmerksamkeit geschenkt wurde. Im Jahr 1945, in einer Zeit, als auch der erste digitale, elektronisch arbeitende Computer »ENIAC« (Electronical Numerical Integrator and Computer) vorgestellt wurde,13 definierte einer der Pioniere der Computergeschichte, John von Neumann, den Begriff »input-output-organ«14 für das Interface. Dies zeigt die Wertigkeit als reine Eingabe- und Ausgabemöglichkeit eines Systems in dieser Zeit: »Die verschiedenen Bedienprozesse reduzieren sich für ihn auf die bloße Zuund Abfuhr von Daten- und Programmträger bzw. die Abwicklung der Aufgabenpakete, und er setzte sie mit dem Gehirn dienenden neuronalen Sensorik- und Motorikapparat gleich.«15 Das bedeutet als Randinformation, dass auch die Haptik in einem technischen Sinne für von Neumann nur eine Datensammlung für die Schaltzentrale Gehirn war. Viele andere Pioniere, darunter Alan Turing, sahen diese Unwichtigkeit der »input-output-organs« genauso, bis im Jahr 1965 der Informatiker Frederick P. Brooks zu den ersten gehörte, der auf die Wichtigkeit der Interfaces im Sinne der Computerentwicklung verwies.16 Die Bauweise eines Computers als eine »Computer Architecture«17 müsse die Benutzung des Menschen in den Blick nehmen, wobei alle Sinne eine Rolle spielen sollten.18 Dieser Propagierung war allerdings wenig Erfolg gegönnt. Es entwickelten sich mit der Zeit die Begriffe »man-machine interface«19 und »man-computer interface«20 – in Deutschland: Bedien- oder Benutzerschnittstelle21 – die den Austausch zwischen zwei Komponenten, aber weniger die Besonderheit eines Designs betonen. Der Begriff des Interfaces wurde dabei, wie bereits erwähnt, aus der Chemie und der Elektronik übernommen. Das Interface ist die Grenze zwischen Systemen und Übergabe- und Austauschort von Energie, bei Maschinen und Computern somit von Aktionen und Daten. Ob das Interface und 13 14 15

16 17 18 19 20 21

Stenslie, 2010, S. 111. Der Autor verweist hier auf: Paul, 2003. Hellige, 2008, S. 12. Ebd. Der Autor verweist hier auf: Neumann, John von: First Draft of a Report on the EDCAC; Moore School of Electrical Engineering, University of Pennsylvania, Philadelphia, 30. Juni 1945; korrigierte Fassung nach dem Originalmanuskript, hg. Von M. D. Godfrey. In: Annals of the History of Computing 15 (1993) 4, S. 27-67. Hellige, 2008, S. 12. Ebd., S. 12. Ebd., S. 12f. Ebd., S. 13. Ebd. Ebd.

203

204

Haptik am User Interface

seine Oberfläche eine Grenze darstellen, ist bis heute Gegenstand von Diskussionen mit unterschiedlichen Akzentuierungen. Diese wurden bereits 1962/63 von den Computerwissenschaftlern Douglas Engelbart und Joseph Licklider erwähnt: Für sie ist das Interface als »man-computer intermedium«22 eher eine Verknüpfung von Mensch und Technik, die einen »synergetischen bzw. symbiotischen Charakter«23 bescheinigte.24 Licklider veröffentlichte seine Zukunftsvision einer verbesserten Kommunikation zwischen den Menschen durch Maschinen 1968 unter dem Titel »The Computer as a Communication Device«25 gemeinsam mit dem Informatiker Robert Taylor. Dies gilt als eine der ersten Abhandlungen, in denen der Computer als Medium beschrieben wird.26 Die Autoren verweisen in diesem Artikel auf einen wichtigen Punkt in der Überlegung zum theoretischen Umgang mit Interfaces, der auch in der hier vorliegenden Arbeit Eingang durch zwei daraus resultierende Fragen findet: Ein Ingenieur denkt beim Design und der Herstellung von Funktionalität an den Austausch von Information durch Codes und Signale.27 An welcher Stelle der menschlichen Kommunikation wird Code zu (menschlicher) Kommunikation und in welcher (ästhetischen und/oder physischen) Form stellt sie sich dar? Hans Dieter Hellige betont in seiner Aufarbeitung der Geschichte der Human Computer Interaction, dass der Begriff »Intermedium« in den 90er Jahren wieder aufkam, allerdings eher im Zusammenhang der Erfassung von Multimedia: »Da es sich jedoch neuerdings wieder die Einsicht durchsetzt, dass es sich beim Interface um ein »Medium im Medium« handelt,28 bestünde durchaus Bedarf für einen breiter gefassten Intermedium-Begriff.«29 Ab den 1970er Jahren wurde schließlich der Begriff »user interface« herausgearbeitet, welcher in der Zeit der verkleinerten, aber verstärkten Hardware allerdings mehr Bezug auf die Software nahm, durch die man die komplizierteren Prozesse kontrollieren konnte, als dass er auf den Benutzer am Computer bezogen war.30 Generell erkennt Hellige in der Geschichte der HCI vier Entwicklungsstufen, die zeitlich hintereinander zu beschreiben und analysieren sind, dabei aber nicht aufeinander aufbauen:31

22 23 24 25 26 27 28 29 30 31

Ebd., S. 14. Der Autor verweist hier auf:Licklider, J. C. R.: Libraries oft he Future; Cambridge (Massachusetts), 1965. Ebd. Ebd., S. 13f. www.utexas.edu/lbj/archive/news/images/file/20_20_03_licklider-taylor-1.pdf Bolter/Gromala, 2003, S. 17. www.utexas.edu/lbj/archive/news/images/file/20_20_03_licklider-taylor-1.pdf, S. 21. Der Autor verweist hier auf: Grassmuck, V.R.: Die Turin-Galaxis: Das Universal-Medium auf dem Weg zur Weltsimulation; In: Lettre International, 28, Frühjahr 5, S. 48-55. Hellige, 2008, S. 14. Ebd. Ebd., S. 19ff.

4 User Interfaces im Wandel der Zeit 1

2

Manuell bedienbare Rechen-, Kommunikations- und Informationstechnik des 19. und beginnenden 20. Jahrhunderts funktionieren mechanisch und elektromechanisch, wobei der Benutzer beispielsweise über Kurbeln, Tastatur, Klaviatur oder Stellräder Rechenvorgänge vollziehen oder Telegramme versenden und erhalten konnte:32 »Die Kopplung von Interface und Rechengetrieben war damit endgültig gelöst, die Rechenmaschine erhielt den Charakter einer Blackbox, mit der die Nutzer nur noch über das Drücken von Tasten und das Ablesen von Resultatfenstern in Verbindung traten.«33 Automatisches Computing beruht auf vorprogrammierten Prozessen an Automaten, die von außen durch Lochkarten oder Lochstreifen ausgelöst werden können. Ab Mitte des 20. Jahrhunderts wurden diese Prozesse und die damit verbundene Eingabe, Ausgabe und sogar die Speicherung mit Hilfe von Stecktafeln vereinfacht. Diese waren bis in die 1960er Jahre die Schnittstelle für den Benutzer an analogen und auch digitalen Rechnern, da vor allem die Verarbeitung von vielen Daten leicht möglich war. Daneben ist als tatsächlich mit Druck zu bedienende Schnittstelle der Fernschreiber zu nennen, der von Percy E. Ludgate (1908) und Torres y Quevedo (1915) erfunden, schließlich aber von Konrad Zuse, George R. Stiblitz und Howard H. Aiken in den 1940er Jahren als Eingabegerät von Daten an den ersten Computern umgewandelt wurde und an den Bedürfnissen des Benutzers orientiert war.34 Ein Problem dieser und kommender Schnittstellen waren die Eingabe und Ausgabe von Daten durch die Bedienung sowie die darauf abzustimmende Prozessorleistung und Verarbeitungsgeschwindigkeit. Die Bedienschnittstellen wurden zur Lösung des Problems von den Rechenprozessen abgekoppelt und die zu verarbeitenden Prozesse durch dazwischengelegte Programme gespeichert und in Paketen verarbeitet:35 »Zum fehlenden Direktzugang kam die noch immer höchst restriktive, von der Maschine diktierte monologische Form der >Kommunikation< mit dem Rechner über lange maschinenlesbare Befehlssequenzen hinzu: […]. Es setzte daher in den 50er Jahren eine Suchphase nach dialogischen, ›symbiotischen‹ Interfaces ein, die in der Lage wären, dem Benutzer wieder einen direkten Zugang zum Rechner und interaktive Eingriffsmöglichkeiten in Rechen- und Verarbeitungsprozesse zu bie-

32 33 34 35

Ebd., S. 20ff. Ebd., S. 21. Vgl. dazu auch: Alexander, Samuel: Input and Output Devices for Electronical Digital Calculating Machinery; Cambridge, Massachusetts, 1948. Hellige, 2008, S. 23ff.

205

206

Haptik am User Interface

ten und so die weitgehende Arbeitsteilung bei der Rechnernutzung wieder zurückzuschrauben […].«36 3

Im Gegensatz zu der zuvor beschriebenen Benutzungen von Rechnern in Form von Eingriffen in mechanische und automatisierte Prozesse, bezieht sich die dritte Entwicklungsphase des interaktiven Computing auf eine Art des Austauschs zwischen Mensch und Maschine, die der zwischenmenschlichen Kommunikation näher kommen sollte. Dies sollte auf der Grundlage von Text geschehen, der nicht der Form von Programmiersprache, sondern einem natürlichen Dialog ähnelte, sowie Texterkennung, Sprache (beziehungsweise Spracherkennung- und verarbeitung) und Bild. Der Fokus der technischen Entwicklung wurde vermehrt auf die menschliche Benutzung sowie erste Ideen einer künstlichen Intelligenz seitens der Computer gelegt. Kritik an diesen Veränderungen gab es weiterhin: »Realisten hingegen, die weder an eine baldige Vermenschlichung der Computersprache noch an eine Maschinenanpassung der natürlichen Sprache glaubten, setzen auf bewährte alphanumerische Ein-/Ausgabetechniken der traditionellen Büromaschinentechnik. Sie wollte mithilfe eines telegrammartigen Schreibmaschinen-Dialogs mit dem Rechner kommunizieren. Die Tastaturen wurden durch zusätzliche Funktionstasten für Standard-Operationen und Overlay-Folientasten für Spezialfunktionen noch stärker auf den Computer zugeschnitten.«37

Die Forschung zu einer Annäherung der technischen Funktionen an den Benutzer scheiterte vielerseits an überzogenen Vorstellungen und an der Komplexität menschlicher Kommunikation. Mit Hilfe der angesprochenen Tastaturen, Keyboards und der ebenfalls druckbasierten Schreibmaschinentechnik wurden weiterhin auch komplexe Prozesse bearbeitet, die sogar zur Technik der »reactive typewriter«38 führten, so zum Beispiel zu Keyboards, die miteinander kommunizieren konnten.39 Die grafischen Interfaces, die im Folgenden näher

36 37 38 39

Ebd., S. 27f. Der Autor verweist hier auf: Meadow, Ch. T: Man-Machine Communication; New York, London, Sidney, Toronto, 1970. Hellige, 2008, S. 32. Ebd. Vgl. dazu auch: Van Dam, A: Computer Driven Display and their Use in Man/Machine Interaction; In: Alt, F. L./Rubinoff, M. [Hg.]: Advances in Computers; Band 7, New York, S. 239 – 290. UND Mooers, Calvin N.: Wanted, a Reactive Typewriter: Final Report; United States, Air Force, Office of Scientific Research, Directorate of Information Sciences; 1962.

4 User Interfaces im Wandel der Zeit

betrachtet werden sollen, entwickelten sich im militärischen Bereich als Folge der Begrenzung von textbasierten Interaktionen mit komplexen Prozessen.40 4

Beim proaktiven Computing, das als nächster Schritt der Computerbedienung gehandelt wurde und wird, soll der Computer beziehungsweise die Technik automatisch, prozessgesteuert und ohne Eingriff des Benutzers nach der Programmierung arbeiten. Die Forschung folgt hier der Suche nach der Künstlichen Intelligenz.41

Im Folgenden soll nun die dritte Phase des interaktiven Computings betrachtet werden, wobei historisch gesehen die grafische Benutzerinteraktion im Vordergrund steht. Wie sich zeigen wird, kamen dabei aber immer wieder Überlegungen zur Gestaltung der User Interfaces auf, die zur verbesserten Kommunikation zwischen Mensch und grafischem Interface als Aktionsrepräsentant der Maschine beitragen sollten.

4.2.1

(G)UI, Software-Interfaces und erste Impulse des Militärs

Graphical User Interfaces ((G)UI) benennen die Art der Benutzeroberfläche der virtuellen Umgebungen, die gegenwärtig am weitesten verbreitet ist, nämlich die grafischen Nutzung von Symbolen, die auf eine vornehmend visuelle Wahrnehmung abzielen.42 Die Schnittstelle oder das Interface ist die virtuelle Oberfläche, die durch Icons auf Datenpakete und Anwendungen verweist. Die User Interface oder auch klassischen berührbaren Interfaces zu dieser virtuellen Oberfläche sind Mousepad, Tastatur oder auch Touchpad.43 Komplexe Funktionsweisen werden in einfache Symbole übersetzt, die als Auslöser verschiedenster Aufgaben dienen und durch die Verknüpfung von Auge und Hand auch als »direct manipulation (DM)«44 bezeichnet werden. Der Vorgänger der (G)UI aus den Anfängen der Computergeschichte ist das Character User Interface ((C)UI), welches eine Interaktion durch Befehlszeilen erlaubt und noch heute unter anderem von Programmierern genutzt wird.45 Der Xerox Alto gilt als erster Computer mit grafischem User Interface und Maussteuerung und wurde ab 1972 im Xerox Palo Alto Research Parc, Kalifornien, USA, konzipiert und entwickelt.46 Der kommerzielle Erfolg des Desktops stellte

40 41 42 43 44 45 46

Hellige, 2008, S. 28ff. Ebd., S. 68ff. Jacko et al., 2003, S. 6. Klein, 1998, S. 241f. Jacko et al., 2003, S. 6. Ishii/Tangible Media Group, 2011, S. 254. http://history-computer.com/Library/AltoMemorandum.pdf

207

208

Haptik am User Interface

sich in den 1980er Jahren unter anderem mit den ersten Computersystemen von Apple ein. Die Bedeutung der haptischen Sensation und ihre Feedbackmöglichkeiten der Technik an den Menschen sind im (G)UI-Design nur Teil der Kombination aus visueller, auditiver und haptischer Nutzung, wobei der haptischen Nutzung eine geringere Bedeutung beigemessen wird. Die grafische Ausrichtung bezieht sich beim (G)UI auf Bildpunkte, die als Symbole Befehle oder Informationen darstellen. Im Unterschied zur (C)UI trennt demnach diese grafische Darstellung in Verbindung mit den Interfacegeräten der Maus oder Tastatur die Darstellung der Information von der Manipulation der Information.47 In der Entwicklung der grafisch ausgerichteten Interfaces hat die nordamerikanische militärische Forschung einen Anteil vor allem zur Verbesserung von Flugbewegungen überwachter Gebiete geleistet. Hier erwies sich das Input/OutputPrinzip durch Lochkarten und der damit verbundenen Zeitverzögerung der Datenauswertung als hinderlich, eine auf Realzeit basierende Ansicht musste entwickelt werden. Die Kombination aus Video und Kathodenstrahlröhre, einem Radarbildschirm ähnlich, stellte Anfang der 1950er Jahre die Lösung durch grafische Darstellung von Flugbahnen dar.48 Das SAGE-Projekt (Semi-Automatic Ground Environment) war Initialzündung der Computerentwicklung, entstanden aus der Entwicklung des WhirlwindComputers am MIT, eines zunächst analogen, schließlich digitalen Computers als Flugsimulator für Militärpiloten. Teil des darauf folgenden ersten Luftraumüberwachungssystem SAGE war die Entwicklung des Joysticks zur Bedienung der grafischen Darstellungen und der Auswertung der Bewegungen auf dem Bildschirm und war an das Lenkwaffen-Steuerungssystems des Steuerknüppels in Flugzeug-Cockpits angelehnt, die 1942 in Deutschland gebaut wurden.49 Die Bedienung der Bewegungen des grafischen Bildschirms bekommt somit eine zusätzliche und einfacher zu bedienende Komponente in der auf 2D-Fläche möglichen Bewegung in alle Richtungen, die jedoch noch ungenau war. Punktgenauer in der Interaktion mit den Grafiken des Bildschirms und freier in der Handhabung auf diesen zu richten, war die zusätzlich entwickelte »light gun«50 und der »light pen«51 . Letzterer wurde in den 1950er Jahren von einem Point&ClickBedienungswerkzeug zu einem Zeichengerät weiterentwickelt worden, mit dem grafische Objekte am Bildschirm erstellt werden konnten.52

47 48 49 50 51 52

Ebd. Hellige, 2008, S. 33. Ebd., S. 34. Ebd. Ebd. Ebd., S. 35.

4 User Interfaces im Wandel der Zeit

Ausgehend von diesen militärischen Nutzungen erkannten Forschungsinitiativen von Programmieren an den Universitäten, dass die Entwicklung der Computerbedienung zu langsam vorangetrieben wurde und die inhaltliche Auseinandersetzung fehlte: »Es ging beiden [den Informatikern und Computerpionieren J.C.R. Licklider und Robert Taylor] gerade nicht um eine bloß technische Optimierung von Interfaces, sondern um neue mediale Nutzungsweisen von Computern, bei denen nicht mehr programmgesteuerte Berechnungen, sondern die Informationsbeschaffung und -verarbeitung, die dynamische Repräsentation von Ideen sowie die Kooperationsunterstützung im Mittelpunkt standen.«53 Licklider war es schließlich, der die Entwicklungen des Whirlwind-Computers und des SAGE-Projekts in Bezug auf das Human Interaction Design weiterdachte. Er teilte die unterschiedlichen Möglichkeiten der Interaktion in grafische, textuelle sowie eine konsolenbasierte Konstruktion ein, die einem Computerarbeitsplatz entspricht.54 Seine Idee der kommenden Interaktionswerkzeuge war eine Kombination, die »[…] ein multimediales Universal-Interface, das neben Bildschirm und Tastatur auch Light-Pen, Digitalisier-Tablett, Kamera, Projektor, Mikrophon, Lautsprecher, Telefon, Uhr sowie für die 3D-Ansteuerung einen ›bowling ball‹ aufweisen sollte.«55 Diese Kombination verweist auf die heutige Computernutzung, zeigt aber auch, dass er damit realistisch prognostizierte und seinen eigentlichen Wunsch, eine Verknüpfung von Sprach- und Handeingabe, als Zukunftsvision erkannte. Dies wurde auch im Jahr 1945 von Vannevar Bush in Form des Memex erdacht, einer fiktiven Erfindung zur Unterstützung des Gedächtnisses, die er im Essay As We May Think in der US-amerikanischen Zeitschrift Atlantic Monthly beschrieb.56 Bush erdachte eine Maschine, an welcher der Benutzer wie an einem Schreibtisch in einer Bibliothek sitzen konnte. Zwei Bildschirme, die für Benutzerhände berührungsempfindlich sein sollten, stellten auf Mikrofilm gespeicherte Wissenskomplexe dar, durch die sich der Benutzer durch Hebel hindurcharbeiten konnte, ähnlich dem Umblättern von Büchern. Dabei sollten interessante Komplexe gespeichert werden und später wieder ansehbar sein. Die Wissenskomplexe waren dabei miteinander verknüpft. Die Grundlage der Idee war die Nutzung einer Tastatur und von Knöpfen, die durch verschiedene Codes beziehungsweise Anwendungszuweisung der Knöpfe komplexere Anweisungen, wie das Speichern, Kopieren oder Anwählen von Fotos auf den Bildschirmen, durch manuelle Bedienungen vereinfachen.

53 54 55 56

Ebd., S. 37. Ebd., S. 38. Ebd. Ebd. Der Autor verweist hier auf Vannevar Bushs Essay. Siehe auch: www.theatlantic.com/magazine/archive/1945/07/as-we-may-think/303881/

209

210

Haptik am User Interface

Neben Licklider war auch der Computertechniker Douglas. C. Engelbarts Ansatz der HCI auf Grafiken als Symbole für komplexere Anwendungen bezogen. Engelbart übernahm aber von Bushs Memex-Essay die Idee eines Arbeitsplatzes mit integriertem Computer und der Kombination von mehreren Mediensystemen.57 Die Überlegungen des Computerentwicklers zu den Interfacemethoden Anfang der 1960er Jahre ergaben eine Konzentration auf eine möglichst einfache, aber effektive Dateneingabe in den Computer. Die Morsetaste und das an die Schreibmaschine angelehnte »keyboard-shorthand system«,58 waren nach Engelbart zu komplex, was auch für die noch futuristischen Handschriften- und Spracherkennung galt, im Gegensatz zur Standardtastatur. Eine Verbesserung im Sinne einer Benutzervereinfachung sah er in einer »5-Tasten-Einhand-Tastatur«59 und dem daraus resultierenden Datenhandschuh, mit dem man durch fünf Finger und damit verknüpfte Codekombinationen die Dateneingabe vollziehen konnte. Die grafischen Objekte am Bildschirm konnten so durch die Kontrolle eines Cursors angewählt werden. Mögliche Nutzungen wurden beispielsweise im PAN-Projekt (Personal Area Network) erprobt, bei dem der Benutzer einen Sender und Empfänger in Scheckkartengröße am Körper trägt. Elektrische Signale, die über die Haut geleitet werden, erzeugen so eine Spannung, wenn ein anderer Körper oder Objekt registriert wird.60 Der im vorangegangen Kapitel 3 erwähnte Derrick De Kerckhove verweist ebenfalls auf eine Anwendung des Computeringenieurs Thomas Zimmermann, der den Datenhandschuh als virtuelle Gitarre nutzte.61 Neben dem Datenhandschuh erprobte Engelbart zudem die bereits erwähnten Lightpen, Joystick, den Trackball sowie Datenhandschuhe, die mit einem Lichtpunkt versehen waren, der direkt auf den Bildschirm zeigen konnten. Zudem wurden Datenkontrollwerkzeuge entwickelt, die die Füße, Knie, Nase und Augen integrierten.62 Die Entwicklung der noch gegenwärtig gängigen Maus auf einem Pad ist ebenfalls Teil seiner Forschung.63 Trotz Konzentration auf digitale Objekte und Anwendungen als Grafiken war der Fokus auf die Kontrolle des Benutzers gelegt

57 58 59 60 61 62

63

Ebd., S. 39f. Ebd., S. 40. Ebd. Fleischmann/Strauss, 2004, S. 141./http://almaden.ibm.com/cs/user/pan/pan.html De Kerckhove, 1993, S. 160. Hellige, 2008, S. 40. Der Autor verweist hier auf: Engelbart, D.C.: Brief an Robert Taylor, 5.4.1963, Engelbart Papers, Department of Special Collections, Stanford University Libraries, Box 6, Folder 15, 11638., 1963; English, W.K./Engelbart, D.C./Berman, M.L.: Display-Selection Techniques for Text Manipulation; In: IEEE Transactions on Human Factors in Electronics, HFE-8 1, S. 5-15, 1967; Engelbart, D.C.: The Augmented Knowledge Workshop; In: Goldberg, A. [Hg.]: A History of Personal Workstations; Reading, Menlo Park, New York, S. 185-232, 1988. Ebd., S. 40/http://sloan.stanford.edu/mousesite/Archive/AugmentingHumanIntellect62/Dis play1967.html

4 User Interfaces im Wandel der Zeit

und im Besonderen der Gedanke diesen physisch und nicht nur durch Fingertasten, Hebel oder Knöpfe bedienen zu lassen. Dadurch war Engelbarts Forschung nicht nur von technischen Entwicklungen, sondern auch Experimenten mit Probanden geprägt, die die tatsächlichen Nutzungen bewerten sollten.64 Ausgehend von der Entwicklung der Pen-Tablets und der Datenstifteingabegeräte auf Pads, die allerdings immer wieder ungenau in der Dateneingabe waren, entstanden die Idee und die Suche nach der direkten Fingerdateneingabe auf einem Pad: »Die Koordinationsmängel zwischen Ein- und Ausgabe wurden einerseits Anlass für eine Direktverkopplung von Monitor und Tablet (›GRAIL-Console‹ bei Rand [Pen-Tablett]) und andererseits zu einer Verlegung des elektrischen KoordinatenGitters auf den Bildschirm. Damit wurde 1962 durch Christian Paul Charles Lesage von der ›Compagnie des Machines Bull‹ auch die Touchpanel- und TouchscreenEntwicklung angestoßen. Sein ›manually controlled coding device‹ (US. Patent 3.222.00, 23.11.1965) sollte untrainierten Laien die Bedienung von Computern ohne die Zwischenschaltung komplizierter Eingabegeräte erlauben. Der Touchscreen gilt seither aufgrund seiner Bedienung durch einfache Zeigegesten als der einfachste und natürlichste aller Positionsgeber, denn ›there is no spatial mapping between input device and the screen‹.«65 Vor allem die Sichtweise und der Unterschied eines Interfaces als der soeben angesprochene »Positionsgeber« (was bereits auf weitere Grafiken oder Symbole als Anwendungen verweist, die via Pfeil oder ähnlichem auf einem Bildschirm bedient werden sollen) zu den unterschiedlichen Möglichkeiten des haptischen Interfaces der Dateneingabe und -ausgabe ist Fokus weiterer Analyse. Bis zur erfolgreichen Markteinführung von Iphone und Ipad und der damit verknüpften Durchsetzung der berührbaren Oberfläche des Touchscreens beziehungsweise vermehrtem Verkauf und Vermarktung von Smartphones mit ähnlich berührbarer Technologie, war dies eine »Nischentechnik«,66 so Hellige, die vor allem in Public Access Systemen genutzt wurde, die den einfachen Zugriff auf große Datenkomplexe für die Öffentlichkeit ermöglichten. Der Hinweis auf die Einfachheit des Zugriffs verweist hier auf das Problem, warum sich die Touchtechnologie Jahrzehnte nicht durchgesetzt hat: die Ungenauigkeit des Fingers bei der Berührung des Bildschirms und geringer Komplexität im Dialog,67 da das Klicken eines

64 65 66 67

http://sloan.stanford.edu/mousesite/Archive/AugmentingHumanIntellect62/Display1967.ht ml Hellige, 2008, S. 42. Der Autor verweist hier auf: Douglas, S.A./Mithal, A.K.: The Ergonomics of Computer Pointing Devices; London, 1997. Ebd., S. 43. Ebd.

211

212

Haptik am User Interface

Symbols nicht mit der Eingabe von Tastenkombinationen oder textbasierten Kodierungen zu vergleichen ist.   Lawrence G. Roberts arbeitete als Informatiker am Projekt Arpanet (Advanced Research Projects Agency Network), das von den bereits erwähnten Licklider und Taylor mit dem MIT und US-Verteidigungsministerium für die US-Luftwaffe initiiert wurde und als Vorgänger des heutigen Internets gilt.68 Hier wurden auch erste Ideen von 2D und 3D-Welten entwickelt, die langsam dynamisch und beweglich wurde. Der Entwickler Ivan Sutherland arbeite damit an der Verknüpfung von grafischen Welten, virtueller Realität als dreidimensionale Objekte oder Räumen auf Basis der Mathematik mit der Verknüpfung von Hardware, die mehr vom Körper des Benutzers einbinden sollten. Daraus entstanden 1966 beispielsweise Helmdisplays wie das sogenannte Sword of Damocles,69 ein Kopf-Display (englisch: HMD, Head Mount Display),70 das bis 1968 zunächst nur Bilder, dann aber auch Computergrafiken in Echtzeit zeigen konnte.71 Die Verknüpfungen von Hardware und 3D-Software in Sutherlands Helmdisplays gaben den Benutzern eine neue Form der virtuellen Bewegungsfreiheit in Welten, die auf mathematischer Grundlage basierte, diese aber auch vernachlässigen konnte. Multisensorische Bedienung bedeutet in diesem Fall die Einbindung von Muskel- und Körperbewegungen, die über Sensoren in virtuelle Bewegungen und Aktionen umgewandelt werden.72 Die Einbindung vieler verschiedener möglicher Sensoren und Interfaces und daraus resultierenden Multisensorik durch die Erkennung der Benutzerhand, der Arme und des ganzen Körpers sowie der Sprache erklärte Sutherland im Essay Ultimate Display aus dem Jahr 1965.73 »Dieses neuartige Computerdisplay sollte nach Möglichkeit das gesamte natürliche Sinnesspektrum ansprechen und dadurch zugleich die physikalische Welt wie auch fiktive Modellwelten abbilden können.«74 Die Interaktion sollte Bewegungen in der virtuellen Welt durch das Erkennen des Körpers natürlich darstellen, im Umkehrschluss aber auch über eine »force feed back capability«75 verfügen, die es erlaubt, virtuell simulierte Kräfte des Raumes oder Objekten an den haptischen Bedienwerkzeugen des Benutzers spüren zu lassen:

68 69 70 71 72 73 74 75

Ebd., S. 45. Stenslie, 2010, S. 120. Ebd. Ebd. Hellige, 2008, S. 45f. Ebd., S. 46. Der Autor verweist hier auf den Essay von Ivan Sutherland, auch zu finden unter: www.wired.com/2009/09/augmented-reality-the-ultimate-display-by-ivan-sutherland-1965/ Hellige, 2008, S. 46. Ebd.

4 User Interfaces im Wandel der Zeit

»The force required to move a joystick could be computer controlled, just as the actuation force on the controls of a Link Trainer are changed to give the feel of a real airplane. With such a display, a computer model of particles in an electric field could combine manual control of the position, of a moving charge, replete with the sensation of forces on the charge, with visual presentation of the charge’s position.«76 Sutherlands Entwicklung war inspiriert durch Erfindungen des Kameramanns und Erfinders Morton Heilig, wie seine Telesphere Mask (1960),77 eines der ersten KopfDisplays – Displays, die brillenartig direkt vor die Augen gehängt wurden und durch die Trennung in der Mitte beziehungsweise zwei Displays eine Form der Stereoskopie oder 3D-Sichtweise erzeugten.78 Die Helm-Displays beziehen sich aber auch auf die visuelle Konzentration durch Abschottung des 3D-Kino-Systems Sensorama, das multisensorisch funktionieren sollte und somit für die vorliegende Arbeit wichtig ist. Sensorama wurde 1957 erdacht und 1962 patentiert.79 Es handelt sich um eine Vier-Personen-Kinomaschine, wobei ein Mensch auf einem Stuhl sitzend und auf einen Bildschirm schauend 3D-Filme mit allen Sinnen erleben sollte.80 Es existierten zunächst nur fünf Filme, die dies möglich machten.81 Die Maschine sollte durch das isolierte Sitzen in einer Kabine, und somit ohne Ablenkung von außen für den Benutzer, eine immersive Umgebung schaffen, die nicht nur visuell stimulieren, sondern zudem Körperbewegungen, Vibrationen des Stuhls und Auflagen für die Hände sowie Luftgebläse, Stereosound und Geruch integrieren sollte. Das Patent zeigt, dass der Aufbau des Simulators mit der Platzierung der bis zu vier Personen im Halbkreis des im Inneren befindlichen Bildschirms an frühere Formen von Stereoskopen erinnert. Die Sicht auf den Bildschirm wurde durch Spiegelung in die vier Richtungen gewährleistet. Die Zeichnung der Kabinenvorrichtung des Einzelplatzes zeigt sowohl zwei Lautsprecher direkt an den Ohren als auch zwei Sichtvorrichtungen, wodurch die stereoskopische Tiefenwirkung der Bilder erzeugt wurde. Im Patent wird es als »true 3-D«82 beschrieben: »This system employes two cameras and two projectors, and, furthermore, requires a spectator to use Polaroid glasses in order to have the left eye image reach only the left eye and the right eye image reach only the right eye.«83 Die Arme sollten auf eine Vorrichtung gelegt werden, was für diese Arbeit von besonderem Interesse ist:

76 77 78 79 80 81 82 83

www.wired.com/2009/09/augmented-reality-the-ultimate-display-by-ivan-sutherland-1965/ www.mortonheilig.com/InventorVR.html Ebd. Ebd. www.medienkunstnetz.de/werke/sensorama/ Stenslie, 2010, S. 136. www.mortonheilig.com/SensoramaPatent.pdf, S. 3. Ebd.

213

214

Haptik am User Interface

»A vibrator unit […] is fixedly attached to the platform […] so that, upon energization, a vibration is induced in the seat […], foot platform […] and an arm rest […]. It will be appreciated that vibrations of relatively small amplitude are sufficient to create illusions of reality during such scenes as a bobsled ride, a landing aircraft touching a runway, a train ride etc.«84 Das System wurde allerdings aus Kostengründen nie kommerziell realisiert,85 auch die Praxis hielt den Prozess in Spielhallentests auf: »Nach wenigen Stunden war er kaputt. Sie holten ihn ab und reparierten ihn. Doch obwohl sie sich monatelang bemühten, die Widerstandsfähigkeit von Sensorama zu verbessern, war das Gerät einfach zu kompliziert, um der Behandlung durch das Spielhallenpublikum gewachsen zu sein.«86 Es gab einen Prototyp, den Heilig 1969 noch unter anderem Namen als Experience Theater 87 weiterentwickelt und für mehr Personen konzipierte und patentierte, der das multisensuelle Erlebnis noch um Änderungen der Temperatur durch Heizer und Kühler an mehreren Stellen der Sitzvorrichtungen, zum Beispiel auf Kopfhöhe und Beinnähe erweitern sollte (Abb. 19).88 Zudem gab es verschiedene Geruchsaromen, stärkeres Kippen des kompletten Sitzes und Vibrationen für die Illusion der Übertragung dynamischer Bewegungen im Film: »A vibrator or oscillator […] is provided to vibrate the rest of the chair in the rythm appropriate to the scene, such as the varying speeds and surges and bumps of a speedboat. These vibrations are communicated to every part that touches the chair, i.e. the feet, the legs, the buttocks, the arms and the back, just as would happen of the spectator were actually sitting in a speedboat.«89 Letztendlich hatten, wie auch hier wieder angedeutet, die haptischen Interfaceforschungen immer wieder Nutzungsprobleme in der Praxis, seien es Materialprobleme, zu geringer Arbeitsspeicher oder der immer wieder zu spezielle Einsatzbereich. Auf lange Sicht und mit der Verbreitung des Computers nicht nur im Arbeitsraum des Militärs, sondern auch im Privatraum als Personal Computer, setzten sich bis in die Gegenwart Grafiken und Symbole als Software-Interfaces durch.90 Dies vor allem, weil die Grafiken Metaphern für Anwendungen, Ordner und Objekte

84 85 86 87 88 89 90

Ebd., S. 7. Stenslie, 2010, S. 136. Rheingold, 1995, S. 71. www.medienkunstnetz.de/werke/sensorama/ www.mortonheilig.com/Experience_Theater_Patent.pdf, S. 8. www.mortonheilig.com/Experience_Theater_Patent.pdf, S. 6. Hellige, 2008, S. 47ff.

4 User Interfaces im Wandel der Zeit

Abb. 19: Morton Heilig, Experience Theater

waren, die wiederum in einer einfachen, verständlichen Form durch die am weitesten verbreiteten Interfacewerkzeuge Tastatur und Maus in der Kombination mit dem Desktop auf einem Bildschirm doch komplexe Systeme bedienbar machten, ab den 1980er Jahren auch noch der Joystick in Bezug auf die sich ausbreitende

215

216

Haptik am User Interface

Computer- und Videospieleindustrie sowie Trackball und kleinere Versionen der Touchpads durch mobile Computer und Laptops.91 In dieser Zeit keimte zudem ein neues Suchen nach weiteren Formen von Interfaces auf, begründet auf den bisherigen Nutzererfahrungen: »Neben der Miniaturisierungs-Problematik bei der Bedienfläche gab es seit der Mitte der 80er-Jahre aber noch weitere Anlässe für eine Suche nach Alternativen zum sich gerade etablierenden Desktop- und WIMP-Paradigma.92 Da war die zunehmende Ausbreitung von Public Access Systemen wie InformationsKioske, Online-Kataloge und Selbstbedienungs-Terminals, bei denen weder die Maus noch komplizierte GUI-Dialoge geeignet sind. Doch auch beim DesktopComputing selber bewirkte das kleinschrittige Vorgehen der ›Direkten Manipulation‹ mit zunehmender Komplexität der Anwendungs-Software immer mehr Verdruss. Infolge der aus Marktstrategien resultierenden Hardware- SoftwareSpirale bei PCs und der skalenökonomisch bedingten geringen Spezialisierung wuchs die Funktionalität der Softwarepakete derart, dass die Errungenschaften des Graphical User Interfaces, Visualisierung und sequentielle Eingaben mit ständigem Feedback, immer dysfunktionaler wurden.«93 Die Erweiterungen der HCI wurden wieder ins Blickfeld genommen, wodurch erneut die Suche nach Interfaces begann, die Sprache, Schrift, Blicke oder auch Gesten in Daten verarbeiten konnten und die Idee des »Natural User Interfaces« immer interessanter wurde – ein Kommunikationsdesign des Interfaces, das sich am natürlichen Verhalten des Menschen orientiert.94 Die Kombination aus virtueller Realität und vielfältiger Kombinationen von Sensoren und Interfaces nahm schließlich auch wieder den haptischen Sinn auf: 1981 versuchte der Leiter des Virtual Environment Workstation Projects (VIEW) des NASA-Ames Research Centers Scott S. Fisher gemeinsam mit dem Künstler Myron Krueger virtuelle Realität mit Telepräsenztechniken zu verknüpfen, in dem in Art und Menge unterschiedliche Dateneingabe- und Ausgabetechnologien getestet wurden.95 Der Benutzer sollte mit vielen seiner Sinne agieren und kontrollieren können und somit auditiv, taktil, visuell und via »eye-tracking« und Gestik mit der Maschine und somit der virtuellen Welt interagieren können. Doch auch hier machte sich nach kurzer Zeit aufgrund der bereits genannten Probleme wieder Ernüchterung breit, die mit Beginn der 1990er Jahre zu einer 91 92 93 94 95

Ebd., S. 53. WIMP steht mit den Anfangsbuchstaben für die vorherrschenden Computertechnik und arbeitsweise: Windows, Icon, Menus und Pointer. Hellige, 2008, S. 54. Der Autor verweist hier auf: Norman, D.A.: The invisible Computer; Cambridge (Massachusetts), London, 1998. Ebd., S. 54f. Ebd., S. 60f.

4 User Interfaces im Wandel der Zeit

»interface crisis«96 durch das Erkennen der Grenzen der Virtual Reality und seiner Kontrolle führte: »Denn HMDs, Datenhandschuhe und Bodysuits waren für die Alltagsnutzung zu invasiv, und die Immersion isolierte den Nutzer völlig von seiner Umgebung. Die extrem hohen Einstiegskosten schränkten das Anwendungsspektrum stark ein und ließen die VR wie ein Jahrzehnt zuvor die Computergrafik zu einer ›solution in search of a problem‹ werden. Der ›Cyberspace‹ als Gegenwelt zum bestehenden Interface-Repertoire und als finales Medium wurden so entmystifiziert zu ›Spatial Input‹ und ›3D User Interfaces‹. Diese entwickelten sich zu einer zunehmend erfolgreichen Spezialtechnik, die neben die bestehenden Intermedien trat, diese aber nicht verdrängte. Der integrale Ansatz der multisensuellen und multimodalen Virtual Environments wurde wieder zurückgestellt zugunsten einer intensiveren Erforschung der einzelnen Natural Interface-Techniken.«97 Abschließend ist zu sagen, dass in der Forschung um das Human Interaction Design die Frage nach multimodalem Feedback vor allem ein Anliegen ist, wenn (G)UI für visuell oder andersweitig beeinträchtige Menschen geschaffen werden sollen. Die visuelle Dominanz der sinnlichen Wahrnehmung verlagert sich in diesem Fall auf Geräusche als Feedbackinformationen und haptischen Information wie Vibration oder anderen Bewegungen.98 Multimodales Feedback kann dabei in uni-, bioder trimodal genutzt werden, also in verschiedenen Kombinationsstufen, um dem Benutzer ein Feedback als Antwort auf eine erfolgreich ausgeführte Handlung (wie das Klicken auf ein Symbol oder eine Drag&Drop-Aktion) zu geben.99 Verschiedene Studien100 zu den drei Stufen der Multimodalität zeigten, dass sich vor allem haptisches und visuelles Feedback unimodal nützlicher erwies als bi- oder trimodal. Weiteren Studien zeigten aber auch, dass multimodales Feedback deswegen nicht als hinderlich, sondern immer noch als positiv für die Durchführung von Aktionen zu interpretieren ist: »As a result, multimodal feedback does not hinder the performance of normal users, while it does show promise as an aid for both users with normal vision and for those who have compromised vision.«101 Die zusätzliche Kombination anderer sinnlicher Feedbackfunktion zum starken visuellen Gebrauch des GUI wird demnach bei visuell nicht beeinträchtigten Menschen nicht als hinderlich gesehen, aber auch nicht als besonders nützlich, um den Gebrauch 96 97

Ebd., S. 61. Hellige, 2008, S. 61f. Der Autor verweist hier auf: Machover, C ./Tice, St. E.: Virtual Reality; In: IEEE Computer Graphics and Applications, 14, 1, S. 15-16; 1994. 98 Jacko et al., 2003, S. 7. 99 Ebd., S. 8. 100 Ebd. Die Autoren verweisen hier auf: Vitense, H.S./Jacko, J.A./Emery, V.K.: Multimodal feedback: An assessment of performance and mental workload. To appear in Ergonomics, in press. 101 Ebd., S. 17.

217

218

Haptik am User Interface

des, wie der Name schon sagt, grafisch und somit auf das Visuelle ausgerichtete, GUI zu verbessern. Worin liegt nun das Forschungsinteresse der User Experience? Aus der Sicht des Users stellt die grafische Darstellung der Information als Masse von Bildpunkten eine Weiterentwicklung dar, wenn die digitale Welt als Teil der menschlichen Lebenswelt gesehen wird102 und somit auch in seiner sinnlichen Darstellung möglichst nah an die reale Umgebung und Form der Dinge herankommt. Aus Sicht eines Programmierers, der die Grundstruktur und den Aufbau der digitalen Welt in Zeichen sieht, ist diese Annäherung nicht nötig. Soll jedoch die digitale Welt mit der physischen Welt natürlich verknüpft werden, so ist die Designanpassung der Interfaces als reale Körper, die der Mensch berührt, vonnöten. Diese Anpassung folgt im weiteren Schritt zum Beispiel durch die Berührungsmöglichkeiten der Kraftübertragung durch Force Feedback oder Vibration und hin zu der Idee Tangible User Interfaces ((T)UI). Zunächst soll aber ein Blick in die Geschichte der Blindenforschung die Möglichkeiten des rein haptischen Informationsaustauschs gegenüber der Visualität verdeutlichen, um die Bedeutung des Unterschieds der grafischen zu greifbaren Interfaces zu bestärken.

4.2.2

Haptik in der Blindenforschung, Braille auf der Haut

Ein medizinischer Forschungszweig und eine Frühform der Erforschung der Haptik als Informationsgeber ist die Unterstützung der Orientierung von blinden Menschen in der gegenwärtigen, visuell ausgerichteten Umwelt. Die Blindenschriften, mit der Brailleschrift die am weitesten verbreitete, werden bis heute als vom Leser aktive, haptische Erfahrungen von Oberflächen genutzt, wobei immer weiter versucht wird, die Lesbarkeit und somit den Zugang zur Information zu verbessern. Nicht nur Form der Erhebung ist wichtig, sondern auch die unterschiedlichen Strukturmöglichkeiten sowie die Aktivierung der Oberfläche können bei der Lesbarkeit genutzt werden: »For example, the limited spatial resolution of the fingertip may make it difficult to determine the direction of a raised arrow, wheras a pattern that is rough in one diretion and smooth in the other can be read quickly as a directional signal.103 Es gibt diverse historische Zweige der Blindenschriften, deren ältester Zweig der Jesuitenmönch Francesco Lana-Terzi ist.104 Lana-Terzi erfand im Jahr 1670 eine Gravurform, die das Alphabet in eine Kombination aus Punkten und Strichen verwandelte, sodass sie blinde Menschen mit den Fingern lesen können, in dem 102 Ishii/Tangible Media Group, 2011, S. 254. 103 www.psy.cmu.edu/∼klatzkyfaculty/Touch.prepub.pdf, S. 25. An dieser Stelle verweisen die Autoren auf: Schiff, W., Kaufer, L. Mosak, S.: Informative tactile stimuli in the perception of direction, Perceptual and Motor SKill, 23, S. 1315-1335; 1966. 104 Heimers, 1979, S. 19.

4 User Interfaces im Wandel der Zeit

sie diese Kombination einem Buchstaben zuordneten, ganz ähnlich der BrailleSchrift. Louis Braille, selber sehbehindert, erfand aus der Not heraus 1825 eine Blindenschrift, die im Vergleich zu Lana-Terzi nur aus der Fläche herausstehenden Punktkombinationen bestand, da er aus eigener Erfahrung wusste, dass Punkte durch ihre Unterbrechungen einfacher zu lesen beziehungsweise ertasten sind als durchgezogene Linien.105 Die Braille-Schrift lässt sich mit sechs Punkten zu 63 Buchstabenfiguren setzen. Der Wissenschaft ist allerdings bekannt, dass Braille die Blindenschrift von Charles Barbier de la Serre kannte. Dieser erfand wenige Jahre zuvor eine ebenso punktorientierte Schrift, die sechs Punkte nach oben und zwei Punkte nach links und rechts umfasste, 36 Laute, also nicht nur Buchstaben, benennen konnte und insgesamt auf die französische Sprache zugeschnitten war.106 Ein sehbehinderter Mensch konnte somit mit seiner Schrift neben Buchstaben auch Töne ausdrücken. Später variierte er das System, indem er die Punktkombinationen horizontal, vertikal und diagonal mit ebenso unterschiedlichen Entfernungen der Punkte zueinander neu ordnete, um so eine, seiner Meinung nach, schnellere und leichtere Lesbarkeit zu erzeugen.107 Dennoch war sie immer noch zu kompliziert, was Braille in der Folge mit seiner Schrift vereinfachte. Etwa aus derselben Zeit wie die Erfindung der Blindenschriften von Barbier de la Serre und Braille ist die sogenannte »Wiener Schrift«108 bekannt, die vermutlich von dem Pfarrer Josef Engelmann erstellt wurde. Neun Punkte ergeben dabei Variationen für Buchstaben, Zahlen oder weitere Zeichen. Brailles Blindenschrift ist nachweislich eine Weiterentwicklung der Schrift von Barbier de la Serre, da er in der Nutzung Nachteile sah, weil sie viele Dinge wie Orthografie oder Interpunktion nicht beachtete. Die Kombination aus letztendlich nur noch sechs möglichen erhabenen Punkten auf einer klar geordneten Fläche mit immer gleichem Punkteabstand war nicht nur einfacher, er fügte ebenso Zeichen hinzu, die eine Nutzung für Mathematik oder Musik durch eine Punknotenschrift zuließ.109 Später wurden aus den Grundlagen der Schrift von Braille heraus weitere Symboltabellen für Mathematik, Chemie oder der Datenverarbeitung geschaffen.110 Letztendlich setzte sich demnach die Konzentration auf ein Fühlen von erhabenen Punkten, die nicht gezählt, sondern aufgrund von Vorwissen als bestimmtes Zeichen erkannt werden, gegen die komplizierten Varianten mit zusätzlichen Linien oder zu lautsprachigen Zeichen aus diversen Gründen durch.

105 106 107 108 109 110

Ebd., S. 19. Ebd., S. 20. Ebd., S. 21. Heimers, 1979, S. 22. Ebd., S. 24. Ebd., S. 43f.

219

220

Haptik am User Interface

Die Blindenschrift ist eine passive Form Information zu vermitteln,111 der Benutzer muss selbst aktiv fühlend die bereitgestellten Formen ertasten, wofür auch nur eine »sehr geringe Gefühlsfähigkeit«112 vonnöten ist, wie E. Asmis in einer Schrift über einen anderen Protagonisten der Blindenschrift, William Moon, schon 1861 vermerkte. Moon erdachte 1847 eine Blindenschrift, die sich dem lateinischen Alphabet in erhobenen Lettern im Blatt in ihrer Buchstabenform ähnelte.113 Dieses System etablierte sich als leicht zu erlernendes System, vor allem auch für Menschen, zu deren Sehbeeinträchtigung noch eine Gefühlsschwäche im Tastbereich oder eine Lernschwäche durch eventuelle geistige Behinderung hinzukam. Der Passivität der verschiedenen Punktschriften wurden im 20. Jahrhundert eine Aktivierung durch Bewegung entgegengestellt. Stenslie verweist in seiner Dissertation auf eine aktive Schrift, die »Vibratese«,114 die 1957 von F. A. Geldard vorgestellt wurde, einer Stimulation der Haut, die in 45 Grundformen aufgeteilt is. Jede haptische Grundform steht für einen Buchstaben oder eine Zahl. »Both passive, tactile, and active, haptic language indicate how it is possible to code tactile clues into readable and expressive systems. In turn, this makes it even more likely to construct a haptic language that might function as a medium of its own.«115 Neben der Vibratese ist das Tadoma-System eine Möglichkeit Vibration und somit aktive Informationsbereitstellung als Kommunikationssystem zu nutzen.116 Taubblinde Menschen haben mit diesem System gelernt durch Auflegen ihrer Hände auf das Gesicht eines Menschen und deren Vibration, Lippen-, Wangen- und Halsbewegungen beim Sprechen zu verstehen, was gesagt wird. Auch Lormen ist als ähnliches Schriftsystem für Taubblinde zu beschreiben, bei dem bestimmte Bewegungen auf festgelegten Handpartien einen Buchstaben des Alphabets repräsentieren, so steht beispielsweise ein Tippen auf die Daumenspitze des Kommunikationspartners für ein »A«, ein kurzes Anstreichen der Mitte des Mittelfingers für ein »B«. Ein schweres, aber erlernbares System. Um die Informationsbereitstellung aktiv zu machen lag auch die Mechanisierung und Automatisierung der Blindenschrift Nahe. Die Entwicklungen

111 112 113 114

115 116

Stenslie, 2010, S. 138. Asmis, 1861, S. 3. Nater, 1996, 36ff. Stenslie, 2010, S. 138. Der Autor verweist hier auf: Pasquero, Jerome: Survey on communication through touch; Technical report: TR-CIM 06.04, Center for Intelligent Machines, McGill University; 2006. Stenslie, 2010, S. 138. Ebd., S. 82. Der Autor verweist hier auf: Grundwald, Martin: Human Haptic Perception: Basics and Applications; Basel, Boston, Berlin, 2008.

4 User Interfaces im Wandel der Zeit

orientierten sich dabei zunächst an etablierten Schriftsystemen. In der Geschichte der technischen Blindenhilfsmittel gab es neben Punktschrifttafeln,117 bei denen die Punkte durch eine Schablone in ein Papier spiegelverkehrt eingedrückt werden, um sie danach von rechts nach links lesen zu können, vor allem klassische Braillewriter-Schreibmaschinen118 oder Braillomaten,119 Oskar Pichts Blindenschreib- und Stenographiermaschinen120 oder die Moon-Writer.121 Diese wurden bereits im 19. Jahrhundert entwickelt und drückten durch Tastendruck oder Klaviaturen nicht nur farbige und somit rein visuelle Buchstaben auf Papier, sondern mechanische, erhabene Brailleschriftpunkte. In den 1940er Jahren wurde im American Foundation Research Laboratory der »Tellatouch« erfunden, eine ebenfalls auf der Idee der Schreibmaschine basierenden Maschine, hier als Kommunikationsmittel zwischen einem sehenden oder blinden Menschen und einem taubblinden Menschen.122 Die Schreibmaschine ist auf der einen Seite mit drei Reihen Buchstabentasten im gängigen QWERTY-System versehen sowie einer vierten Reihe mit Braillezeichen, auf der Rückseite oder vielmehr der gegenüberliegenden Seite ist eine runde Metallplatte angebracht, auf die ein taubblinder Mensch einen Finger auflegen kann, der sogenannten »Braillezelle« (»braille cell«).123 Je nachdem welche Tasten auf der einen Seite gedrückt werden, erheben sich kleine Stäbe in der Zelle, die als Brailleschrift haptisch gelesen werden können. Ähnlich funktioniert auch die Braille-Zeile,124 ein haptisches längliches Computerdisplay, das kleine Stabpunkte als Brailleschrift herausragen lässt (von zwölf bis zu 80 Zeichen). Das Fühlen von herausstechenden Punkten oder unterschiedlich großen, beweglichen Stäben wird schließlich später am Ende des 20. Jahrhundert mit virtuell verknüpften Arbeiten wie Recompose, Relief oder FEELEX wieder aufgenommen, wie noch zu sehen sein wird.   Technologische Entwicklungen machen sich die Systeme Braille, Tadoma oder Lormen auch für die Kombination aus Berührung und Ton zunutze.125 Das NOMADSystem ist eine der ersten audio-taktilen Karten, deren technische Oberfläche in verschiedene, zellenartige Bereiche geteilt wurde, welche wiederum an Elektronik angeschlossen ist. Berührt man eine der Zellen, so wird eine Tonspur abgespielt. Eine spätere, weiterentwickelte Form davon ist das MoBIC, welches ebenfalls eine

117 118 119 120 121 122 123 124 125

Nater, 1996, S. 26. www.aph.org/museum/braillewriters/1.html Umscheid, 1991, S. 53. Feldhaus, 1932, S. 194. Nater, 1996, S. 46ff. www.aph.org/museum/braillewriters/26.html Ebd. Umscheid, 1991, S. 53. www.psy.cmu.edu/∼klatzkyfaculty/Touch.prepub.pdf, S. 26.

221

222

Haptik am User Interface

Karte audio-taktil erfahren lässt, in diesem Fall in Verknüpfung mit einem Computer.126 Die angesprochene Verknüpfung von Haptik und Technologie als Unterstützung taubblinder Menschen mit dem Lorm-Alphabet findet sich auch im Forschungsprojekt von Tom Bieling und Ulrike Gollner des Design Research Labs in Berlin wieder (in einem gemeinsamen Projekt mit dem Oberlinhaus Babelsberg und dem Allgemeinen Blinden- und Sehbehindertenverein Berlin). Sie begannen 2011 den Mobile Lorm Glove127 zu entwickeln, einem Datenhandschuh, der das Blindenalphabet in der Innenfläche hat. Durch Drücken verschiedener Punkte werden diese Bewegungen in Text umgewandelt, der per SMS oder Chat gesendet, aber auch empfangen werden kann. Die Druckpunkte sind dabei im Stoff vernäht, sodass der Benutzer mit seiner anderen Hand weichen Stoff und Nähte spürt. Sie sind von der Fingerspitze, über die Handfläche bis zum Handgelenk strategisch verteilt.128 Das damit verbundene Projekt Lorm Hand wurde als Installation zum ersten Mal auf der Taubblindendemo in Berlin 2013 vorgestellt.129 Eine skulpturale weiße Hand, die mit der Innenfläche zum Benutzer zeigt, wurde hier an einer Box mit einem Bildschirm kombiniert. Die »Hand« konnte nun vom Benutzer berührt werden, wobei die Innenfläche mit dem Lorm-Alphabet sensorisch versehen war, wodurch die verschiedenen Buchstaben auf dem Bildschirm erschienen und so über soziale Netzwerke wie Twitter Botschaften verbreitet werden konnten. Zugleich war es aber auch eine Möglichkeit eines Lerninterfaces für das Lorm-Alphabet.   Letztendlich steckt hinter dem Design für visuell beeinträchtigte Menschen wie in jedem Design der Versuch die Verknüpfung von Mensch und Maschine so simpel und somit effektiv wie möglich zu machen, was einer Art »Verschwinden der Technologie« gleichkommt. »Verschwinden oder Unsichtbarkeit heißt nicht, dass die Geräte als solche versteckt würden oder physisch gar nicht mehr existierten, sondern dass sie so normal und im Gebrauch so eingeübt sind, dass sie und ihre algorithmische Basis der Aufmerksamkeit entgehen.«130 Die Auseinandersetzung mit einer Art Unsichtbarkeit wurde in der vorliegenden Arbeit im Zusammenhang mit dem Begriff der »natürlichen Interfaces« von Christa Sommerer und Laurent Mignonneau bereits geführt werden. Deren natürliche Interfaces sollen in der Handhabung nicht mehr erlernt werden müssen, sondern der Aufmerksamkeit entgehen, um hier einen sprachlichen Rückbezug zu ziehen. Die angestrebte Effektivität des Designs bedeutet in der Blindenforschung vor allem bestmögliche und 126 127 128 129 130

www.icevi.org/publications/icevix/wshops/0432.html Heinich, 2012, S. 125. Ebd. www.design-research-lab.org/projects/twitter-hand/ Robben/Schelhowe, 2012, S. 8.

4 User Interfaces im Wandel der Zeit

zugleich leicht verständliche und erlernbare Informationsübergabe. Die Haptik ist in dieser Perspektive notwendiges und bewusstes Mittel zum Zweck der Verständigung und der Verbesserung der Lebensbedingungen. Die Haptik verstanden als Erlebnismoment der Wahrnehmung in Form einer bewussten Sinnlichkeit rückt in den Hintergrund. In der Designforschung hat sich für dieses Gegenkonzept der Begriff »Experience Design«131 etabliert, welcher in der Namensgebung selbst bereits aussagt, dass hier eben nicht die Sinnlichkeit oder die passierende Interaktion vertuscht werden soll, sondern ein Erlebnis stattfindet, das für den Benutzer eine Erfahrung ist: »Der Tastsinn ist der Ausgangspunkt, aber die Perspektive ist weit und umfasst mehr als das Zeigen und Anfassen.«132 Bei allen Interfaces ist das Verhältnis von Informationsvermittlung und Erfahrungsobjekt gestaltet, was eventuell ein besonderes Merkmal der Unterscheidung kunstorientierter zur industrieorientierten Interfacenutzung ist. Kunstorientiert werden die Interfaces für besondere Wahrnehmungssituationen geschaffen und im Gegenzug dienen industrieorientierte Interfaces als Kommunikationsobjekt.

4.2.3

Kraftübertragung durch Force Feedback

Nach der im vorangegangen Kapitel präsentierten Verknüpfung von haptischer Interfacenutzung und der Blindensprache soll nun die mechanische Sinnlichkeit von Druck oder Gewicht diskutiert werden. Diese Kräfte begegnen dem Menschen durch natürliche Objekte selbstverständlich und können auch Ausdruck bei virtuellen Objekten finden: »During haptic interaction with everyday environments, haptic perception relies on sensory signals arising from mechanical signals such as contact forces, torques, movement of objects and limbs, mass or weight of objects, stiffness of materials, geometry of objects etc. […]. In contrast, haptic perception in Virtual Environments (VEs) relies on sensory signals arising from computer-controlled mechanical signals produced by haptic interfaces […].«133 Das Zitat des Neurowissenschaftlers und Computeringenieurs Gabriel Robles-dela-Torre verweist im Zusammenhang der Haptik und virtueller Umgebungen auf die Wichtigkeit der mechanischen Signale, auch wenn diese Arbeit zeigt, dass Haptik eben nicht nur auf diesen Signalen beruht, sondern die Einbindung, durch den Einbezug der natürlichen Umwelt oder mechanischer Signale der künstlichen Umwelt ohne Computerkontrolle weitaus vielfältiger ist.

131 132 133

Ebd., S. 9. Ebd. Robles-de-la-Torre, 2008, S. 363.

223

224

Haptik am User Interface

Der Begriff »Force Feedback« steht für ein haptisches Signal von Kraft an den Bedienwerkzeugen des Benutzers. Sprachlich interessant ist, dass »Haptic Interfaces« oder »Haptisch« im englischen Sprachraum für ebendieses Force Feedback oder auch für Kraftrückkopplung steht. In Erinnerung gerufen sei an dieser Stelle, dass der in dieser Arbeit genutzte Begriff des haptischen Interfaces nicht dieser engen Definition einer reinen computerbasierten mechanischen Signalweitergabe entspricht, sondern vielmehr einer erweiterten Definition der Bedienwerkzeuge, die die vielfältige Integration von Haptik betreffen. Das haptische Interface wird hier nicht nur als Bediengerät im Blick auf Technologie verstanden, sondern vielmehr seine Einbindung in technische und/oder natürliche Umgebungen als Erfahrungsraum des Benutzers. Den Unterschied zwischen einer natürlichen oder einer technischen Umgebung zieht Robles-de-la-Torre folgendermaßen: »A haptic environment consists of one or more haptic stimuli [ein oder mehrere haptische Signale], which define the haptic properties of entities such as objects. A haptic object or environment is virtual if it is created through haptic technology. A haptic environment is real if its is not created through haptic technology, […].«134 Seine Ausführungen beziehen sich demnach deutlich auf die haptische Wahrnehmung durch das Objekt oder das Bediengerät. Diese klar unterscheidende Definition muss mit Rückblick auf die medienkünstlerischen Arbeiten durch die oft auf den ersten Blick nicht zu trennende Kombination aus virtueller und realer Umgebung ergänzt werden. Um Force Feedback zu verstehen, soll sich in diesem Kapitel zunächst einmal auf die »haptic technology«, also die haptischen Möglichkeiten des Bediengeräts konzentriert werden: »Haptic technology allows producing computer controlled haptic signals/variables that a perceiver experiences through a variety of tools called manipulandums, which resemble thimbles […], pens […], plates […], as well as joysticks, driving wheels etc. […] Mechanism and manipulandums are essential parts of a haptic device. […] Generally speaking, a haptic device can be classified as passive or active. Passive devices include those in which a perceiver applies energy to the device (for example, through applied forces or motions), and computercontrolled dissipation of this energy is provided by the device […]. In contrast, active devices supply computer-controlled energy to perceivers, typically in the form of forces […].«135 Aus der Sicht eines haptischen Interfaces wird demnach vom Computer aktivierte Energie an der Oberfläche durch Mechanik, elektrische Motoren und Sensoren, die 134 135

Ebd., S. 364. Ebd., S. 365.

4 User Interfaces im Wandel der Zeit

die Position und Bewegungsrichtungen der Interfaces messen, spürbar.136 Virtuelle Umgebungen und/oder Objekte müssen dabei durch die Software des Computers und deren Algorithmen in Echtzeit funktionieren. Für die Erforschung der Wahrnehmung können Experimente mit haptischen Interfaces, nach Robles-de-la-Torre, vier grundlegenden Vorteile haben:137 • • •

•

Reale Wahrnehmungsignale können virtuell reproduziert werden, virtuelle Objekte können dynamischer in ihren physikalischen Eigenschaften wie der Größe oder der Oberflächenstruktur angepasst werden, virtuelle Objekte können erzeugt werden, die so in der Natur nicht vorkommen, aber, wie zuvor genannt, dynamisch sind und realen physikalischen Gesetzen unterliegen, die quantitative und qualitative Analyse der von einem Menschen wahrgenommenen Signale kann durch haptische Interfaces genauer erforscht werden.

Die perfekte Wahrnehmung eines virtuell simulierten Objekts am haptischen Interface müsste simulierte Erfahrungen in der Realwelt in Form von Textur, Größe, Gewicht, Temperatur, Bewegungen als Ortsveränderung oder Oberflächenmaterial erfordern, wie es auch bei der Wahrnehmung realer Objekte der Fall ist. Diese Vielzahl von mehreren haptischen Signalen, die gleichzeitig wahrgenommen und vom Körper verarbeitet werden müssen, konnte bisher noch nicht simuliert werden. Nachdem bereits die Ortsveränderungen eines Objekts besprochen wurde und bevor in den kommenden Kapiteln die Möglichkeit einer dynamischen Oberflächenstruktur hinterfragt wird, soll hier die Möglichkeit von simulierter Kraft an haptischen Interfaces Erwähnung finden, die in isotonisch und isometrisch unterschieden werden: »Isotonic haptic devices generate mechanical signals through actuators such as electric motors. The actuators transform one form of energy (e.g., electricity) into mechanical energy. This energy manifests itself as the device’s mechanical signals (e.g., forces or toques). […], VOs created with isotonic devices tend to feel somewhat soft, spongy. In contrast, isometric devices can produce rigid (highly stiff) VOs. However, it is difficult to use an isometric device to simulate touching an empty space. This is much simpler to do with isotonic devices, because they tend to feel very light when handled.«138

136 137 138

Ebd., S. 365f. Ebd., S. 367. Robles-de-la-Torre, 2008, S. 369.

225

226

Haptik am User Interface

Der Benutzer kann an einem isometrischen Interface mehr Kraft übertragen. Diese Kraftübertragung ist beispielsweise wichtig, wenn simuliert werden soll, ob das virtuelle Objekt in der Gesamtstruktur des Materials oder der Oberfläche stark einzudrücken ist oder eher fest und stabil wirkt. Je nach dem muss das Gefühl der Kraftübertragung eines Eindrückens ein anderes sein. Der ehrgeizige Grundgedanke hinter der Kraftübertragung kommt aus der Idee, nicht das reale Objekt so zu entwickeln, dass es sich an digitale Signale anpasst und dynamisch verändert (wie später unter anderem im Konzept der Radical Atoms zu sehen sein wird),139 sondern an der Oberfläche eines haptischen Interfaces Sensationen auszulösen, die dem menschlichen Körper und dem Gehirn differenzierte Wahrnehmungen simulieren. Diese Simulation durch sehr feine Kraftübertragung wurde vom Team um Robles-de-la-Torre mit dem Simulationsapparat GRAB140 erforscht. Das Gerät ist wie ein dünner, mechanischer und dreidimensional beweglicher Arm konzipiert, der an seiner Spitze eine Art Fingerhut hat, an dem der Benutzer mit einem seiner Finger interagiert (Abb. 20). In seiner Grundform erinnert es demnach fantasievoll an die Fingerberührung von Gott und Adam in Michelangelos Darstellung in der Sixtinischen Kapelle. In den Experimenten mit GRAB schlossen die Teilnehmer die Augen, um sich ausschließlich auf die Haptik ihres Fingers zu konzentrieren. Die ausgeführten haptischen Sensationen wurden schließlich dahingehend analysiert, ob und welche geometrischen Figuren die Teilnehmer erfühlen konnten. Die Analyse ergab, dass feine Änderungen in der seitlichen Kraftausübung des Interfaces auf den Finger beispielsweise einen Unterschied zwischen geometrischen, harten und weichen Strukturen machen, aber auch feinen, kleinen, gar spitzen Strukturen, die als schmerzend empfunden werden können.141 GRAB ähnelt mit seinem armähnlichen Aufbau marktbewährten anderen Geräten wie dem Novint Falcon,142 Sensable Phantom Desktop (3D Systems Geomagic Touch X),143 Sensable Phantom Omni (3D Geomagic Touch),144 (Sensable) Phantom Premium 6DOF (3D Systems Geomagic Phantom Premium),145 die verschiedene Preiskategorien des Systems darstellen, oder dem Force Dimension Omega.146 Ein frühes haptisches Interface in Verknüpfung mit einer virtuellen Umgebung stellte im Jahr 1967 der GROPE-I von Frederick Brooks dar.147 Das Interface bestand aus einer flachen Platte mit einem Knopf, dessen Bewegung in Richtung x oder y 139 140 141 142 143 144 145 146 147

Siehe dazu Kapitel 4.4. www.roblesdelatorre.com/gabriel/OP-CA-MB-GR-RO-MAN06.pdf Ebd., S. 1. www.novint.com/index.php/novintfalcon http://geomagic.com/en/products/phantom-desktop/overview/ http://geomagic.com/en/products/phantom-omni/overview/ www.geomagic.com/en/products/phantom-premium-6dof/overview www.forcedimension.com/downloads/specs/specsheet-omega.7.pdf Grundwald, 2008, S. 356.

4 User Interfaces im Wandel der Zeit

Abb. 20: Gabriel Robles-de-la-Torre, GRAB

die Bewegung auch virtuell am Bildschirm umsetzte. Das Interface repräsentierte somit im Design eines realen Objekts die Bewegung in der virtuellen Umgebung. Eine der Nachfolgeversionen GROPE-III, war schließlich dreidimensional ausgelegt und funktionierte mit einem mechanischen Arm und Handgriff zur Bedienung. Von der greifbaren Bedienung und Bewegung virtueller Objekte und Umgebungen machte die Technologieforscherin Margaret Minsky mit ihrem haptischen Sandpaper System148 in den 1990er Jahren einen Schritt zu fühlbaren Strukturen virtueller Dinge durch einen motorisierten Joystick, der gegen die Benutzerhand drückte, wenn virtuelle Unebenheiten und Strukturen auftauchten: »The software created very small virtual springs which pull the user’s hand toward low regions and away from high regions of a texture’s map. It also created feel-able physics such as variable viscosity soups, springs, and yo-yos. The research was the beginning of theory of haptic rendering.«149 Das virtuelle Sandpapier gab es in verschiedenen Texturstärken und war zudem mit einem Schwarz-Weiß-Bild am Bildschirm verknüpft, der in einfacher Form das Sandpapier visuell repräsentierte, welches mit einem durch den Joystick bewegten Cursor überfahren werden musste.150 Die Grafik war sehr einfach und eben nicht naturalistisch. Die Überzeugung des Benutzers wurde über die Haptik erzeugt.

148 http://hdl.handle.net/1721.1/29094 149 Ebd., S. 356. 150 Rheingold, 1995, S. 304.

227

228

Haptik am User Interface

Norman White und Doug Back entwickelten 1986 das spielerische Armdrückgerät namens Transatlantic Telephonic Arm Wrestling,151 das ganz ohne audiovisuelle Unterstützung auskam. Ein elektromechanischer Arm übertrug dabei die Kraft des drückenden Benutzers auf einen beliebig entfernten anderen mechanischen Arm, verbunden via Modem.152 Auch die performative, interaktive Installation NeuroBaby aus dem Jahr 1993153 von Naoko Tosa beruhte auf einem Handschüttelgerät (»Handshaking Device«154 oder »hand interface«155 ). Die visualisierte Software zeigte dabei auf einem Bildschirm, der für die Installation in einer Decke gewickelt in einer Kinderwiege lag, unterschiedliche positive und negative Emotionen in Form eines animierten Babys, welches auf Spracheingabe eines Mikrofons und auch auf Druck und Position der Hand des Benutzers an jenem Gerät mit Gesichtsausdrücken und Tönen reagiert (Abb. 21). Das zweiseitige System mit zwei gleichen Geräten (Network Neuro-Baby) ließ zwei Benutzer in Tokyo und Los Angeles über das Gerät miteinander die Hände schütteln, der Druck des Benutzers wurde dabei in Daten und schließlich wieder in Druck umgesetzt.156 Die Systeme sollen durch mechanischen Druck Telepräsenz erzeugen, die nicht nur Körperlichkeit übertragen, sondern auch Emotionen symbolisieren und erzeugen wollen. Weitere einfachere, frühe Formen lassen sich in der Kraftübertragung bei Joysticks oder Videospielcontrollern finden, sowohl in der militärischen Nutzung von Flugsimulatoren als auch im Ausbildungsbereich für Piloten bis zur Nutzung in der mittlerweile weit verbreiteten Videospielindustrie. Martti Lahti beschreibt eine »sensory immersion« in Bezug auf den Einsatz in der Spieleindustrie von den bereits erwähnten Datenhandschuhen, Joysticks, Videospielfahrzeugsteuerungen mit Lenkrad und Pedalen oder bewegliche Sitze für den Spieler.157 Hierbei handelt es sich meist um haptische Ergänzungen audiovisueller Spiele. Historisch gesehen ergibt sich die sensorische Immersion aus den Anfängen der Massenverbreitung der Videospiele als sogenannte Arcade-Games. Dabei handelt es sich um große Automaten, die zunächst der zusätzlichen Unterhaltung in Kneipen dienten, schließlich aber beliebter bei Kindern und Jugendlichen wurden, weswegen eigene Spielhallen ohne Altersfreigabe entstanden. Im Gegensatz zu den heute weit verbreiteten Videospielkonsolen, die an ein Fernsehgerät als Bildschirm angeschlossen werden können, sind Arcade-Games als ein Gesamtgerät entwickelt, das Bedienungsapparatur und Bildschirm in sich trägt. Funktionieren Videospielkonsolen

151 152 153 154 155 156 157

Stenslie, 2010, S. 149. Ebd., S. 149f. www.naokotosa.com/1993/01/412/; Laut Website der Künstlerin 1993 bzw. in erneuerter Version 2011, Stenslie gibt 1995 als Datum einer Performance des Werks an (Stenslie, 2010, S. 150). Stenslie, 2010, S. 150. https://www.digitalartarchive.at/database/general/work/network-neuro-baby.html Stenslie, 2010, S. 150 Lahti, 2003, S. 162.

4 User Interfaces im Wandel der Zeit

Abb. 21: Nao Kotosa, Neuro-Baby

an einem verallgemeinernden Controllpad mit Knöpfen, Steuerkreuz oder kleinem Joystick für viele verschiedene Spiele, so waren und sind Arcade-Games meist auf ein einzelnes Spiel ausgelegt, sodass auch deren Steuerung spezifisch an das Spiel angepasst werden konnte. Der Spieler sitzt beispielsweise bei einem Rennspiel auf einem Motorrad, sodass er durch Körperbewegung nach links und rechts die Bildschirmbewegung steuert und wie bei einem echten Gashebel Gas gibt. Oder er kann sich auf an das Spiel angeschlossene Skier stellen, um simulierte Skiwelten zu erfahren; oder hält Plastikpistolen für Actionshooter in der Hand, die durch Zielen und Schießen mit einem Lichtsensor auf den Bildschirm funktionieren.158

158

Ebd.

229

230

Haptik am User Interface

Aber auch bei Konsolenspielen wurde Kraftübertragung in einzelne Spiele integriert. Videospieler konnten bei ersten vereinzelten Geräten wie dem N64 von Nintendo ab 1996 ein zusätzliches Rumble Pak159 an den Controller anschließen, sodass spielinhärente visuelle Bewegungen, Aufprallen an Ecken oder Schusstreffer für den Spieler als Rütteln bis Vibration an den Händen wahrnehmbar wurden, erzeugt durch ein kleines Gewicht, das durch einen Motor angetrieben war.160 Im Jahr 1997 folgte dann der Nintendo-Konkurrent Sony mit der Playstation und analogen Controller-Versionen des Dual Shock,161 welche Vibrationsmotoren bereits installiert hatten, wie auch in der Joystickversion für PC-Flugsimulatoren von Microsoft. Der Sidewinder Precision Pro162 besaß ebenfalls eine Force Feedback-Funktion, die schwierige Flugmanöver mit Rütteln unterlegte. Das Lenkrad-Pedal-Pad GTForce163 von Logitech übertrug Kräfte, die virtuell auf das Rennfahrzeug wirkten, mechanisch auf das reale Lenkrad. Microsoft verfeinerte 2001 für seine Videospielkonsole Xbox die Rumblefunktion auf ihren Controllern durch zwei Motoren in den jeweiligen Griffen.164 Lahti beschreibt die Auswirkung dieser Anreicherung der Spiele durch Kraftübertragung auf den Spieler folgendermaßen: »This delirium of virtual mobility, sensory feedback, and the incorporation of the player into a larger system thus tie the body into a cybernetic loop with the computer, where its affective thrills can spill over into the player’s space. This desire is perhaps best exemplified by player’s attempts to control the game world more fully with their own, emphatic bodily movement.«165 Als letztes Beispiel für die Implementiernug von Force Feedback soll noch einmal der Datenhandschuh erwähnt werden. Als haptisches Interface mit der virtuellen Realität wurde er in dieser Arbeit bisher zwar in der historischen Abhandlung genannt, dennoch nur am Rande, da er letztendlich lange Zeit nur reale Bewegungen des Benutzers in Daten umwandelte, meist ohne Feedbackfunktion, und somit haptisch nicht relevant war. Haptische Variationen eines Datenhandschuhs wurden schließlich, um nur einige zu nennen, 1990 mit dem Teletact 166 und später der Nachfolgeversion des Teletact II vom National Advanced Robotics Research Centre in Salford, UK, mit Airmuscle Ltd of Cranfield, entwickelt. Das analoge Feedback in diesem Handschuh funktionierte über ein pneumatisches System, beim Prototyp

159 160 161 162 163 164 165 166

Forster/Freundorfer, 2003, S. 99. Ebd., S. 142. Ebd., S. 102. Ebd., S. 103. Ebd., S. 118. Forster/Freundorfer, 2003, S. 120. Lathi, 2006, S. 163. Stone, 2001, S. 6f.

4 User Interfaces im Wandel der Zeit

mit 20 kleinen Luftkissen, die aufgepumpt oder luftablassend Druck auf der Hand spüren lassen konnten, beim Nachfolger mit 30 Kissen mit zwei verschiedenen Druckvariationen. Technisch wurde die Interaktionsmöglichkeit in BBCs Tomorrows World TV durch das Erfühlen von Gemüse und weichen Angorakaninchen als anschauliche Objekte vorgeführt. Auch der Teletact Commander, eine neuerliche Weiterentwicklung, arbeitete ähnlich mit Luftkissen, die sich aufpumpten, sobald der Benutzer mit einem Objekt virtuell in Berührung kam. Die Force FeedbackFunktion findet sich in neueren und zunehmend auch kommerzielleren, weil finanziell erschwinglichen Versionen wie dem Dexmo Classic und dem Dexmo F2 der Firma Dexta Robotics wieder.167 Es handelt sich dabei um zwei Generationen von mechanischen Datenhandschuhen, die wie ein Exoskeleton für die Hand gestaltet sind und als solche per Motion Capturing und virtuellem Avatar funktionieren. Jeder Finger ist dabei durch einen kleinen beweglichen Arm mit einem Gerät auf der Handoberfläche verbunden, wobei elf Grade von Bewegungen der Finger virtuelle Bewegungen am Bildschirm zur Folge haben. Nicht nur die Hand als Ganzes ist hier demnach für eine Bewegung zuständig, sondern einzelne Finger und somit verschiedene Kombinationen von Gesten. Die zweite Generation des Dexmo F2 ist zudem mit Force Feedback ausgestattet, das anders als die zuvor beschriebenen Rumble Packs allerdings keine Form von Vibration auslöst, sondern bei Auftreffen auf ein virtuelles Objekt die Bewegungsmöglichkeit der Finger stoppt. Das virtuelle Objekt beeinflusst somit die Bewegungsfreiheit der realen Finger. Neben der Vibration ist damit das einfache Aussetzen einer technischen Funktion, so diese Verhinderung von Bewegung dann haptisch spürbar ist, eine gute Möglichkeit verbesserter Immersion durch haptisches, reales Verdeutlichen virtueller Objekte. Auf zugegebenermaßen sehr grobe Weise wird hier eine Wand oder Oberfläche eines Objekts als nicht virtuelle, sondern auch reale Grenze einer Handbewegung aufgezeigt. Vibration und sanftere Formen wie das Rütteln der Controller durch die Mechanik sind als zusätzliche Hinweise auf ein plötzliches Spielgeschehen zu sehen. Sie werden zumeist mit einem visuellen und/oder auditiven Ereignis kombiniert.

4.2.4

(T)UI

»Die reale, materielle Welt wird nicht ersetzt, sondern bereichert und erweitert. Sie bleibt Ausgangspunkt und integraler Bestandteil, erweitert um digitale Eigenschaften.«168

167 www.dextarobotics.com/ 168 Hornecker, 2008, S. 235.

231

232

Haptik am User Interface

Nachdem die Suche nach Immersion durch den Benutzer in einer virtuellen Umgebung an seine genannten Grenzen stieß, wurde zu Beginn der 1990er Jahre vermehrt an der Idee gearbeitet, nicht mit der virtuellen Welt zu verschmelzen, sondern den Alltag und die reale Umgebung des Benutzers als Kontrollwerkzeug der virtuellen Welt nutzen zu können. Denn diese müsste dem Benutzer ebenfalls als »natürlich« erscheinen.169 Wie beim (G)UI-konzentrierten Design sind Information und Steuerung hier voneinander getrennt, jedoch wurde das Design der User Interfaces weiter bearbeitet.170 Die Anforderungen »intuitiv« oder »selbstverständlich« zeigen auf, dass sich eine weitere Verschiebung vom Objektdesign auf ein benutzerorientiertes Design vollzog, nämlich der Herstellung einer Beziehung zwischen Benutzer und Objekt. Intuitive Nutzung bedeutet zudem eine Optimierung der mentalen Effizienz: Der Benutzer soll die erforderlichen Zielsetzungen durch weniger zu erlernenden Aufwand erreichen.171 Neben den Funktionen nimmt das haptisch ästhetische Erscheinungsbild eine wichtige Rolle ein. Aus diesen Gedanken entstanden die Tangible User Interfaces ((T)UI), die auch Graspable Interfaces oder Embodied Interfaces genannt werden.172 Ziel der Forschung um die (T)UI waren nach wie vor die Bemühungen die Grenzen zu verwischen oder unsichtbar werden zu lassen. Es ist aber zu bemerken, dass sich der Fokus von den Möglichkeiten der virtuellen Realität auf die Benutzung und Realbedingungen der Benutzer verlagerte. Diese war nicht darauf bedacht, möglichst flüssig in eine »andere Welt« einzutauchen, sondern wie die Realumgebung wahrgenommen werden sollte: »Die Herausforderung an das Design von (T)UIs liegt in der nahtlosen Fortsetzung der physischen Angriffspunkte in der digitalen Welt.«173 Und: »Der Schlüssel zu einem gelungenen Interface besteht […] in der Ausblendung der Grenze zwischen digitaler und physischer Welt.«174 Bereits im Jahr 1972 führte die Computerwissenschaftlerin und Softwareentwicklerin Radia Perlman ein Designkonzept vor, das Eva Hornecker als eines der ersten Tangible Interfaces bezeichnet.175 Teil von Perlmans Konzept war die Slot Machine. Sie entwickelte das Interface der Slot Machine bewusst als spielerisches Lernwerkzeug für Kinder. Benutzer konnten durch das Einstecken von realen Karten in die Slot Machine Programmierzeilen erstellen, die wiederum auf dem Bildschirm die

169 Hellige, 2008, S. 65. 170 Ishii/Tangible Media Group, 2011, S. 254. 171 https://www.researchgate.net/publication/43535976_On_intuitive_use_physicality_and_tan gible_user_interfaces 172 Ebd., S. 66. 173 Ebd., S. 255. 174 Ebd., S. 259. 175 Hornecker, 2008, S. 248.

4 User Interfaces im Wandel der Zeit

Bewegung einer virtuellen Schildkröte auslöste. Das System war somit eine greifbare Möglichkeit mit der Programmiersprache »Logo« zu programmieren beziehungsweise den Vorgang des Programmierens in seinen Grundzügen zu erlernen. Die Einsteckkarten waren mit illustrierten Befehlen bebildert, die für den Computer definiert und verschieden kombiniert werden konnten. In die roten, gelben und blauen Reihen konnten die Befehle wie Bewegungsrichtungen eingesteckt werden, wobei die Befehle von links nach rechts in den Reihen ausgelesen wurden, sobald der »Do it«-Knopf gedrückt wurde. Die Kartensequenzen konnten nach der Testausführung direkt wieder mit der Hand verändert werden, indem man Karten ausgewechselte oder fertige Sequenzen mit farbigen Karten am Ende der Zeile wiederum zu einem Loop der Sequenz ergänzte. Das Konzept der Lernschildkröte geht auf den Mathematiker Seymour Papert zurück, der bereits in den 1960er Jahren am MIT Computer als Lerninstrument für Kinder einsetzen wollte. Er entwickelte dafür die floor turtle. Bei ihr handelte es sich um eine auf dem Boden liegende Maschine, die die runde Form einer Schildkröte besaß. Sie konnte mit einem Stift versehen werden und durch eine simple Programmierung geometrische Grundformen auf den Boden zeichnen.176 Perlman, wie Papert bereits zuvor am MIT, erkannte, dass der Lernzugang der Kinder die spielerische Gestaltung des Interfaces beinhalten muss.177 Eine einfache Art der manuellen Beeinflussung digitaler Vorgänge erinnert zunächst an die frühe elektro-mechanische Datenverarbeitung der Lochkarten. Sie aber dennoch nicht als Rückschritt zu bewerten, sondern als vereinfachte, auf ihre Basis reduzierte Form digitales Verständnis zu schulen zu verstehen. Diese Objekte, die nicht mehr nur auf die Anbindung an die virtuelle Welt konzentriert waren, sondern aus der Realwelt kamen, um die Verknüpfung zu verbessern, waren Teil des in den beginnenden 1990 Jahren aufkommenden Konzepts der »Augmented Reality«. Durch beispielsweise die bereits erwähnte Datenbrille kann der Benutzer die Erfahrung der Umwelt durch virtuelle Information und Daten ergänzen, was aktuell (2014) wieder Aufschwung durch die Markeinführung der Google Glass178 bekommt. Die sogenannte »Mixed Reality« benennt als begriffliche Erweiterung unterschiedliche Konzepte der Verknüpfung von Realität und Virtueller Realität unter einer Überschrift, ohne den Fokus auf die Ergänzung der Realumgebung des Benutzers zu legen.179 Die Tangible User Interfaces versuchen auch gewohnte Wahrnehmungserfahrungen in den Interfaceprozess einzubeziehen, indem dem Benutzer bekannte Oberflächen, Formen oder Empfindlichkeit als Bedienwerkzeuge gegeben werden. So soll das Interface nicht mehr als neu

176 177 178 179

http://xenia.media.mit.edu/∼mcnerney/personal-ubicomp.pdf Shaer/Hornecker, 2010, S. 9. www.google.com/glass/start/ Hellige, 2008, S. 65.

233

234

Haptik am User Interface

erlernbares Objekt verstanden werden, sondern als bekanntes und somit selbstverständliches Objekt im doppelten Sinne des Wortes wahrgenommen werden: »Die Aufspaltung der Computerbenutzung in analoge Operationen und Denkweisen an der Bedienschnittstelle und algorithmische Formalisierung und Berechnungen in dem im Hintergrund aktiven Rechner gelten dabei als idealer Weg der Überwindung der Bedienkomplexität und der Kooperationsdefizite der herkömmlichen MCI [HCI] […].«180 Die im Zitat erkennbare Trennung von Vordergrund und Hintergrund, also zwischen Bedienung der Technik und technischer Funktionen, wird bei den (T)UI umso wichtiger, wenn ein Interface die doppelte Aufgabe bekommt, die natürliche, bekannte Wahrnehmung des Alltagsgegenstands zu verkörpern und ein technisches Objekt mit neuen Funktion der Bedienung zu sein. Gerade diese Doppeldeutigkeit bedeutet als Paradoxon sowohl Einfachheit als auch Komplexität in der Bedienung: »So ermöglicht die unmittelbare Verbindung von Informationen mit Alltagsobjekten oder gegenständlichen Symbolen (›physical icons‹ bzw. ›phycons‹) zwar vielfach eine intuitive Benutzung, doch die erweiterten Freiheitsgrade bei den Interaktionsmöglichkeiten sind dem User nicht immer transparent, sodass doch wieder ein Befehlssatz entwickelt und vom User gelernt werden muss.«181 Die Ideen der (T)UI beschäftigen sich im Blick auf die zuvor genannte Trennung von Bedienung im Vordergrund und Funktion im Hintergrund stets auch mit Formen der Täuschung des Benutzers, entweder indem bewusst Alltagsgegenständen nachgebaut oder, indem diese mit versteckten Sensoren ausgestattet, damit erweitert werden. Schließlich zielen diese Sensoren auf eine sogenannte »Verdinglichung«182 ab, nämlich auf die automatisierte oder proaktive Benutzererkennung durch das Ermitteln von definierten Aktionen durch, an und mit Alltagsgegenständen, die mit dem Computer verbunden sind.183 Die Verdinglichung erfüllt nach Eva Horneckers Abhandlung »Die Rückkehr des Sensorischen: Tangible Interfaces und Tangible Interaction«184 aber noch einen weiteren Zweck: Sie befriedigt »[…] ein menschliches Bedürfnis nach greifbarem Kontakt und körperlichem Umgang mit der Umwelt […].«185 Hornecker verweist auf die Komplexität dieser Verdinglichung durch die (T)UI, aber auch ihrer vielfältigen Möglichkeiten. Diese Komplexität bestehe nicht nur in den verschleiernden Verknüpfungen auf Ebene der digitalen Daten als Material oder der sensorischen Benutzererkennungen. Sondern sie bestehe 180 181 182 183 184 185

Ebd., S. 65f. Ebd., S. 66. Ebd., S. 70. Ebd., S. 69f. Hornecker, 2008. Ebd., S. 236.

4 User Interfaces im Wandel der Zeit

auch in den Verbindungen und für den Laien oft nicht mehr trennbaren Ebenen von materieller, mechanischer und digitaler Technik. Ein aktuelles Beispielobjekt für ein (T)UI ist URP; eine Arbeitsoberfläche für Architekten, die von der Tangible Media Group des MIT entwickelt wurde.186 Dabei können auf einem planen Tisch mehrere Benutzer gleichzeitig kleine Modelle von Gebäuden und Objekten platzieren. Die gleichmäßige Fläche ist dabei wichtig für die klare sensorische Erfassung der Objekte oder Bewegungen. Die Modelle können durch digitale Effekte wie Licht und Schatten ergänzt werden. Diese Effekte passen sich im Folgenden an, wenn die Gebäude und Objekte von den Benutzern verschoben werden. So können auch Eigenschaften von Materialien simuliert werden, die sich durch einen veränderten Lichteinfall, durch Spiegelung auf Glasflächen oder Umwelteinflüsse wie Wind ergeben. Typisch für ein (T)UI ist hierbei die plane Fläche, die gegenwärtig noch trotz komplexer Bewegungsmuster als einfach sensorisch erfassbar gilt. Diese Verwendung eines übersichtlichen Tisches, findet man auch im elektronischen, audiovisuellen Musikinstrument Reactable der Music Technology Group der Universitat Pompeu Fabra in Barcelona.187 Auch hier können verschiedenartige und mit Symbolen versehene Objekte in handlicher Größe auf einem lichtdurchlässigen, runden Tisch bewegt werden. Dieser ist sowohl Ablagefläche für die zu bewegenden Objekte, die im Projekt »Tangibles« genannt werden, als auch Projektionsfläche. Durch Bewegung oder Ablegen der Gegenstände werden diese durch eine, unter dem Tisch angebrachte Videokamera erkannt und das definierte Objekt in jeweilige Aktionen eines virtuellen Synthesizers umgesetzt. Dieser Synthesizer erzeugt Musik, aber auch visuelle Umsetzungen, beispielsweise in Form von Wellen auf dem Tisch sind möglich, die durch einen Videoprojektor erzeugt werden. Diese Wellen, die beispielsweise für Frequenzen oder Tonhöhen stehen können, sind wiederum durch Fingerberührung der Benutzer beeinflussbar. Sie können demnach elektronische Musik erzeugen, indem sie unterschiedliche Objekte berühren, sie hin- und herschieben, die Verbindungen zwischen den Objekten kennenlernen, aber auch die visuellen Reaktionen ihrer eigenen Aktionen auf dem Tisch durch Berührung beeinflussen. Die Objekte unterscheiden sich durch Größe und Symbolik in verschiedenen Funktionen wie Filter, Generatoren oder Controller.188 Die haptische Erfahrung für den Benutzer ist insgesamt jedoch gering. Zwar sind die Objekte als Quader oder flacher Chip geformt, aber glatt. Sie erzeugen ihre berührbare Qualität nur durch die audiovisuellen Reaktionen, die mit ihnen hervorgerufen werden, sowie durch die Umsetzung virtueller Aktionen als reales Material, das multipel kombiniert werden kann und muss.

186 Ebd., S. 237f. 187 www.reactable.com 188 http://ornella.iwr.uni-heidelberg.de/ROBOTIC SLAB/ROBPROJEC TS/C OMPLETED/2012SS_RE ACTABLE_BELEUCHTUNG/funktionsweise.html

235

236

Haptik am User Interface

Das Konzept der (T)UI wurde, wie bereits in Bezug auf die grafikorientierten Interfaces angedeutet, als eine Form der Gegenbewegung zur Konzentration auf die virtuelle Realität besprochen. Hornecker verweist auf einen Artikel, der 1993 im US-amerikanischen Informatikfachmagazin der Communications of the ACM erschienen war.189 Im Titel trug es die Phrase »Back to the Real World« und kann somit als forschungsorientierend hinsichtlich der (T)UI gelesen werden.190 Der Start des Forschungsansatzes war demnach nicht, eine weitere Möglichkeit zu schaffen, um die Verknüpfung von Realraum und Virtueller Realität zu verbessern, sondern vielmehr eine Absage der Virtuellen Realität als »anderen« Raum, der mit dem Fokus auf den eintauchenden Bewusstseinszustand der Immersion auch noch dazu führen würde, sich vom Realraum zu entfernen.191 Was also zunächst Forschungsziel war, wurde nun negativ besprochen. Die Verbesserung durch Erweiterung des Realraums war nun das neue Ziel der Interfaceforschung, nicht der Aufbau einer »graphischen Parallelwelt«.192 Auch in Europa wurde Mitte der 1990er vom »Real Reality-Konzept«193 gesprochen und »Embodied Interaction« diskutiert, die im Folgenden noch besprochen werden soll. Als Forschungskonzept tritt der Blick auf das berührbare Realobjekt als Interface wieder am MIT zu Tage. Die Tangible Media Group des MIT Media Labs194 entwickelte zunächst die »Graspable User Interfaces«195 und anschließend die bereits erwähnten »Tangible Bits«:196 »Bits sollen in der realen, materiellen Welt direkt zugänglich werden, indem letztere sowohl zum Display (Anzeigemedium) als auch zum Manipulationsmedium werden – die ganze Welt wird zum Interface. Daten werden mit Objekten und architektonischen Oberflächen verknüpft, Bits werden greifbar und »Ambient Display« stellen Informationen durch Geräusche, Licht, Wind oder Wasserbewegung dar. Zu beachten ist der begriffliche Wechsel von graspable zu tangible. Während ersteres die manuelle Manipulation betont, umfasst das Bedeutungsspektrum von tangible die Berührbarkeit und das Tasten; es betont die multisensorische Interaktion.«197 189 http://cacm.acm.org/ 190 Hornecker, 2008, S. 241. Die Autorin verweist hier auch: Wellner, Pierce/Mackay, Wendy/Gold, Rich: Computer-Augmented Enviroments. Back to the Real World; In: Communications of the ACM 36,7, S 24-26; 1993. 191 Ebd., S. 241. 192 Ebd. 193 Ebd. Die Autorin verweist hier auf: Bruns, F.W.: Zur Rückgewinnung von Sinnlichkeit. Eine neue Form des Umgangs mit Rechnern; In: Technische Rundschau 29, 39, S. 14-18; 1993. Und: Bruns, W.: Grasping, Communicating, Understanding – Connecting Reality and Virtuality; In: AI&Society, 10, 1. S. 6-14; 1996. 194 http://tangible.media.mit.edu/ 195 Hornecker, 2008, S. 241. 196 Ebd., S. 242. 197 Ebd.

4 User Interfaces im Wandel der Zeit

Die Tangible Media Group, geleitet von Hiroshi Ishii, begann offiziell 1997 bei der CHI-Konferenz198 mit der Präsentation des Tangible Bits-Konzepts, das in den Folgejahren ausgearbeitet und erweitert wurde. Das Konzeptpapier199 zeigt, dass nicht nur nach Anbindungen der digitalen Informationen an alltägliche Objekte oder Erweiterung des physischen Benutzerraums geforscht wurde, sondern ein Bewusstsein für mehrere Ebenen im Interaktionsprozess zwischen Mensch und Technik entstand. Vordergründige ebenso wie hintergründige, somit bewusste und unbewusste Aktionen sollten aufmerksam gestaltet werden. Im Rahmen ihres Papers verweisen Ishii und Brygg Ullmer zudem konkret darauf hin, dass haptische Interaktionen im HCI Design bisher nur eine Randerscheinung waren: »Although we have developed various skills and work practices for processing information through haptic interactions with physical objects (e.g., Scribbling messages on Post-It notes and spatially manipulating them on a wall) as well as peripheral senses (e.g., being aware of a change in weather through ambient light), most of the practices are neglected in current HCI design because of the lack of diversity of input/output media, and too much bias towards graphical output at the expense of input from the real world.«200 Wenn sich reale und virtuelle Welt annähern, sprechen Ishii und Ullmer von einer »bridge«,201 also dem metaphorischen Überbrücken einer Lücke. Zwei Wege dieser Annäherung gäbe es die vorherrschende Computernutzung eines grafikorientierten Desktop-PCs aufzulösen: Zum einen die Verknüpfung mit dem Körper beziehungsweise der Haut des Benutzers oder zum anderen die Vernetzung der Umgebung des Benutzers in Teilen mit dem Computer, sodass nicht nur aktive Eingaben durch den Benutzer möglich sind, sondern auch Informationen vom Computer über die Benutzerumgebung wahrgenommen werden können. Dies wurde durch die im Vordergrund arbeitenden metaDESK und transBOARD und dem hintergründigen ambientROOM beispielhaft dargestellt. Dies zeigt, dass der Fokus der Forscher nicht nur auf Einzelobjekten lag, die eine Maus, Tastatur oder Joystick ersetzen können, sondern vielmehr darauf eine »lebendige« Umgebung zu schaffen. Deren Integration sollte nicht nur durch Feststoffe, sondern ebenso durch Flüssigkeiten und Gase ermöglicht werden. Digitale Information sollten im wörtlichen Sinne greifbar gemacht werden, aber, wie der Hinweis auf alle Aggregatzustände zeigt, auch unbewusst und am Rande wahrnehmbar: »The smooth transition of 198 www.sigchi.org/chi97/ 199 http://alumni.media.mit.edu/∼ullmer/papers/tangible_bits/ 200 Ebd. Die Autoren verweisen hier auf: Buxton, W.: Living in Augmented Reality: Ubiqitous Media and Reactive Environments; In: Finn, Sellen & Wilber [Hg.]: Video Mediated Communication; Hillsdale, New Jersey, 1997. 201 Ebd.

237

238

Haptik am User Interface

users’ focus of attention between background and foreground using ambient media and graspable objects is a key challenge of Tangible Bits.«202 Der Fokus auf die Greifbarkeit bedeute dabei aber nicht die Ablehnung der audiovisuellen Wahrnehmung, sondern eine Ergänzung. Das Gerät inTouch ist hier als ein weiteres Beispiel für einen experimentellen Versuch zu nennen, ein alternatives Einzelobjekt zu finden, das die haptische Kommunikation fokussiert.203 Es wurde ebenfalls von der Forschungsgruppe um Ishii entwickelt und auf der Ars Electronica in Linz 2001 vorgestellt. inTouch besteht aus zwei gleichen, miteinander synchronisierten Auflageflächen für eine Hand. Jede Fläche besteht aus drei drehbaren Holzwalzen.204 Zwei Benutzer können diese jeweils an ihrer Fläche einzeln drehen, sodass durch Kraftrückkopplung dieselbe Bewegung bei der anderen Walze in Echtzeit ausgeführt wird. Das Gerät ist sowohl aktiver als auch passiver Informationsgeber- und nehmer: »inTouch ist eine einzigartige Schnittstelle, die keine Grenze zwischen ›Input‹ und ›Output‹ kennt (die Holzwalzen sind Kraftanzeigen und zugleich Eingabevorrichtungen). Der Tastsinn spielt eine entscheidende Rolle, da man über die Hände Informationen zugleich senden und empfangen kann.«205 Telehaptik wird ausschließlich durch Bewegung und Kraft spürbar, ohne dass eine andere Person oder ein Hautkontakt naturalistisch simuliert wird. inTouch erinnert dabei in der handwerklichen Ausführung an die bereits beschriebenen Tasttrommeln der Bauhaus-Studenten, wobei diese natürlich nicht zu Kommunikationszwecken, sondern zur Ausbildung eines haptischen Lernens genutzt wurden. Das soziale Bewusstsein über telehaptische Berührung des Anderen führt wiederum zur mobilen haptischen Kommunikation der Wearables wie sie beispielsweise im Forschungsprojekt Tactilu der polnischen Gruppe PanGenerator206 seit 2013 fortlaufend in der Entwicklung ist.207 Ein kleines Armband am Handgelenk kann dabei zwei Menschen kabellos miteinander kommunizieren lassen, da das Armband sowohl eine sensorische Oberfläche an der Außenseite als auch eine haptische Innenfläche hat (Abb. 22). Über die Außenfläche kann der Benutzer mit dem Finger streichen oder klopfen. Diese Bewegung wird wiederum auf die Innenseite des Rezipienten als Druck auf die Haut durch kleine Stifte übertragen. Das Projekt besticht zwar nicht durch den Willen Qualität und Quantität haptischer Kommunikation zu erforschen, sondern zeichnet sich vielmehr in seiner Einfachheit einer 202 203 204 205 206

Ebd. Stenslie, 2010, S. 141f. http://archive.aec.at/media/archive/2001/184877/File_03897_AEC_FE_2001.pdf, S. 255f. Ebd., S. 256. Gemeinsam mit Cheil (www.ceil.com) für die ITAKA Foundation – Centre for Missing People, http://pangenerator.com/#projects/project-tactilu 207 Ebd.

4 User Interfaces im Wandel der Zeit

tragbaren, haptischen Teleberührung, die sich zunächst auf den generellen Kontakt zwischen zwei Menschen beschränkt. Diese Reduzierung bedeutet auch eine Konzentration auf die Schönheit und somit auf die Intimität, die ein kleiner Moment haben kann, der genauso viel über das soziale Verhältnis aussagen kann, wie eine komplexe Information.208

Abb. 22: PanGenerator, Tactilu

Das kommerzielle Design der Wearables, einer Annäherung und Integration von Technik und Mode, somit einer tragbaren Nutzung, beschreibt Susan Elizabeth Ryan in ihrer Abhandlung Garments of Paradise. Wearable discourse in the digital age.209 Frühe technische Kleidungsstücke wie Atsuko Tanakas Electric Dress210 von 1957 entstanden für eine Performance. Der Dress war eine Verbindung von Kimono und technischen Geräten wie Glühlampen. Ryan behandelt auch erste Versuche einer Kombination der High-Tech und Fashion aus den 1960/70er Jahren, bis in die 1980er, in denen beispielsweise der Walkman von Sony zu einem Fashionstatement avancierte. In den 1990er Jahren wurden diese Verknüpfungen schließlich als cyborgartig beschrieben, wo sich auch der Künstler Stelarc einreihen lässt. Es findet sich aber ebenso der Weg zum Massachusetts Institute of Technology wieder, hier dem Borg Lab, das an der Annäherung der Computer an den Menschen arbeitete. Ab den 2000er Jahren sei, so Ryan, schließlich ein Übergang zu den »unsichtbaren 208 Eine ähnliche designorientierte Arbeit ist der »Tochpad Dress« von Barbara Layne, bei dem eine berührungsempfindliche Fläche im Arm der Kleidung eingenäht ist. Mit den Fingern der anderen Hand kann nun über diese Fläche gestrichen und geschrieben werden, das Geschriebene wird im Ausstellungskontext visuell auf ein LED-Feld transferiert. Siehe: Junge, et al., 2012, S. 102f. 209 Ryan, 2014, S. 15. 210 www.medienkunstnetz.de/werke/electric-dress/

239

240

Haptik am User Interface

Interfaces« als eine leise, unbemerkte, natürliche Kombination aus Kleidung und Technik zu erkennen. Das metaDESK des MIT Media Lab als Beispiel der Forschung nach einer greifbaren Umgebung stellt den Anschluss an die gängige, grafisch orientierte Nutzung dar. Die Grafiken und Symbole, die stellvertretend für digitale Vorgänge standen, wurden in die reale Welt überführt. Dabei steht beim auch jetzt noch gegenwärtig gängigen System zwischen realer und virtueller Welt der physische Desktop in Form von Tastatur und Maus als reales Interfacewerkzeug (meist noch wortwörtlich) an einem Schreibtisch. Über diesen physischen Desktop greift man auf den metaphorischen, digitalen Desktop und sein grafisches Interface zu. Dies führt in eine Richtung, nämlich der aktiven Dateneingabe des Benutzers. Das metaDESK soll dies erweitern und zwischen die reale und virtuelle Welt geschaltet sein. Es erlaubt aktive Eingabe und passive Ausgabe von Daten. Basis ist, wie bereits bei URP beschrieben, ein virtueller Bildschirm als Tisch, auf dem reale Objekte platziert werden können. Diese werden im Projekt »phicons«211 genannt, einem Neologismus des physischen Icons. Die Phicons werden von den Sensoren des Tisches erkannt und erzeugen definierte grafische Darstellungen im Display, die wiederum durch die Bewegungen beeinflusst und verändert werden können. Die Datenausgabe wird dabei durch einen am Arm angebrachten LCD-Bildschirm zusätzlich visualisiert, der sogenannten activeLENS, einem mechanischen, beweglichen Arm, der einen Bildschirm trägt. Durch die Bewegung des Bildschirms über das Tischdisplay werden dessen Darstellungen noch einmal digital grafisch und in Realzeit auf dieser weiteren Darstellungsebene visualisiert, sodass der Benutzer beispielsweise parallel eine Landkarte als 3D-Modell sehen kann.212 Kombiniert mit den Phicons kann eine transparente Linse, eine sogenannte passiveLENS auf das Tischdisplay gelegt werden. Durch diese ist keine Dateneingabe möglich, aber zusätzlich kann eine weitere grafische Darstellungsebene genutzt werden. Sie wird als eine Art digitale Lupe verwendet, die direkt auf dem Tischdisplay hin- und hergeschoben werden kann. Die Interaktion zwischen Benutzer und technischem Objekt funktioniert dabei auf Basis einer Verknüpfung von optischen, mechanischen und elektromagnetischen Sensoren. Im Prototyp wurde eine direkte Analogie verwendet, um die Erstnutzung und das Verständnis als gedanklicher Übergang zwischen dem bekannten Gebrauch der (G)UI auf ein (T)UI zu vereinfachen: Das window, das geöffnete grafische Fenster des virtuellen Desktop als eine weitere Darstellungsebene von Ordnern oder Aktionen, wird in Form der activeLENS zum räumlich-beweglichen Instrument und als passiveLENS zu einem auf der flachen Tischdisplayebene

211 212

http://alumni.media.mit.edu/∼ullmer/papers/tangible_bits/ Siehe hier auch die erste angewandte Form des metaDESK, dem »Tangible Geospace: http:// tangible.media.mit.edu/project/metadesk/

4 User Interfaces im Wandel der Zeit

verhafteten Datenausgabewerkzeug. Das Phicon ist als Einzelobjekt sowohl Aktivierungswerkzeug der darzustellenden virtuellen Informationen auf dem Tischdisplay, als auch Instrument, um diese Darstellungen zu aktivieren. In Kombination mit einem weiteren Phicon werden weitere Aktionen möglich, beispielsweise die Rotation einer virtuellen Landkarte oder eines speziellen virtuellen Objekts. Letztendlich bleibt aber die tatsächliche Interaktion von Mensch und Technik allerdings wieder auf einer niedrigen Ebene der Haptik stehen: »Erkennbar ist, wie stark diese ersten Prototypen noch (G)UI-Metaphern verhaftet sind – das graphische Interface wurde lediglich in eine greifbare, dreidimensionale Form transformiert.«213 Zwar gibt es nun nicht nur eine grafische Ebene des virtuellen Desktops am Bildschirm, sondern gleich drei: das Tischdisplay, den frei beweglichen Bildschirmarm und den flachen Bildschirm. Die virtuellen Aktionen eines Cursors werden in reale Objekte beziehungsweise die Kombination tatsächlicher manueller Bewegungen mit diesen Objekten verwandelt, aber die Haptik bleibt auf der Ebene der Oberflächenwahrnehmung. Auch reduziert sich diese auf einfache geometrische Formen der Phicons und glatte Oberflächen der Bildschirme. Ausgearbeitete Oberflächen verschiedener Materialien und weitere Formen der haptischen Wahrnehmung werden hier noch nicht angesprochen. Das metaDESK steht zunächst einmal für die Rückwandlung von dem, was die Symbole in der (G)UI repräsentierten, nämlich eine Aktion zu sein. Im Konzept des metaDESKs wird allerdings erst einmal die Metapher des Cursors als digitale Arbeitshand in der virtuellen Welt in reale Objekte verwandelt. Tischdisplay, activeLENS und passiveLENS teilen Darstellungsebenen, die am virtuellen Desktop der (G)UI als grafische Fenster über- oder nebeneinander gezeigt würden, lediglich auf drei reale Bildschirme auf, wodurch die virtuelle Welt aber noch nicht haptisch wird. Der erste Schritt zu einer Greifbarkeit virtueller Anwendungsmöglichkeiten des Cursors über die Oberflächenwahrnehmung, des Umfassens, Drehens und Hochhebens realer Objekte ist allerdings getan. Das metaDESK soll im ambientROOM eingebunden sein, der den Benutzer im Hintergrund mit Informationen versorgt, die unbewusst wahrgenommen werden. Diese werden dabei, wie bereits zitiert, durch Veränderungen von Licht und Schatten, Tönen, Luftströme oder Wasser durch den Benutzer erfahrbar. Das Team der Tangible Media Group verknüpft beispielsweise das Geräusch von Regentropfen mit einer eingehenden Email. Ein Benutzer kann so prasselnden Regen oder Wassergeräusche neben einer anderen bewussten Aktivität wahrnehmen, ohne sich darauf konzentrieren zu müssen. Gleichzeitig bekommt er die Information, dass Emails eingehen: »By using ambient media as an additional method to convey information, we are taking advantage of our brain’s natural abilities as both a parallel processor and as an attention manager.«214 Dabei ist das Geräusch einer einge213 Hornecker, 2008, S. 243. 214 http://alumni.media.mit.edu/∼ullmer/papers/tangible_bits/

241

242

Haptik am User Interface

henden Email gegenwärtig bereits ein gängiges Merkmal technischer Geräte. So wurde die Idee materialorientiert weitergeführt, indem der Eingang einer Email oder einer anderen digitalen Information mit einem Wassertank des ambientROOM verbunden wurde. Eintreffen erzeugt auf der Wasseroberfläche kleine Wellen, die durch projiziertes Licht wiederum ein bewegtes Bild werfen. Diese Visualisierung von eingehenden Daten geht letztendlich wieder auf die im Abstract »Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms«215 für die CHI 1997 erwähnte Marble Answering Machine von Durrell Bishop zurück, der 1992 als Student am Royal College of Art einen haptisch orientierten Anrufbeantworter entwickelte, bei dem bei jeder Aufzeichnung eines verpassten Anrufs eine Murmel in eine Vorrichtung rollte. Die Aufnahme der Kugel mit der Hand und das Legen in eine andere Vorrichtung lösten den Abspielvorgang der aufgezeichneten Nachricht aus.216 Wichtig in diesem Zusammenhang sind Bishops Überlegungen, wie er »[…] anstatt Objekte allein durch ihre äußere Form mit Bedeutung ›aufzuladen‹ (Produktsemantik), gezielt physikalische Affordances der Objekte einsetzt (d.h. Aspekte, Mechanik, des Aussehens, die auf mögliche Handlungsweisen hinweisen) und wie er das Alltagswissen der Benutzer nutzt, um die Funktions- und Benutzungsweise von Geräten zu kommunizieren. Dabei gebe er den Dingen zugleich neue Bedeutungen, mache sie zu Zeigern auf andere Dinge. Für Bishop könne so jeder alltägliche Gegenstand mit digitalen Eigenschaften erweitert werden, die seine Funktionalität vergrößern. Objekte werden damit zu Repräsentationen anderer Dinge (Object Mapping). Sie werden zu Datenbehältern und verweisen auf beliebige Objekte in einem Netzwerk, mit denen der Anwender sie identifiziert. Eine weitere wichtige Idee Bishops war, dass der Kontext einer Handlung, z.B. der Ort des Objekts, von Bedeutung für die ausgelöste Funktion und die Art der Interaktion ist (Spatial Mapping).«217 MetaDESK, URP und letztendlich auch der spätere reacTABLE haben einen gemeinsamen Vorgänger in einem Modellsystem, das Robert Aish und John Frazer in den beginnenden 1980er Jahren herstellten. Die Intelligent Modelling Technique218 wurde von Eigenheimbauern verwendet, deren Häuser auf standardisierten Einzelteilen beruhten. Diese gab es als maßstabgetreue Modelle, sodass das spätere Eigenheim verkleinert konstruiert werden konnte. Mit Hilfe eingebauter Dioden wurden die Codes der einzelnen Teile durch ein zweidimensionales Gitter eines Tisches erkannt, welcher mit einem Computer verknüpft war. Standort und Kombination wurden berechnet, woraus sich Urteile über baurelevante Information wie Wärmeverlust oder Kosten ergaben.219 215 216 217 218 219

Ebd. Ebd. Mehr dazu auch bei: Hornecker, 2008, S. 248f. Hornecker, 2008, S. 249. Ebd., S. 247. Ebd., S. 256ff.

4 User Interfaces im Wandel der Zeit

Zusätzlich zu metaDESK und ambientROOM integrierte das Team vom MIT das transBOARD in das Konzept, eine digitale weiße Tafel (whiteboard),220 die mit ihrer interaktiven Oberfläche in Echtzeitübertragung die Information, die sie erhält, in Daten umwandelt und auf andere Darstellungsmedien überträgt. Technisch war das transBOARD so designt, dass es für den Benutzer der Verwendung einer normalen Schreibtafel möglichst nahe kommt: Mit einem Stift kann gemalt oder geschrieben werden, ein integrierter Laser kann wieder löschen. Durch zusätzlich angebrachte Phicons sind weitere Funktionen möglich, so zum Beispiel eine externe Speicherung. Dies wäre auch ohne ein weiteres Objekt möglich gewesen, aber als hinzugefügter, realer Gegenstand symbolisiert er die Aktivierung einer digitalen Funktion: »Nachdem Tangible Interfaces programmatisch als Alternative zu graphischen Schnittstellen proklamiert wurden, konzentrierte sich die Forschung mehrere Jahre lang vornehmlich auf die Entwicklung neuer Systeme (zumeist eher >proof-ofconcept< als praktisch nutzbar) sowie die Erkundung der technischen Möglichkeiten neuer Hardware.«221 Eva Hornecker verweist hier auf ein Problem, das vom forschungsorientierten Design auch auf die kunstorientierten Werke übertragen werden könnte: Ob die entwickelten Systeme praktisch nutzbar sind oder nur für speziell zugeschnittene Situationen verwendet werden können und somit durch ihre Spezialisierung eine Einschränkung haben. Ist diese Frage für die Forschung noch wichtig, so könnte sie es für die Medienkunstwerke schon nicht mehr sein, wenn diese vor allem dieses Problem hinterfragen wollen. Wie gezeigt wurde, widmet sich die Integrierung der Haptik in die beschriebenen Medienkunstwerke ebenfalls einer Suche nach einem neuen Gesamtsystem als mögliche sanfte Ablösung eines rein grafischen Konzepts. Erkennbar ist aber auch eine Konzentration auf die Ausarbeitung einzelner technischer Möglichkeiten. Als Merkmal der 2000er Jahre erscheint Hornecker, dass das Problem der praktischen Nutzbarkeit überwunden wurde, wenn nicht nur an der Ausführung an sich gearbeitet wird, sondern auch die Zielsetzung praktikabler sei: »Jetzt wird einerseits vermehrt kritisch gefragt, ob dieser Gestaltungsansatz zielführend ist und praktischen Nutzen zeigt, andererseits werden zunehmend Arbeiten publiziert, die zu einem tieferen konzeptionellen Verständnis sowie zum Gestaltungswissen beitragen.[…] Neu ist, dass nicht nur Form und Aussehen der Geräte gestaltet werden, sondern auch ihr Verhalten.«222 220 http://alumni.media.mit.edu/∼ullmer/papers/tangible_bits/ 221 Hornecker, 2008, S. 243. 222 Ebd. Die Autorin verweist hier auf: Marshall, P.: Do Tangible Interfaces Enhance Learning?; In: Proceedings of TEI ‘07, S. 163-170; New York, 2007; Dourish, P.: Where the Action is. The

243

244

Haptik am User Interface

Dieses Verhalten verweist dabei aber nicht oder nicht im Fokus auf eine Suche nach Künstlicher Intelligenz, die allerdings bis heute auch nicht ad acta gelegt wurde, sondern vielmehr auf einen erweiterten Gedanken technischer Materialität als potentielle Veräußerung von Prozessen. Dieser Materialitätsgedanke findet sich auch im neuen Radical Atoms-Konzept der Tangible Media Group wieder.223 Das Design des »Verhaltens« führt schließlich zurück zum ursprünglich genutzten Begriff der »Schnittstelle« zwischen Mensch und Maschine, der nun, nach Hornecker in Bezug auf Jonathan Grudin,224 nicht mehr passend erscheine. Denn die Schnittstelle ziehe zum einen schon begrifflich eine Trennung und konzentriere sich in ihren Gestaltungsvorgaben aus der Geschichte heraus, wie in der vorliegenden Arbeit zu lesen war, auf die Eingabe und Ausgabe von Daten: »Mit dem Begriff der Tangible Interaction steht nicht mehr die Schnittstelle oder ihre technische Gestaltung im Vordergrund, sondern die Interaktion wird zum Gegenstand der Gestaltung. Dabei geraten vermehrt qualitative Aspekte des Interaktionserlebnisses in den Blickpunkt.«225 Es ist durchaus richtig, dass sich der Fokus der Gestaltung verschoben hat. Das technische Objekt erscheint nicht mehr nur als Dateneingabegerät und -darstellung. Vielmehr bedeutet jedoch die Interaktion zwischen Mensch und Technik nach wie vor aus Sicht des technischen Objekts eine Sammlung von Daten. Diese ist im Laufe der Jahrzehnte nur vielfältiger, fein differenzierter und auf mehreren kombinierten Ebenen entwickelt worden. Der Benutzer steckt nicht nur eine Lochkarte in eine Maschine, wodurch eine Aktion der Verarbeitung angestoßen wird. Er kann Daten nun aktiv eingeben. Anschließend werden sie passiv durch technische Sensoren aufgenommen und im nächsten Schritt durch die Maschine nicht nur visuell verarbeitet und dargestellt, sondern auf vielfältigere Weise für den menschlichen Körper als Information wahrnehmbar gemacht. Doch die Grundlage ist immer noch die gleiche: Daten werden gesammelt und verarbeitet. Auch die Schnittstelle ist so nach wie vor als Metapher zwischen Mensch und Technik brauchbar, denn die Trennung zwischen ihnen ist nicht aufgehoben. Sie ist lediglich nicht mehr so deutlich wahrzunehmen, die Grenzen sind fließender.

Foundations of Embodied Interaction; Cambridge (Massachusetts), 2001; Hornecker, E./Buur, J.: Getting a Grip on Tangible Interaction: A Framework on Physical Space and Social Interaction; In: Proceedings of CHI ‘06, S. 437-446; New York, 2006; Hurtienne, J./Israel, J.H.: Image Schemas and Their Metaphorical Extensions – Intuitive Patterns for Tangible Interaction; In: Proceedings of the First International Conference on Tangible and Embedded Interaction 2007 (TEI ‘07, S. 127-134; New York, 2007. 223 Siehe dazu: Kapitel 4.4. 224 Ebd., S. 250. Die Autorin nimmt hier Bezug auf: Grudin, Jonathan: Interface. In: Proceedings of Computer Supported Cooperative Work (CSCW ‘90), S. 234-245; New York, 1990. 225 Ebd.

4 User Interfaces im Wandel der Zeit

Dies weist auf einen qualitativen Punkt der Gestaltung des Interaktionsdesigns hin: Die Kombination der Interaktion auf vielen Ebenen wird fokussiert. Ohne den Benutzer durch multiple Aktivität zu überfordern, werden vielmehr auch passive Ebenen eingeführt. Selbstverständlichkeit und Natürlichkeit in der Wahrnehmung sollen bei natürlichen wie auch bei Wahrnehmung von technischen Objekten bedeuten, dass sie auf mehreren Ebenen wichtige als auch nebensächliche Informationen liefern. Diese Mehrschichtigkeit in den Interaktionen führt in der sinnlichen Wahrnehmung dazu, dass wir technische Geräte nicht mehr als etwas getrenntes oder anderes erkennen, de facto sind sie es aber noch. Die Schnittstelle verschwimmt, aufgehoben ist sie nicht. Der Fokus auf die qualitative Verbesserung der sinnlichen Erfahrungen des Benutzers ist bedingt durch die quantitativen Möglichkeiten der Eingabe und Ausgabe von Daten. Somit hat die technische Gestaltung des Objekts großen Einfluss auf die Interaktionsqualität. Diese wird durch verschiedene Faktoren bestimmt: das individuelle Verhalten des Benutzers, die Oberflächenstruktur, aber auch das Verhalten des Materials, wenn die Datenausgabe über das Material generiert wird. Somit ist auch der Fokus auf die Interaktionsgestaltung eine Kombination aus benutzer- und oberflächenorientiertem Design, mit der Basis der technischen Gestaltung. Dies geschieht, wenn die Oberfläche des technischen Objekts nicht nur eine Wahrnehmung der technischen Funktionalität vortäuscht, sondern die Funktionalität tatsächlich durch diese ausgedrückt wird.   Hellige verweist in seiner historischen Auseinandersetzung auf die beliebte Setzung von Trends und »Turns«, wie aus einem graphical turn ein spatial turn benannt werden könne, wenn man auf die zitierte Objektisierung blickt, sowie der Entwicklung von 3D-Interfaces und der damit verbundenen Ausbreitung der Interfaces im Realraum des Benutzers:226 »In anderen Entwicklungsmodellen steht der Prozess der zunehmenden Abstraktion bzw. Entmaterialisierung im Zentrum: Von physikalischen Bedienteilen wie Hebel, Schalter, Kurbel, Knöpfen, Schalttafeln und Tastaturen gehe die Entwicklung über Textmenüs, flächenartigen Bedienschnittstellen und virtuellen Schaltflächen zur virtuellen Realität als immateriellem Interaktionsraum. Doch diesem Trend zum quasi immateriellen Intermedium steht entgegen, dass bei informationstechnischen Interfaces noch immer bestimmte Grundfunktionen mit mechanischen Stellgliedern ausgeführt werden und dass sich Joysticks großer Beliebtheit erfreuen. Zudem wird gegen eine allgemeine Virtualisierung und den Verlust haptisch erfahrbarer Interfaces ein »physical turn« mit »graspable«

226 Ebd.

245

246

Haptik am User Interface

bzw. »tangible objects« propagiert, also eine Gegenbewegung mit dem Ziel der (Wieder)Vergegenständlichung […].«227 Ob sich hier nun Trends erkennen lassen, die nach Hellige auch mit der starken Entwicklung der Virtualität kollidieren,228 ist nicht die zentrale Frage der vorliegenden Arbeit. Der Fokus liegt auf dem Aufzeigen von Möglichkeiten der Vergegenständlichung sowie ihren Grenzen und Problemen wie der Überforderung der Sinne des Benutzers und dem damit verknüpften Hang des Menschen bei Überangebot von Möglichkeiten sich auf Einzelereignisse zu konzentrieren. Dies muss letztendlich auch in einer Hinterfragung oder Neubewertung eines Immersionsgedankens münden, den Hellige meist selbst als »gescheitert« benennt.229 Die Frage nach einer »Humanisierung«230 in der Interfaceentwicklung ist in Bezug auf die Haptik durchaus wichtig, wenn der Weg zu einer menschlichen Kommunikation auf Basis von (Körper)Sprache und Gestik gemeint ist. Dem widerspräche aber die bereits angesprochene Vergegenständlichung des Interfaces auch in Alltagsgegenstände als natürliche Interfaces.231 Gerade diese Objektisierung sollte aber auch als eine Form der Humanisierung gesehen werden, wenn die Interfaceobjekte die natürlichen Formen einer Alltagsumgebung des Benutzers annehmen. Die Objektisierung und die immer sensibleren Sensoren eines technischen Objekts sollten nicht als Humanisierung im Sinne einer menschlich handelnden Maschine missverstanden werden, sondern einem humaneren Umgang im Sinne des technischen Objekts als natürliche Realumgebung des Menschen, die sich nicht als Fremdkörper und technisches Gegenüber des Menschen anfühlt. Gerade die Einbindung des haptischen Sinnes als technisches Kommunikationsmittel sollte nicht zu einer Überforderung des Benutzers führen. Vielmehr müsste die Realform des virtuellen Objekts durch kleine Fehler, Unebenheiten und somit haptischen Sensationen ergänzt werden, die nichts mit der Wirksamkeit der Technik zu tun haben, sondern nur ein Gefühl ähnlich der Struktur natürlicher Oberflächen vermitteln. Das Design der Interfaceoberflächen sollte sich daran orientieren nicht zwingend technisch kommunizieren zu müssen, sondern manchmal auch einfach »nur« wahrzunehmendes Ding ohne Funktion zu sein. Die Haptik unterliegt somit dem Paradoxon einerseits mehr in die technische Kommunikation des Objekts einbezogen zu

227 Hellige, 2008, S. 18. Der Autor verweist hier auf: Walker, J.: Through the Looking Glass; In: Laurel, B. [Hg.]: The Art of Human-Computer Interface Design; Reading, MA, Menlo Park, CA, New York, 1990, S. 439-447./Fishkin, K. P./Moran, Th. P./Harrison, B. L.: Embodied User Interfaces: Towards Invisible User Interfaces. In: Proceedings of Engineering for HCI ‘98, Heraklion, Crete, September 13-18, 1998, S. 1-18. 228 Ebd. 229 Ebd. 230 Ebd. 231 Ebd., S. 18f.

4 User Interfaces im Wandel der Zeit

werden, als auch andererseits nicht dem Zwang der technischen Kommunikation unterliegen zu können: »The history of the human-computer interface is that of borrowing and reformulation, or, to use a new media lingo, reformatting other media, both past and present – the printed page, film, television. But along with borrowing the conventions of most other media and eclectically combining them together, HCI designers also heavily borrow ›conventions‹ of the human-made physical environment, beginning with the Macintosh’s use of the desktop metaphor. And, more than any medium before it, HCI is like a chameleon that keeps changing its appearance, responding to how computers are used in any given period.«232 Das haptische Interface als »Chamäleon« kann, wird und muss seinen Phänotyp verändern, wenn eine seiner Grundeigenschaften die Einbindung in die vielfältige Welt des Alltags sein soll. Rückblickend auf das kapiteleinführende Zitat von Eva Hornecker ist die reale Welt Ausgangspunkt. Somit hat auch der Bewusstseinszustand des Benutzers seinen Ausgangspunkt in der realen Welt, was wiederum einer Immersion im Sinne eines sich Verlierens in der virtuellen Welt widerspricht. Immersion und eine Verbesserung der User Experience scheinen zunächst einmal nicht miteinander vereinbar, wenn Immersion im negativen Sinne als Verlust der Konzentration auf die reale Welt gesehen wird und nicht in seinem positiven Sinne als verbesserte Wahrnehmung der virtuellen Welt. Das Material durch mechanische Funktionen in Bewegung zu bringen und somit digitale Ereignisse an der Oberfläche real spürbar werden zu lassen, ändert die Designregel des Bildhauers Horatio Greenough »form follows function« in »flexibel form follows function«, mit der Suche nach größtmöglicher Flexibilität und Veränderbarkeit mit gleichzeitiger Stabilität des Materials. Um die Idee der Flexibilität von Formen in der Vernetzung der Umgebung und die erwähnte Integration in die Alltagswelt soll es im anschließenden Kapitel gehen.

4.3

Der vernetzte Raum: Ubiquitous Interaction und Augmented Reality »Ubiquitous computing, first developed by Mark Weiser and others at Xerox PARC, is just a vision- of a virtual reality turned inside out. Where virtual reality become part of a world beyond mediation, ubiquitous computing offers the user a world

232 Manovich, 2001, S. 89.

247

248

Haptik am User Interface

in which everything is a medium, because everything is or contains a computing device.«233 Eine der Möglichkeiten, die eine verbesserte Benutzererfahrung bietet, ist die Verschmelzung von Realität und virtueller Realität durch eine allgegenwärtige Datenverarbeitung, dem Ubiquitous Computing. Der Begriff beschreibt die konstante Vernetzung realer Bewegungen, Dinge oder Prozesse der Umgebung. Im Rahmen des Ubiquitous Computing ist die Ubiquitous Interaction (UIx) an den verschiedenen Interaktionsmöglichkeiten interessiert, bei der der Benutzer die sinnliche Präsenz dieser Umgebung nicht bewusst wahrnimmt und ihre erweiterten Funktionen möglichst intuitiv erlebt.234 Wird jedoch die erweiterte Wahrnehmung des Benutzers fokussiert, so wird dies mit dem Begriff »Augmented Reality« beschrieben. Aus Benutzersicht wird die Realität durch Computermöglichkeiten erweitert, verweist somit auf die Position des Benutzers in der realen Welt. Hauptsächlich wird der visuelle Sinn in der Augmented Reality angesprochen, doch auch die Haptik muss diskutiert werden, wenn die umgebenden realen Objekte und ihre Oberflächen mit neuen Informationen aufgeladen sind. Es gibt bekannte Forschungsversionen wie das Cave Automatic Virtual Enviroment (CAVE), das den Benutzer mit Hilfe einer Datenbrille in eine virtuellen Umgebung stellt, oder das Personal Augmented Reality Immersive System (PARIS),235 in dem der Benutzer mit einer Datenbrille in die virtuelle Realität schaut und zusätzlich seine eigenen Hände durch Spiegelung und Projektion ins Sichtfeld eingebunden werden. Er kann auf diese Weise seine Hände im selben Raum wie die virtuellen Objekte sehen. Dies hat einen verstärkten immersiven Effekt zur Folge. Der sinnliche Fokus liegt hier noch auf der Visualität der virtuellen Realität, doch die Immersion wird dabei durch das Einbinden von Gegenständen der physikalischen Umwelt des Benutzers als Interfacegegenstand weiter generiert: »The principle idea is to augment common structures and everyday artifacts as interaction devices that inherit design affordances from the physical world for interaction with the digital realm. The key motivation is to yield interfaces that are experienced as familiar, natural and fitting in our enviroments, to the extent that they become peripheral to everyday activity.«236

233 Bolter/Grusin, 1999, S. 217. Die Autoren verweisen hier auf: Want, Roy et al.: An Overview of the ParcTab Ubiquitous Computing Experiment; IEEE Computing Communications, 1995, https://www.cs.colorado.edu/∼rhan/C SC I_7143_002_Fall_2001/Papers/ Want95_PARCTab.pdf 234 Othold, 2016, S. 119. 235 www.evl.uic.edu/core.php?mod=4&type=1&indi=83 236 https://pdfs.semanticscholar.org/5249/23315723473b93fc482b8467b8843ea724ef.pdf, S. 1.

4 User Interfaces im Wandel der Zeit

Ubiquitous Interaction und die Idee einer erweiterten Realität verlagern jedoch den Blick nicht nur auf die Einbindung realer Gegenstände ins Wahrnehmungsfeld der virtuellen Realität, sondern verlegen virtuelle Bilder und Aktionen in die physikalische Welt. Die interaktive Umgebung kann durch die bereits besprochenen sensorabhängigen Oberflächen hergestellt werden: druck- oder gewichtsabhängige, positionsmessende oder wellenabhängige Messungen.237 Diese Sensortypen können in ihrer Funktion durch zeitabhängiges Tracking weiter spezifiziert werden. Möglich ist beispielsweise eine gleichzeitige Signalerkennung mehrerer Bewegungen, Veränderungen durch die Sensoren oder räumliche Erkennung, wenn an unterschiedlichen Punkten des Interfaces Signale gesetzt werden. Diese Kombination der Sensoren in zeitlichen und räumlichen Messungen kann die Arbeit mit und am User Interface noch verbessern.238 Derartige Nutzungen der sensorischen Interfaces wird auch als implizite Human-Computer Interaction bezeichnet.239 Die explizite HCI bindet Oberflächen von Gegenständen mit ein, die nicht als Interfaceoberfläche und der Kommunikation mit dem Computer vorgesehen sind, wie es bereits unter anderem über die Kunstwerke von Sommerer und Mignonneau zu lesen war. Die Position von Gegenständen wird beispielsweise durch Sensoren oder Kameras in vorher definiertem Feld gescannt. Jede Positionsveränderung wird als neue Information verarbeitet. Somit wird ein Umfeld geschaffen, das der Benutzer als Interface zur Bearbeitung der virtuellen Oberfläche annimmt, gleichzeitig aber auch verschiedenste, natürliche Oberflächen oder bekannte Gegenstände greifen muss: Denkbar wäre so zum Beispiel, dass zur Bedienung von Technik keine Fernbedienungen mehr nötig wären, sondern einfache Gegenstände und Oberfläche wie beispielsweise ein Tisch. Dieser muss dafür als »Ubiquitous Pointing Device«240 (zu Deutsch etwa: allgegenwärtige Zeigevorrichtung) definiert werden. Die Schwierigkeit besteht darin, dass der als Interface umfunktionierte Gegenstand trotz neuer, eingebundener Funktion seine ursprüngliche Funktion behält. Denn unterschiedliche Oberflächen des gleichen Gegenstands können zu Schwierigkeiten der Erkennung führen. Die Nutzung sollte im Idealfall von überall mit jeder Oberfläche möglich sein. Wenn ein Tisch als Interfacegrundlage dient, so sollte er nicht im Design an die Interfacenutzung angepasst werden, sondern diese Nutzung sich am Design des Tisches orientieren. Es muss die Nutzung als gängigen Alltagsgegenstand gleichwertig mit der Nutzung als Interface bedenken.241

237 238 239 240 241

Ebd., S. 2. Ebd. Ebd. Ebd. Ebd., S. 3.

249

250

Haptik am User Interface

Der neu interpretierte Gegenstand mit all seinen Oberflächen und Formen kann nun in erster Linie im Point-and-Click-Verfahren genutzt werden, das bedeutet, dass Bewegungen auf Gegenständen, die zuvor mit digitalen Informationen und Ausführungen verknüpft wurden, zu digitalen Aktionen führen. Durch vorangegangene Gewichtsmessungen durch Sensorzellen in den Ecken des als Interface gewünschten Bereichs kann Druck auf die Oberflächen der Gegenstände ebenfalls zu digitalen Aktionen führen, wenn sich das zuvor als maximal gemessene Gewicht durch den Druck der Finger oder anderer Objekte erhöht.242 Probleme ergeben sich hier aus einer stetigen Gewichtsänderung, wenn zum Beispiel der als Interface definierte Bereich, wie der beispielhafte Tisch, wieder als Alltagsgegenstand genutzt wird. Denn dabei ändert sich das gemessene Gesamtgewicht. Die Nutzung als Interface muss einen eindeutigen Anfang und ein klares Ende haben. Zudem ist der definierte Bereich als Alltagsgegenstand nach wie vor nicht unabhängig vom restlichen Raum außerhalb des Interfacebereichs. Bewegungen oder Töne könnten den definierten Bereich negativ beeinflussen, etwas, dass beispielsweise zu Problemen mit der Sensordefinition führen kann. Für eine neue Haptik sind besonders die vielfältigen Möglichkeiten an Oberflächen interessant, die neu als Interface interpretiert werden können. Um die Nutzung klar zu gestalten, sollten verschiedene Oberflächen als unterschiedliche Interaktionen definiert sein. Die Sensoren könnten somit durch die Messungen von Gewicht und Standort Oberflächenveränderungen deutlicher erkennen. Neben der Bewegung ganzer Gegenstände im definierten Bereich und Druck auf die Gegenstände, wären feine Ausdifferenzierungen denkbar, sodass beispielsweise langsames Streichen über weiche, haarige Oberflächen als präzisere, digitale Veränderungen erkannt wird im Gegensatz zu einem groben Anfassen von harten Oberflächen. Experimente von Wissenschaftlern des Innovative Interactions Lab Lancaster mit interaktiven Umgebungen und Oberflächen führten zu vielfältigen Erkenntnissen zur Verbesserung der Benutzererfahrungen: »An interesting observation though was that the surface quality influenced use experience. One of the tables had a nicely polished wood finish whereas the wood grain on the other could still be felt. Tracking on the first surface was much more pleasant than on the second. On the second surface we could also observe that people tried using objects that were on the table, such as a book or a lighter, instead of their finger for pointing. In some instances, we covered the rough surface with a glass plate halfway through the test, and feedback from users generally indicated that the smoother surface greatly improved usability.«243

242 Ebd., S. 4. 243 Ebd., S. 15.

4 User Interfaces im Wandel der Zeit

Dies zeigt, dass, wenn es nur um die digitalen Bewegungen eines Mauszeigers von Punkt a nach Punkt b geht, eine glatte Oberfläche als fehlerfreie, weil lückenlose, Bewegung am besten wahrgenommen wird. Digitale Vorgänge, die eben nicht diesem Vorgang von a nach b entsprechen, könnten durch andersartige Oberflächenerfahrungen gelöst werden. Bei diesen Forschungen muss berücksichtigt werden, dass immer nur kleine Schritte gemacht werden, die große Entwicklung einer vollständigen proaktiven Computernutzung durch Mensch-Computer-Interaktion mittels künstlicher Intelligenz ist nach wie vor eine Zukunftsvision: »Der Rekurs auf die Entwicklungslogik überspielt die massiven Realisierungs- und Nutzungsprobleme des proaktiven ubiquitären Computing, so die uneinheitlichen Schnittstellen zu Alltagsgegenständen, die Probleme des Zusammenspiels multimodaler Kontrollinformationen und der Programmierung heterogener und kontextsensibler Anwendungsprozesse. Durch den weitgehenden Verzicht auf interaktive Eingaben wird nämlich die gewachsene Komplexität in intelligente Hintergrundprozesse verlagert, denn diese müssen nun die Vielfalt wechselnder situativer Anforderungen und die disparaten Nutzungskontexte vorab berücksichtigen, um den Usern die richtigen Informationen zur richtigen Zeit zu liefern.«244 Abschließend lässt sich sagen, dass die Idee der Augmented Reality gewissermaßen eine ganz eigene Form der haptischen Wahrnehmung bietet, wenn digital eingespeiste Informationen die Realumgebung des Benutzers überblenden: Er hat eine völlig natürliche Haptik, da er Realobjekte berührt und keine technisch neu konstruierten Objekte nach realem Vorbild. Diese Realobjekte können aber digital so definiert werden, dass ihre Bewegung zu einem digitalen Ereignis führt. Das bedeutet jedoch auch, wie zuvor bereits festgestellt, dass die haptische Wahrnehmung zwar natürlich und intuitiv ist und durch die Gewohnheit als angenehm für den Benutzer empfunden wird, jedoch die neuen Funktionen erst wieder erlernt werden müssen. Zudem muss die Trennung zwischen Nutzung als Realobjekt und Nutzung als Objekt einer digitalen Operation gewährleistet und erlernt werden. Für die haptische Wahrnehmung bedeutet die Augmented Reality allerdings einen funktionalen Mehrwert durch die Fokussierung auf die Benutzerumgebung.

4.4

Von Embodied Interaction bis zur Materialveränderung der Radical Atoms

»Embodied Interaction« ist eine weitere Beschreibung des Kontakts zwischen Benutzer und Technik. Sie ist, begrifflich erkennbar, auf die physische Benutzung 244 Hellige, 2008, S. 73.

251

252

Haptik am User Interface

fokussiert und verweist damit auch auf eine mögliche Selbstreflexion des eigenen Körpers.245 Wie bereits im Kapitel zur Teletaktilität beschrieben,246 ist die Embodied Interaction dabei von der technischen Seite aus definiert. Diese orientiert sich an körperlicher Kommunikation des Menschen. Die Informatikerin Judith Donath beschreibt die hier mögliche Interaktion als verkörperte Repräsentation von Mensch und Maschine (Computer). Sie betrifft die nonverbalen Bereiche der Kommunikation, abseits textlicher Repräsentation wie der visuellen Ebene von Grafiken, bewegter oder unbewegter Bilder.247 Donath interessiert vor allem der mögliche soziale Aspekt zwischen einem oder mehreren Menschen mit zwischengeschaltetem Computer als Medium. Digitale Objekte, Handlungen oder Funktionen physisch (haptisch) zu repräsentieren, spielen in ihren Überlegungen keine Rolle. Sie verweist mit dem sozialen Aspekt des Materialausdrucks als Bewegung eines Menschen auf intimere Gedanken als die reine Möglichkeit Informationen auch physisch auszudrücken: »Does such a medium open a new pathway to empathy, or does it invade the privacy of anyone who uses it?«248 Wichtig für dieses Kapitel ist die nonverbale Ebene der tatsächlichen Materialbewegung und haptischen Ausdrucks: »The ultimate solution is to create a virtual reality (VR) system, which senses the movements of each participant, and re-enters them in a common, virtual space.«249 Für ein Beispiel der Erforschung von Embodied Interaction als physischen Informationsgeber sei hier wieder ein Vertreter des Design Research Labs Berlin genannt. Der Designforscher Fabian Hemmert forscht an und mit seinen technischen Objekten am physischen, und somit auch haptischen, Ausdruck digitaler Daten durch das Material und das technische Gerät selbst.250 Elektronische Lesegeräte werden ähnlich einem realen Buch je nach gelesener Seitenanzahl auf der einen Seite dicker und auf der anderen dünner. Durch eingebaute Bewegungs- und Vibrationssensoren bewegt sich das technische Gerät schneller oder vibriert, sobald eine wichtige Nachricht wartet. Innerhalb der Embodied Interaction führt Hemmerts Weg zudem in Richtung des (auch sexuellen) physischen Ausdrucks der Telekörperlichkeit und Teletaktilität. Hemmert experimentiert materialorientiert und durch Bewegungen des Materials, um Interfaces zu schaffen, die technische Ausdrücke von Küssen durch Feuchtigkeitssensoren und Schwämmen sind oder einem Händedruck gleichen indem er Drucksensoren einsetzt. Ziel ist, dass nicht nur Text oder Sprache über Entfernungen einem anderen Benutzer übertragen werden kön-

245 246 247 248 249 250

Kwastek, 2013, S. 151. Siehe dazu Kapitel 3.4. Donath, 2014, S. 246. Ebd., S. 247. Ebd., S. 246. www.fabianhemmert.com/projects

4 User Interfaces im Wandel der Zeit

nen, sondern auch körperliche Ausdrücke als abstrakte, sich der Realität nähernde, physische Formen erfahrbar sind. Die Architektin und Wissenschaftlerin Metta Ramsgard Thomson forscht unter anderem am Centre for Information Technolog and Architecture251 in Kopenhagen (Dänemark) an der Verschmelzung von Umwelt, Architektur und Material und den damit verbundenen Möglichkeiten der Interaktion durch Berührung der Oberflächen: »Das Leitmotiv dieser beiden Arbeiten [Listener und Thicket] ist die Idee eines Soft Space, eines weichen Raums. Mette Ramsgard Thomsen versteht darunter eine Architektur mit einer ›inhärenten Flexibilität‹, eine Architektur, die mit ihrer Umgebung in Wechselwirkung tritt, indem sich die sie konstituierenden Materialien aus ihrer Struktur heraus verändern […].«252 Die Projekte beziehen sich dabei nicht auf konkrete Installationen, sondern sind vielmehr flexibel auf unterschiedliche Räume anpassbar. Listener bezeichnet eine »textile, robotische Membran«,253 einen Stoff, der unterschiedlich angewandt werden kann und der auf Berührung interagiert. Es handelt sich somit um ein performativ gedachtes Material.254 Der Benutzer fühlt die Oberflächenstruktur von vier verschiedenen gewebten oder gestrickten Stoffen, die zellenartig angeordnet sind und unterschiedlich großen und unterschiedlich gewölbten Taschen gleichen. Durch eingearbeitete Sensoren wird die Berührung verarbeitet und eine Reaktion erzeugt, so zum Beispiel ein Windgebläse, das Stoff bewegt. Diese Reaktion auf den Benutzer stößt wiederum eine weitere Aktivierung des Gebläses an; eine doppelte Reaktion auf den Benutzer. Der Stoff scheint sich von allein zu bewegen. Prototypisch ist Listener auch in Kombination mit nichtreaktiven Stoffen denkbar, die aber in ihrer Verbindung mit dem Stoff mitgezogen werden. Er soll auf unterschiedliche Bewegungen programmiert sein, durch die eine Veränderung der Stoffdichte erzeugt wird und somit mit unterschiedlichen Oberflächenstrukturen (weich oder weniger weich) auf den Benutzer reagiert: »By creating attractor lines we control the geometry by pushing the diagrid pattern to form a non-repetitive structure with local deformations.«255 Das Material ist dabei als eigenaktiv beschrieben: »In Listener, the computational is directly embedded into the material design. Rather than integrating substructures for sensing and actuation as secondary systems, the material itself merges the structural and the active.«256

251 252 253 254 255 256

http://cita.karch.dk Heinich, 2012, S. 107. Ebd., S. 109. www.materialthinking.org/sites/default/files/papers/SMT_V7_P3_ThomsenKarmon.pdf, S. 1. Ebd., S. 4. Ebd., S. 5.

253

254

Haptik am User Interface

Das aktive Material wird zum Ausdruck der unterschiedlichen Funktionen durch vielfältige Oberflächen. Die ebenso verfolgte Strategie der künstlichen Intelligenz als »eigenständige« Technik, die bei aktiven Materialien aufkommt, soll nur indirekt zur Sprache kommen. Thematisch ist sie Teil einer weniger philosophischen oder futuristischen Frühform der seit 1999 als Begriff bestehenden »Ambient Intelligence«:257 »Zu den Charakteristika der Ambient Intelligence gehören neben der informationstechnischen Durchdringung des Alltags auch Aspekte der Mensch-MaschineKommunikation und der künstlichen Intelligenz. Man stellt sich dabei vor, dass eine intelligente Technik dem Menschen ständig unterstützend zur Verfügung steht, diese aber selbst praktisch unsichtbar wird. Dabei sollen Alltagsgegenstände zu aktiven, kommunikationsfähigen Subjekten werden und der dinglichen Welt eine gang neue Eigenschaft verleihen: Diese wird reaktionsfähig, passt sich den aktuellen Bedürfnissen des Menschen an und steigert damit dessen Leistungsfähigkeit und Lebensqualität […].«258 Lässt man nun einmal die Diskussionen danach, ob künstliche Intelligenz noch Science Fiction ist259 oder nicht, und das Verhältnis von Technik und dem biologischen Körper als Leistungssteigerer und dem kritischen Begriff der Prothese beiseite, so zeigen sich die praktischen Vorzüge, die das Ambient Intelligence-Konzept von der Mixed Reality oder der Augmented Reality abhebt: der Aktionsfähigkeit des technischen Objekts in seiner Umgebung, die oberflächlich betrachtet mit Intelligenz oder Lebendigkeit verwechselt werden kann. Nach wie vor besteht das Streben für den Benutzer unsichtbare Funktion zu schaffen, wobei die Aktion als »eigenstän-

257 Friedewald, 2008, S. 268f. 258 Ebd., S. 269. 259 Ambitionierte Projekte (siehe dazu beispielsweise die Forschergruppe FOR 2093 der Ruhr-Universität Bochum, Christian-Albrechts-Universität Kiel und Helmholtz-Institut Ulm, www.tf.uni-kiel.de/etit/NANO/forschung3.htm, das europäische Human Brain Project, www.humanbrainproject.eu, oder die us-amerikanische BRAIN Initiative, www.braininitiative.nih.gov/index.htm), die nach wie vor versuchen, das menschliche Gehirn »nachzubauen« oder technisch zu imitieren, werden wahrscheinlich zukünftig nicht mehr an der Frage des Speicherplatzes oder der Verarbeitungsgeschwindigkeit von erlangten Informationen scheitern. Das zu lösende Problem ist vielmehr die Fähigkeit des Gehirns, wahrgenommene Information in brauchbar und unbrauchbar, merkwürdig und vergessbar zu unterscheiden. Das Gehirn hat nicht unendlichen Speicherplatz und muss aus diesem Grund nützliche Wahrnehmungen, die als Erinnerungen »gespeichert« werden, von sinnlicher Wahrnehmung, die »nur« der momenthaften, alltäglichen Orientierung des Körpers in seiner Realität von Zeit und Raum dienen, unterscheiden. Künstliche Intelligenz bedeutet nicht nur Schnelligkeit und Speicher, sondern vielmehr Wandelbarkeit, stetige Veränderung und Anpassung an Gegebenheiten; gewissermaßen fortschreitende Evolution.

4 User Interfaces im Wandel der Zeit

dig« wahrgenommen werden kann. Letztendlich sind diese aber doch »nur« Reaktionen auf das Verhalten des Benutzers: »Dieser Metapherübergang verändert die Sichtweise auf ein Gerätesystem auf die Art der Unterstützung, die es einem Benutzer bietet und weg von der Notwendigkeit für den Benutzer, einzelne Bedienschritte und Funktionen erlernen zu müssen. Nicht mehr der Benutzer soll sich einem System anpassen müssen, sondern ein System erfüllt die Benutzerziele auf Basis der eigenen Adaptivität.«260 Um Benutzerziele zu erkennen, sind in der datenorientierten Sichtweise eines technischen Objekts wieder eine Kombination aus einer dem Benutzer ständigen bewussten und unbewussten Datensammlung der Umgebung nötig. Das Ambient Intelligence-Konzept soll allerdings in dieser Arbeit aufgrund seiner Komplexität und wissenschaftlichen Denkweise der künstlichen Intelligenz nicht weiter ausgeführt werden. Es ist lediglich erwähnt, weil es ausdrückt, dass ein technisches Objekt nun auch reagieren solle und dies für den Benutzer auch erkenn- und verstehbar sein muss. Datenausgabe auf haptischer Ebene ist dabei der Versuch, die Oberfläche variabel und zur Ausdrucksform werden zu lassen. Der Kunsthistoriker Oliver Grau sieht in der Illusionshaftigkeit der immer intuitiveren Interfaces durch bewusste und unbewusste Interaktionen auch einen negativen Ansatz: »The more ›natural‹ the interfaces become, the greater the danger – not only that most of the ›technological iceberg‹ will be inaccessible to the user who is unaware of it – that there will be an illusionary disappearance of boundaries to the data space. Increasingly powerful computers increase the suggestive potential of virtuality, which, particularly through the ideology of a ›natural interface‹, is beginning to unfold its full psychological and manipulative influence. Against the backdrop of virtual reality’s illusionism, which targets all the senses for illusion, the dissolution of the interface is a political issue.«261 Das Radical Atoms-Konzept der Tangible Media Group des MIT bietet einen weiterführenden Ansatz der Materialanpassung als Folge ihres Konzepts der Tangible User Interfaces.262 Hiroshi Ishii stellte 2009 mit seinen Kollegen als visionäres Folgeprojekt der Tangible Bits und Ausarbeitung der Tangible Interfaces Überlegungen zur Interaktion mit transformierbarem Material vor. Digitale Daten sollen zukünftig das Material aktiv verändern können, wodurch haptische Informationen sichtbar, aber vor allem fühlbar gemacht werden. Er benutzt zur Erklärung dieselbe Eisberg-Metapher wie zuvor Oliver Grau:

260 Encarnao/Brunetti/Jähne, 2008, S. 287. 261 Grau, 2003, S. 203. 262 http://tangible.media.mit.edu/project/radical-atoms/

255

256

Haptik am User Interface

»Radical Atoms is a vision for the future of human-material interactions, in which all digital information has physical manifestation so that we can interact directly with it – as if the iceberg had risen from the depths to reveal its sunken mass […].«263 In den vorgestellten Möglichkeiten der Embodied Interaction reagiert der Benutzer haptisch mit realen Materialien, die mit Sensoren verknüpft sind, wodurch das Material zu einer Aktion angestoßen wird, welche wiederum wahrnehmbar ist. Doch die tatsächlichen haptischen Echtzeitveränderungen in Formbarkeit, Positionierung oder Struktur sind nach wie vor schwierig zu erarbeiten:264 »The radical Atoms material should be manually deformable and reconfigurable by human hands. We envision ›digital clay‹ as a physically represented, malleable material that is synced with the coupled digital model. Direct manipulation by user’s hands, such as deformation and transformation, of sensoric objects and materials should be translated into an underlying digital model immediately to update the internal digital states. Likewise, we envision that ›digital and physical building blocks‹ will allow users to translate, rotate, and reconfigure the structure quickly, taking advantage of the dexterity of human hands, with the changes in configurations reflected in the underlying digital model. This capability will add a new modality of input from physical (users) to the digital world.«265 Das, was im Allgemeinen als ein Schließen der Lücke zwischen realer und virtueller Welt bezeichnet wird, stellt sich somit praktisch gesehen an der Lokalisierung von Aktion und Reaktion dar. Die Aktion des Benutzers findet im (G)UI-Design an Interfaces wie Tastatur und Maus statt, die sinnliche Erfahrung ist dabei hauptsächlich (audio)visuell als Datenverarbeitung einer Reaktion grafischer Interfaces auf dem Desktop des Bildschirms. Das (T)UI-Design verkleinert die Lücke zwischen Aktion und Reaktion eigentlich noch nicht, denn hier werden zwar die Aktionswerkzeuge für den Benutzer greifbarer und die symbolische Aktion einer klickbaren Grafik in die reale Welt geholt, der Vorgang der eigenen Handlung für den Benutzer demnach nachvollziehbarer gemacht, die Datenumwandlung erfordert aber ein weiteres Darstellungs- und Ausdrucksmedium. Erst das Konzept der Radical Atoms mit sich veränderndem Material oder mit dessen tatsächlichen haptischen Reaktionen wie Bewegungen, Vibrationen oder Temperaturveränderungen vereinen Ort der Benutzeraktion mit dem Ort der Reaktion. Die Integration der Haptik rangiert zwischen der Funktion eines schwachen und starken Informationsträgers. Schwache Informationen sind die Vibration oder mechanische Kraftrückkopplungen des Force Feedback als Unterstützung eines anderen, als dominant gestalteten 263 http://web.media.mit.edu/∼ishii/RadicalAtoms_REPRINT2.pdf, S. 38. 264 Ebd., S. 40. 265 Ebd., S. 46.

4 User Interfaces im Wandel der Zeit

Darstellungsmediums, die mit starken Informationsträgern kombiniert werden, an denen haptisch auch komplexe Informationen gegeben und abgelesen werden können. Der Übergang von der grafischen Interaktion und (T)UI zur Idee der Radical Atoms bedeutet schließlich nicht nur eine Dynamisierung der Kommunikation zwischen Benutzer und digitaler Welt in Echtzeit, sondern nun auch die Dynamisierung des Materials. Das Verhalten des Benutzers solle nicht nur die virtuelle Welt als mathematisch konstruiertem Raum verändern können oder in der (T)UI Bewegung und Position mit virtueller Reaktion verknüpfen, sondern auch das reale Material formbar und digital übertragbar machen. Es wird ein Übergang von statischer und passiver zu kinetischer und aktiver Interaktion vollzogen.266 Die Formbarkeit eines realen Materials ist Repräsentant einer digitalen Aktion und Reaktion und muss dem Benutzer als solche bewusst sein: »In order to interact with the interface, the user has to be continuously informed about the state the interface is in, and thus the function it can perform. An open interaction design question remains: How do we design for dynamic affordances?«267 Die Frage der Dynamik kann schließlich zu Anwendungsbeispielen wie diesem führen: »Having the ability to sense the grasping hands, surrounding operands, and the environment, tools might be able to transform to the most appropriate form using contextual knowledge. An umbrella may change its form and softness based on the direction and strength of wind and rain. A screwdriver could transform between a Phillips and flat head depending on the screw it is operating on.«268 Definierte Materialveränderung passt sich somit an äußere Gegebenheiten an und verändert dabei seinen Phänotyp. Diese komplexen Ideen sind, wie erwähnt, schwierig umzusetzen, doch keine Science Fiction, wie erste Arbeiten zeigen. Bereits auf der Computersystemmesse CHI 2002 und der Ars Electronica 2002 wurden Projekte mit berührbaren, formbaren Materialien mit digitaler Verknüpfung in Form von Knete und Sand vorgestellt, sowie im Jahr 2009 und 2011 transformierbare Materialien des Relief und Recompose (Abb. 23 und 24).269 Auf der CHI ‘02 stellten der Architekt Ben Piper, der Architekt und Ingenieur Carlo Ratti sowie Hiroshi Ishii als Vertreter der Tangible Media Group zudem Illuminating Clay270 vor: ein Projekt, das thematisch an die Modellarbeit von Archi266 267 268 269 270

Ebd., 2012, S. 43. Ebd., S. 47. Ebd. Ebd., S. 43. www.cs.uml.edu/∼fredm/courses/91.548-spr03/papers/illclay_chi02.pdf

257

258

Haptik am User Interface

Abb. 23: Tangible Media Group, Relief; Abb. 24: Tangible Media Group, Recompose

tekten und Landschaftsplanern bei Urp und dem metaDESK anknüpft. Illuminating Clay ist zunächst noch ein eingebettetes Tangible User Interface, welches hier nur als Vorgängeridee zum Radical Atoms-Konzept beschrieben werden soll. Auf einem Tisch, der gleichzeitig auch eine Projektionsfläche für virtuelle Darstellung ist, können mehrere Personen gleichzeitig eine dreidimensionale Landschaft kneten. Diese kann wiederum durch einen Laserscanner über dem Tisch in Echtzeit gescannt, digital verarbeitet und auf den Tisch zurück projiziert werden. Die leichte Formbarkeit von Knete unterstützt eine dynamische Arbeitsweise und in diesem speziellen Fall eine Landschaftsanalyse, die virtuell in verschiedenen Sektoren des Tisches zu sehen ist. Die Analyse beinhaltet unterschiedliche Szenarien wie Schattenwürfe, Wasserflüsse oder Landerosionen. Die Entscheidung für eine Knete war das Ergebnis von Experimenten mit form- und bearbeitbaren Materialien unterschiedlicher bekannter Hersteller wie Lego, Fimo, Plastacine, Silly Putty, Porzellanknete und Crayola Model Magic. Plasticine wurde schließlich mit einem stabilisierenden Metallkern verbunden, wodurch die Materialfläche leicht zu bearbeiten war, aber sich auch das Gesamtgewicht änderte. Weiße Bemalung sorgte dafür, dass Strukturveränderungen einfacher scanbar waren.271 Die Echtzeit-Verknüpfung von realer und digitaler Repräsentation einer Landschaft soll ein komplexes Verständnis von kleinsten räumlichen Veränderungen fördern: »[…] we hope to give the projected information the same tangible immediacy as the clay material itself and allow quantitative data to support the intuitive understanding of the landscape.«272 Wie bereits beim metaDESK und seiner Testapplikation als Tangible Geospace ist auch jetzt kritisch anzumerken, dass der tatsächliche praktische Nutzen für den Landschaftsarchitekten oder den Stadtplaner auf den ersten Blick erst einmal nur die Möglichkeit darstellt, gemeinsam mit mehreren Benutzern an einem realen Modell

271 Ebd. 272 Ebd.

4 User Interfaces im Wandel der Zeit

zu arbeiten. Einen Vorteil gegenüber der virtuellen Modellierung, die beispielsweise in Verbindung mit Szenarien genutzt werden kann, hat dies nicht. Letztendlich stellt sich die Frage, welchen persönlichen Stellenwert das reale Objekt im Arbeitsprozess eines Designers hat, ob er zum Beispiel erste Ideen als grobes Modell umsetzt oder bereits die ersten Ideen virtualisiert: »In our personal experience as designers we have often used found objects to inspire creativity. We hope that the approach taken in Illuminating Clay supports the critical relationship between the designer and their physical environment by allowing the computer interface to be reinvested with some of the richness and complexity of physical objects.«273 Doch in der Möglichkeit der Integration von realem und, nach den starren haptischen Objekten der Phicons, nun formbarem Material der Knete lässt sich ein dynamisierender Fortschritt in der Nutzung der Haptik erkennen: »For material behavior, the linear elastic material is implemented in a number of research projects, because of its simplicity of implementation and low complexity of computation. Furthermore, most materials can be modeled as linear elastic material in some range. Hyperelastic, also known as the green elastic rubber-like, materials also attract some researchers, as a kind of typical and idealized modes […]. With the rapid development of computer science, more and more interest has been shown to the modelling of viscoelastic materials, for their time dependent stress-strain relations, […], since almost all natural solid materials simultaneously have the elastic and viscous behavior, more or less.«274 Auf ähnliche Weise wurde mit Sand als physisch-digitales Material beim SandScape experimentiert. Vorgestellt wurde dieses Projekt auf der Ars Electronica ‘02.275 Der Sand, auf den wie bei Illuminating Clay ebenfalls eine virtuelle Oberfläche projiziert wurde, war dabei die dynamische Repräsentation einer simulierten Landschaft. In diesem Fall war eine neue Formbarkeit durch andere Eigenschaften des Materials gegeben. Sand lässt sich durch seine offene Struktur aus Körnern kleinteiliger behandeln. Er bietet durch kleinste Veränderungen noch einmal eine besondere Herausforderung in der Echtzeitumsetzungen der Scans der Oberfläche und somit der 273 Ebd. 274 Zhao, 2010, S. 5. Der Autor verweist hier auf: Mackerle, J.: Rubber and rubber-like materials, finite-element analyses and simulations, and addendum: a bibliography (1997-2001); In. Modelling and Simulation in Materials Science and Engineering; Haupt, P. Continuum Mechanics and Theory of Materials; Berlin, 2000; Kaliske, M./Rothert, H.: Formulation and Implementation of Three-Dimensional Viscoelasticity at Small and Finite Strains; In: Computational Mechanics 19; 1997; Chen, T.: Determining a Prony Series for a Viscoelastic Material From Time Varying Strain Data; In: NASA STI Report Series, Nr. TM-2000-210123; 2000. 275 http://90.146.8.18/en/archives/center_projekt_ausgabe.asp?iProjectID=11024

259

260

Haptik am User Interface

aktiven Simulation. SandScape wird als »tactile Interface«276 bezeichnet, tatsächlich stellt sich aber auch hier die Frage, ob es nicht eher ein haptisches Interface durch den aktiven Wahrnehmungsprozess des Sands als Objekt ist. Der Künstler Jure Fingust bedient sich des Tons als formbares Material. Seine videoinstallative Arbeit My Haptic Diary277 von 2014 besteht aus einer an einen Schreibtisch erinnernden Installation, auf der ein (Tage)Buch aus Tonseiten liegt. In ihnen kann der Besucher Abdrücke hinterlassen. Die Formen und Bewegungen der Hände (oder anderer Körperteile) werden von einer an der Decke angebrachten Kamera aufgenommen und als Videomosaik auf den Boden im Raum projiziert. Die haptischen Ab- und vor allem Eindrücke der Benutzer werden so in ein digitales Bild umgesetzt. Sowohl Illuminating Clay als auch SandScape sind in einem weiteren Sinne als Fortführung von metaDESK und URP zu sehen, da auch bei ihnen Input und Output lokal zusammenfallen. Die Veränderungen der physikalischen Oberflächenstruktur durch den Benutzer bewirkten eine Veränderung in der simulierten Oberfläche, die an gleicher Stelle projiziert ist. Dies ist als nächste Stufe zur aktiven Veränderung des Materials ohne Benutzereinfluss zu sehen. Es stellt sozusagen eine Erstkommunikation der digitalen Seite via Material dar, auf die der Benutzer reagieren muss oder Informationen erfahren kann. Das Projekt wurde im Jahr 2009 unter dem Namen Relief auf der International Conference on Tangible, Embedded and Embodied Interaction (TEI)278 in Cambridge, Großbritannien, vorgestellt. 2011 ist sie auf der ACM Symposium on User Interface Software and Technology (UIST)279 in Victoria, Kanada, noch einmal gezeigt worden. Relief, das im Namen schon den Verweis auf die plastische, künstlerische Darstellung aus einer Fläche heraus, trägt, ist ein 2.5D Display: ein zweidimensionales Display, das die dritte Dimension nur im Ansatz, aber nicht vollständig einbezieht.280 Auch hier wurde, wie in den Projekten zuvor, ein Tisch mit simulierter Landschaft verwendet. 120 vertikale Stäbe, einzeln beweglich in ihrer Höhe, sind von einem hellen Fasertuch überzogen. Durch die digitale Projektion einer simulierten Landschaft auf das Tuch passen sich die Stäbe an deren Information an und ergeben so ein haptisches Modell, das dynamisch und in Echtzeit auf die Veränderungen der Simulation reagiert. Die Bewegung der Stäbe, damit einzelner, relativ feiner Bereiche des Oberflächenmodells, ist sowohl durch Ziehen und Drücken des Benutzers möglich, als auch durch digitale Bewegungen der Simulation und visualisierter Veränderung der Oberflächen. Die Stäbe sind motorisiert in ihrer Höhe veränderbar. Die diversen Möglich276 277 278 279 280

Ebd. www.interface.ufg.ac.at/blog/projects/my-haptic-diary/ www.tei-conf.org www.acm.org/uist https://trackr-media.tangiblemedia.org/publishedmedia/Papers/460-Direct%20and%20Ge stural%20Interaction/Published/PDF

4 User Interfaces im Wandel der Zeit

keiten der Simulationsänderungen können zusätzlich durch gestischen Input und definierte Handbewegungen über der Oberfläche vollzogen werden. Dies hat beispielsweise Rotationen oder ein Verschieben der Projektion auf der realen Oberfläche zur Folge. Die gestische Applikation ergab sich als Lösung aus haptischen Experimenten, die erste Probleme zeigten: Wird ein Stab heruntergedrückt, so ist es für den Benutzer schwer, diesen wieder herauszuziehen, etwas, das den dynamischen Prozess bricht. Durch einen Zusatz der nichthaptischen Funktionen über der Oberfläche wurde dieses Problem schließlich aufgefangen: »By expressing gestures directly above the surface, a user can seamlessly switch between selection, manipulation, and translation of objects on a 2.5D shape display. When coupled with direct touch, a user is able to maximize functionality without crating input ambiguity. […] Direct manipulation of an actuated surface allows us to precisely affect the material world, where the user is guided throughout the interaction by natural haptic feedback.«281 Das Projekt Recompose282 stellt 2011 schließlich eine Erweiterung zu Relief dar. Dabei besaß es in seiner Form und mit Blick auf die haptische Sensation allerdings erst einmal eine gröbere, weil nicht so detaillierte Ästhetik. Die 120 Stäbe, die von einem Tuch bedeckt die dynamische Oberfläche bei Relief bildeten, wurden in Recompose zu Stäben, deren Köpfe eine flache Platte herstellten. Aus der Real/DigitalSimulation einer Landschaft wurde nun eine Möglichkeit, geometrische Strukturen darzustellen. Die haptische Interaktion sollte laut Paper aber erhalten bleiben: »Haptic sensation remains our primary feedback mechanism in traditional surface manipulation (e.g. clay sculpting). We designed a system where direct haptic manipulation is a core component of the interaction. By allowing direct manipulation of pin height, users are afforded such haptic feedback.«283 Die horizontale Bewegung der Stäbe ebenso wie ihre greifbare und gestische Interaktionsmöglichkeit bleibt, die Haptik der Oberfläche ist allerdings jetzt abstrakt reduziert. Wo zur greifbaren Interaktion der Stäbe bei Relief noch die haptische Komponente des Tuchs als simulierten Landschaft mit Erhebungen und Vertiefungen zu erfühlen war – einer Kombination aus Greifen mit den Fingern nach einzelnen Details und dem Erfühlen mit den Handflächen über die Landschaftsfläche – so ist diese Gesamtwahrnehmung durch die flachen Köpfe von Recompose nicht gegeben. Einzelne Stäbe können und müssen mit den Fingern bewegt werden. Die

281 Ebd., S. 4. 282 https://trackr-media.tangiblemedia.org/publishedmedia/Papers/450-Recompose%20Direc t%20and%20Gestural/Published/PDF 283 https://trackr-media.tangiblemedia.org/publishedmedia/Papers/460-Direct%20and%20Ge stural%20Interaction/Published/PDF, S. 5.

261

262

Haptik am User Interface

Gesamtwahrnehmung des Modells ist aber wieder auf die visuelle Wahrnehmung ausgelegt, für eine haptische Komponente ist die Struktur im Einzelnen zu grob. Doch das Projekt zeigt die Möglichkeiten eines Aufbaus, wie sich digitale Information für die haptische Wahrnehmung umsetzen lassen. Durch die Aufteilung der Gesamtfläche in kleine Platten ergibt sich eine Analogie zur Pixelaufteilung eines digitalen Bildes. Unabhängig von der vorherigen praktischen Anwendung einer Landschaftssimulation dienen diese »realen Pixel« dem Verständnis der Funktionalität als Übergang vom digitalen Pixel, der jetzt im Einzelnen, wenn auch nur stark abstrahiert, greifbar wird: »We intuitively use gestures to express intent and desire, and if the surfaces around us could better understand such notions then digital design could be a more transparent and seamless experience.«284 Als frühe Analogie zu den neuen, greifbaren Displays ist ein Projekt des Neurowissenschaftlers Paul Bach-y-Rita zu nennen. Er entwickelte bereits in den 1960er Jahren ein Display (»tactile Display«),285 das im wahrsten Sinne des Wortes haptische Eindrücke verschaffte.286 Dafür verbaute er in einer ersten Variante 20 x 20 Metallstäbe in einem alten Zahnarztstuhl, sodass diese wie Pixel nebeneinander angeordnet in den Rücken des Sitzenden drückten und ein fühlbares Muster in Form von Druck erzeugten. Die Grundidee, Stäbe als Alternative zu grafischen Pixeln zu nutzen, wurde hier unabhängig von anderen, besonders den audiovisuellen Sinnesdrücken experimentell genutzt. »Through this research Paul Bach-y-Rita came to the conclusion that ›We see with the brain, not the eyes‹ […].«287 Im Jahr 1993 bauten die Ingenieure Koichi Hirota und Michitaka Hirose das surface display, das in ähnlicher Weise dreidimensionale Strukturen darstellen konnte wie Relief und Recompose.288 Der Ingenieur Hiroo Iwata entwickelte mit seiner Forschungsgruppe 1995 FEELEX, das im Aufbau ebenfalls mechanische Stäbe nutzt, um eine flexible, haptische Oberfläche zu schaffen und einen Projektor über der Oberfläche, die auch Projektionsfläche ist, inkludiert.289 Die Georgia Tech Forschungsinitiative arbeitete an einer Form von digitaler Knete, die sie mit der Simulationsumgebung PHANTOM als eine weitere Möglichkeit haptischer Interaktion vorstellte. Interessanterweise taucht in ihrem Abstract zur Digital Clay290 die unterscheidende Formulierung zur genaueren qualitativen

284 https://trackr-media.tangiblemedia.org/publishedmedia/Papers/450-Recompose%20Direc t%20and%20Gestural/Published/PDF, S. 5. 285 Stenslie, 2010, S. 138. 286 Ebd., S. 138ff. 287 Ebd., S. 139. Der Autor verweist hier auf: Bach-y-Rita, Paul: Brain Mechanism in Sensory Substitution; New York, 1972. 288 https://trackr-media.tangiblemedia.org/publishedmedia/Papers/450-Recompose%20Direc t%20and%20Gestural/Published/PDF, S. 2. 289 http://intron.kz.tsukuba.ac.jp/publish/PDF/SIGGRAPH01.pdf 290 www.imdl.gatech.edu/haihong/DigiClay/Clay_Introduction.htm

4 User Interfaces im Wandel der Zeit

Beschreibung der Benutzerinteraktion durch das Fühlen auf: »Digital Clay is proposed as a next generation human-computer interfacing device based on a morphing, tangible and haptic surface.«291 Ähnlich wie bei der Forschungsinitiative des MIT sollte nicht nur die Oberflächenveränderung durch Sensoren erfasst werden, sondern die »Knete« als Hardware verstanden werden, sodass eine Formveränderung als Information sowohl an die Fingerdruckumgebung weitergegeben wird wie auch an verknüpfte Computer.292 Die Unterschiede in der Konzentration als passiv-taktile oder aktiv-haptische Wahrnehmung ergibt sich wie auch in den anderen Forschungsarbeiten im »touch mode« und im »edit mode«: »When touching the surface, the user will in some cases intend to modify it and sometimes only wish to fell its shape.«293 Die Gemeinsamkeit im Grundkonzept ist offensichtlich, einzig die praktischen und letztendlich auch funktionierenden Anwendungsweisen der Simulationen und die Genauigkeit der Verschiebung der Stäbe sowie ihre Anzahl und Größe unterscheiden sie. Die Genauigkeit entsteht dadurch, dass man entweder Einzelstäbe haptisch wahrnimmt, eventuell sogar durch den direkten Zug oder Druck eines Stabes, oder ob die Stäbe in der Masse als eine Oberfläche dynamisch in einer fließenden Bewegung erscheinen. Dies hängt wiederum auch von der Kommunikation von Einzelstab zu Einzelstab ab, da jede Bewegung auch eine flüssige Mitbewegung der umgebenden Stäbe erfordert. Der Gedanke der automatischen Entstehung von Objekten erwuchs aus der Kombination der dynamischen Formbarkeit von Knete durch die Hand und dem grundsätzlich ähnlichen Aufbau des Abdruck-Spielzeugs Nagelbrett oder auch Pinhead. Das Spielzeug ähnelt einer Fläche mit verschiebbaren nebeneinander angeordneten Stäben, die sich zu einer Skulptur auf einer Seite formen lassen, wenn man von der anderen Seite drückt. Nicht nur die Hand formt das Gesamtobjekt aus mechanischen Einzelstäben, sondern auch die digitale Information, die an ebendiese Stäbe angebunden ist. Die Verknüpfung der haptischen Wahrnehmung mit projizierten Simulationen zeigt letztendlich den Wunsch nach Kombinationen zu multisensuellen Interfaces, die allerdings nicht mehr die audiovisuelle Wahrnehmung als strikt dominant betrachten und die haptische Wahrnehmung ausschließlich als unterstützenden Sinn zur verbesserten Immersion heranziehen. Über die Haptik sollen direkt und unabhängig von anderen Sinnen Informationen gegeben wie auch erfahren werden, die in Kombination mit den anderen Sinnen kräftigere Informationsträger sind und somit auch als multisensuelle Kombinationen erforscht werden.

291 Ebd. 292 www.gvu.gatech.edu/people/official/jarek/papers/FingerSculpting.pdf , 2002. 293 Ebd.

263

Fazit

Wie die vorliegende Arbeit gezeigt hat, nimmt das haptische User Interface innerhalb der Medienkunst und der Wissenschaften vielfältige Formen an. Sind die ästhetischen Spielarten der User Interfaces dabei so vielfältig wie ihre Bedeutungen? Was kann haptisch ausgedrückt werden und wo klafft noch eine Informationslücke, die Künstlerwissenschaftler und Forscher schließen möchten? In der haptischen Interaktion zwischen Mensch und Maschine ist eine qualitative Spanne möglich, die von einer einfachen Berührung bis hin zu einer komplexen Informationswiedergabe reicht. Die Berührung als intimerer Moment der Empathie ist die Möglichkeit für den Benutzer diese Sensation als körperbewussten Moment zu erleben. Auch die in Kapitel 2 erwähnte Bedeutung von Fehlern im Designprozess kann in diesen Zusammenhang gesetzt werden, denn sie können Grenzen des Wissens über die Technik sein. Sie gelten aber auch als Merkmal einer Natürlichkeit. Diese bewusst gesetzten Fehler sind somit auch ein Setzen und Erkennen eigener (Wissens)Grenzen. Dies ist eine Rückführung von Komplexität zu Einfachheit: Simplizität fungiert als Reduktion und Konzentration auf den physischen Moment. Wie der Verweis auf die Idee der natürlichen Interfaces in Kapitel 3.3. zeigte, kann gerade der einfache Moment der Interaktion, eingebunden in ein komplexes System aus technischem Background und Atmosphäre, eine besondere und vor allem konzentrierte Wirkung erzeugen. Die singuläre haptische Information, beispielsweise einer kurzen Vibrationsabfolge, kann nicht nur für ein technisches Signal einer Aktivität stehen, sondern auch als eine Kontaktaufnahme einer verknüpften Person wahrgenommen werden, gar als ein Streicheln einer fernen, aber doch nahen und intimen Berührung. Diese haptische Symbolik muss allerdings erlernt werden, so einfach sie auch sein mag. Die informationsreichere Haptik ist durch Eigenbewegungen der User Interfaces, dem sogenannten »Force Feedback« von Druck bis Vibration möglich. Sie kann sich dabei nach Bewegungen und somit ausgedehnterem Streicheln anfühlen. Muskelstimulation, aber auch schmerzhafte Sensationen durch Elektrizität, Hitze oder Kälte sind möglich. Die haptischen Ideen führen hin zu variationsreichen Oberflächenstrukturen, die, wie die passive, unbewegliche Blindenschrift, in ihrer Quantität und detaillierten qualitativen Ausführungsmöglichkeiten die Entwicklung eines sensorischen Alphabets

266

Haptik am User Interface

möglich machen. Diese Qualitätsspanne rangiert dennoch (nicht nur) in der Medienkunst vor allem als Integration oder in der Kombination mit audiovisuellen Ereignissen. Rein haptisch orientierte Werke sind eine Seltenheit. Sind sie auf die Haptik fokussiert, so sind die meisten der hier vorgestellten Projekte nicht nur auf Hände oder Finger konzentriert, sondern erscheinen vielmehr als ein Versuch großflächige Hautareale anzusprechen. Es findet eine Imitation der menschlichen Haptik statt, die für sich genommen schon schwierig genug ist. Eine Übertragung als Metaphern der kleinschrittigen Nachahmungsprozesse könnte dann aber weiter von den Künstlern vorangetrieben werden und zwar soweit, dass vor allem wiederum ein Bruch dieser selbstverständlichen, haptischen Konvention möglich wird: »Es ist an der Kunst, in dem Maße, wie sie sich der Medien bedient, solche Bruchstellen kenntlich zu machen. Wenn daher im Bereich der Künste Medien zum Einsatz kommen und umgekehrt mittels Medien Kunsterfahrungen induziert werden, so stets als Reflexion dieses Spannungsverhältnisses.«1 Zudem bleibt die Frage, wie weit der Benutzer im Interaktionsablauf bereit ist zu gehen: Wo liegt im wahrsten Sinne des Wortes seine Schmerzgrenze, nicht nur im Eingriff in eine körperliche und individuell empfundene Intimsphäre?2 Festgehalten sei hier: »[…] creating haptic VEs in which entirely new haptic sensory experiences are possible. As a result, it becomes feasible to investigate haptic perception and related phenomena, such as motor control, in entirely new way. In this regard, interfaces do for haptic perception research what computer graphics does for human vision research. The importance of haptic technology extends beyond scientific research. This technology opens the door to new applications in a variety of field.«3 Vor diesem Hintergrund stellt die vorliegende Arbeit einen Schritt dar, die haptische Oberfläche sowohl im Kontext anderer Sinne als auch autark zu betrachten. Die Fokussierung der Haptik sollte gemäß der Abarbeitung am Bild als visuelles Forschungsfeld der Bildwissenschaften geschehen, das in seiner Bedeutung für unzählige Wissenschaften behandelt wurde und dennoch in seiner Vielfalt nach wie vor schwer zu erfassen ist. Die Dominanz des Sehens, besonders innerhalb der Kunstgeschichte, überstrahlt nach wie vor die genauere und unabhängige Betrachtung der Berührung in Form von »haptic studies«. Orientierte man sich an den interdisziplinären Verflechtungen der Bildwissenschaften, so könnte sich ein ebenso weit verzweigtes Forschungsfeld etablieren, das die Haptik nicht nur als

1 2 3

Mersch, 2002, S. 54. Rieger, 2015, S. 270ff. Robles-de-la-Torre, 2008. S. 363.

Fazit

Unterkategorie der audiovisuellen Wahrnehmung, sondern auch als starken Informationsträger ernst nimmt. Stenslie schreibt in diesem Rahmen auch von »tactile aesthetics«4 im Blick auf Beschreibung und Untersuchung haptischer interaktiver Erfahrungen. Eine der Fragen der zukünftigen Forschung von »haptic studies« oder »tactile aesthetics« muss sein, warum die Geschichte der Integration von Haptik und der Multisensualität eine Geschichte von (auch kommerziellen) Fehlschlägen und der Existenz als Randerscheinung neben dem Siegeszug der audiovisuellen Medien ist. Von Beginn der Computergeschichte an träumten die Erfinder von der Integration des gesamten Körpers, doch die Versuche, haptische Momente zur Kommunikation zu nutzen, scheiterten oft in der Umsetzung, wie die vorliegende Arbeit gezeigt hat. Eine weitere, zu erarbeitende, Thematik sollte die Archivierung des sinnlichen Moments sein, nicht nur der Erhalt des Kunstwerks als Objekt. Das ist eine Aufgabe, der sich in den letzten Jahren verschiedene Projekte und Institutionen stellen. Die Erhaltung von Objekten und Installationen der haptisch interaktiven Medienkunst muss bedacht werden. Denn die performative Seite der haptischen Medienkunst ist sowohl schwierig zu beschreiben als auch aufgrund ihrer Komplexität nur bedingt zu archivieren, wenn subjektive Erfahrungen in ihrer Fülle und flüchtige Momente verständlich festgehalten werden sollen. Dies zeigt beispielsweise auch die ungenügend erhaltene Geschichte der Performancekunst. Slavko Kacunko verweist in Bezug auf die Interaktionsästhetik der Medienkunst und die Beschreibungen ihrer rezeptiven Erfahrungen darauf, dass es zwar eine Tendenz zur möglichst genauen und vielschichtigen Beschreibung gebe. Die Komplexität aller Beschreibungen führe allerdings dann in ihrer Fülle zu einer Unübersichtlichkeit. Er verweist dazu unter anderem auf die Handlungsprotokolle von Filmen.5 Kacunko schlägt vor, bei einer unzureichenden Beschreibung von Interaktionen zwischen künstlerischem Material und Benutzer,6 die Interaktion als nicht eindeutig beziehungsweise immer neu zu definieren: »An anderer Stelle habe ich die ›Interaktion‹ als nicht einen nicht näher zu definierenden ›Zielbegriff‹ vorgeschlagen, der uns letztlich sowohl zu den Werken in ihrem permanenten Wandel als auch zu den dazugehörigen Reaktionen und Gegenreaktionen der Betrachter und ihres Gesamtumfeldes führen dürfte.«7

4 5 6

7

Stenslie, 2010, S. 259. Kacunko, 2005, S. 138f. Ebd., S. 138. Der Autor verweist hier auf die Arbeit von Hans Dieter Huber, z.B.: Huber, Hans Dieter: Bild, Beobachter, Milieu. Entwurf einer Allgemeinen Bildwissenschaft; OstfildernRuit, 2004. Ebd., S. 140f. Der Autor verweist hier auf: Kacunko, 2004.

267

268

Haptik am User Interface

Das Wissen um Reproduktion und Restaurierung bietet für die skulpturalen und somit auch für die materielle Seite der Medienkunst Anknüpfungspunkte. Die digitale Seite ihrer technischen Grundlage und die Möglichkeit der zukünftigen Wiederherstellung alter Technologien muss ebenso im Archivierungsprozess bedacht werden, wie eine detaillierte Beschreibung des interaktiven Vorgangs. Die vorliegende Arbeit leistet in dieser Hinsicht einen Beitrag, da nicht nur das Kunstwerk im Aufbau beschrieben, sondern auch darauf hingewiesen wurde, dass die Bedeutung der Wahrnehmungserfahrung des Benutzers ebenso ein wichtiger Teil der Beschreibung sein sollte. Die vielfältige Wirkung eines flexiblen Teils des interaktiven Werks sollte archiviert sein, um zukünftigen (Medienkunst-)Historikern das Werk vollends verständlich zu machen. Nichtsdestotrotz bleibt die Frage bestehen: Wie kann eine kunsthistorische Beschreibung flüchtige Momente und Wirkungen eines Werks sowie die haptische Wahrnehmung des Benutzers exakt benennen? Letztendlich hat die Bedeutung des Moments sowohl positive als auch negative Seiten: Negativ ist die schwierige Archivierung für Forschung und historische Erhaltung und damit für das zukünftige Verständnis der Vergangenheit. Positiv ist hingegen die Hervorhebung des Moments als eine Erfahrung von Kunst oder von Realität als etwas Besonderem. Die Flüchtigkeit von Zeit wird vom Benutzer wahrgenommen und es entsteht die Erkenntnis, dass nicht alles erhalten werden kann (oder muss). Die Flüchtigkeit wird damit ein spezielles Merkmal im Zeitalter der allumfassenden Datensammlung. Das Vergessen kann eine Qualität sein.   Der haptische Berührungsmoment in der interaktiven Kunst verweist zudem auf die offene Frage nach der Bedeutung einer Abgeschlossenheit des Kunstwerks. Letztendlich ist die Frage, ob ein Werk, wenn es denn nun schon für den Benutzer interaktiv und somit offen ist, auch genutzt werden muss, um dessen Bedeutung im Prozess der Nutzung freizulegen: Haptik ist damit eine neu geschaffene Möglichkeit einer Sinnzuweisung. Die Künstlerwissenschaftler entziehen sich der eindeutigen Autorschaft nicht nur mit der Einbindung ihres Werks in einen größeren gesellschaftlichen Kontext, wie es auch andere Kunstwerke zuvor taten, sondern nun auch durch einen projektinhärenten Kontext, der das künstlerische Schaffen zum Prozess macht. Der Benutzer kann jetzt mit seiner eigenen Handlung Teil dieses Prozesses sein, aber auch ohne seine Interaktion ist das Werk Teil einer Forschung und kann somit am Ende praktisches Experiment, Projektschritt, Anschauungsobjekt oder auch Objekt der Datensammlung zu beweisender Theorien sein. Damit soll nun keinesfalls herausgelesen werden, dass dem Kunstwerk sein Status als Schaffenshöhepunkt eines Künstlers abgesprochen werde. Vielmehr wird das künstlerwissenschaftliche Werk nun nicht nur von außen in einen Kontext eingebunden – sei es im Rahmen von Ausstellungen, Festivals, durch Kunsttheoretiker oder Kunsthistoriker – der Künstler selbst setzt bereits einen theoretischen Rahmen, bindet seine Arbeit gar wissenschaftlich ein. Wie die Medizin und die

Fazit

aufkeimenden Naturwissenschaften im Allgemeinen in der Renaissance, gilt auch die Kunst heute nicht mehr nur als Bestandsaufnahme oder kommentierendes Anschauungsobjekt der Gegenwart, sondern entwickelt aus sich selbst heraus Wissen. Die Avantgarde-Bewegung des 21. Jahrhunderts steht für den Beginn einer »experimentellen Verschmelzung von Kunst und Leben«,8 ihre Fortführung zeigt sich eben in der aufgezeigten kreativen Nutzung von Technologien und Objekten der Wissenschaft in der haptischen Medienkunst. Die Kunst, die gesellschaftlich immer relevant sein wollte, wird es nun umso mehr durch den eigenen Willen zur Verknüpfung mit anderen Disziplinen.

8

Wolfsteiner, 2011, S. 54.

269

Literatur

Anzieu, Didier: Das Haut-Ich; Yale, 1991. Becker, Barbara: Grenzmarkierungen und Grenzüberschreitungen. Anmerkungen zur aktuellen Debatte über den Körper; In: Angerer, Marie-Luise/Peters, Kathrin/Sofoulis, Zoe: Future Bodies: zur Visualisierung von Körper in Science und Fiction; Wien u.a., 2002. Becker, Barbara: Taktile Wahrnehmung; München, 2011. Benjamin, Walter: Das Kunstwerk im Zeitalter seiner technischen Reproduzierbarkeit; In: Tiedemann, Rolf/Schweppenhäuser, Hermann [Hg.]: Gesammelte Schriften. Band VII, 1; Frankfurt a.M., 1991. Benthien, Claudia: Im Leibe wohnen: Literarische Imagologie und historische Anthropologie der Haut; Berlin, 1998. Benthien, Claudia: Haut: Literaturgeschichte, Körperbilder, Grenzdiskurse; Reinbek, 1999. Berzina, Zane: Skin stories: charting and mapping the skin research using analogies of human skin tissue in relation to my textile practice; London, 2004. Blunck, Lars: Werk oder Wirkung? Einige Vorbemerkungen; In: Ders. [Hg.]: Werke im Wandel? Zeitgenössische Kunst zwischen Werk und Wirkung; München, 2005. Bolter, Jay David/Gromala, Diane: Windows and Mirrors: Interaction Design, Digital Art, and the Myth of Transparency; Cambridge (USA), 2003. Bolter, Jay David/Grusin, Richard: Remediation. Understanding New Media; Cambridge (USA), 1999. Campenhausen, Christoph von: Die Sinne des Menschen. Einführung in die Psychophysik der Wahrnehmung; Stuttgart, New York, 1993. Cholewiak, Roger W./Collins, Amy A.: Sensory and physiological bases of touch; In: Heller, Morton A./Schiff, William [Hg.]: The Psychology of touch; Hillsdale, 1991. Christov-Bakargiev, Carolyn/P.S. 1 Contemporary art Center/Huberman, Anthony [Hg.]: Janet Cardiff. A survey of works including collaborations with George Bures Miller; Long Island City, New York, 2001.

272

Haptik am User Interface

Daniels, Dieter: Duchamp und die anderen: Der Modellfall einer künstlerischen Wirkungsgeschichte in der Moderne; Köln, 1992. Daniels, Dieter: Kunst als Sendung. Von der Telegrafie zum Internet; München, 2002. De Kerckhove, Derrick: Touch versus Vision: Ästhetik Neuer Technologien; In: Welsch, Wolfgang [Hg.]: Die Aktualität des Ästhetischen; Herausgegeben im Rahmen des Kongresses »Die Aktualität des Ästhetischen«, 2.-5. September 1992; München, 1993. De Kerckhove, Derrick: The skin of culture. Investigating the new electronic reality; London, 1995. Diaconu, Mădălina: Secondary Senses; In: Sepp, Hans Rainer/Embree, Lester [Hg.]: Handbook of Phenomenological Aesthetics; Heidelberg, New York u.a., 2010. Dinkla, Söke: Die Anfänge der Interaktiven Kunst. In: Dies.: Pioniere Interaktiver Kunst; Karlsruhe, Ostfildern, 1997. Dinkla, Söke: Das flottierende Werk. Zum Entstehen einer neuen künstlerischen Organisationsform; In: Gendolla, Peter/Schmitz, Norbert M./Schneider, Irmela/Spangenberg, Peter M. [Hg.]: Formen interaktiver Medienkunst. Geschichte, Tendenzen, Utopien; Frankfurt a.M., 2001. Donath, Judith: The social machine: designs for living online; Cambridge (USA), 2014. Döring, Nicola: Cybersex – Formen und Bedeutungen computervermittelter sexueller Interaktionen; In: Richter-Appelt, Hertha/Hill, Andreas [Hg.]: Geschlecht zwischen Spiel und Zwang; Beiträge zur Sexualforschung, 81; Gießen, 2004. Dourish, Paul: Where the Action is: The Foundations of Embodied Interaction; Cambridge (USA), 2001. Encarnao, José/Brunetti, Gino/Jähne, Marion: Die Interaktion des Menschen mit seiner intelligenten Umgebung The Human-Environment-Interaction (HEI); In: Hellige, Hans Dieter [Hg.]: Mensch-Computer-Interface. Zur Geschichte und Zukunft der Computerbedienung; Bielefeld, 2008. Fischer-Lichte, Erika: Ästhetik des Performativen; Frankfurt a.M., 2004. Fleischmann, Monika/Strauss, Wolfgang: Kunst an der Schnittstelle von Technik, Forschung und Gesellschaft; In: Fleischmann, Monika/Reinhard, Ulrike [Hg.]: Digitale Transformationen. Medienkunst als Schnittstelle von Kunst, Wissenschaft, Wirtschaft und Gesellschaft; Heidelberg, 2004. Fol, Jacques: Fragen an den Benutzer von numerischen Technologien, die aktuelle Kunst schaffen oder an ihr teilnehmen wollen; In: Rötzer, Florian [Hg.]: Digitaler Schein. Ästhetik der elektronischen Medien; Frankfurt a.M., 1991. Forest, Fred/Virilio, Paul: Die Ästhetik des Verschwindens. Ein Gespräch zwischen Fred Forest und Paul Virilio; In: Rötzer, Florian [Hg.]: Digitaler Schein. Ästhetik der elektronischen Medien; Frankfurt a.M., 1991.

Literatur

Forster, Winnie [Hg.]/Freundorfer, Stephan: Joysticks. Eine illustrierte Geschichte der Game-Controller 1972-2004; Utting, 2003. Friedewald, Michael: Ubiquitous Computing: Ein neues Konzept der MenschComputer-Interaktion und seine Folgen; In: Hellige, Hans Dieter [Hg.]: Mensch-Computer-Interface. Zur Geschichte und Zukunft der Computerbedienung; Bielefeld, 2008. Goodall, Jane: Unter Strom. Zukünftige Körper und das Fin de Siécle; In: Angerer, Marie-Luise/Peters, Kathrin/Sofoulis, Zoe: Future Bodies: zur Visualisierung von Körper in Science und Fiction; Wien u.a., 2002. Göpel, Wolfgang/Ziegler, Christiane: Einführung in die Materialwissenschaften: physikalisch-chemische Grundlagen und Anwendungen; Stuttgart, Leipzig, Teubner, 1996. Graham, Beryl/Cook, Sarah [Hg.]: Rethinking curating: Art after New Media; Cambridge (USA), 2010. Grau, Oliver: Telepräsenz. Zu Genealogie und Epistemologie von Interaktion und Simulation; In: Gendolla, Peter/Schmitz, Norbert M./Schneider, Irmela/Spangenberg, Peter M. [Hg.]: Formen interaktiver Medienkunst. Geschichte, Tendenzen, Utopien; Frankfurt a.M., 2001. Grau, Oliver: Virtuelle Kunst in Geschichte und Gegenwart. Visuelle Strategien; Berlin, 2001. Grau, Oliver: Virtual Art. From Illusion to Immersion; Cambridge (USA), London, 2003. Grunwald, Martin [Hg.]: Human Haptic Perception: Basics and Applications; Basel, Boston, Berlin, 2008. Haraway, Donna Jeanne: Die Neuerfindung der Natur: Primaten, Cyborgs und Frauen; Frankfurt a.M., 1995. Hare et al., 1943, Hare, David/Duchamp, Marcel/Breton, André/Ernst, Max: VVV Almanac No 2-3. Poetry, Plastic Arts, Anthropology, Sociology, Psychology; New York, 1943. Haverkamp, Michael: Synästhetisches Design. Multisensuelle Gestaltung in der angewandten Kunst; In: Gottdang, Andrea/Wohlfarth, Regina [Hg.]: Mit allen Sinnen. Sehen, Hören, Schmecken, Riechen und Fühlen in der Kunst; Leipzig, 2010. Heimers, Wilhelm: Louis Braille – Sein Leben und sein Werk; Hannover-Kirchrode, 1979. Heller, Morton A.: Introduction; In: Heller, Morton A./Schiff, William [Hg.]: The Psychology of touch; Hillsdale, 1991. Heller, Morton A./Gentaz, Edouard: Psychology of touch and blindness; New York, 2014. Hellige, Hans Dieter [Hg.]: Vorwort; In: Mensch-Computer-Interface. Zur Geschichte und Zukunft der Computerbedienung; Bielefeld, 2008.

273

274

Haptik am User Interface

Hellige, Hans Dieter [Hg.]: Paradigmenwandel der Computer-Bedienung aus technikhistorischer Perspektive. Krisen- und Innovationsphasen in der MenschComputer-Interaktion; In: Mensch-Computer-Interface. Zur Geschichte und Zukunft der Computerbedienung; Bielefeld, 2008. Holzinger, Andreas: Finger Instead of Mouse: Touch Screens as a Means of Enhancing Universal Access; In: Carbonell, Noelle/Stephanidis, Constantine [Hg.]: Universal Access. Theoretical Perspectives, Practice, and Experience. 7th ERCIM International Workshop on User Interfaces for All Paris, France, October 24-25, 2002; Berlin, Heidelberg, New York, 2003. Hornecker, Eva: Rückkehr des Sensorischen: Tangible Interfaces und Tangible Interaction; In: Hellige, Hans Dieter [Hg.]: Mensch-Computer-Interface. Zur Geschichte und Zukunft der Computerbedienung; Bielefeld, 2008. Huhtamo, Erkki: Twin-Touch-Test-Redux: Media Archaelogical Approach to Art, Interactivity, and Tactility; In: Grau, Oliver [Hg.]: MediaArtHistories; Cambridge (USA), 2007. Huhtamo, Erkki: Tactile Temptations: About Contemporary Art, Exhibitions, and Tactility; In: Sommerer, Christa/Mignonneau, Laurent/King, Dorothée [Hg.]: Interface Cultures. Artistic Aspects of Interaction; Bielefeld, 2008. Huhtamo, Erkki: Touchscapes. Tactile and Haptic Interaction in the works of Sommerer & Mignonneau; Stocker, Gerfried/Sommerer, Christa/Mignonneau, Laurent [Hg.]: Christa Sommerer Laurent Mignonneau. Interactive Art Research; Wien, New York, 2009. Johannes: Mein Vorkurs am Bauhaus. Gestaltungs- und Formenlehre; Ravensburg, 1963. Jacko, Julie A./Scott, Ingrid U./Sainfort, François et al.: Effects of Multimodal Feedback on the Performance of Older Adults with Normal and Impaired Vision; In: Carbonell, Noelle/Stephanidis, Constantine [Hg.]: Universal Access. Theoretical Perspectives, Practice, and Experience. 7th ERCIM International Workshop on User Interfaces for All Paris, France, October 24-25, 2002; Berlin, Heidelberg, New York, 2003. Jehn, Hermann: Charakterisierung dünner Schichten; Berlin, Wien, Zürich, 1993. Jeudy, Henri-Pierre: Die Transparenz des Objekts; In: Rötzer, Florian [Hg.]: Digitaler Schein. Ästhetik der elektronischen Medien; Frankfurt a.M., 1991. Jütte, Robert: A history of the senses. From antiquity to cyberspace; Cambridge (United Kingdom), Malden, 2005. Kacunko, Slavko: Medienkunst: Kategoriale Bestimmung; In: Ders.: Closed Circuit Videoinstallationen. Ein Leitfaden zur Geschichte und Theorie der Medienkunst mit Bausteinen eines Künstlerlexikons; Berlin, 2004. Kacunko, Slavko: Das (Medien-)Kunstwerk im Fokus der Genie-, Werk-, Rezeptions- und Interaktionsästhetik; Blunck, Lars [Hg.]: Werke im Wandel? Zeitgenössische Kunst zwischen Werk und Wirkung; München, 2005.

Literatur

Karafyllis, Nicole C.: Biofakte. Versuch über den Menschen zwischen Artefakt und Lebewesen; Paderborn, 2003. Klatzky, Roberta L., & Lederman, Susan J.: Touch; In: Healy, Alice F./Proctor, Robert W. [Hg.], Handbook of Psychology – Experimental Psychology, Volume 4; New York, 2003. Klein, Michael: The Evolution of Images Between Chaos, Art and New Media; Sommerer, Christa/Mignonneau, Laurent [Hg.]: Art@Science; Wien, 1998. Kohle, Hubertus/Kwastek, Katja: Computer, Kunst und Kunstgeschichte; Köln, 2003. Kozel, Susan: Closer: performance, technologies, phenomenology; Cambridge, Massachusetts, 2007. Krämer, Sybille: Does the Body disappear? A comment on computer generated spaces; In: Seifer, Uwe/Kim, Jin Hyun/Moore, Anthony [Hg.]: Paradoxes of Interactivity. Perspectives for Media Theory. Human-Computer Interaction, and Artistic Investigations; Bielefeld, 2008. Kunstforum, Die Zukunft des Körpers 1; Kunstforum Band 132; Ruppichteroth, 1995. Kwastek, Katja: opus ludens – Überlegungen zur Ästhetik der interaktiven Kunst; In: Blunck, Lars [Hg.]: Werke im Wandel? Zeitgenössische Kunst zwischen Werk und Wirkung; München, 2005. Kwastek, Katja: Interactivity – A Word in Process; In: Sommerer, Christa/Jain, Lakhmi C./Mignonneau, Laurent [Hg.]: The Art and Science of Interface and Interaction Design (Vol. 1); Berlin, Heidelberg, 2008. Kwastek, Katja: Aesthetics of Interaction in Digital Art; Cambridge (USA), 2013. Lahti, Martti: As We Become Machines: Corporealized Pleasures in Video Games; In: Wolf, Mark J.P./Perron, Bernard [Hg.]: The Video Game Theory Reader; New York, London, 2003. Lippard, Lucy R. [Hg.]: Six Years – the dematerialization of the art object from 1966 to 1972: a cross-reference book of information on some esthetic boundaries; New York, 1973. Lüth, Hans: Solid surfaces, interfaces and thin films; Berlin, Heidelberg, New York, Barcelona, Hong Kong, London, Milan, Paris, Tokyo, 2001. Manovich, Lev: The language of new media; Cambridge (USA), 2001. Marsh, Anne: Body memory and time zones; In: Scott, Jill/Hahne, Marille/Ascott, Roy/Elsen Michael [Hg.]: Coded characters: media art by Jill Scott; OstfildernRuit, 2003. McLuhan, Marshall: Understanding Media. The Extension of Man; New York, 1964. Merleau-Ponty, Maurice: Das Auge und der Geist. Philosophische Essays; aus dem Französischen von Hans Werner Arndt, neu bearbeitet, kommentiert und mit einer Einleitung hg. von Christian Bermes, Hamburg: Meiner 2003; In: Dün-

275

276

Haptik am User Interface

ne, Jörg/Günzel, Stephan [Hg.]: Raumtheorie. Grundlagentexte aus Philosophie und Kulturwissenschaften; Frankfurt a.M., 2012 (7. Auflage). Merleau-Ponty, Maurice: Phänomenologie der Wahrnehmung; Berlin, 1966. Mersch, Dieter: Ereignis und Aura. Untersuchungen zu einer Ästhetik des Performativen; Frankfurt a.M., 2002. Mignonneau, Laurent/Sommerer, Christa: Creating Artificial Life for Interactive Art and Entertainment; In: Leonardo: Journal of the International Society for the Arts, Science and Technology, 34.2001; Massachusetts, 2001. Mignonneau, Laurent/Sommerer, Christa: Designing emotional, metaphoric, natural and intuitive interfaces for interactive art, edutainment and mobile communications; In: Computer & Graphics 29 (2005); Amsterdam, 2005. Moholy-Nagy, Laszlo: Von Material zu Architektur; Faksimile der 1929 erschienenen Erstausgabe mit einem Aufsatz von Otto Stelzer und einem Beitrag des Herausgebers Hans M. Wingler; Mainz, Berlin, 1968 (1929). Moles, Abraham A.: Design und Immaterialität. Was hat es damit in einer postindustriellen Gesellschaft auf sich; In: Rötzer, Florian [Hg.]: Digitaler Schein. Ästhetik der elektronischen Medien; Frankfurt a.M., 1991. Mörike, Klaus D.: Biologie des Menschen; Heidelberg, Wiesbaden, 1989. Mühleis, Volkmar: Kunst im Sehverlust; München, 2005. Othold, Tim: Das Internet der Dinge als mediale Atmosphäre; In: Institut für immersive Medien (Hg.): Interaktive Medien: Interfaces – Netze – Virtuelle Welten. Jahrbuch immersiver Medien 2016; Marburg, 2016. Owen, Michael J./Dvornic, Petar R. [Hg.]: Silicone Surface Science; Advances in Silicon Science 4; Dordrecht, Heidelberg, New York, London, 2012. Piene, Otto: Das Schöne und das Tüchtige. Über Sinn und Unsinn eines Wirkungsverhältnisses von Kunst und Technologie; In: Rötzer, Florian [Hg.]: Digitaler Schein. Ästhetik der elektronischen Medien; Frankfurt a.M., 1991. Raskin, Jef: The human interface: new directions for designing interactive systems; Reading, 2000. Rebentisch, Juliana: Ästhetik der Installation; Frankfurt a.M., 2003. Rheingold, Howard: Virtuelle Welten. Reisen im Cyberspace; Reinbek, 1995. Rheingold, Howard: Teledildonics: Reach Out and Touch Someone; In: Waskul, Dennis D. [Hg.]: Net.SeXXX. readings on sex, pornography, and the internet; New York u.a., 2004. Robben, Bernard: Der Computer als Medium. Eine transdisziplinäre Theorie; Bielefeld, 2006. Robben, Bernard: Die Bedeutung der Körperlichkeit für be-greifbare Interaktion mit dem Computer; In: Robben, Bernard/Schelhove, Heidi [Hrsg]: Be-greifbare Interaktionen. Der allgegenwärtige Computer: Touchscreens, Wearables, Tangibles und Ubiquitous Computing; Bielefeld, 2012.

Literatur

Robben, Bernard/Schelhove, Heidi [Hg.]: Be-greifbare Interaktionen. Der allgegenwärtige Computer: Touchscreens, Wearables, Tangibles und Ubiquitous Computing; Bielefeld, 2012. Robles-de-la-Torre, Gabriel: Principles of Haptic Perception in Virtual Environments; In: Grunwald, Martin [Hg.]: Human Haptic Perception; Basel, 2008. Rokeby, David: Transforming Mirrors: Subjectivity and Control in Interactive Media; In: Penny, Simon [Hg.]: Critical Issues in Electronic Media; Albany, 1995. Ryan, Susan Elizabeth: Garments of Paradise. Wearable Discourse in the digital age; Massachusetts, 2014. Salomon, Gayle: Gender Aesthetics; In: Sepp, Hans Rainer/Embree, Lester [Hg.]: Handbook of Phenomenological Aesthetics; Heidelberg, New York u.a., 2010. Schanze, Helmut: Medienkunst; In: Schanze Helmut [Hg.]: Metzler Lexikon Medientheorie Medienwissenschaft. Ansätze – Personen – Grundbegriffe; Stuttgart, 2002. Schlachetzki, Sarah M.: Fusing Lab and Gallery. Device Art in Japan and International Nano Art; Bielefeld, 2012. Schmidt, R.F. [Hg.]: Somatoviscerale Sensibilität; In: Grundriß der Sinnesphysiologie; Berlin, Heidelberg, New York, Tokyo, 1985. Schmielau, Fritz: Einführung in die Sinnesphysiologie; Stuttgart, 1987. Scott, Jill: Suggested Discourses for more Art_Sci Collaborations; In: Scott, Jill [Hg.]: Artists-in-labs: process of inquiry; Wien, New York, 2006. Scott, Jill/Atkins, Robert: Of continents and decades, bodies and technology. An interview by Robert Atkins; Interview zwischen Jill Scott und Robert Atkins; In: Scott, Jill/Hahne, Marille/Ascott, Roy/Elsen Michael [Hg.]: Coded characters: media art by Jill Scott; Ostfildern-Ruit, 2003. Scott, Jill/Hahne, Marille/Ascott, Roy/Elsen, Michael [Hg.]: Coded characters: media art by Jill Scott; Ostfildern-Ruit, 2003. Sermon, Paul: Telematic Practice and Research Discourses: Three Practice-based Research Project Case Studies; In: Gardiner, Hazel/Gere, Charlie [Hg.]: Art Practice in a Digital Culture; Farnham Surrey, Burlington, 2010. Shaer, Orit/Hornecker, Eva: Tangible User Interfaces: Past, Present and Future Directions; In: Human-Computer Interaction Vol. 3, Nos. 1-2 (2009); Hannover, Massachusetts, 2010. Shanken, Edward A.: Artists in Industry and the Academy: Collaborative Research, Interdisciplinary Scholarship, and the Interpretation of Hybrid Forms; In: Scott, Jill [Hg.]: artists-in-labs: process of inquiry; Wien, New York, 2006. Shaw, Jeffrey: Convergence of Art, Science and Technology?; Sommerer, Christa/ Mignonneau, Laurent [Hg.]: Art@Science; Wien, 1998. Shi, Donglu [Hg.]: Functional Thin Films and Functional Materials. New Concepts and Technologies; Berlin, Heidelberg, New York, 2003.

277

278

Haptik am User Interface

Simanowski, Robert: Testmaschinen – Kinetische Poesie – Interaktive Installation. Zum Verstehen von Kunst in digitalen Medien; Bielefeld, 2012. Sommerer, Christa: Zusammenspiel von Kunst und Wissenschaft; In: Janko, Siegbert/Leopoldseder, Hannes/Stocker, Gerfried [Hg.]: Ars Electronica Center: museum of the future; Linz, 1996. Sommerer, Christa/Mignonneau, Laurent: »A-Volve« an evolutionary artificial life environment; In: Langton, Christopher G.: Artificial life V: proceedings of the Fifth International Workshop in the Synthesis and Simulation of Living Systems; Massachusetts, 1997. Sommerer, Christa/Mignonneau, Laurent: Art as a Living System; Dies. [Hg.]: Art@Science; Wien, 1998. Sommerer, Christa/Mignonneau, Laurent [Hg.]: Art@Science; Wien, 1998. Sommerer, Christa/Mignonneau, Laurent: Art as a Living System: Interactive Computer Artworks; In: Leonardo: Journal of the International Society for The Arts, Sciences and Technology, 32.1999; Cambridge (USA), 1999. Sommerer, Christa/Mignonneau, Laurent: Cultural Aspects of Interface Design; In: Heil, Reinhard/Kaminski, Andreas/et al. [Hg.]: Tensions and Convergences. Technological and Aesthetic Transformations of Society; Bielefeld, 2007. Sommerer, Christa/Mignonneau, Laurent: Designing Interfaces for Interactive Artworks [2000]; In: Shanken, Edward A. [Hg.]: Art and electronic media; London, 2009. Sprenger, Sebastian: Körper bei Marshall McLuhan und Stelarc im Vergleich; Bochum, 2008. [unveröffentlicht] Sprenger, Sebastian: Interaktive Kunst, Interface-Forschung und künstliches Leben am Beispiel von »A-Volve« von Christa Sommerer und Laurent Mignonneau; Bochum, 2010. [unveröffentlicht] Stary, Chris: User Experience and Model-based Development of Interactive Artifacts; In: Sommerer, Christa/Mignonneau, Laurent/King, Dorothée [Hg.]: Interface Cultures. Artistic Aspects of Interaction; Bielefeld, 2008. Stenslie, Stahl: Vernetzung des Fleisches; In: Die Zukunft des Körpers 1; Kunstforum Band 132; Ruppichteroth, 1995. Stenslie, Stahl: Symbiotic Interactivity in Multisensory Environments; In: Ascott, Roy: Engineering Nature: Art and Consciousness in the Post-Biological Era; Bristol, 2006. Stenslie, Ståle: Virtual touch. A study of the use and experience of touch in artistic, multimodal and computer-based environments; Oslo, 2010. Stern. Nathaniel: Interactive art and embodiment: the implicit body as performance; Canterbury, 2013. Stocker, Gerfried: Wissenschaft, Kunst und Wirtschaft bedingen einander (Interview); In: Fleischmann, Monika/Reinhard, Ulrike [Hg.]: Digitale Transforma-

Literatur

tionen. Medienkunst als Schnittstelle von Kunst, Wissenschaft, Wirtschaft und Gesellschaft; Heidelberg, 2004. Stocker, Gerfried/Sommerer, Christa/Mignonneau, Laurent [Hg.]: Christa Sommerer Laurent Mignonneau. Interactive Art Research; Wien, New York, 2009. Stone, Robert J.: Haptic Feedback: A Brief History from Telepresence to Virtual Reality; In: Brewster, Stephen/Murray-Smith [Hg.]: Haptic Human-Computer Interaction; First International Workshop, Glasgow, UK, August/September 2000, Proceedings; Berlin, Heidelberg, New York, 2001. Thomas, Paul: Nano Vibrational Interfaces; In: Sommerer, Christa/Mignonneau, Laurent/King, Dorothée [Hg.]: Interface Cultures. Artistic Aspects of Interaction; Bielefeld, 2008. Turing, Alan M.: Computing Machinery and Intelligence; In: Mind. Band LIX, Nr. 236; Oxford, 1950. Umscheid, Otto: Elektronische Arbeitshilfen für Blinde; In: 100 Jahre BlindenMuseum 1891-1991. Ein Museum zum Anfassen, Ausstellung vom 14- September bis 15. Oktober 1991 im Ausstellungszentrum am Fernsehturm, Alexanderplatz, Berlin (Mitte); Berlin, 1991. Underkoffler, John/Ishii, Hiroshi: Urp: A Luminous-Tangible Workbench for Urban Planning and Design; In: Proceedings of CHI ‘99, 15.-22. Mai 1999; 1999. Waskul, Dennis D.: The Naked Self: Body and Self in Televideo Cybersex; In: Waskul, Dennis D. [Hg.]: Net.SeXXX. readings on sex, pornography, and the internet; New York u.a., 2004. Weibel, Peter: Vom Verschwinden der Ferne. Telekommunikation und Kunst. In: Decker, Edith/Weibel, Peter [Hg.]: Vom Verschwinden der Ferne; Köln, 1990. Weibel, Peter: Transformation der Techno-Ästhetik; In: Rötzer, Florian [Hg.]: Digitaler Schein. Ästhetik der elektronischen Medien; Frankfurt a.M., 1991. Weibel, Peter [Hg.], et al.: Lynn Hershman Leeson: Civic Radar; Ostfildern-Ruit, 2016. Witzgall, Susanne: Kunst nach der Wissenschaft. Zeitgenössische Kunst im Diskurs mit den Naturwissenschaften; Nürnberg, 2003. Wolf, Dieter/Yip, Sidney [Hg.]: Materials Interfaces: atomic-level structure and properties; London, 1992. Wolfsteiner, Andreas: Der formatierte Körper. Relationen von Wissenschaft, Kunst und Technik als Interface- Problematik und -Phänomen; Berlin, 2011. Zhao, Chen: Real time haptic simulation of deformable bodies; Düsseldorf, 2010.

279

Ausstellungskataloge

Bagemihl, Bruce: Beastly Homosexualities. Future Histories of Nonreproductive Sex and Technology; In: Stocker, Gerfried/Schöpf, Christine [Hg.]: Next Sex. sex in the age of its procreative superfluousness; Ars Electronica 2000, Linz; Wien u.a., 2000. Berzina, Zane: Re-thinking Touch; In: Hauser, Jens: sk-interfaces. Exploding Borders – Creating Membranes in Art, Technology and Society; Liverpool, 2008. Heinich, Nadin [Hg.]: Digital Utopia. Über dynamische Architekturen, digitale Sinnlichkeit und Räume von morgen; Berlin, 2012. Huhtamo, Erkki: Sieben Mißverständnisse über Interaktive Kunst; In: Dinkla, Söke/Brüninghaus-Knubel, Cornelia [Hg.]: InterAct! Schlüsselwerke Interaktiver Kunst; Ausstellung und Workshops des Wilhelm Lehmbruck Museums Duisburg vom 27. April bis 15. Juni 1997; Ostfildern-Ruit, 1997. Ishii, Hiroshi/Tangible Media Group: Get in Touch. Tangible Bits: Bridging Digital and Physical; In: Stocker, Gerfried [Hg.]: Takeover: who’s doing the art of tomorrow/Ars Electronica 2001; Wien, 2001. Kluszczynski, Ryszard W.: The Context is the Message. Interaktive Kunst als Kommunikationsmedium; In: Dinkla, Söke/Brüninghaus-Knubel, Cornelia [Hg.]: InterAct! Schlüsselwerke Interaktiver Kunst; Ausstellung und Workshops des Wilhelm Lehmbruck Museums Duisburg vom 27. April bis 15. Juni 1997; Ostfildern-Ruit, 1997. Rafael Lozano-Hemmer im Interview mit Heimo Ranzenbacher; In: Stocker, Gerfried [Hg.]: Takeover: who’s doing the art of tomorrow/Ars Electronica 2001; Wien, 2001. Mignonneau, Laurent/Sommerer, Christa: From the Poesy of Programming to Research as an Art Form; In: Stocker, Gerfried/Schöpf, Christine [Hg.]: Code – The language of our time. code = law, code = art, code = life; Ars Electronica Linz 2003; Ostfildern-Ruit, 2003. Piene, Otto: Dialog und Konferenz. CAVS, A-S-T und Interactivity; In: Dinkla, Söke/Brüninghaus-Knubel, Cornelia [Hg.]: InterAct! Schlüsselwerke Interak-

282

Haptik am User Interface

tiver Kunst; Ausstellung und Workshops des Wilhelm Lehmbruck Museums Duisburg vom 27. April bis 15. Juni 1997; Ostfildern-Ruit, 1997. Scott, Jill: e-skin: Research into Wearable Interface, Cross-modal Perception and Communication for the Visually Impaired on the Mediated Stage; In: Hauser, Jens: sk-interfaces. Exploding Borders – Creating Membranes in Art, Technology and Society; Liverpool, 2008. Sommerer, Christa: Media Art from the Guest Country; In: ARCO 2006, 25th Anniversary of Madrid’s International Contemporary Art Fair; 2006. Sommerer, Christa/Mignonneau, Laurent im Gespräch mit Stefan Iglhaut: If we knew what it was we were doing, it would not be called research, would it?; In: Iglhaut, Stefan/Spring, Thomas [Hg.]: Science + Fiction. Zwischen Nanowelt und globaler Kultur, Sprengel Museum Hannover; Hannover, 2003. Stenslie, Stahl: Terminal Sex. Future Sex as Art Practice; In: Stocker, Gerfried/Schöpf, Christine [Hg.]: Next Sex. sex in the age of its procreative superfluousness; Ars Electronica 2000, Linz; Wien u.a., 2000. Stocker, Gerfried/Schöpf, Christine: Ars Electronica 2000 – NEXT SEX [Preface]; In: Stocker, Gerfried/Schöpf, Christine [Hg.]: Next Sex. sex in the age of its procreative superfluousness; Ars Electronica 2000, Linz; Wien, u.a., 2000.

Digitale Veröffentlichungen/Websites

http://90.146.8.18/en/archiv_files/19902/E1990b_123.pdf, Zugriff: 04.09.2014. http://acm.org/uist, Zugriff: 21.05.2014. www.aec.at, Zugriff: 24.08.2014. www.aec.at/center/de/ausstellungen/device-art/, Zugriff: 30.11.2014. http://alumni.media.mit.edu/∼ullmer/papers/tangible_bits/, Zugriff: 24.04.2014; Ishii, Hiroshi/Ullmer, Brygg: Tangible Bits: Towards Seamless Interfaces between People, Bits and Atoms; Abstract der CHI 97, Conference on Human Factors in Computing Systems Atlanta, Georgia, USA, 22.-27. März 1997; 1997. http://archive.aec.at/, Zugriff: 15.09.2014. http://archive.aec.at/media/archive/2001/184877/File_03897_AEC_FE_2001.pdf, Zugriff: 15.09.2014. www.arduino.cc, Zugriff: 10.03.2015. www.art.net/∼dtz/schipo1.html, Zugriff. 01.04.2015. www.artandtech.osu.edu, Zugriff: 01.03.2014. www.c3.hu/collection/sec/secconcept.html, Zugriff: 07.10.2014. http://cavs.mit.edu, Zugriff: 05.06.2016. http://cacm.acm.org/, Zugriff: 23.04.2014. https://chi2018.acm.org/, Zugriff: 15.02.2018. http://chrissalter.com/projects/haptic-field-2016/; Zugriff: 18.12.2017. http://cita.karch.dk/, Zugriff: 14.03.2015. www.computerspielemuseum.de/, Zugriff: 29.03.2015. www.cs.uml.edu/∼fredm/courses/91.548-spr03/papers/illclay_chi02.pdf, Zugriff: 19. 05.2014; Piper, Ben/Ratti, Carlo/Ishii, Hiroshi: Illuminating Clay: A 3-D Tangible Interface for Landscape Analysis; In: Proceedings of CHI 2002, 21.-25. April 2002; 2002. www.crackle.org/CrackleBox.htm, Zugriff: 08.03.2015. http://creative.arte.tv/de/bioart-kunst-aus-dem-labor, Zugriff: 20.07.2014. www.design-research-lab.org/projects/mobile-lorm-glove/, Zugriff: 17.02.2015. www.design-research-lab.org/projects/twitter-hand/, Zugriff: 17.02.2015. www.dextarobotics.com/, Zugriff: 05.10.2014.

284

Haptik am User Interface

https://www.digitalartarchive.at/database/general/work/haptic-opposition.html, Zugriff: 04.05.2015. https://www.digitalartarchive.at/database/general/work/network-neuro-baby.html, Zugriff: 18.09.2014. https://www.digitalartarchive.at/database/general/work/sensless.html, Zugriff: 08. 09.2014. www.dourish.com/, Zugriff: 03.03.2015. http://everyware.kr/home/soak/, Zugriff: 23.03.2015. www.evl.uic.edu/core.php?mod=4&type=1&indi=83, Zugriff: 07.04.2014. www.evolutionzone.com/hardwork/senseless/index.html, Zugriff: 08.09.2014. www.experimenta.org/vanishingpoint/barrass.htm, Zugriff: 17.09.2014. www.fabianhemmert.com/projects, Zugriff: 10.03.2015. www.fgw.de/zaf, Zugriff: 12.03.2014. www.forcedimension.com/downloads/specs/specsheet-omega.7.pdf, Zugriff: 21. 03.2015. www.fondation-langlois.org/html/e/page.php?NumPage=46, Zugriff: 01.04.2015. http://fursr.com/, Zugriff: 29.03.2015. http://geomagic.com/en/products/phantom-desktop/overview/, Zugriff: 21.03.2015. http://geomagic.com/en/products/phantom-omni/overview/, Zugriff: 21. 03.2015. www.geomagic.com/en/products/phantom-premium-6dof/overview/, Zugriff: 21. 03.2015. http://goldsen.library.cornell.edu/special/lynn.php, Zugriff: 28.03.2015. www.google.com/glass/start/, Zugriff: 16.04.2014. www.gvu.gatech.edu/people/official/jarek/papers/FingerSculpting.pdf, Zugriff: 26. 05.2014; Gargus, Joshua/Kim, Byungmoon/Llamas, Ingnacio/Rossignac, Jarek/Shaw, C hris: Finger Sculpting with Digital C lay; Technical Report GITGVU-02-22, 30. Oktober 2002. http://hci.uni-hannover.de/papers/pfeiffer2014AHLetMeGrabThis.pdf, Zugriff: 12. 04.2015; Pfeiffer, Max/Schneegass, Stefan/Alt, Florian/Rohs, Michael: Let Me Grab This: A Comparison of EMS and Vibration for Haptic Feedback in FreeHand Interaction; 2014. http://hci.uni-hannover.de/papers/pfeiffer2015CHICruise.pdf, Zugriff: 12.04.2015; Pfeiffer, Max/Dünte, Tim/Schneegass, Stefan/Alt, Florian/Rohs, Michael: Cruise Control for Pedestrians: Controlling Walking Direction using Electrical Muscle Stimulation; 2015. http://hdl.handle.net/1721.1/29094, Zugriff: 10.10.2017; Minsky, Margaret Diane Rezvan: Computational Haptics: The Sandpaper System or Synthesizing Texture for a Force-Feedback Display; Massachusetts, 1995.

Digitale Veröffentlichungen/Websites

www.hgb-leipzig.de/daniels/vom-readymade-zum-cyberspace/strategien_der_interaktivitaet.html, Zugriff: 21.06.2010; Daniels, Dieter: Strategien der Interaktivität. www.hitl.washington.edu/projects/scripps/, Zugriff: 14.03.2015. www.history-computer.com/Library/AltoMemorandum.pdf, Zugriff: 01.02.2015. www.hok.no/utstillinger-1990-1999.202250-180148.html, Zugriff: 08.09.2014. www.icevi.org/publications/icevix/wshops/0432.html, Zugriff: 06.12.2013. http://iconof.com/blog/skinput-appropriating-the-body-as-an-input-surface-chi2010-video/, Zugriff: 08.03.2015. www.imdl.gatech.edu/haihong/DigiClay/Clay_Introduction.htm, Zugriff: 26.05. 2014. www.interface.ufg.ac.at/blog/projects/my-haptic-diary/, Zugriff: 21.03.2015. www.interface.ufg.ac.at/christa-laurent/WORKS/FRAMES/FrameSet.html, Zugriff: 15.11.2014. http://intron.kz.tsukuba.ac.jp/publish/PDF/SIGGRAPH01.pdf, Zugriff: 23.05.2014; Iwata, Hiroo/Yano, Hiroaki/Nakaizumi, Fumitaka/Kawamura, Ryo: Project FEELEX: adding haptic surface to graphics; Proceedings of SIGGRAPH ’01; New York, 2001. www.jillscott.org; Zugriff: 01.11.2014. http://libserv5.tut.ac.za:7780/pls/eres/wpg_docload.download_file?p_filename=F14 60946022/steyn.pdf, Zugriff: 20 .07.2014; Steyn, Ras: Post-human body and identity modification in the art of Stelarc and Orlan; 2005. www.lynnhershman.com/deep-contact/, Zugriff: 28.03.2015. www.materialthinking.org/sites/default/files/papers/SMT_V7_P3_ThomsenKarmon. pdf, Zugriff: 14.03.2015. http://median.newmediacaucus.org/research-creation-explorations/mediationsof-sensation-designing-performative-sensory-environments/, Zugriff: 18.12. 2017. http://medienkunstnetz.de/themen/cyborg_bodies/erweiterte_koerper/, Zugriff: 05.11.2015. http://medienkunstnetz.de/werke/body-press/, Zugriff: 06.04.2015. www.medienkunstnetz.de/werke/deep-contact/, Zugriff: 28.03.2015. www.medienkunstnetz.de/werke/electric-dress/, Zugriff: 23.07.2014. www.medienkunstnetz.de/werke/sensorama/, Zugriff: 02.09.2014 www.medienkunstnetz.de/werke/telematic-dreaming/, Zugriff: 02.09.2014. www.medienkunstnetz.de/werke/videoplace/, Zugriff: 02.09.2014. www.mfk-berlin.de/no-pain-no-game/, Zugriff: 10.10.2016. www.mortonheilig.com/Experience_Theater_Patent.pdf, Zugriff: 03.09.2014. www.mortonheilig.com/InventorVR.html, Zugriff: 03.09.2014. www.mortonheilig.com/InventorVR.html, Zugriff: 03.09.2014.

285

286

Haptik am User Interface

https://monarch.qucosa.de/api/qucosa%3A19535/attachment/ATT-0/, Zugriff: 29. 03.2017; Müller, Alexander/Fuchs, Jochen/Joost, Gesche: Skintimacy: Die elektrisierte Haut als Musikinterface, PDF für Konferenz Mensch & C omputer 2011; 2011. www.music.gatech.edu/research/spotlight, Zugriff. 12.04.2015. www.naokotosa.com/1993/01/412/, Zugriff: 18.09.2014. http://notnot.home.xs4all.nl, Zugriff: 25.03.2015. www.novint.com/index.php/novintfalcon, Zugriff: 21.03.2015. https://openartsjournal.files.wordpress.com/2014/11/oaj_issue4_contents.pdf, Zugriff: 21.02.2015. http://ornella.iwr.uni-heidelberg.de/ROBOTICSLAB/ROBPROJECTS/COMPLETED /2012SS_REACTABLE_BELEUCHTUNG/funktionsweise.html; Zugriff: 22.04. 2014. http://pages.cpsc.ucalgary.ca/∼ehud/Publications/ski00.segal.pdf, Zugriff: 30.04. 2014. www.painstation.de/, Zugriff: 29.03.2015. http://pangenerator.com/#projects/project-tactilu, Zugriff: 04.04.2015. www.paulsermon.org/dream/, Zugriff: 15.06.2017 http://peripheralfocus.net/poems-told-by-touch/manifesto_of_tactilism.html, Zugriff: 11.11.2015. https://pdfs.semanticscholar.org/5249/23315723473b93fc482b8467b8843ea724ef.pdf; Zugriff: 15.06.2016; Schmidt, Albrecht/Strohbach, Martin/Laerhoven, Kristof van/Gellersen, Hans-W.: Ubiquitous Interaction – Using Surfaces in Everyday Enviroments as Pointing Devices; 2003. Zeitkonstellationen erfahren werden www.pliant.org/personal/Tom_Erickson/Interplace.html, Zugriff: 20.03.2014. http://prof-gossner.eu/pdf/03-Metall-Halbleiter-Uebergang.pdf http://puredata.info/, Zugriff: 10.03.2015. http://quimerarosa.net/, Zugriff: 08.03.2015. http://quimerarosa.net/sxk-sexoskeleton-turing-test/, Zugriff: 11.12.2017. www.reactable.com, Zugriff: 22.04.2014. https://www.researchgate.net/publication/43535976_On_intuitive_use_physicality_ and_tangible_user_interfaces, Zugriff: 15.06.2016; Israel, Johann H./Hurtienne, Jörn/Pohlmeyer, Anna E. u.a.: On intuitive use, physicality and tangible user interfaces; 2009. www.roblesdelatorre.com/gabriel/OP-CA-MB-GR-RO-MAN06.pdf, Zugriff: 03.06. 2014.; Portillo-Rodriguez, Otniel/Avizzano, C arlo Alberto/Bergamasco, Marco/Robles-de-la-Torre, Gabriel: Haptic rendering of sharp objects using lateral forces; In: Proceedings, IEEE International Symposium on Robot and Human Interactive Communication (Ro-MAN), Hatfield, UK, 6.-8. September 2006; Piscataway, New Jersey, 2006.

Digitale Veröffentlichungen/Websites

www.schmerztherapie-breisach.de/assets/pdf/Spiegeltherapie.pdf, Zugriff: 20.08. 2014. http://sciencedirect.com/science/article/pii/S136970210671886, Zugriff: 12.03.2014. http://sexoskeleton.org/conceptual.html, Zugriff: 08.03.2015. www.sfu.ca/∼shaw/papers/Enactive07MedChamber.pdf, Zugriff: 17.01.2015. www.sigchi.org/chi97/, Zugriff: 24.04.2014. www.signalfluss.de/, Zugriff: 04.05.2015. www.skintimacy.org, Zugriff: 01.03.2015. http://sloan.stanford.edu/mousesite/Archive/AugmentingHumanIntellect62/Displ ay1967.html, Zugriff: 03.04.2014. www.sfu.ca/∼tschipho/softn/, Zugriff: 01.04.2015. http://stelarc.org/?catID=20265, Zugriff: 21.04.2014. https://stensliehome.files.wordpress.com/2014/06/erotogod-pdf.pdf, Zugriff: 07. 10.2014. https://stensliehome.files.wordpress.com/2014/06/solve-et-coagula-pdf.pdf, Zugriff: 25.09.2014. http://stensliehome.wordpress.com/2014/06/15/sec/, Zugriff: 24.09.2014. http://stenslie.net/, Zugriff: 08.09.2014. http://stephenbarrass.files.wordpress.com/2009/09/spatial-story-layout-wide.jpg, Zugriff: 17.09.2014. www.sigchi.org; Zugriff: 24.08.2014. www.sonar.es; Zugriff: 25.08.2014. www.sterneck.net/cyber/stelarc-fleisch/index.php, Zugriff: 20.07.2014. www.t0.or.at/stelarc/stelarc2.htm, Zugriff: 20.07.2014. http://tangible.media.mit.edu/, Zugriff. 23.04.2014. http://tangible.media.mit.edu/project/radical-atoms/, Zugriff: 04.05.2014. www.tei-conf.org, Zugriff: 21.05.2014. www.tf.uni-kiel.de/etit/NANO/forschung3.htm, Zugriff: 26.10.2014. www.theatlantic.com/magazine/archive/1945/07/as-we-may-think/303881/, Zugriff: 02.04.2014. www.themachinetobeanother.org/, Zugriff: 15.02.2015. www.themachinetobeanother.org/wp-content/uploads/2013/09/THE_MACHINE_ TO_BE_ANOTHER_PAPER_2014.pdf, Zugriff: 15.02.2015. www.tokyo-icc.jp; Zugriff: 24.08.2014. https://trackr-media.tangiblemedia.org/publishedmedia/Papers/450-Recompose% 20Direct%20and%20Gestural/Published/PDF, Zugriff: 22.05.2014; Blackshaw, Matthew/DeVincenzi, Anthony/Lakatos, Dávid/Leithinger, Daniel/Ishii, Hiroshi: Recompose: Direct and Gestural Interaction with an Actuated Surface; C HI, 7.-12. Mai 2011. https://trackr-media.tangiblemedia.org/publishedmedia/Papers/460-Direct%20% 20Gestural%20Interaction/Published/PDF, Zugriff: 21.05.2014; Leithinger, Da-

287

288

Haptik am User Interface

Daniel/Lakatos, David/DeVincenzi, Anthony/Blackshaw, Matthew/Ishii, Hiroshi: Direct and Gestural Interaction with Relief: A 2.5D Shape Display; UIST 16.-19. Oktober 2011. www.transmediale.de; Zugriff: 24.08.2014. http./www.unpainted.net, Zugriff: 24.08.2014. www.utexas.edu/lbj/archive/news/images/file/20_20_03_licklider-taylor-1.pdf, Zugriff: 17.01.2015. http://vislab.cs.vt.edu/∼quek/classes/aware %2Bembodiedinteraction/papers/fism h98.pdf, Zugriff: 20.03.2014. http://web.cs.wpi.edu/∼gogo/hive/hive_tactacage.shtml, Zugriff: 05.09.2014. http://web.cs.wpi.edu/∼gogo/hive/hive_tactavest.shtml, Zugriff: 04.09.2014. http://web.cs.wpi.edu/∼gogo/hive/tactaboard/, Zugriff: 05.09.2014. http://web.media.mit.edu/∼ishii/RadicalAtoms_REPRINT2.pdf, Zugriff: 09.05. 2014; Ishii et al.: Radical Atoms: Beyond Tangible Bits, Toward Transformable Materials; In: interactions, Volume XIX.1, 2012. www.wired.com/2009/09/augmented-reality-the-ultimate-display-by-ivan-sutherl and-1965/, Zugriff: 08.04.2014 http://woodenhaptics.org/woodenhaptics-tei-2015-paper.pdf, Zugriff: 16.03.2015; Forsslung, Jonas/Yip, Michael/Sallnäs, Eva-Lotta: WoodenHaptics: A Starting Kit for Crafting Force-Reflecting Spatial Haptic Devices; 2015. http://xenia.media.mit.edu/∼mcnerney/personal-ubicomp.pdf, Zugriff: 01.05. 2014; McNerney, Timothy S.: From turtles to Tangible Programming Bricks: explorations in physical language design; 29. Juli 2004. www.zaneberzina.com, Zugriff: 16.05.2015. http://90.146.8.18/en/archives/center_projekt_ausgabe.asp?iProjectID=11024, Zugriff: 20.05.2014; Ishii, Hiroshi/Piper, Ben/Wang, Yao/Assaf Biderman/Ratti, Carlo/Tangible Media Group: SandScape. An Illuminated Workbench for Landscape Design; Ars Electronica, Linz, 2002.

Abbildungsverzeichnis

Abb. 1: Christa Sommerer und Laurent Mignonneau, A-Volve, Detailansicht Stocker, Gerfried/Sommerer, Christa/Mignonneau, Laurent [Hg.]: Christa Sommerer Laurent Mignonneau. Interactive Art Research; Wien, New York, 2009, Copyright: Christa Sommerer und Laurent Mignonneau Abb. 2: Marcel Duchamp/Frederick Kiesler, Twin-Touch-Test www.toutfait.com/issues/volume2/issue_4/articles/girst/popup_07.htm Abb. 3: Ay-O, Tactile Boxes und Finger Box www.artpool.hu/Fluxus/Ayo.html Abb. 4: Christa Sommerer und Laurent Mignonneau, Interactive Plant Growing Stocker, Gerfried/Sommerer, Christa/Mignonneau, Laurent [Hg.]: Christa Sommerer Laurent Mignonneau. Interactive Art Research; Wien, New York, 2009, Copyright: Christa Sommerer und Laurent Mignonneau Abb. 5: Christa Sommerer und Laurent Mignonneau, A-Volve Stocker, Gerfried/Sommerer, Christa/Mignonneau, Laurent [Hg.]: Christa Sommerer Laurent Mignonneau. Interactive Art Research; Wien, New York, 2009, Copyright: Christa Sommerer und Laurent Mignonneau Abb. 6: Christa Sommerer und Laurent Mignonneau, Mobile Feelings I Stocker, Gerfried/Sommerer, Christa/Mignonneau, Laurent [Hg.]: Christa Sommerer Laurent Mignonneau. Interactive Art Research; Wien, New York, 2009, Copyright: Christa Sommerer und Laurent Mignonneau Abb. 7 : Christa Sommerer und Laurent Mignonneau, Mobile Feelings II Stocker, Gerfried/Sommerer, Christa/Mignonneau, Laurent [Hg.] : Christa Sommerer Laurent Mignonneau. Interactive Art Research; Wien, New York, 2009, Copyright : Christa Sommerer und Laurent Mignonneau

290

Haptik am User Interface

Abb. 8: Ståle Stenslie, cyberSM, bodysuit und Ansicht des Interfaces www.stenslie.net/, Copyright: Ståle Stenslie Abb. 9: Ståle Stenslie, Inter_Skin www.stenslie.net/, Copyright: Ståle Stenslie Abb. 10: Ståle Stenslie, sense:less www.stenslie.net/, Copyright: Ståle Stenslie Abb. 11: Ståle Stenslie, sense:less, Controller www.stenslie.net/, Copyright: Ståle Stenslie Abb. 12: Ståle Stenslie, Erotogod www.stenslie.net/, Copyright: Ståle Stenslie Abb. 13: Ståle Stenslie, Erotogod, bodysuit www.stenslie.net/, Copyright: Ståle Stenslie Abb. 14: Stelarc, Third Hand http://stelarc.org/?catID=20290, Handswriting, Writing One Word Simultaneously with Three Hands, Maki Gallery, Tokyo 1982, Foto: Keisuke Oki Abb. 15: Volker Morawe und Tilman Reiff, PainStation Computerspielemuseum Berlin, Foto: Sebastian Sprenger Abb. 16: Keith Armstrong, Intimate Transactions https://embodiedmedia.com/homeartworks/intimate-transactions Abb. 17: driessen&verstappen, Tickle Robot https://notnot.home.xs4all.nl/ticklerobots/tickle/TICKLEcat.html Abb. 18: everyware, Soak, Dye in light http://everyware.kr/home/soak/, Copyright: everyware Abb. 19: Morton Heilig, Experience Theater www.mortonheilig.com/Experience_Theater_Patent.pdf, Abbildung 22. Abb. 20 : Gabriel Robles-de-la-Torre, GRAB www.roblesdelatorre.com/gabriel/OP-CA-MB-GR-RO-MAN06.pdf, Portillo-Rodriguez, Otniel/Avizzano, Carlo Alberto/Bergamasco, Marco/Robles-de-la-Torre,

Abbildungsverzeichnis

Gabriel: Haptic rendereing of sharp objects using lateral forces; In: Proceedings, IEEE International Symposium on Robot and Human Interactive Communication (Ro-MAN), Hatfield, UK, 6.-8. September 2006; Piscataway, New Jersey, 2006. Abb. 21: Nao Kotosa, Neuro-Baby www.naokotosa.com/1993/01/412/, Copyright: NT & Associates Abb. 22: PanGenerator, Tactilu https://vimeo.com/68027494, Screenshot Abb. 23: Tangible Media Group, Relief http://tangible.media.mit.edu/project/relief/ Abb. 24: Tangible Media Group, Recompose http://tangible.media.mit.edu/project/recompose/ Cover: Christa Sommerer und Laurent Mignonneau, Interactive Plant Growing Copyright: Christa Sommerer und Laurent Mignonneau

291

Interviews

Anschließend an die Dissertationsschrift, sind Interviews mit den KünstlerInnen Christa Sommerer (CS), Laurent Mignonneau, Ståle Stenslie (StS) und Jill Scott (JS) entstanden. In deutscher und englischer Sprache findet sich hier eine Kombination dieser schriftlichen Interviews, entstanden Ende 2019 – Beginn 2020:   Welche Bedeutung hat die haptische Sinnlichkeit aus eurer Sicht für euer künstlerisches Schaffen, Christa Sommerer und Laurent Mignonneau? Ist sie schon Ausgangspunkt eines Werks oder ist die Integration haptischer Möglichkeiten der Bearbeitung einer Idee nachgeordnet?   Christa Sommerer: Haptische Sinnlichkeit ist eine der vielen Methoden, die wir verwenden, um BesucherInnen in unsere interaktiven Kunstwerke hineinzubringen. Wenn es das Konzept des Werkes erfordert, dann ist der Berührungs- und Tastsinn eine gute Möglichkeit die BesucherInnen ganz hautnah mit dem Kunstwerk in Verbindung zu bringen, beziehungsweise dieses erst durch die Berührung entstehen zu lassen. Die körperliche Erfahrung ist sehr unmittelbar, privat und direkt. Sie ermöglicht eine sinnliche Wahrnehmung die mit der reinen Betrachtung alleine nicht erreichbar ist. Nicht alle unsere Werke verwenden direkte haptische Sinnlichkeit, aber fast alle unserer Werke sind interaktiv und sollen mit dem ganzen Körper erfahrbar werden.   Euer Fokus liegt sehr oft auf der Natürlichkeit der Interfaces. Hat sich euer Verständnis von »Natürlichkeit« im Laufe der künstlerischen und wissenschaftlichen Praxis seit Beginn der 1990er Jahre verändert?   CS: Ja, der Begriff »Natürliches Interface« war 1992 ganz neu. Wir haben ihn durch Interactive Plant Growing, das 1992 entstand, auch stark mitgeprägt. Diese Arbeit wurde in der Computer Science Community viel gezeigt, unter anderem in der Siggraph 1993 Machine Culture Ausstellung in LA. Auch Professor Hiroshi Ishii, der 1994 noch für NTT in Japan gearbeitet hat, sah Interactive Plant Growing um 1994 in Japan. Er war von der Idee des tangiblen und natürlichen Interfaces in dieser Arbeit

294

Haptik am User Interface

begeistert. Diese Idee des intuitiven, sinnlichen Interagierens mit dem Kunstwerk ist für uns weiterhin sehr wichtig, da wir die BesucherInnen durch einfaches Eintreten in unser Kunstwerk faszinieren wollen, um sie dann mit mehreren Ebenen des Werkes bekannt zu machen. Ein gutes Beispiel dafür ist auch Portrait on the Fly von 2015, bei dem man durch reine Anwesenheit schon Teil des Werkes wird und immer wieder neu von einem Schwarm künstlicher Fliegen dargestellt wird.   Ståle Stenslie, your works are balancing a wide range of sensation between sensuality and pain, sexuality is also often a part of it. Is this an expression of a social process from a simple touch to a full body experience? Do you keep pain thresholds or intimacy limits in mind during your creation process?   Ståle Stenslie: The thresholds of pain and intimacy varies greatly between users. As always, transgression is a preferred method in the arts. So for my work. Experimentation beyond the ordinary is therefore a keyword.   Decades of research and technological advances lead to the production of a realistic technical touch that corresponds to the naturalness of a touch between two biological beings. Do you think there is something like a »haptic uncanny valley«?    StS: Definitely. In particular because there are no available, easy to use mechanical apparatus that can produce »realistic« touch (I guess you here mean human touch). The sensors in our skin are incredibly advanced, multilayered and phenomenologically tuned. Any non-human production of touch is therefore easily perceived as »fake« in the sense of not being human. Then again, like my first cyberSM experiment showed, to achieve a touching and real sense of physical telepresence is not dependent on »realistic« touch. It can just as well be produced with crude, mechanical, brute devices. What matters is for the users to perceive each other as human. Once this connection is established, then any telehaptic stimulus exchanged will be experienced as real human touch.   The realism of a haptic interface is a combination of analogue and digital elements, material and movements. The analogue experience is very important in your artworks. What do you think are the most important factors to create the perfect illusion and recreate a »real« human touch between humans with artificial parts?    StS: My works on haptic sensations are more about expanding our sensual and perceptual space than recreating human touch. The actual corporal stimulation in my work always merges with some sort of multisensory experience, that be multichannel, interactive sound, real time graphics and/or the central element of being

Interviews

dressed into – sometimes almost alien – skin. An example is the bodysuit of my Erotogod project (Stenslie, Ståle: Virtual touch. A study of the use and experience of touch in artistic, multimodal and computer-based environments; Oslo, 2010).   Haptic interaction seems to have better quality as a multi-variant combination of sensual contacts and the richness of detail of an interface. A result of interface quantity and sensory quality, so to say. Are these combinations more important than the technical progress of an interface? The questions is: as technology improves, is it easier to create the illusion of touch?    Jill Scott: I am a media artist that believes it is mostly the content that drives the richness of the interaction. My aim is to explore the relation between content’s cognitive association, haptic interaction and the design of new technology. Cognitive associations are affected by many individual differences in neural wiring and nurtured influences, so we cannot generalize about the reactive effects of touch in everyone’s brains. I have always been interested in how physical and bodily access to computing might help to join the dots between the peripheral nervous system, the central nervous system and the brain. In more analogue times I used old fashioned ways like the potentials of water in human hands to touch and close electro circuits and trigger screen images. In the last 10 years, the speed of processors improved in computers and the access to the information became faster. Therefore, haptic devices were improved and the illusion of touch became closer to the speed of real human biological neural transmission.   Regarding your body suits and installations, Ståle Stenslie: Is it more important for you to create a qualitative haptic touch which simulates a simple and small contact of skin or the overall immersive experience of an installation the user can dive into?   StS: There is a wide range of haptic actuators available that can produce an even wider range of physical stimuli. Simultaneously they are all rather crude and mechanical. To overcome the mechanical hurdles present in haptic interfaces one must work on a qualitative basis to tweak and tune both one’s haptic language and the overall context defining one’s immediate lifeworld. A little touch can so sometimes feel all encompassing. Full body suits and stimulus such as in my early Solve et Coagula suit pushing 12 amp of effect into the 100 custom built actuators are definingly immersive.   You are working on the idea of a haptic vocabulary, as well as you, Jill Scott. Could you describe the development of this idea and your actual status of your research on it?

295

296

Haptik am User Interface

StS: The idea dates at least back to Giovan Battista della Porta (1535 – 1615) and is generally about making some sort of general meaning out of artificial, mechanical touch apparatuses. However, like Braille, the meanings of touch are mostly contextual and have to be learned. This is just as in my artistic installations where I first try to establish a unique universe to contextualize the multisensorial stimulations. Then meaning can slowly be pushed into the users‹ experience. This is no quick process beyond the first order of stimulus where for example the sequential triggering of effectors create sensations of movement or phantom limb. Still the idea of creating some sort of universal grammar for touch is intriguing, although my work is currently more about exploring the poetics of touch.   JS: Well I think we are both interested in the potential of somatic sound and electronic skin, because together with collaborators I am working to develop new haptic skin interfaces for the visually impaired that give them the chance to also contribute to somatic, sound and visual culture (The e-skin Series). In my last 20 years of research into touch and cross modal interaction I have focused on how touch combines with our other sensory percepts to enrich our interactive experiences in immersive environments. This research has taken the shape of a series of models from neuroscience research that are embedded with electronics as well as content from health and environmental factors. The results I called Neuromedia. Science communicators are also interested in this research, we have shown the results in Science Museums. We have published collaborations with neuroscientists who also see haptic forms of media art as an alternative form of communication (Scott, Jill/Stoeckli, Esther: Neuromedia: Art and Neuroscience Research; Berlin, 2012). Therefore, I would say that we are definitely contributing to a haptic vocabulary but one that crosses the art and science divide.    In my research I’m also interested in the importance of failure as part of the learning process (both in the creation of artworks and in the research process) and also in the material defect as an expression of naturalness. Do you think both art and science are focused on the (perfect) result? Which meaning do failure and defects have in your work experience?   JS: Failure is an essential part of research development, scientists know this and explain it fully in their publications, so it is a myth that scientists do not value failure as a real learning lesson. I also encouraged this same analysis in my PhD students. I have about three projects on the shelf that have not been fully realized. In art, some would say that this is a failure but I see it as an important process of creativity. Art is far too based on the final product and research is not only about discovery but about understanding and experimenting. Also, as my work is often about body politics and health, failure is a given subject of consideration.

Interviews

The body as material and its definition was and is in many ways your access to art and research. Your artworks and installations are an expression of your research; research as a scientific fundament. How do you rate the importance of the connection of artists and scientists in Media Art?    JS: Yes, my work was and still is about body politics and the ideals humans generated for communal living. Because our bodies are related to many other species and affected by the conditions of the changing environment we all live in, I have worked with researchers in ecology, genetics and evolution. In the last 16 years, I also learnt a lot about neural anatomy and molecular biology. So, I am very connected to scientists. I invented an Artists-in Labs Program in Zurich, Switzerland, to help other artists have scientific experiences (www.artists-in-labs.ch) and supervised over 16 PhD students who were focused on the art-sci interface (www.znode.ch). I think, that if media artists want to comment about science and society, then they should be well-informed, however, I do not think that ALL media artists need to comment on science or society.   Do you think there could also arise an intellectual gap between over-scientific art and the audience? Similar to the gap in contemporary art and its often overly stylized backstories and interpretations only a well-read audience can understand.   JS: I do not think that this kind of intellectual gap is the problem, we live in an information society where audiences can easily find out something authentic about many subjects (also online), so much so that linear forms of technology like TV have become quite boring. Media art can be provocative and multi-layered but the challenge is to find deep metaphors to raise awareness about important issues that affect our health and survival. I am often accused of being too didactic or educational in my work but I am interested in informing the audience through these immersive haptic experiences. In every case, I begin as an artist with aesthetic inspiration from science to design each work. I really believe that each artist should have the freedom to decide where he or she wants to raise awareness for the audience or be multi interpretational or provocative, but each approach hopes for a post reflective impact for the audience. My own aim is to stimulate the audience to think differently and ask why?   Christa Sommerer und Laurent Mignonneau, ihr arbeitet als Professoren seit 2004 im Interface Culture Lab, Institute for Media, der University of Art and Design in Linz, Österreich, mit der nächsten Generation an InterfacedesignerInnen. Könnt ihr hier einen Trend ausmachen oder eine Weiterentwicklung der haptischen Integration? Eine Frage, die sich daran anschließt ist, inwieweit die Arbeiten eurer StudentInnen auch euer künstlerisches Schaffen beeinflussen? 

297

298

Haptik am User Interface

CS: Haptische Interaktion ist mittlerweile ganz selbstverständlich geworden. Durch die Hybridisierung der Kunstgattungen und der Vermischung des Analogen mit dem Digitalen kommt es zu einer großen Vielfalt der Gestaltungsmöglichkeiten. Es kann z.B. Keramik mit Klang vereint werden und durch das Berühren der Keramik Musik erzeugt werden. Berührung und haptische Interaktion wir derzeit sehr vielfältig von unseren Studierenden eingesetzt, auch deshalb, weil es nach einer Phase der Virtualisierung wieder einen Wunsch zu »echten« haptischen Erlebnissen gibt. Und auch die Ideen der Studierenden wirken sich natürlich auf uns aus, und umgekehrt, wobei es immer wichtig ist nicht zu kopieren, sondern Ideen individuell weiterzuentwickeln und in das eigene Oeuvre einzubinden.   Wie bewertet ihr den Status der Medienkunst innerhalb der zeitgenössischen Kunst, wie sie auf Kunstfestivals, in den Galerien oder White Cubes repräsentiert wird?   CS: Die Medienkunst hat sich in den letzten 10 Jahren stark weiterentwickelt. Sie ist beinahe Mainstream geworden, auch viele zeitgenössische KünstlerInnen verwenden nun die Digitalisierung in ihren Werken. Dennoch ist zu bemerken, dass die wenigsten dieser KünstlerInnen die Vorgeschichte der Medienkunst kennen und kaum wissen was schon alles in den letzten 50 Jahren gemacht wurde. So kommt es oft vor, dass das Rad neu erfunden wird, und man glaubt etwas Neues geschaffen zu haben. Hier wünsche ich mir mehr Geschichtsbewusstsein, deswegen ist gerade die Archivierung und Sammlung von Medienkunst, so wie sie im ZKM praktiziert wird, so wichtig.   Welches haptisch interaktive Kunstwerk anderer KünstlerInnen fällt euch ein, das euch in den letzten Jahren besonders im Gedächtnis geblieben ist?   CS: Ich war gerade Jurymitglied und Vortragende in Peking bei der TASIES 2019 5th Art and Science International Exhibition and Symposium am National Museum. Dort wurde unter anderem eine chinesische Erfindung gezeigt (Graphical Tactile Display) mit der man durch ein Keyboard taktile Bilder erzeugen kann, die dann haptisch durch ein Raster von metallischen Stiften für Blinde erfahrbar und lesbar ist. Diese Art von Übersetzungsinterfaces finde ich spannend, denn damit kann man auch konkret über den haptischen Kanal kommunizieren. Auch die Arbeit von Lancel/Maat, bei der man durch paarweises Küssen Hautwiderstandsdaten und Gehirnströme erzeugt, ist sehr schön und poetisch.   I want to thank my interviewees for taking the time to share their personal perspectives on the topic.

Medienwissenschaft Christoph Engemann, Andreas Sudmann (Hg.)

Machine Learning – Medien, Infrastrukturen und Technologien der Künstlichen Intelligenz 2018, 392 S., kart. 32,99 € (DE), 978-3-8376-3530-0 E-Book: 32,99 € (DE), ISBN 978-3-8394-3530-4 EPUB: 32,99 € (DE), ISBN 978-3-7328-3530-0

Geert Lovink

Digitaler Nihilismus Thesen zur dunklen Seite der Plattformen 2019, 242 S., kart. 24,99 € (DE), 978-3-8376-4975-8 E-Book: 21,99 € (DE), ISBN 978-3-8394-4975-2 EPUB: 21,99 € (DE), ISBN 978-3-7328-4975-8

Mozilla Foundation

Internet Health Report 2019 2019, 118 p., pb., ill. 19,99 € (DE), 978-3-8376-4946-8 E-Book: kostenlos erhältlich als Open-Access-Publikation E-Book: ISBN 978-3-8394-4946-2

Leseproben, weitere Informationen und Bestellmöglichkeiten finden Sie unter www.transcript-verlag.de

Medienwissenschaft Susan Leigh Star (verst.)

Grenzobjekte und Medienforschung (hg. von Sebastian Gießmann und Nadine Taha) 2017, 536 S., kart. 29,99 € (DE), 978-3-8376-3126-5 E-Book: kostenlos erhältlich als Open-Access-Publikation E-Book: ISBN 978-3-8394-3126-9 EPUB: ISBN 978-3-7328-3126-5

Ramón Reichert, Karin Wenz, Pablo Abend, Mathias Fuchs, Annika Richterich (eds.)

Digital Culture & Society (DCS) Vol. 4, Issue 2/2018 – Digital Citizens 2019, 220 p., pb., ill. 29,99 € (DE), 978-3-8376-4477-7 E-Book: 29,99 € (DE), ISBN 978-3-8394-4477-1

Gesellschaft für Medienwissenschaft (Hg.)

Zeitschrift für Medienwissenschaft 21 Jg. 11, Heft 2/2019: Künstliche Intelligenzen 2019, 208 S., kart., Klebebindung 24,99 € (DE), 978-3-8376-4468-5 E-Book: kostenlos erhältlich als Open-Access-Publikation E-Book: ISBN 978-3-8394-4468-9 EPUB: ISBN 978-3-7328-4468-5

Leseproben, weitere Informationen und Bestellmöglichkeiten finden Sie unter www.transcript-verlag.de