2018: Moralische Maschinen. Was die Maschine über die Moral ihrer Schöpferinnen und Schöpfer verrät.

Abstract

Informationstechnischen Systemen wird oft zugeschrieben, Entscheidungen treffen zu können, dabei findet eine Berechnung statt. Menschen folgen moralischen Gesetzen – oder eben nicht. Ein informationstechnisches System muss den einprogrammierten Gesetzen folgen, so wie der Mensch den zahlreichen Naturgesetzen unterworfen ist. Wenn es eingesetzt wird, um zentrale Bereiche des menschlichen Zusammenlebens zu kontrollieren, zu steuern, zu beobachten oder zu messen, dann muss stets mitgedacht werden, dass es nur auf den kontrollierbaren, steuerbaren, beobachtbaren und den messbaren Bereich Zugriff hat. Doch anstatt sich nun aus diesen unkontrollierbaren, nicht steuer- oder beobachtbaren Domänen des gesellschaftlichen Zusammenlebens zurückzuziehen, wird die soziale Sphäre weitestgehend maschinenlesbar, also berechenbar gestaltet. Der unberechenbare Mensch wird zum Störfaktor, ebenso wie die unberechenbare Sphäre der Moral. Moralische Maschinen sind ein ethisches Gedankenexperiment. Anhand einiger Beispiele soll argumentiert werden, dass es zwar prinzipiell unmöglich ist, moralisch handelnde Maschinen zu erschaffen, wir es aber dennoch versuchen sollten, weil die Beschäftigung mit diesem Thema zwar nicht die informationstechnischen Systeme moralischer macht, wohl aber ihre Schöpferinnen und Schöpfer. (Dies ist eine PrePrint-Version. Die tatsächliche Druckfassung enthält weniger Rechtschreibfehler!)

Publication
In: Rath, Krotz, Karmasin (Hrsg.) Maschinenethik: Normative Grenzen autonomer Systeme (2019), Wiesbaden: Springer. S. 243-261.
Date

Einleitung

Informationstechnischen Systemen wird oft zugeschrieben, Entscheidungen treffen zu können, dabei findet eine Berechnung statt. Menschen folgen moralischen Gesetzen – oder eben nicht. Ein informationstechnisches System (IT-System) muss den einprogrammierten Gesetzen folgen, so wie der Mensch den zahlreichen Naturgesetzen unterworfen ist.

Moralische Fragen provozieren zur Introspektion und Abwägung; »es kommt darauf an« ist die häufigste Antwort auf entsprechende Aufforderungen zur Stellungnahme. Umso mehr fällt die apodiktische Redeweise im Bereich der so genannten „Künstlichen Intelligenz” auf, wenn beispielsweise Begriffe und Konzepte wie Intelligenz, Moral und anderen bislang dem Menschen zugeschriebenen Bereichen in Bezug auf Roboter oder andere IT-Systeme angewendet wird. Die eindrucksvollen Demonstrationen im Bereich der so genannten „Künstlichen Intelligenz” tragen ihr Übriges zu dieser Anthropomorphisierung bei, wobei die Zuschreibung menschlicher Eigenschaften oder Fähigkeiten sowohl durch technisch unbedarfte Nutzerinnen und Nutzer wie durch die Marketing-Abteilungen erfolgt.

Die Software-Produkte im Bereich des maschinellen Lernens umfassen nicht nur die öffentlichkeitswirksam präsentierten Schach- oder Go-Programme, sondern auch biometrische Verifikationssysteme oder Spracherkennung und ganz aktuell im Bereich des hochautomatisierten Fahrens. Dieses breite Einsatzgebiet macht es deutlich: Die Informatik muss von ihrem Wesen stets als sozial wirksam betrachtet werden (Coy 1992).1 Die Forschung und Entwicklung in allen Bereichen der nicht mehr ganz so jungen Disziplin beeinträchtigt alle Lebensbereiche des modernen Menschen so sehr, dass in Anlehnung an die McLuhan’sche Gutenberg-Galaxis (McLuhan 1962) nun die Turing-Galaxis als Bezeichnung für die post-industrielle Gesellschaft gewählt wurde (Coy 1994), benannt nach dem Mathematiker und Informatiker avant le mot Alan Turing.2

Wir befinden uns nun schon im zweiten Zeitalter der Turing-Galaxis, nach der algorithmischen Revolution der 1930er Jahre erleben wir nun seit Mitte der 1990er Jahre die heuristische Revolution. Für Alan Turing war es selbstverständlich, dass ein mathematisches oder informationstechnisches Problem zutiefst verstanden werden muss, bevor es in einen Computer eingegeben werden kann, allein, um die Ergebnisse korrekt zu interpretieren.3 Heute verhalte es sich umgekehrt, seufzte Joseph Weizenbaum, die Technikerinnen und Techniker versuchen nun gerade diejenigen Probleme mit Hilfe eines IT-Systems zu lösen, die sie nicht verstanden haben.4

Das Problem des moralisch gebotenen Handelns ist ein solches, anhand einiger Beispiele soll technisch argumentiert werden, dass es zwar prinzipiell unmöglich ist, moralisch handelnde Maschinen zu erschaffen, wir es aber dennoch versuchen sollten, weil die Beschäftigung mit diesem Thema zwar nicht Maschinen moralischer macht, wohl aber die Entwicklerinnen und Entwickler informationstechnischer Systeme

Gesetzesbrecher

Der Gesetzesbruch ist das Leitmotiv in Sophokles’ Antigone, es geht um die Frage, welche Gesetze höher stehen, wenn sich zwei oder mehrere widersprechen. Kreon erlässt als König von Theben das Verbot, Vaterlandsverräter zu bestatten. Für seine Nichte Antigone jedoch stehen die den Göttern gewidmeten Rituale höher, und als ihrem verstorbenen Bruder Polyneikes Vaterlandsverrat vorgeworfen wurde, übertrat sie das Verbot und bestattete ihn. Im antiken Drama geht es auch um die von Altphilologen so gern überlesene Rolle der Technik, am Anfang des zweiten Aktes besingt der Chor die technē des Menschen:

Ungeheuer ist viel. Doch nichts
Ungeheuerer, als der Mensch.

Durch die grauliche Meeresflut,
Bei dem tobenden Sturm von Süd,
Umtost von brechenden Wogen,
So fährt er seinen Weg.
Der Götter Ursprung, Mutter Erde,
Schwindet, ermüdet nicht. Er mit den pflügenden,
Schollenaufwerfenden Rossen die Jahre durch
Müht sie an, das Feld bestellend.

[…]
Das Wissen, das alles ersinnt,
Ihm über Verhoffen zuteil,
[σοφόν τι τὸ μηχανόεν τέχνας ὑπὲρ ἐλπίδ᾽ ἔχων]
Bald zum Bösen und wieder zum Guten treibt‘s ihn.5

Der homo faber ist nicht nur Werkzeug gebrauchender, sondern auch und gerade Werkzeug herstellender Mensch. Noch heute stehen wir erstaunt vor den Pyramiden in Gizeh, der Golden Gate Bridge in San Francisco oder vor den Toren von Machu Pichu und besingen wie die Thebanischen Alten die Handwerkskunst in höchsten Tönen. Doch die wenigsten ergötzen sich an ihrem Computerbetriebssystem, dabei stellt eine solch komplexe Software die großen Bauprojekte locker in den Schatten. Der technikkundige Mensch hat sich seine Digitale Natur geschaffen, die Allgegenwart informations- und kommunikationstechnischer Artefakte ist Zeugnis davon.

Der moderne Mensch hat sich seiner Umwelt bemächtigt, spätestens mit der Ersten Industriellen Revolution und der Agrarrevolution kurz vorher, sind die „ungeheuren” Möglichkeiten für jeden ersichtlich und erschwinglich. Endlich war der Fabrikarbeiter unabhängig vom Tageslicht, er konnte nun auch in der Nacht sein Tuch weben – und genau dies geschah. Die Maschinen liefen rund um die Uhr, die Arbeiter mussten in Schichten arbeiten, damit der gewaltige Energieausstoß richtig ausgenutzt wurde. Die einfache Bedienung auch durch weniger kräftige und ungelernte Arbeiter führte nicht zur Arbeitserleichterung, sondern zu Kinderarbeit und dem Anstieg der einst verpönten Lohnarbeit.

Die Dampfmaschine, dieser kybernetische Kreon, gab den Takt an, der Mensch musste sich ihm unterwerfen.6 Die ersten Maschinenstürmer konnten noch Etappensiege feiern, doch spätestens seit der Verbreitung des Universalcomputers in Militär, Fabrik und Heim können wir uns den Gesetzen der IT-Systeme nicht entziehen. „Code is law”, so das prägnante Wort Lawrence Lessigs, der Programmcode ist Gesetz im Sinne eines Naturgesetzes.7 Technikerinnen und Techniker schaffen durch die Niederschrift von Symbolen Zwänge, der sie sich nicht einmal selbst widersetzen können.

Der politische und der moralische Bereich des menschlichen Handelns und Denkens muss frei von Zwängen sein, sonst können wir nicht sinnvoll von Politik oder Ethik sprechen. Von Kant über Arendt zu Habermas ist der freie, öffentliche Vernunftgebrauch das zentrale Element des freien, moralisch handelnden, in der Solidargemeinschaft lebenden Menschen. Die informations- und kommunikationstechnischen Artefakte bedrohen diese Freiheit, weil sie alle Bereiche des modernen Menschen so durchdrungen haben, dass wir nicht mehr wissen, wo der technische Zwang aufhört und die freie Willensentscheidung anfängt. Stellen Sie sich eine Personalabteilung vor, die anhand der Bewerbungen die optimale Bewerberin, den optimalen Bewerber finden soll. Stellen Sie sich nun weiter vor, dass die Bewerbungsmappen bereits von einem System vorsortiert und mit Stempel versehen wurden. „Fachlich gut, aber menschlich schwierig“, „Fachlich ungeeignet” oder „Gewerkschaftsmitglied“ – wie würden Sie entscheiden?

Die automatische Klassifikation von Menschen, die Diskriminierung im Wortsinn, stellt im zweiten Zeitalter der Turing-Galaxis eine Bedrohung dar, ganz aktuell äußert sich diese Sorge in Form eines Vorschlags aus Deutschland für eine Charta der Digitalen Grundrechte der Europäischen Union.8 Dort heißt es im ersten Artikel:

(2) Neue Gefährdungen der Menschenwürde ergeben sich im digitalen Zeitalter insbesondere durch Big Data, künstliche Intelligenz, Vorhersage und Steuerung menschlichen Verhaltens, Massenüberwachung, Einsatz von Algorithmen, Robotik und Mensch-Maschine- Verschmelzung sowie Machtkonzentration bei privaten Unternehmen.

Vor den Algorithmen wird in einem eigenen Artikel gewarnt, Artikel 7:

(1) Jeder hat das Recht, nicht Objekt von automatisierten Entscheidungen von erheblicher Bedeutung für die Lebensführung zu sein. Sofern automatisierte Verfahren zu Beeinträchtigungen führen, besteht Anspruch auf Offenlegung, Überprüfung und Entscheidung durch einen Menschen. Die Kriterien automatisierter Entscheidungen sind offenzulegen.

(2) Insbesondere bei der Verarbeitung von Massen-Daten sind Anonymisierung und Transparenz sicherzustellen.

Dort wird also das Recht eingefordert, dass Entscheidungen über Wohl und Wehe einer Person von einem Menschen getroffen werden und nicht von einem Automatismus. Wohlgemerkt, das Wort Algorithmus wird hier im Wortsinne verwendet, also als Handlungsvorschrift begriffen, die nicht zwangsweise von einer Maschine abgearbeitet werden muss. Es betrifft also die prozedurale Dimension der Politik, also das, was der Politikwissenschaftler mit „politics” bezeichnet. Im bestehenden Recht, sowohl in Deutschland als auch in den Mitgliedsstaaten der Europäischen Union, wäre das Recht auf Prüfung des Einzelfalls oder Härtefallregelungen zu nennen, die sich gegen den automatisierten Entscheidungsprozess, beispielsweise bei Asylverfahren, stemmen. Die rigorose Anwendung von Regeln kann zu unmoralischen Handlungen führen oder anders herum formuliert: Die Fähigkeit, moralisch Handeln zu können, benötigt die Befähigung, sich Regeln widersetzen zu können, wenn sie diese Handlung verbieten würde.

Abb. 1: Bild der Schöpffung \[sic\], Medaille gestaltet von Gottfried Wilhelm Leibniz aus dem Jahre 1697. Grafik entnommen aus: Landsteiner, Norbert. 2014.

Abb. 1: Bild der Schöpffung [sic], Medaille gestaltet von Gottfried Wilhelm Leibniz aus dem Jahre 1697. Grafik entnommen aus: Landsteiner, Norbert. 2014.

Die algorithmische Revolution

Wer einmal politisch aktiv war, sich beispielsweise in einem basisdemokratischen Projekt engagiert hat oder eine Diskussion mit einem Andersdenkenden geführt hat, mag es verführerisch finden, bei Meinungsverschiedenheiten einfach auszurechnen, wer denn Recht habe. Gottfried Wilhelm Leibniz wollte mit seiner „characteristica universalis” eine ein-eindeutige Symbolsprache erschaffen, in der wir tatsächlich im Streitfall sagen können: Calculemus! Rechnen wir, um zu sehen, wer Recht hat! Sie bestand aus einem dyadischen System von Symbolen, heute würden wir Binärsystem sagen. Der Universalgelehrte war so begeistert davon, dass er Medaillen prägen ließ. „Das Bild der Schöpfung” stand am oberen Rand, darunter Gestirne und eine Rechentafel. Er ließ keinen Zweifel daran, dass dieses Bild der Schöpfung digital war.

Aus dem pythagoräischen „Alles ist Zahl” ist mit Leibniz das bis heute in der Informatik und ihren verwandten Disziplinen akzeptierte Mantra „Alles ist Binär-Zahl” geworden. Alles scheint digitalisierbar und damit berechenbar, beherrschbar zu sein. Hier soll noch einmal auf einen fundamentalen Unterschied zwischen dem Dyadischen System von Leibniz und dem wesentlich älteren Binärsystem des daoistischen „I Ging” hingewiesen werden: Dass man Zahlen auch nur mit zwei Symbolen darstellen kann, findet sich in alt-chinesischen Orakeln, beispielsweise eben im „Buch der Wandlungen” aus dem dritten Jahrtausend vor unserer Zeitrechnung. Dort wurden sechs Stängel der Schafgarbe geworfen und je nachdem wie sie fielen beschrieben sie eine von 2⁶=64 möglichen Figuren. Eine durchgehende Linien bezeichnet das Schöpferische, was später das Schöpferische yáng (陽) genannt werden wird, eine unterbrochene das Empfangende yīn (陰).

Bei Leibniz aber wurde damit gerechnet, hier auf der Medaille sehen wir eine Addition sowie eine Multiplikation. Leibniz konstruierte auch Rechenmaschinen, aber die waren eher Salon-Spielereien, denn wirkliche Computer.

Der erste Computer der Welt wurde leider nie gebaut. Charles Babbage entwarf ziemlich genau 140 Jahre nach der Leibniz’schen Medaillenprägung einen Universalcomputer, den er „Analytical Engine” nannte. Seine Freundin Ada Lovelace schrieb mit ihren Notizen über die Funktionsweise das erste Programm dafür. Ada Lovelace – World’s first programmer. Beide, Lovelace und noch viel mehr Babbage sind dermaßen illustre Figuren, dass es schwer fällt, Fiktion von Fakten zu trennen. Die Zeichnerin und „visual effects”-Künstlerin Sydney Padua hat einen sehr schönen Versuch unternommen, beides zu verbinden.9

Die Dampfmaschine ist, wie bereits geschrieben, das Symbol der Industriellen Revolution, sei es in der stationären Variante in Fabrikhallen oder auf Schienen in Form von Lokomotiven, die mit einem Kuhfänger versehen sind (letzterer übrigens eine Erfindung von Babbage). Krafterzeugung, Transport, kurz: die Entstehung der Arbeitsgesellschaft haben wir dieser Erfindung zu verdanken, sie ist der prime mover der Industriellen Gesellschaft.

Angelehnt daran haben prominente Vertreter der Informatik die „Algorithmische Revolution” ausgerufen, die durch den (inzwischen vernetzten) Universalcomputer ausgelöst wurde.10 Denn die „digitale Revolution“ fand ja schon statt, das war die Zählung von Mensch und Tier und letztendlich die Einführung der Buchhaltung, spätestens mit den Fugger’schen Bankhäusern und der modernen Form der Gouvernementalität von Staaten.

Doch nun wird gerechnet, alles und jeder wird berechnet, der prinzipiell unberechenbare Mensch wehrt sich noch tapfer gegen die umfassende Verdatung durch „Datenkraken” (so nennt der Verein Digitalcourage datenverarbeitende Firmen) und „Schnüffeldienste” (so bezeichnet der Chaos Computer Club die Geheimdienste). Das Schicksalsjahr für die Datenschutzbewegung war 1984, dem Jahr des Volkszählungsurteils, dem Jahr des Personal Computers und dem Jahr, das zugleich auch noch der Titel für die berühmte Dystopie von George Orwell ist.11

Seitdem gibt es zwar das höchstrichterlich verbürgte Grundrecht auf informationelle Selbstbestimmung, was sicher ein Meilenstein der Datenschutzgesetzgebung darstellt, jedoch hinkte die Gesetzgebung der Technik um einhundert Jahre nach. Die Verbindung von Volkszählung, informationsverarbeitenden Maschinen und Datenschutz ist nun schon über 130 Jahre alt. In der amerikanische Volkszählung von 1880 wurde Herman Hollerith zum Spezialagenten ernannt, er saß über seiner Erfindung zur automatisierten Auswertung und Zählung von Menschengruppen. 1890 schließlich überzeugte er das Zensusbüro, sein von ihm entwickeltes Lochkartensystem einzusetzen. Die Lochkarte selbst wurde ursprünglich für automatisierte Webstühle entwickelt, Joseph-Maries Jacquards Webstuhl setzte Karten ein, die Anleitungen für die Bewegung der Schiffe enthielten und so auch wiederkehrende Muster mit unterschiedlichen Querfäden einweben konnten. Charles Babbage studierte die Funktionsweise und sah sofort die Verwendung als Speicher für Zahlen. Doch es war Hollerith, der diese Idee schließlich im Jahr 1889 patentieren ließ. Dieses Patent war das intellektuelle Startkapital der in den Folgejahren gegründete „Tabulating Machine Company”, die seit 1924 schließlich unter dem Namen IBM bekannt ist.

Die moralische Dimension der automatisierten Volkszählung wurde zwar früh erkannt, aber da war es schon zu spät. Mit wenigen Sortierbefehlen konnte man Personengruppen nach ethnischen, religiösen oder anderen beliebigen Gesichtspunkten zusammenfassen. Aus der Arbeitserleichterungsmaschine wurde ein informationeller Machtverstärker.

Die DeHoMaG, die Deutsche Hollerith-Maschinen Gesellschaft mbH, war als Lizenznehmerin der Tabulating Machine Company für die technische Ausrüstung der „Großdeutschen Volkszählung” von 1939 verantwortlich, die für Adolf Eichmanns Judenkartei die entsprechenden Daten liefern sollte.12 Vorliegende Daten werden in jedem Fall ausgenutzt, selbst wenn dies moralisch nicht geboten ist. Der Satz „Wo ein Trog ist, kommen die Schweine” in Bezug auf die Erfassung und anschließende Auswertung personenbezogener Daten wird Andreas Pfitzmann zugeschrieben, doch auch ohne die verbürgte prominente Autorenschaft deckt er sich mit der kritischen Beobachtung.

Kriegs-Maschinen

Bislang war in Bezug auf Ethik und Moral immer die Rede vom Technik gebrauchenden Menschen und nicht von der Technik selbst. Moralische Maschinen sind ein Gedankenexperiment, die Rede davon eine intellektuelle Spielerei wie die Quadratur des Kreises. Hinter dem umgangssprachlichen Begriff für einen unmöglichen Versuch steckt die Suche nach einem bestimmten Algorithmus: Wie kann bei gegebenem Kreis ein Quadrat mit dem gleichen Flächeninhalt konstruiert werden oder, vermeintlich einfacher, wie lang muss ein Seil sein, um ein Kreis mit dem Durchmesser d=1m zu legen. Mit einigem Hin- und Herprobieren schneidet man von der Rolle ein 3,14m großes Stück ab. Nun soll ein 100 Meter durchmessender Kreis gelegt werden, man rechnet kurz und schneidet ein 314 Meter großes Stück ab. Siehe da, es fehlen 15 Zentimeter, der Umfang beträgt 314,15 Meter. Die Kreiszahl π (Pi) ist keine Zahl wie sich die alten Pythagoräer vorgestellt haben, sie hat unendlich viele, nicht-periodische Nachkommastellen und kann nicht mit Brüchen dargestellt werden. Wie gesagt, eine intellektuelle Spielerei, denn ganz praktisch sind ja schon früh Wagenräder beschlagen oder Trommeln bespannt worden. Selbst bei der Berechnung des Durchmessers des Universums gilt das prägnante Wort: „Mehr als 39 Stellen von Pi sind Luxus”.13

Ebenso verhält es sich mit moralischen Maschinen. Wir können noch so sehr darauf beharren, dass Maschinen niemals moralisch handeln werden, weil sie generell nicht handeln können, das hält kluge Köpfe aber nicht davon ab, solche Maschinen zu konstruieren, als ob sie moralisch handeln würden. Um ehrlich zu sein, selbst bei Menschen ist die zugrunde liegende moralische Motivation unserem Blick entzogen, was uns aber nicht von der Beschäftigung mit der conditio humana abhält, im Gegenteil. Wir unterstellen unserem Gegenüber gewisse (Einsichts-)Fähigkeiten, ohne diese ständig nachzuprüfen.

Der Umgang mit anderen Menschen ist inzwischen stark mediatisiert, selbst die face-to-face-Gespräche werden regelmäßig durch den gesenkten Blick auf das smart phone unterbrochen. Wenn es um Wohl oder Wehe einer Person geht, so erwarten wir, dass ein Mensch darüber richtet, im Idealfall die betroffene Person selbst.

Denn ein Computersystem „richtet” nicht über Wohl oder Wehe, es „entscheidet” sich nicht für Leben oder Tod, es rechnet und gibt Rechenergebnisse aus, die dann als Richterspruch oder Entscheidung von einem Menschen interpretiert werden. Nehmen wir als Beispiel das Militär, wo es ja im Kern darum geht, über Leben und Tod zu entscheiden.

Abb. 2: Die Z1 war ein mechanischer, frei programmierbarer Rechner des
Ingenieurs Konrad Zuse aus dem Jahre 1936. Quelle: Persönliches Archiv
von Horst Zuse, hier abgedruckt mit freundlicher Genehmigung des
Rechteinhabers.

Abb. 2: Die Z1 war ein mechanischer, frei programmierbarer Rechner des Ingenieurs Konrad Zuse aus dem Jahre 1936. Quelle: Persönliches Archiv von Horst Zuse, hier abgedruckt mit freundlicher Genehmigung des Rechteinhabers.

Die hier abgebildete Z1 baute der junge Ingenieur Konrad Zuse im elterlichen Wohnzimmer in Berlin-Kreuzberg. Sie gilt als Vorläufer des modernen Computers, sie verfügte über Ein- und Ausgabewerk, einen Speicher aus Zelluloid-Film, und rechnete mit binären Zahlen. Die Nachfolgerin Z3 von 1941 gilt als erster Digitalcomputer der Welt, freilich immer mit einer Fußnote versehen, dass dieser Titel je nach Sichtweise und Nationalität auch dem ENIAC zugeschrieben wird.14

Die Z3 arbeitete nicht rein elektrisch, sondern elektro-mechanisch mit Relais, im Gegensatz zum ENIAC, dem Electronic Numerical Integrator and Computer. Beide sind gleich mächtig (im Sinne von turing-mächtig), können also das Gleiche berechnen – und das ist: Alles. Alles, was berechenbar ist, kann durch einen Universalcomputer berechnet werden, das zeigte Alan Turing mit seinem wegweisenden Aufsatz „On Computable Numbers, with an Application to the Entscheidungsproblem” von 1936. Turing erfand bei der Suche nach einem Berechenbarkeitsbegriff dabei en passant den Computer, auch wenn er nicht so hieß und als zentrale Prozessoreinheit das menschliche Gehirn vorsah.15

Viel wichtiger als der Titel „Erster Computer” sollte die Betrachtung des Einsatzgebietes sein: Beide Maschinen, Z3 und ENIAC, wurden vom Militär zur Berechnung ballistischer Tabellen verwendet oder um das Flattern der Flügel von Kriegsflugzeugen in Griff zu bekommen. Kein Leibniz’sches Universaldenken oder Babbage’scher Wissensdurst, sondern das Töten von Menschen ist erklärtes Ziel der Berechnung.

Die Entscheidung über Leben und Tod wurde mit Hilfe von Kriegsmaschinen – und der Computer war lange, lange Zeit eine Kriegsmaschine – auch in die Tat umgesetzt. Kampfflugzeug, Gleitflugbombe, Atombombe, sie alle benötigen für Konstruktion und Steuerung Rechensysteme. (Von den Informations- und Desinformationssystemen mal zu schweigen.)

Um eine Gleitflugbombe aus der Ferne steuern zu können, muss die aktuelle Position, Flughöhe und Geschwindigkeit erfasst werden. An der deutschen „Henschel Hs 293” waren einhundert Messuhren befestigt, deren Mess-Daten erst digitalisiert werden mussten, bevor sie über Funk gesendet werden konnten. Die manuelle Verarbeitung war aufgrund der hohen Geschwindigkeit der Bombe und der zur Verfügung stehenden Reaktionszeit ohne maschinelle Unterstützung nicht zu leisten. Konrad Zuse entwarf den ersten Analog-Digital-Wandler sowie die „Spezialrechner 1” und „Spezialrechner 2”, die die Korrekturwerte für die Steuerruder errechneten. Der Steuerbefehl wurde dann von Hand erteilt.

Die Taktfrequenzen früher Computersysteme waren noch sehr niedrig, ein versierter Skatspieler zählt seine Stiche ebenso schnell zusammen wie die Z3.16 Bei den heutigen Geschwindigkeiten kann der Mensch nicht mehr mithalten, nicht einmal gedanklich. Sie können sich eine Nanosekunde schlicht nicht vorstellen, zumindest, wenn Sie die berühmte „Lecture on the Future of Computing” der Computerpionierin Grace Hopper nicht gehört haben.17

Eine moderne Grafikkarte schafft 10.000.000.000.000 Rechenoperationen pro Sekunde, doch reicht das aus, um ausrechnen zu lassen, ob mein Gegenüber ein feindlicher Kämpfer, ranghoher Terrorist oder einfach nur ein spielendes Kind ist?

Die Heuristische Revolution

Bei der Klassifikation, einem Grundproblem der Informatik, geht es im Kern darum, einen neuen Datenpunkt der einen oder anderen Klasse zuzuordnen. Nehmen wir einmal an, sie hätten (wie der Autor) von Fußball überhaupt keine Ahnung, dann würden sie nur eine Verteilung von Menschen mit roten Trikots und Menschen mit grünen Trikots sehen. Nun befindet sich ein schwarz oder gelb gekleideter Mensch auf dem Spielfeld. Zu welchem Team gehört er denn nun, rot oder grün?

Nun gibt es prinzipiell zwei Arbeitsmodi für das Klassifikationsverfahren: Algorithmisch oder heuristisch. In den Anfängen des größenwahnsinnigsten Teilbereichs der Informatik, der schließlich „Künstliche Intelligenz” getauft wurde, gab es zwei Paradigmen. Der algorithmische und der heuristische Ansatz. Zunächst konzentrierte man sich auf die Algorithmen, man musste ein zu berechnendes Problem also zutiefst verstanden haben, bevor man es in den Computer eingeben konnte (bzw. dem Computer übergeben konnte, denn unter „Computer” verstand man lange Zeit die Männer und Frauen, die vor einer riesigen Maschinenwand die Kabel entsprechend verlegten). Man versucht, die zugrunde liegende Kausalität mehr oder weniger zu entbergen. Wenn entsprechende Algorithmen gefunden werden – es gibt prinzipiell algorithmisch unlösbare Probleme –, so bedeutet dies noch lange nicht, dass die Berechnung in einer akzeptablen Zeit zu einem Ergebnis kommt. Je nach Zeit- und Rechenkapazitäten sind unter Umständen also auch Näherungen gewünscht, etwa bei der Biometrie, die ja in wenigen Sekunden eine Klassifikation vornehmen soll.

Nach den algorithmischen Lösungen sind heuristische Verfahren zur Zeit in aller Munde, besonders der ganze Bereich des Maschinellen Lernens. Spätestens seit IBM 2011 mit „Watson” bei Jeopardy gewonnen hat oder der Europäische Go-Meister Fan Hui 2015 von Googles AlphaGo besiegt wurde, sind „Machine Learning” und besonders „Neuronale Netzwerke” sehr in Mode.18 Es hört sich zweifelsohne besser an als Statistik, dabei geht es im Kern des maschinellen Lernens um Wahrscheinlichkeiten und Häufungen von Ereignissen – und eben nicht um Kausalitäten oder Verständnis des vorliegenden Problems. Nehmen wir mal als Aufgabe, aus einem Labyrinth herauszufinden. Es gibt einen ganz einfachen Algorithmus: Berühren Sie stets mit einer Hand eine Wand und gehen Sie so lange weiter, bis Sie den Ausgang finden.

Der vor 101 Jahren geborene Claude Shannon war Elektrotechniker, Mathematiker und Begründer der Informationswissenschaft, auf ihn geht bekanntermaßen der Begriff bit (binary digit) für die Einheit der Information zurück – ihm ist die algorithmische Lösung des Labyrinthproblems wohlbekannt. Er kreierte dennoch eine Robotermaus, die zufällige Bewegungen ausführen sollte, um einen Weg durch den Irrgarten zu finden. Hinterher wurde ihr ein Score, eine Bewertung mitgeteilt, wie gut sie abgeschnitten hat. Aus dieser Erfahrung mit der entsprechenden Bewertung wurde die Aufgabe erneut ausgeführt, diesmal hatte die Maus aber etwas „gelernt” und schnitt entsprechend besser ab. Der an der Carnegie Mellon Universität forschende und lehrende Informatiker Tom Mitchell definiert im Standardwerk zum maschinellen Lernen:

A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E.19

Wie das Computerprogramm die Verbesserung vornimmt muss für einen allwissenden außenstehenden Beobachter nicht sinnvoll sein, ich meine, Sie reiben ja auch die Münzen am Fahrkartenautomaten, wenn sie nicht angenommen werden. Das ist ja technisch schwer zu begründen, aber meistens klappt es dann ja doch mit der Münze, der Score ist entsprechend hoch und aus diesen Experiences wird dann eine entsprechende Handlung für den nächsten ähnlichen Task abgeleitet.

Sie als Individuum können natürlich lernen, aber auch der Mensch an sich kann „lernen”, denken Sie an die Evolution. Unsere Kinder sind keine Klone ihrer Eltern, sondern Rekombinationen ihrer Erbinformationen, Zufälle und Mutationen haben die Menschen bis heute überleben lassen. Der Score der Erbgutweitergabe ist binär, entweder gibt man sein Erbgut weiter oder eben nicht. Das maschinelle Lernen ist eine Evolution im Zeitraffer, erfolgreiche Strategien werden von der nächsten Programmgeneration übernommen.

Als ich oben über den Jeopardy spielenden Computer schrieb, habe ich verschwiegen, dass er zwar gewann, jedoch die Frage nach einer bestimmten US-Amerikanischen Stadt mit „Toronto” beantwortete.20 Dies kann als Ausrutscher abgetan werden, es jedoch ein systemisches Problem der heuristischen Klassifikationsverfahren. Es gibt schlicht falsche Zuweisungen.

Die Fehlerraten im Bereich der Biometrie sind übrigens so hoch, dass Firmen die entsprechenden Studienergebnisse lieber nicht veröffentlichen, selbst staatsnahe Firmen (wie die Österreichische Staatsdruckerei oder die deutsche Bundesdruckerei) geben nur widerwillig Auskunft über die Erkennungsraten von biometrischen Systemen, die Berliner Biometrie-Spezialistin Andrea Knaut kann davon ein Lied singen. Im Falle von Deutschland gibt es immerhin die „BioP II”-Studie „Untersuchung der Leistungsfähigkeit von biometrischen Verifikationssystemen”.

In Deutschland wurde im Zuge der Einführung des Neuen Reisepasses ein großer Test auf dem Frankfurter Flughafen durchgeführt. Dort testeten knapp 3000 Mitarbeiter von Fraport und Lufhansa vier biometrische Systeme, die mit Schulnoten bewertet wurden: Wenn es innerhalb des Feldtests weniger als 16 Totalausfälle gab, die biometrische Erkennung acht Sekunden oder weniger dauerte, nur in einem von hundert Fällen fehlerhafte Klassifikationen vorgenommen wurde, dann gab es eine glatte 1, sehr gut, mit Auszeichnung. Immerhin ausreichend, also bestanden, gab es für 64 Totalausfälle, 14 Sekunden Bedienzeit, vier Prozent Fehler.

Und nun die Ergebnisse: Ausreichend, Befriedigend, Befriedigend, Ausreichend. Wer jetzt allerdings auf technische Details und Zahlen gehofft hat, wird auf Seite 133 enttäuscht: „Auf eine detaillierte Darstellung der Ergebnisse wird in diesem Bericht verzichtet.”21

Wie schlimm es um biometrische Erkennungssysteme bestellt ist, zeigten im Oktober 2016 Forscherinnen und Forscher der Carnegie Mellon University, Pittsburgh. Sie druckten sich bunte Plastikbrillen aus und wurden prompt vom biometrischen System erkannt, allerdings als falsche Person. Wenn Sie also beispielsweise für die IT-Systeme wie Milla Jovovich aussehen wollen, brauchen Sie nur eine bunte Brille.22

Moralische Maschinen

Die hier angesprochenen prinzipiellen Probleme werden auch von den vehementesten „KI”-Apologeten nicht verleugnet, allerdings gibt es einen Streit darüber, welche Rolle IT-Systeme bei moralischen Problemen spielen. Der größte Teil der Technikerinnen und Techniker vertritt den Standpunkt, dass die Technik an sich neutral sei, man denke an das berühmte Messer, mit dem man Butter schmieren oder Menschen verletzen kann. Das Argument der neutralen Technik lässt sich nicht halten, wie an anderer Stelle widerlegt worden ist.23 Ein Buttermesser und ein Assassinen-Dolch sind mit höchst unterschiedlichen Vorüberlegungen gestaltet worden. Genau über diese Vorüberlegungen wird zu sprechen sein, wenn wir diese in Code gegossenen, einprogrammierten Menschenbilder und Wertvorstellungen zum Gegenstand der ethischen Betrachtung machen wollen.

Eine Maschine folgt, wie bereits oben geschrieben, den ihr einprogrammierten Gesetzen. Wenn sie eingesetzt wird, um zentrale Bereiche des menschlichen Zusammenlebens zu kontrollieren, zu steuern, zu beobachten oder zu messen, dann muss stets mitgedacht werden, dass sie nur auf den kontrollierbaren, steuerbaren, beobachtbaren und den messbaren Bereich Zugriff hat. Anstatt sich nun also aus diesen unkontrollierbaren, nicht steuer- oder beobachtbaren Domänen des gesellschaftlichen Zusammenlebens zurückzuziehen, wird die soziale Sphäre weitestgehend maschinenlesbar, also berechenbar gestaltet.

Das berühmte Trolley-Dilemma ist eigentlich ein ethisches Gedankenexperiment, der sich selbst hinterfragende Mensch soll seine Handlungen einer Ethik zuordnen.24 In der Fassung von Philippa Foot:

Eine Straßenbahn ist außer Kontrolle geraten und droht, fünf Personen zu überrollen. Durch Umstellen einer Weiche kann die Straßenbahn auf ein anderes Gleis umgeleitet werden. Unglücklicherweise befindet sich dort eine weitere Person. Darf (durch Umlegen der Weiche) der Tod einer Person in Kauf genommen werden, um das Leben von fünf Personen zu retten?25

Sind Sie nun Tugend-Ethiker? Deontologischer Neokantianer? Pseudo-Utilitarist? Doch dieses ethische Problem wird dank der „autonomen” Automobile zum moralischen Dilemma, denn nun muss der technisch Handelnde seine Präferenzen tatsächlich in die Maschine eingeben, wenn nicht als Algorithmus, so doch wenigstens als Score für das maschinelle Lernen. Aus dem Gedankenexperiment wird eine technische Blaupause für moralisch handelnde Maschinen. Dabei gibt es in einer Dilemma-Situation ja kein „richtiges” oder „falsches” Handeln, man kann in diesem unmoralischen Spiel nur verlieren.

„A strange game. The only winning move is not to play.” Mit diesen Worten beendet das NORAD-System WOPR aus dem Film „WarGames” von 1983 die Simulation aller möglichen Atomkriegsszenarien.26 Übertragen auf das Trolley-Dilemma hieße das, dass man nur dann keine Todesopfer durch selbstfahrende Automobile zu beklagen hat, wenn die Autos eben nicht fahren. Dies würde den höchsten Score geben, wurde aber von vornherein ausgeschlossen.

Um es deutlich zu sagen: Mit „autonomen“ oder hochautomatisierten Automobilen wird es weniger Verkehrstote geben, da diese rollenden IT-Systeme auf Unfallvermeidung setzen, also langsam und defensiv fahren. Doch nicht die ach so kluge „KI“ ist dafür verantwortlich, es ist die langsame und defensive Fahrweise, die auch menschliche Fahrerinnen und Fahrer anstreben sollten (wenn sie nicht gleich ganz auf diesen unsinnigen Individualverkehr verzichten wollen).

Dies ist der eigentliche Verdienst des Versuchs, Maschinen Moral zu lehren: Wichtige ethische Fragen kommen erneut auf das Tapet. Wir externalisieren innere Konflikte und Widersprüche und machen sie so intersubjektiv diskutierbar.27

Die Handlungsfreiheit des Menschen führt zur Verpflichtung sich selbst und der Menschheit gegenüber. Autonomie ist die Fähigkeit, sich selbst Gesetze geben zu können, an die wir uns zwar nicht halten müssen, aber halten wollen. Wir schränken unsere eigenen Handlungsmöglichkeiten ein, um die Freiheit der Anderen zu gewährleisten. Wir können uns auch entscheiden, ob wir eine Entscheidung als moralisch relevant betrachten. Die Wahl der Kleidung kann durchaus ein politisches Statement sein, etwa, wenn herrschende Moralvorstellungen in Frage gestellt oder bestätigt werden oder wenn auf die unfairen Produktionsbedingungen der Kleidungsstücke hingewiesen wird. Für sich genommen ist das Tragen von Kleidung kein Statement, erst durch die Rezeption durch andere wird es zu einer Aussage.

Überhaupt ist der Mensch ein höchst reziprokes Wesen, erst in der gegenseitigen Versicherung des Existierens können wir sinnvoll vom Menschen sprechen. Der Dialog als Voraussetzung für eine informierte Entscheidung findet sich bei Sokrates und all seinen Schülern. Sie kennen sicher das berühmte Fresko „Die Schule von Athen”, dort sind die prominentesten Philosophen der Antike im Zentrum, Platon und neben ihm Aristoteles mit der Ethika in der Hand, beide sind tief im Disput versunken und stolpern hoffentlich nicht über den auf den Treppen herumlungernden Diogenes. Entgegen humoristischer Zwischenrufe besitzen wir nicht nur Vernunft, wir machen auch hin und wieder Gebrauch davon. Auch wenn abendliche Fernsehsendungen das Gegenteil zeigen, so gehen die meisten Diskutanten aufeinander ein, versuchen sich und das zu diskutierende Problem zu verstehen. Sie wägen Argumente ab, denken nach und überdenken ihre Haltung.

Algorithmisch arbeitende Maschine kommen bei gleicher Eingabe immer wieder zum gleichen Ergebnis, dort gibt es keine Diskussion. Anders bei heuristischen Systemen, die ja, wie oben beschrieben, nicht ein System sind, sondern eine Schar an Systemen, eine Gattung von Programmen, die mit jeder Anfrage eine neue Generation hervorbringt. Die Nutzereingaben können jedoch widersprüchlich sein, humorvoll und damit nicht im Wortsinn gemeint sein et cetera. Dies führt dann natürlich zu zahlreichen Lapsus, so übersetzte „Google Translate” der US-Amerikanischen PR-Agentur Alphabet nach dem Brexit das englische Satzfragment „a bad day for europe” mit dem deutschen „ein guter Tag für Europa”. Oder nehmen wir den Chatbot Tay der Firma Microsoft. Tay interagierte auf Twitter mit anderen Nutzern und lernte von den Gesprächen. Binnen Stunden kippte das Niveau des Chat-Roboters, was mit „small talk”-Aussagen begann, endete mit Hasstiraden und Leugnung der Shoa. Microsoft reagierte prompt und nahm den Roboter vom Netz.28

Den Entwicklerinnen und Entwicklern von sozial interagierenden IT-Systemen fällt eine gewaltige Verantwortung zu. „Ohne uns geht’s nicht weiter”, stellte der Informatik-Pionier und -kritiker Joseph Weizenbaum 1986 in den Blättern fest. Er richtete seinen Appell an seine Zunft, also an die Informatik, und sprach damit ihre Macht an, „den weltpolitischen Zustand konkret und radikal in eine neue, lebensfördernde Richtung zu wenden”.29 Diese Aufforderung wurde der Informatik bereits seit dem Moment ihres Entstehens mit in die Wiege gelegt. Alan Turing mochte tatsächlich ein rein mathematisches Interesse haben, als er seine „Paper Machine” theoretisch entwickelte; Konrad Zuse mochte eventuell ein ingenieurstechnisches Interesse im Hinterkopf gehabt haben, als er die Weichblechteile für seinen Binärcomputer aussägte; doch ganz sicher verfolgen Apple, Amazon, Google, Facebook, IBM und Microsoft letztendlich ökonomische und nicht zwingend sozialverträgliche Ziele, wenn sie eine Zusammenarbeit im Bereich der „Künstlichen Intelligenz” ankündigen.30

Die großen Firmen sind sich ihrer Verantwortung bewusst, doch auch jede einzelne Entwicklerin und jeder einzelne Entwickler sollten das „Prinzip Verantwortung” (Hans Jonas 1979) verinnerlichen. Joseph Weizenbaum lässt dabei keine Ausreden gelten, im gleichen Artikel schreibt er auf S. 9:

Sicherlich, die am weitesten verbreitete Geisteskrankheit unserer Zeit ist die Überzeugung der Einzelnen, daß sie machtlos seien. Diese (selbsterfüllende) Delusion kommt bestimmt, als Einwand gegen meine These, an dieser Stelle in Spiel. Ich verlange ja, daß eine ganze Berufsgruppe sich weigert, an dem selbstmörderischen Wahnsinn unseres Zeitalters weiter mitzumachen.

Der selbstmörderische Wahnsinn zu Weizenbaums Zeiten äußerte sich im NATO-Doppelbeschluss und der Aufrüstspirale im Kalten Krieg, heute würden wir wahrscheinlich die Drohnenmorde in Pakistan als Aufhänger nehmen. Ich möchte mit einem Zitat von Bertrand Russel schließen, das auf die Informatik gemünzt zu sein scheint, obwohl die Naturwissenschaften adressiert werden:

Hinsichtlich einer jeden Wissenschaft gibt es zwei Arten von Wirkungen, die sie ausüben kann. Einerseits können die Fachleute Erfindungen oder Entdeckungen machen, die von den Machthabern ausgenutzt werden. Andererseits vermag die Wissenschaft die Phantasie zu beeinflussen und dadurch die Analogieschlüsse und Erwartungen der Menschen zu ändern. Streng gesprochen gibt es noch eine dritte Art von Wirkung, nämlich die Änderung der Lebensführung mit allen ihren Folgen. Im Falle der Naturwissenschaften sind all diese drei Klassen von Wirkungen heutzutage deutlich vertreten.31

Bevor wir also Fragen nach moralischen Maschinen oder dem Transhumanismus besprechen, sollten wir uns um eine ethische Grundversorgung und die Einhaltung humanistischer Prinzipien bemühen.

Literatur

Arendt, Hannah. 2006. Vita activa oder Vom tätigen Leben. München: Piper.

Aristoteles. 1995. Ethik. In: Philosophische Schriften Band 3. Hamburg: Meiner.

Bauman, Zygmunt und David Lyon. 2013. Daten, Drohnen, Disziplin. Frankfurt am Main: Suhrkamp.

Bell, Daniel. 1973. The Coming Of Post-Industrial Society. New York: Basic Books.

Black, Edwin: 2001. IBM and the Holocaust. The Strategic Alliance between Nazi Germany and America’s Most Powerful Corporation. New York: Dialog Press, 2001.

Coy, Wolfgang. 1992. Für eine Theorie der Informatik. In: Sichtweisen der Informatik, hrsg. v. Wolfgang Coy u. a., Braunschweig/Wiesbaden: Vieweg, S. 17–32.

Coy, Wolfgang. 1994. Die Turing-Galaxis. In: Computer als Medien. Drei Aufsätze. Bremen: Forschungsbericht des Studiengangs Informatik. ISSN 0722-8996. S. 7-13.

Foot, Philippa. 1978. The Problem of Abortion and the Doctrine of the Double Effect in Virtues and Vices. Oxford: Basil Blackwell.

Hodges, Andrew. 2012. Alan Turing: The Enigma (The Centenary Edition). London: Vintage Books.

Jonas, Hans. 1984. Das Prinzip Verantwortung. Frankfurt am Main: Suhrkamp Taschenbuch Verlag.

Lessig, Lawrence. 2006. Code. New York: Basic Books. Online unter <http://codev2.cc/download+remix/Lessig-Codev2.pdf>.

McLuhan, Marshall. 1962. The Gutenberg Galaxy. The Making of Typographic Man. Toronto: University of Toronto Press.

Mitchell, Tom. 1997. Machine Learning. New York: McGraw Hill.

Orwell, George. 1980 (1948). Nineteen Eighty Four, Middlesex: Penguin Books.

Parry, Richard. 2008. Episteme and Techne. In:The Stanford Encyclopedia of Philosophy, hrsg. Edward N. Zalta. Online unter <http://plato.stanford.edu/archives/fall2008/entries/episteme-techne/>.

Platon. 1994. Phaidros. In: Sämtliche Werke Bd. 2, Reinbek bei Hamburg: Rowohlts Enzyklopädie, S. 543–609.

Russell, Bertrand. 1930. Psychologie und Politik. In: Wissen und Wahn. Skeptische Essays. München: Drei Masken Verlag, S. 255–271.

Sophokles. Antigone. 1957. In: Die Tragödien, übersetzt von Heinrich Weinstock, Stuttgart: Alfred Körner Verlag.

Trystero (Hrsg.). 2012. Per Anhalter durch die Turing-Galaxis. Münster: Monsenstein und Vannerdat. Online unter <http://turing-galaxis.de/epub_final/Coy-5ubv3rs10n-2012_BY_TrYzT3r0_ePub.epub>.

Turing, Alan. 1936. On Computable Numbers, with an Application to the Entscheidungsproblem. In: Proceedings of the London Mathematical Society, Bd. 42, S. 230–265.

Turing, Alan. 2004. Computing Machinery and Intelligence (1950). In: The Essential Turing. Seminal Writings in Computing, Logic, Philosophy, Artificial Intelligence, and Artificial Life plus The Secrets of Enigma, hrsg. Jack Copeland. Oxford: Clarendon Press, S. 441–464.

Ullrich, Stefan. 2014. Informationelle Mü(n)digkeit. Über die unbequeme Selbstbestimmung. In: Datenschutz und Datensicherheit 102014. Berlin: Springer, S. 696–700.

Weizenbaum, Joseph. 1978. Die Macht der Computer und die Ohnmacht der Vernunft. Frankfurt am Main: Suhrkamp Taschenbuch Verlag.

Weizenbaum, Joseph. 1986. Ohne uns geht’s nicht weiter. „Künstliche Intelligenz” und Verantwortung der Wissenschaftler. In: Blätter für deutsche und internationale Politik 1986, Sonderdruck Nr. 332 aus Heft 91986.

Zemanek, Heinz. 1991. Das geistige Umfeld der Informationstechnik, Berlin: Springer, 1991.


  1. Coy, Wolfgang. 1992. Für eine Theorie der Informatik. In: Sichtweisen der Informatik, hrsg. Wolfgang Coy et al., 17–32. Braunschweig/Wiesbaden: Vieweg.

    [return]
  2. McLuhan, Marshall. 1962. The Gutenberg Galaxy. The Making of Typographic Man. Toronto: University of Toronto Press. Dreißig Jahre später wird Wolfgang Coy diesen Gedanken fortführen. Coy, Wolfgang. 1994. Die Turing-Galaxis. In: Computer als Medien. Drei Aufsätze. Bremen: Forschungsbericht des Studiengangs Informatik. ISSN 0722-8996. S. 7-13.

    [return]
  3. Siehe Hodges, Andrew. 2012. Alan Turing: The Enigma (The Centenary Edition). London: Vintage Books. S. 331. Heinz Zemanek (1991) rief uns später ebenfalls ins Gedächtnis, dass »die Informationstechnik […] uns auch stetige Überlegenheit über ihre Systeme ab[verlangt].« Zemanek, Heinz. 1991. Das geistige Umfeld der Informationstechnik. Berlin: Springer. S. 275.

    [return]
  4. Weizenbaum, Joseph. 1978. Die Macht der Computer und die Ohnmacht der Vernunft. Frankfurt am Main: Suhrkamp Taschenbuch Verlag. S. 311.

    [return]
  5. Sophokles. Antigone. 1957. In: Die Tragödien, übersetzt von Heinrich Weinstock, Stuttgart: Alfred Körner Verlag. S. 275. Hervorhebung »te/xnas« von mir.

    [return]
  6. Kybernetisch war an der Dampfmaschine ein kleines, aber entscheidendes Bauteil: Mit Hilfe des Governors von James und Watt regulierte die Dampfmaschine den Dampfdruck über die Fliehkraft von Pendeln selbst.

    [return]
  7. Lessig, Lawrence. 2006. Code. New York: Basic Books. [return]
  8. Charta der Digitalen Grundrechte der Europäischen Union, online unter <https://digitalcharta.eu/>.

    [return]
  9. Sie finden die wunderbare Illustration bei Padua, Sydney. 2015. The Marvellous Analytical Engine – How It Works. In: 2dgoggles, 31. Mai 2015, online unter <http://sydneypadua.com/2dgoggles/the-marvellous-analytical-engine-how-it-works/>. Dampfbetrieben, 18 Meter lang und mit Jacquard-Lochkarten programmierbar – ein wahres Schmuckstück eines jeden Steam-Punk-Fans.

    [return]
  10. Am prominentesten vom Informatiker und Künstler Frieder Nake, der bereits in den 1960er Jahren algorithmische Kunst schuf, z.B. Nake, Frieder: 13/9/65 Nr. 2 („Hommage à Paul Klee”), 1965, Computerzeichnung, Tusche auf Papier.

    [return]
  11. Genau genommen wurde das Bundesverfassungsgerichts-Urteil Mitte Dezember 1983 verkündet, Datenschutzaktivisten nutzten natürlich das aus dem Roman bekannte und gefürchtete Jahr zur Mobilisierung. Auch der berühmte Apple-Werbespot für die Einführung des Macintoshs im Januar 1984 bezog sich auf die berühmte Dystopie. Orwell, George. 1980 (1948). Nineteen Eighty Four, Middlesex: Penguin Books.

    [return]
  12. Für die Verstrickung des Computerkonzerns und den Nationalsozialisten siehe Black, Edwin. 2001. IBM and the Holocaust. The Strategic Alliance between Nazi Germany and America’s Most Powerful Corporation. Washington: Dialog Press.

    [return]
  13. Freistetter, Florian. 2013. Pi: Mehr als 39 Stellen sind Luxus, in: Scienceblogs, Eintrag vom 25. Februar 2013, online unter <http://scienceblogs.de/astrodicticum-simplex/2013/02/25/pi-mehr-als-39-stellen-sind-luxus/>. In der diskreten Welt der Informatik wird Pi ohnehin gerundet im Speicher abgelegt, ein dargestellter Kreisbogen besteht aus einzelnen Pixeln. In diesen Fällen klappt es auch mit der Quadratur.

    [return]
  14. Auf den entsprechenden Wikipedia-Seiten finden sich informative Tabellen, mit denen die geneigte Leserin und der geneigte Leser selbst entscheiden kann, wem sie bzw. er den Titel „Erster Computer” verleiht. <https://de.wikipedia.org/wiki/Computer#Eigenschaften_der_ersten_f.C3.BCnf_Digitalrechner>.

    [return]
  15. Turing, Alan. 1936. On Computable Numbers, with an Application to the Entscheidungsproblem. In: Proceedings of the London Mathematical Society, Bd. 42, S. 230–265.

    [return]
  16. Die Zuse Z3 besaß einen Taktmotor mit 5 Hz, eine Addition benötigt inklusive Lesen und Schreiben des Ergebnisses fünf Zyklen, dauert also eine Sekunde. Ein Skatspieler zählt unter idealen Bedingungen wohl schneller.

    [return]
  17. Hopper, Grace. 1985. On the Future of Computing. Vortrag am MIT Lincoln Laboratory, gehalten am 25. April 1985. Online unter <https://www.youtube.com/watch?v=ZR0ujwlvbkQ>. Ab Minute 45:00 spricht sie über die Nanosekunde und hier soll nicht verraten werden, wie sie sie erklärt.

    [return]
  18. Die AlphaGo-Entwicklerfirma DeepMind gehört seit 2014 zur Google-Mutter „Alphabet”. Die Homepage der Forscher finden Sie unter <https://deepmind.com/research/alphago/>.

    [return]
  19. Mitchell, Tom. 1997. Machine Learning New York: McGraw Hill, S. 2.

    [return]
  20. Watson setzte aber nur ganz wenig aufs Spiel, das System war sich des Irrtums wohl »bewusst«.

    [return]
  21. Bundesamt für Sicherheit in der Informationstechnik: Untersuchung der Leistungsfähigkeit von biometrischen Verifikationssystemen – BioP II, öffentlicher Abschlussbericht vom 23. 8. 2005, online unter <https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/Publikationen/Studien/BioP/BioPII.pdf>.

    [return]
  22. Mahmood Sharif, Sruti Bhagavatula, Lujo Bauer, Michael Reiter: Accessorize to a Crime: Real and Stealthy Attacks on State-of-the-Art Face Recognition, 23rd ACM Conference on Computer and Communications Security (CCS 2016). DOI: <http://dx.doi.org/10.1145/2976749.2978392>.

    [return]
  23. Ullrich, Stefan. 2014. Informationelle Mü(n)digkeit. Über die unbequeme Selbstbestimmung. In: Datenschutz und Datensicherheit 102014, Berlin: Springer, S. 698.

    [return]
  24. Sie können sich klar machen, ob Sie in einer Dilemma-Situation eher utilitaristisch oder deontologisch handeln würden. Das MIT stellt dazu ein Online-Experiment bereit unter <http://moralmachine.mit.edu/>.

    [return]
  25. Foot, Philippa. 1978. The Problem of Abortion and the Doctrine of the Double Effect in Virtues and Vices. Oxford: Basil Blackwell. Original erschienen in: Oxford Review, Number 5, 1967.

    [return]
  26. NORAD ist die Nordamerikanische Luft- und Weltraum-Verteidigungseinheit, die Kanada und die USA vor Interkontinentalraketen warnen soll. WOPR steht für „War Operation Plan Response”.

    [return]
  27. Auch die Fachgruppe „Informatik und Ethik” der Gesellschaft für Informatik setzt konkrete Fallbeispiele ein, um über moralische Konflikte und ethische Bewertungen reden zu können. „Das ist doch ganz klar”, bekommen die Mitglieder regelmäßig zu hören, da gebe es doch keinen Konflikt. Sobald die Diskussionsgruppe aber aus mehr als einer Person besteht, merken alle, dass es so klar doch nicht ist. Die Website der Fachgruppe mit den Fallbeispielen finden Sie unter <http://gewissensbits.gi.de/>. Offenlegung: Der Autor ist GI-Mitglied und seit 2011 Sprecher dieser Fachgruppe.

    [return]
  28. Graff, Bernd. 2016. Rassistischer Chat-Roboter: Mit falschen Werten bombardiert. Artikel in: Süddeutsche Zeitung vom 3. April 2016, online unter <http://www.sueddeutsche.de/digital/microsoft-programm-tay-rassistischer-chat-roboter-mit-falschen-werten-bombardiert-1.2928421>.

    [return]
  29. Weizenbaum, Joseph. 1986. Ohne uns geht’s nicht weiter. „Künstliche Intelligenz” und Verantwortung der Wissenschaftler. In: Blätter für deutsche und internationale Politik 1986, Sonderdruck Nr. 332 aus Heft 91986, S. 4.

    [return]
  30. Das Projekt nennt sich „Partnership on AI to benefit people and society”, inzwischen ist auch die Bürgerrechtsorganisation ACLU als Partner aufgeführt: <https://www.partnershiponai.org/>.

    [return]
  31. Russell, Bertrand. 1930. Psychologie und Politik. In: Wissen und Wahn. Skeptische Essays. München: Drei Masken Verlag, S. 257–258.

    [return]