Das Panopticon ermöglicht die gleichzeitige Überwachung vieler Menschen durch wenige Überwacher, die selbst nicht zu sehen sind und daher nicht einmal anwesend sein müssen. Das Panopticons dient hier als Metapher für die digitale Überwachung und Steuerung von Menschen durch die Anbieter der Plattformökonomie. Von Ralf Lankau, in: „Bildung und digitaler Kapitalismus“, hrsg. von Valentin Dander et.al., Dezember 2024, S. 214-225
Das Panopticon (von griechisch παν pān, ‚alles‘, und οπτικό optikó, ‚zum Sehen gehörend‘) ist ein vom britischen Philosophen Jeremy Bentham, dem Begründer des klassischen Utilitarismus, stammendes Konzept zum Bau von Anstalten, Fabriken und Gefängnissen von 1791. Die Bauweise ermöglicht die gleichzeitige Überwachung vieler Menschen durch wenige Überwacher, die selbst nicht zu sehen sind und daher nicht einmal anwesend sein müssen.
Der Begriff des Panopticons dient hier als Metapher für die Folgen digitaler Transformation und Allgegenwart digitaler Endgeräte, die das Verhalten ihrer Nutzer permanent aufzeichnen, in Datenbanken ablegen und dabei Nutzerprofile generieren, um Menschen zu steuern. Der Unterschied zu Benthams Panopticon ist (zumindest im Prinzip), dass Menschen im Zeitalter des Überwachungskapitalismus (noch) nicht zur Preisgabe ihrer Daten gezwungen werden. Allerdings werden immer mehr vermeintliche Sachzwänge geschaffen (elektronische Patientenakte, die ab 2024 nur noch digital verfügbare Bahncard, biometrische Merkmale in Ausweisen u.a.). Im Kern sind das Bausteine beim Aufbau des immer enger werdenden Netzes der Kontrolle und Steuerung von Menschen.
Keywords: digitale Transformation, EU AI Act, Kybernetik, Überwachungskapitalismus, VR
Erschienen im Sammelband „Bildung und digitaler Kapitalismus„, hrsg. von Valentin Dander, Nina Grünberger, Horst Niesyto, und Horst Pohlmann, München 2024 (Dezember), S. 214-225
PDF: Lankau (2024) Von Benthams Panopticon zum „Age of Surveillance Capitalism“
Steuerung als Prinzip und Kultur der Digitalgesellschaft
Ein Aspekt, der in medienpädagogischen Diskussion oft zu kurz kommt, ist das Prinzip der Kybernetik als Wissenschaft der Steuerung von Maschinen, Systemen und Organismen. Der Kybernetiker ist ursprünglich der Steuermann, der das Schiff sicher übers Meer und in den Zielhafen bringt. Das gewünschte Ergebnis bedingt die ständige Überprüfung der eigenen Position anhand von Koordinaten, die Reaktion auf Ereignisse (Strömungen, Stürme, Piraten …) und ggf. die Gegenreaktion (Korrektur des Kurses bzw. die Abwehr von Gefahren).
Diese Steuerungskonzepte liegen allen heutigen Digitalsystemen und Programmen zugrunde. Dafür werden sie entwickelt bzw. programmiert. Seit 1956 (Dartmouth Conference) wird für Kybernetik aus Gründen des Marketing zwar meist der Begriff „Artificial Intelligence AI; dt. Künstliche Intelligenz, KI) benutzt. Intelligenz, wenn auch eine nur technisch konstruierte, klingt nun mal deutlich besser als „Steuerung von Menschen und Sozialgemeinschaften“. Das Prinzip bleibt aber bestehen: Kybernetik wie Artificial Intelligence beschreiben Systeme der Prozess- , Produktions- und bei Menschen Verhaltenssteuerung. Diese Systeme sind bereits, meist unbemerkt, im Netz und in digitalen Endgeräten wie Smartphone und Tablet allgegenwärtig.
Die zu großen Teilen automatisierten digitalen Steuerungssysteme sind dank heutiger Prozessoren extrem leistungsfähig und universal einsetzbare Werkzeuge. Daher bedürfen sie dringend einer klaren Regulierung. Das haben die Ereignisse des letzten Jahres unmissverständlich gezeigt. Im November 2022 hat das U.S. Unternehmen Open AI den SprachBot ChatGPT in Version 3.5 frei zugänglich ins Netz gestellt, gegen den Wunsch der IT-Entwickler des Unternehmen und gegen den Rat ausgewiesener Experten.
Damit startete ein Feldversuch, an dem sich bislang etwa 100 Millionen Menschen als Beta-Tester beteiligen, um mit ihren Texteingaben (Prompts) die Funktionsweise der Software zu optimieren. Dieses Vorgehen vom Haupteigentümer (Microsoft hält 49% Anteile an Open AI) hat eine erstaunlich breite wissenschaftliche Kontroverse ausgelöst. Mehr als 33 Tausend Wissenschaftlerinnen und Wissenschaftler haben in einem Offenen Brief ein Moratorium (eine Denkpause) und einen Diskurs über die Folgen solcher Anwendungen gefordert.(1) In einem „Statement on AI Risk“ warnten weitere mehr als 1300 IT- und KI-Experten vor den Folgen dieser Technik und setzen die möglichen Gefahren von KI mit denen der Atombombe oder einer Pandemie gleich: „Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.“ (2)
Aber Open AI publiziert weiter, ab Version 4.0 kostenpflichtige Updates (30 US $ pro Nutzer und Monat). Microsoft integriert die KI-Tools bereits in seine Suchmaschine Bing und die Office-Programme, um die Nutzerinnen und Nutzer daran zu gewöhnen. Denn der entscheidende Unterschied von generativer zu bisheriger KI ist, das man auf eine Anfrage nicht mehr eine Liste von Adressen (Links) für die eigene Recherche bekommt, sondern (mehr oder weniger fertige) Antworten. Generative KI schreibt u.a. Hausarbeiten, Berichte, Gedichte und Computercode. Konkurrenten wie Google, Meta und Amazon ziehen notgedrungen mit eigenen Bots nach. Denn warum sollte man selber recherchieren, lesen, schreiben, wenn doch ein Bot „fertige Ergebnisse“ liefert? Faulheit und Bequemlichkeit sind Konstanten der menschlichen Geschichte.
Kybernetik als Steuerungstechnik und Simulation menschlicher Intelligenz
Dabei ist das, was künstliche Intelligenz genannt wird, gerade keine Intelligenz. Es ist Mess- und Regelungstechnik auf Basis von Daten bzw. automatisierter Datenverarbeitung. Das einfachste Modell ist ein Thermostat. Man gibt die Zieltemperatur ein und misst in regelmäßigen Abständen die tatsächliche Temperatur. Je nach Messergebnis wird das Ventil geöffnet, geschlossen oder es bleibt bis zur nächsten Messung und Auswertung in der aktuellen Position. Norbert Wiener publizierte 1948 die mathematische Verallgemeinerung dieser Steuerungskunst als Kybernetik (Cybernetics or Control and Communication in the Animal and the Machine, 1948). Seine Grundidee, die sich bis heute durch die Modelle und Anwendungen der automatisierten Datenverarbeitung zieht, ist die Annahmen, man könne auch Organismen und Sozialgemeinschaften als Maschinen und damit als Regelsysteme beschreiben und mit entsprechenden (mathematischen) Modellen steuern. (3)
Die Leistungsfähigkeit heutiger Systeme und die zugrunde liegenden Prinzipien erklären z.B. Helmut Linde (2023) oder Thomas van Bosch (2023).Heutige KI-Systeme sind durch schnellere Prozessoren im Vergleich zu den 1950er Jahren zwar um Potenzen leistungsfähiger, aber folgt dem gleichen Prinzip. Militärische und industrielle Anwendungen sind bis heute die Hauptanwendungen von KI. Dazu kommt der Einsatz im Consumersegment, zu dem das World Wide Web mit seinen Anwendungen zählt. Ob Suchmaschine oder Routenplaner, Social Media Plattform oder Streamingdienst: Im Hintergrund rechnen automatisierte Datenverarbeitungssysteme. Die mathematischen Grundlage sind Mustererkennung, Wahrscheinlichkeitsrechnung und Statistik. Ein weiterer Unterschied der generativen zur bisher benutzten KI ist, dass diese Systeme auf der Basis von riesigen Datenbeständen selbst Artefakte generieren (wie eine Collage oder ein Puzzle aus Einzelteilen zusammensetzen), die so aufgebaut sind, als hätte ein Mensch sie geschrieben oder gestaltet.
Die Frage ist, warum lässt sich der Mensch so leicht täuschen? Das gelingt, weil alle menschlichen Kommunikations- und Zeichensysteme (auch Programmiersprachen) regelbasiert, d.h. logisch und systematisch aufgebaut sind. Regelbasierte Systeme kann man mathematisch nachbilden und ebenso regelbasiert ablaufen lassen – wie ein Uhrwerk. Nur: Eine Uhr weiß nicht, wie spät es ist, egal, wie exakt sie läuft. Eine Uhr weiß nicht einmal,was Zeit ist! (4) Daher ist auch das Gerede von der „Herrschaft der Maschinen“ alleine menschlicher Phantasien geschuldet. Maschinen wollen weder Herrschaft noch Macht. Maschinen haben weder ein Bewusstsein noch einen Willen, weder Absichten noch Ziele. Generative KI simuliert menschliche geistige Arbeit. Es bleibt aber „Simulation menschlicher Intelligenz“ durch das Re-Kombinieren bekannter Bausteine (Token) und die statistische Berechnung nach bekannten Mustern und Wahrscheinlichkeiten (Hansch, 2023, N2).
Computer als Datenverarbeitungsmaschinen (bzw. Software und Apps als Arbeitsanweisung für Rechner) werden für konkrete Zwecke konstruiert und erfüllen ihre Funktion – oder sie müssen repariert bzw. korrigiert werden. Das ist keine Intelligenz, sondern realisierte technische oder elektronische Funktionalität. Die zweite, sich anschließende Frage ist daher: Wer hat Interesse daran, dass Menschen diese statistisch berechneten, algorithmisch generierten Simulationen von Text, Bild oder Code als adäquat zu menschlicher Arbeit und Kreation akzeptieren?
Der Homo faber und die Hybris des Konstrukteurs
Intelligent wäre, Maschinen für Aufgaben zu konstruieren, die Maschinen besser bearbeiten als Menschen. Das macht der Homo faber seit Anbeginn der Werkzeugnutzung und ist Teil dessen, was man Kultur und Technik nennt. Warum aber baut man Menschen als Maschine nach? Eine mögliche Erklärung wäre der Gebärneid der (meist männlichen) Ingenieure und Entwickler, die ihre Konstruktionen als maschinelle Lebewesen definieren, um sich selbst zum Schöpfer von „Leben“ zu stilisieren. Das ist im einfachsten Fall ein Kategorienfehler (Maschinen sind und werden keine Organismen). Es ist i.d.R. eine Form von Hybris. Versprochen wird von Vorbetern wie Ray Kurzweil (Transhumanismus) der Transfer des menschlichen Bewusstsein ins Netz und damit wieder einmal – Unsterblichkeit, jetzt als ins Netz transzendiertes Bewusstsein. Als Science fiction mag es faszinierend sein. Realistisch ist und wird es nicht.
Der Aspekt, der diese Systeme demokratiegefährdend macht und weswegen z.B. Barack Obama in seiner Stanfordrede 2022 deren Regulierung fordert, ist, dass mit den heutigen KI-Systemen nicht nur technische Systeme gesteuert werden, sondern Nutzer- und Konsumverhalten. Der Mensch an seinen digitalen Endgeräten ist sowohl Datenspender für die Datenbanken (Big Data) der Datenökonomie wie Adressat für digitale Angebote. Während die Steuerung von Maschinen und Prozessen die Aufgabe von Ingenieuren und Informatikern ist, verstößt die Steuerung von Menschen durch IT und KI gegen deren Persönlichkeits- und Selbstbestimmungsrecht. Das kritisiert Frau Zuboff mit dem Begriff „Überwachungskapitalismus“ (Zuboff 2018). Das nannte Frank Schirrmacher bereits 2015 technologischen Totalitarismus. Das nannte der damalige EU-Präsident Martin Schulz 2014 unmissverständlich inhuman: „Internetkonzerne und Geheimdienste wollen den determinierten Menschen.“ (Schulz, 2014)
Deshalb plant die EU ein europaweit geltendes Gesetz gegen die Überwachung von Arbeitnehmerinnen und Arbeitnehmern am Arbeitsplatz (workplace surveillance). Beschäftigte sollen vor dauerhafter Überwachung geschützt, der Einsatz von KI in Bewerbungsverfahren reguliert werden. Deswegen hat sich die EU im Dezember 2023 auf grundsätzliche Regeln für den Einsatz von KI geeinigt (beim Verfassen des Beitrags noch nicht verabschiedet), die u.a. festlegen sollen, dass die biometrische Massenüberwachung verhindert und KI zur Verhaltenskontrolle und Überwachungszwecken stark eingeschränkt wird. Verboten werde künftig u.a. die Anwendung von KI-Systemen zur Erkennung von Emotionen von Beschäftigten am Arbeitsplatz oder Schülern im Klassenzimmer sowie das ungezielte Sammeln von Bildern aus dem Internet. Untersagt werden zudem Social Scoring Systeme wie in China bereits im Einsatz, mit denen soziales Verhalten automatisiert belohnt, nicht konformes Verhalten sofort sanktioniert wird.
Noch wichtiger als der Schutz der Erwachsenen wäre allerdings der Schutz von Kindern und Jugendlichen, die durch den Einsatz von digitalen Endgeräte, Netzanwendungen und Learning Analytics in Schulen vollständig verdatet und profiliert werden (können). Die Daten von Minderjährigen sind besonders begehrt, da diese i.d.R. noch lange Arbeits- und Konsumbiographien haben. Kinder und Jugendliche sind zudem besonders digitalaffin, ohne über die Konsequenzen ihres Handelns in Digitalsystemen überhaupt reflektieren zu können. Daher ist beim Einsatz von Digitalsystemen die Fürsorgepflicht durch Eltern, Erziehende und Lehrkräfte gefragt. In den USA gibt es dafür seit 1998 den „Childrens Online Privacy Protection Act“ (COPPA), der das Speichern und Auswerten von Daten Minderjähriger unter 16 Jahren unter Strafe stellt. Eine entsprechende Regelung fehlt derzeit in der EU.
Begriffsklärung: Was bedeutet digital und digitalisieren? (5)
In Deutschland profiliert man sich derweil mit unreflektierten und verantwortungslosen Sprüchen wie „Digital first…“. (6) Dazu sollte man wissen, von was man spricht. Digit bedeutet Ziffer oder eine Stelle in der Anzeige eines elektronischen Geräts. Als Adjektiv bedeutet digital „in Ziffern dargestellt oder auf Digitaltechnik bzw. -verfahren beruhend“. Als Verb bedeutet „etwas zu digitalisieren“, beliebige „Information“ (noch ohne Kontext und Bedeutung) in ein technisches Signal zu transformieren, um es maschinenlesbar zu machen. Ob Text oder Bild, Mimik oder Gestik, Töne oder Raumtemperatur: Alles wird durch Sensoren, Kameras oder Mikrofone aufgezeichnet und zu Daten, Dateien und Datensätzen konvertiert. Diese Digitalisate werden nach der Logik von Datenverarbeitungssystemen, mit Hilfe entsprechender Programme und Algorithmen, verarbeitet.
Digitalisierung als technischer Prozess sagt nichts darüber, was mit diesen Daten passiert. Diese Aufgabe übernehmen Algorithmen. Es sind Handlungsanweisungen (Operationsbefehle), die vorgeben, wie Rechner bzw. Software Daten verarbeiten (sollen). Bei proprietärer (herstellerabhängiger) Software kennt nur das Unternehmen den Sourcecode und damit die konkrete Funktionalität. Bei Software nach den Regeln der Free and Open Source Software (FOSS) ist der Code öffentlich, kann gelesen und geändert werden. Als IT des 21. Jh. sollte daher ausschließlich Open Source Software zum Einsatz kommen, um prüfen zu können, was eine Software mit Daten macht. Das gilt vor allem für den Einsatz von IT im Kontext von Sozialsystemen (Arbeit, Bildung, Gesundheit). Hier bedeutet Digitalisierung, dass Daten über menschliches Verhalten, über die Psyche und Emotionen der Probanden aufgezeichnet, maschinenlesbar gemacht und automatisiert ausgewertet werden, um menschliches Verhalten zu steuern. (Stichwort OCEAN bzw. Fünf-Faktoren-Modell). Hier muss die Transparenz der Algorithmen immer zur Pflicht werden, da Entscheidungen über und für Menschen getroffen werden.
Digitale Transformation bezeichnet die Forderung der IT- und Wirtschaftsverbände, nach und nach alle menschlichen Lebensbereiche nach den Parametern und Anforderungen von Datenverarbeitungssystemen und der Datenökonomie umzustrukturieren, um sie der Logik von Aufzeichnung, Auswertung und algorithmisierter Berechenbarkeit anzupassen. Die Konsequenz, zumindest für die Datenökonomie: Es ist nur noch relevant, was als Daten erfasst (datafiziert) und digital gesteuert werden kann. Der Dreisatz der Digitaltechnik lautet: Automatisieren, Digitalisieren, Kontrollieren (Zuboff 1988). Nicht der Mensch mit seinen Bedürfnissen steht dabei im Mittelpunkt technischer Systeme, sondern die Effizienz und Optimierung der Datenverarbeitungssysteme. Das führt zum Begriff des schon zitierten Überwachungskapitalismus, den die US-amerikanische Wirtschaftswissenschaftlerin Shoshana Zuboff für die Datenökonomie der US-Konzerne und deren Agieren in Europa und weltweit geprägt hat (Zuboff 2018). In Schulen wird aus der Verbindung von Digitaltechnik und Learning Analytics zur Profilierung der Schülerinnen und Schüler Überwachungspädagogik (Burchardt, Lankau 2020).
Vom Werkzeug zur Überhöhung und Vergötterung
Der relativ neue Begriff Digitalität als Substantiv soll die digital codierte Verbindung zwischen Menschen, zwischen Menschen und Objekten und zwischen Objekten des „Internet of Things“ (IoT) umfassen. Statt der eher technischen Definition von Digitalisierung sollen mit dem Begriff der „Kultur der Digitalität“ (Stalder) soziale und kulturelle Praktiken beschrieben werden, ähnlich dem (ebenso ungenauen) „Digital Lifestyle“. Der Begriff intendiert die Akzeptanz der Allgegenwart und permanenten Interaktion von Menschen mit digitalen Endgeräten und netzbasierten Diensten. Wie bei Negropontes Definition von „Post-Digitalität“ von 1988 wird über Datenaufzeichnungs- und Datenverarbeitungssysteme im privaten wie im öffentlichen Raum, in der Kleidung und demnächst im eigenen Körper nicht mehr diskutiert, weil sie allgegenwärtig und als normal akzeptiert werden sollen. Die Rechner rücken dabei buchstäblich auf und in den menschlichen Leib (Damberger, 2023, S. 138f.). Kulturpolitisch wird mit dem Begriff der Digitalität die nächste Stufe des Technikdeterminismus als normatives Paradigma etabliert: Der Mensch ist nurmehr ein Element der Interaktionskette von Daten sendenden Objekten und Netzwerkdiensten.
Die letzte Stufe dieser Überhöhung der IT-Systeme findet sich beim israelischen Historiker Yuval Noah Harari. In seinem Buch „Homo Deus“ buchstabiert er die Fiktion aus Allgegenwart und Allmacht technischer Systeme aus. Der Menschen wird zum Datenspender degradiert:
„Menschen sind lediglich Instrumente, um das Internet der Dinge zu schaffen, das sich letztlich vom Planeten Erde aus auf die gesamte Galaxie und sogar das gesamte Universum ausbreiten könnte. Dieses kosmische Datenverarbeitungssystem wäre dann wie Gott.“ (Harari, 2017, S. 515)
Auf die Idee, Datenverarbeitungssysteme als neue Gottheit zu vermarkten, können nur Digital-Adventisten kommen. Fortschritts- und Technikgläubigkeit ist eine Basis für praktizierten Utilitarismus. (7) Das Synonym für die zunehmend vollständige Technisierung des Lebensraums mit dem Menschen als Datengenerator und Funktionselement ist „Smart“: Smart Home, Smart School, Smart City, Smart World. Smart steht dabei nicht für „schlau“, sondern für vollständig verdateter Realraum. Kameras, Mikrofone und Sensoren zeichnen das gesamte menschliches Verhalten und die Umgebung auf und generieren daraus virtuelle Räume wie bei Computerspielen oder Simulationen. Andere Akteure können als Avatare integriert werden. Interaktion zwischen den Figuren ist optional möglich. Die Grenzen zwischen Realraum und virtuellen Parallelwelten verwischt sich ebenso wie die Unterscheidung zwischen realen Personen und Avataren als Gegenüber. Geht es nach den Anbietern dieser Systeme, trifft man sich, spielt und kommuniziert im computergenerierten virtuellen 3D-Raum und weiß nicht (immer), wer eine reale Person, wer nur ein Avatar oder Fakeprofil ist. Das ist, als Immersion (Eintauchen) bezeichnet, sogar das Ziel. Reale und virtuelle Umgebungen verschmelzen.
Bei der erweiterten Realität (Augmented Reality, AR) bewegt man sich dabei noch im Realraum, bekommt aber auf eine (halb)transparente Brille künstliche Objekte eingeblendet. Wirklichkeit und Simulation vermischen sich. Bei Mixed Reality-Brillen kann man die Transparenz der Brille umschalten auf rein virtuelle Welten und ist dann komplett im comptergenerierten Raum, mit Kopfhörer auch akustisch komplett abgekoppelt. Marc Zuckerberg hat dafür den Begriff „Metaverse“ für seine Variante virtueller Räume adaptiert. Der Begriff Metaverse wurde von Virtual Reality-Fans bereits für Second Life adaptiert, ein Computerspiel von 2003. Eingeführt hatte den Begriff der Science-Fiction-Autor Neal Stephenson in seinem Roman „Snow Crash“ (1992), eine Dystopie. In den USA herrschen nach einer schweren Wirtschaftskrise hohe Arbeitslosigkeit, Armut und Gewalt. Die Menschen flüchten aus der perspektivlosen Realität in virtuelle Scheinwelten. Warum Zuckerberg eine Dystopie zu seiner Vorstellung von Zukunft erklärt, bleibt sein Geheimnis.
Man kann nun fatalistisch abwarten, ob die Zuckerbergschen Dystopie Realität wird oder was die von Elon Musk bereits angekündigte „X AI“ namens „Grok“ für Folgen hat. Grok soll ja nicht nur Antworten geben, sondern sogar „wissen“, welche Fragen zu stellen sind (Hanfeld 2023). Da Grok, so das Versprechen, auch tagesaktuell politische Ereignisse (allerdings nach dem libertären Verständnis von Elon Musk) kommentieren können soll, darf man gespannt sein, ob die bisherigen KI-Tools um eine weitere KI-Instanz zur Zerstörung demokratischer und humaner Strukturen erweitert werden. Hier sind stattdessen Forderungen formuliert, wie IT konzipiert werden muss, um das Benthamsche Panopticon aufzulösen statt sich darin einzurichten.
Fazit und Forderungen
- Daten-Ökonomie und digitaler Überwachungskapitalismus (Zuboff 2018) basieren auf immer mehr personenbezogen Daten der und des Einzelnen. Mobile Geräte und Kameras oder Sensoren im privaten wie im öffentlichen Raum (Internet of Things, IoT, Smart Home) ermöglichen es, den Menschen mit seinem Verhalten nahezu vollständig aufzuzeichnen und auszuwerten. Er wird zum unfreiwilligen Datenspender für die Datenanalyse und Datenökonomie der Big Five der IT-Monopole (Alphabet/Google, Amazon, Apple, Facebook/Meta, Microsoft).
- Der permanente Rückkanal für personenbezogene Daten etabliert unbemerkt und derzeit unkontrolliert ständig expandierende Aufzeichnungs- und Messstrukturen in allen Lebensbereichen. Daraus entstehen immer exaktere Bewegungs-, Verhaltens- und Persönlichkeitsprofile (digitaler Zwillinge). Diese Profile ermöglichen es, das Nutzerverhalten zu prognostizieren und Nutzer mit persuasiven (verhaltensändernden!) Technologien aus der Verhaltensforschung und Werbe-Psychologie in ihrem Verhalten, Werten und Wünschen zu beeinflussen.
- Freie, demokratische und soziale Gesellschaften bleiben aber nur dann freie, demokratische und soziale Gemeinschaften, wenn sie alternative IT- und Netzkonzepte entwickeln, anstatt libertäre, neoliberale und marktradikale Kontrollstrukturen aus den USA bzw. dem Silicon Valley zu übernehmen. Auch Infrastruktur- und Kommunikationssysteme unterliegen in Rechtsstaaten notwendig geltendem Recht, dass sich für Netzanwendungen und generative KI allerdings erst entwickeln muss. Mit dem Netzwerkdurchsetzungsgesetz, der europaweit gültigen Datenschutzgrundverordnung (EU-DSGVO), dem europäischen Urheberrecht, dem Digital Marcet Act (DMA), dem Digital Services Act (DSA) und dem EU AI Act (in Vorbereitung) sind erste Grundpfeiler eingeschlagen, um das vermeintlich „rechtsfreie“ Internet und Web zu zivilisieren.
- Statt permanenter Datenmaximierung nach der Logik der IT-Konzerne müssen Datenschutz, Datenvermeidung und Datenreduktion zu den obersten Geboten der Datenwirtschaft demokratischer Gesellschaften werden. Für das Web hat es Tim Berners.Lee bereits 2019 mit seinem „Contract for the Web“ und neun Prinzipien für Regierungen, Unternehmen und Bürger formuliert. (8) Eine zentrale Rechtsgrundlage muss die verpflichtende und vollständige Transparenz der eingesetzten Algorithmen werden (Gigerenzer 2018). Dazu zählen weitere Prämissen wie generelle Datensparsamkeit, Dezentralisierung der technischen Infrastruktur (statt Zentralisierung in Server-Farmen), freier Zugriff der Nutzer auf ihre und generelle Löschpflicht für alle nicht mehr benötigten Daten.
- Personenbezogene Daten dürfen nur mit ausdrücklicher Genehmigung der Nutzer genutzt und nur dann kommerzialisiert werden, wenn die Nutzer an den mit diesen Daten generierten Umsätzen beteiligt werden. Daten schutzbefohlener Minderjähriger (Kinder und Jugendliche bis 16 Jahre, siehe COPPA. (9) dürfen weder für die Profilierung noch zur Kommerzialisierung genutzt werden. Gleiches gilt für Gesundheitsdaten, die ausschließlich für wissenschaftliche Zwecke in klar definierten Umgebungen und für konkrete, nichtkommerzielle Forschungsfragen genutzt werden dürfen. Bei kommerziellen wissenschaftlichen Projekten müssen Datengeber a) explizit zustimmen und b) finanziell partizipieren.
- Digitaltechnik in Schulen wird nur lokal (Intranet, Edge Computing) zur Unterstützung der Lehrenden beim Unterrichten in den Präsenzlehrphasen und für Lernende bei Gruppenarbeiten bzw. in Selbstlernphasen eingesetzt. Dabei werden weder Schülerdaten gesammelt noch werden Lern- oder Persönlichkeitsprofile erstellt. Keine Daten gehen ins Netz, der Rückkanal für Daten wir gekappt (kein Learning Analytics bei Minderjährigen). In den Schulen werden alle notwendigen Endgeräte vom Schulträger gestellt. Private Endgeräte wie Smartphones sind nicht zulässig.
- Wenn wir das Web weiter nutzen wollen, müssen wir IT generell neu denken. Aus dem Versprechen eines freien Netzes und hierarchiefreier Kommunikation ist ein Überwachungs- und Konsuminstrument nach den Vorgaben und zum Nutzen weniger IT-Konzerne und staatlicher Überwachungsorgane geworden. Das kommerzielle Netz wird von Fake News, Spam und Gewalt dominiert, durch KI-Tools ersetzt immer mehr automatisiert produzierter Bullshit (Harry G. Frankfurt) den regulären Content und das Web wird (wie Suchmaschinen und KI; FAZ 2023) durch die Vermüllung mittelfristig unbrauchbar. (10) Die Utopie eines unreguliertes Netzes in eigener Verantwortung der Nutzer hat sich als nicht tragfähig erwiesen. Das World Wide Web muss, wie alle anderen Medien, reguliert werden. Die Plattformen müssen die Verantwortung für die bei ihnen publizierten Inhalte übernehmen wie Verlage oder Sendeanstalten.
- Eine freie und reflektierende Gesellschaft weiß, dass Daten immer nur der Ausgangspunkt und die Grundlage für Diskussionen und Entscheidungen sein können, alleine aber nicht aussagekräftig sind. Daher muss die Daten- wie die Digitalgläubigkeit überwunden, der interdisziplinäre Diskurs und die (nicht nur akademische) Kontoverse wieder in ihr Entscheidungsrecht eingesetzt werden.Wer datengläubig Maschinen entscheiden lässt, das künstliche Intelligenz nennt und nicht realisiert, dass es Steuerungsinstrumente der Datenökonomie sind, zerstört die Autonomie des Menschen und seine Handlungsfreiheit zugunsten eines Regimes autoritärer technischer Systeme bzw. deren Betreiber bzw. Besitzer.
- Technologische Systeme zur automatisierten (algorithmisch berechneten) Verhaltensmanipulation verstoßen gegen die Würde des Menschen, seine Grundrechte und das informationelle Selbstbestimmungsrecht. Sie sind in demokratischen und humanen Rechtsstaaten daher so zu regulieren, dass sie von den Nutzerinnen und Nutzern selbst reguliert werden können. Der Mensch muss IT und KI steuern können, nicht IT und KI den Menschen.
„Das Narrativ von künstlicher Intelligenz dient dazu, das Überwachungsgeschäftsmodell als Kern der Tech-Industrie zu festigen und auszuweiten.“ (Whittacker 2023; Hauck 2023) Weder das Benthamsche Panopticon in seiner heutigen Form noch das „Age of Surveillance Capitalism“ sind alternativlos oder notwendig. Erste Parameter für IT-Alternativen sind im zweiten Beitrag „Digitale Souveränität statt Konformismus“ formuliert. Man muss allerdings die eigene Trägheit überwinden und sich auf den Weg machen.
Anmerkungen
- „Pause Giant AI Experiments: An Open Letter. We call on all AI labs to immediately pause for at least 6 months the training of AI systems more powerful than GPT-4.; https://futureoflife.org/open-letter/pause-giant-ai-experiments/, publiziert am 22. März 2023
- „Die Minderung des Risikos des Aussterbens durch KI sollte neben anderen Risiken von gesellschaftlichem Ausmaß wie Pandemien und Atomkrieg eine globale Priorität sein.“ https://www.safe.ai/statement-on-ai-risk , publiziert am 30. Mai 2023
- Ganz geheuer schien selbst Wiener diese Gleichsetzung nicht zu sein. Daher publizierte er 1952 das Buch „The Human Use of Human Beings. Cybernetics and Society“ und forderte einen verantwortungsvollen, nicht autoritären Umgang mit kybernetischen Modellen. Dieses Buch wird heute kaum rezipiert, während Kybernetik die Basis der Geschäftsmodell der Datenökonomie wurde.
- Die nur philosophisch zu beantwortende Frage des menschlichen Zeitverständnisses muss hier unbeantwortet bleiben. Entscheidend ist aber die Überformung des Zeitempfinden des Menschen durch die Zeitmessung und Unterordnung unter den mechanischen, später elektronischen technischen Takt durch das Aufkommen der Uhr.
- Die folgende Begriffsklärung ist dem Beitrag Lankau 2023, S. 754f entnommen.
- Unreflektiert und verantwortunslos ist jede Form von Fortschritts- und Technikgläubkeit, die nicht über die Folgen des Technikeinsatzes für die menschliche Gemeinschaft und Umwelt reflektiert. Der dafür notwendige Begriff ist Technikfolgeabschätzung (TA) als Teilgebiet der Technikphilosophie und -soziologie. Die Frage nach den Folgen technischer Entwicklungen wird in den USA seit den 1960er Jahren, in Europa ab den 1970er Jahren diskutiert. Die Technikfolgenabschätzung befasst sich mit Entwicklungen in Wissenschaft und Technik und den möglichen sozialen und gesellschaftlichen Folgen sowie der Frage.ob bestimmte technische Entwicklungen (Wie Atombomben oder das Klonen von Menschen in demokratischen Staaten zulässig sind.
- Andere Vordenker der Digitalisten und Technizisten flüchten in pseudophilosophische Konstrukte wie den Solutionism (Es gibt für alles technische Lösungen.) oder Longtermism (Wir lösen die Problem der nächsten hunderttausend Jahre, können uns daher nicht im heutige Probleme kümmern). Oder: Wir besiedeln den Mars, da die Erde nicht mehr zu retten sie (Akzelerationisten wie Elon Musk oder Marc Andreessen ).
- Contract for the Web. A global plan of action to make our online world safe and empowering for everyone; 2019, https://contractfortheweb.org/
- Children’s Online Privacy Protection Act (COPPA), dt: „Gesetz zum Schutz der Privatsphäre von Kindern im Internet“) ist ein am 21. April 2000 in den USA verabschiedets Gsetz zum Schutz persönlichen Daten von Kindern unter 13 Jahren.
- Der Computerpionier Joseph Weizenbaum formulierte schon im Jahr 2000, das Internet ist ein riesiger Misthaufen, wenn auch mit ein paar Perlen darin (Merschmann 2000). Jedem, ders ich mit IT und KI beschäftigt sei das Biuch „Die Macht der Computer ist die Ohnmacht der Vernunft von Weizenbaum von 1976 empfohlen. Es ist ein beständiges Déjà-vu …
Literatur und Quellen
Andreessen, Marc (2023)Why AI Will Save the World; https://a16z.com/2023/06/06/ai-will-save-the-world/ (19.6.2023)
Altman, Sam; Brockman, Greg; Sutskever, Ilya (2023) Governance of superintelligence. Now is a good time to start thinking about the governance of superintelligence—future AI systems dramatically more capable than even AGI.23. Mai 2023, https://openai.com/blog/governance-of-superintelligence; (28.5.2023)
Armbruster, A.: Nicht jeder muss ein Informatiker sein, Interview mit Microsoft-Deutschland-Chefin Sabine Bendiek. In: FAZ vom 01.04.2019;
Böhme, Gottfried (2023) KI im Unterricht: ChatGPT bricht der Schule das Rückgrat, in: FAZ vom 14.6.2023
Brühl, Jannis (2023a). Ein Jahr Chat-GPT: Keine Hoffnung auf Luxuskommunismus, in: SZ vom 30.11.2023, S. 18
Brühl, Jannis (2023b) Wie ein Münchner KI-Professor gegen den Größenwahn der Branche kämpft, in: SZ vom 13.12.2ß23, S. 14
Burchardt, Matthias; Lankau, Ralf (2020) Aufruf zur Besinnung: Humane Bildung statt Metrik und Technik, in bildungsklick, 3.7.2020; https://bildungsklick.de/schule/detail/aufruf-zur-besinnung-humane-bildung-statt-metrik-und-technik (20.1.2023)
Damberger, Thomas (2023) Der mündige Cyborg, in: Lankau, Ralf (2023) Unterricht in Präsenz und Distanz, Weinheim: Beltz, S. 136-148
FAZ (2023) Fakeschleuder Suchmaschine, FAZ vom 29.12.2023, S. 9
Future of life-Institute (2023) Pause Giant AI Experiments: An Open Letter; https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Gigerenzer, Gerd; Rebitschek, Felix G.; Wagner, Gert G. (2018) Eine vermessene Gesellschaft braucht Transparenz, in: Wirtschaftsdienst 2018/12, S. 860-868; DOI: 10.1007/s10273-018-2378-4, (20.1.2023)
Hanfeld, Michael (2023) KI oder nicht KI, das ist die Frage, in: SZ vom 29.12.2023, S. 15
Hansch, Dieter (2023) Der ehrlichere Name wäre „Simulierte Intelligenz“, in: FAZ vom 1.3.23, S. N2
Harari, Noah Yuval (2017) Homo Deus. Eine Geschichte von Morgen, München: Beck
Hauck, Mirjam (2023) Eine von den Guten, in: SZ vom 7.(8. Juni 2023, S. 1 7)
Heise (2000) Weizenbaum: Das Internet ist ein riesiger Misthaufen. Vor einer Überschätzung des Internet hat der Computerkritiker Joseph Weizenbaum gewarnt (24.11.2000); https://www.heise.de/news/Weizenbaum-Das-Internet-ist-ein-riesiger-Misthaufen-30053.html (25.4.2023)
Jung, Helmut Martin (2023) Künstliche Intelligenz: KI-Pionier Geoffrey Hinton warnt vor seiner eigenen Technologie, in: SZ vom 2. Mai 2023; https://www.sueddeutsche.de/wirtschaft/geoffrey-hinton-kuenstliche-intelligenz-google-gefahr-1.5834241 (24.5.2023)
Kramer, Kira (2023) Faule KI, n: FAZ vom 14.12.23, S. 9
Lankau, Ralf (2023) Die ich rief, die Geister, werd ich nun nicht los … Lehrkunst, Digitalisierung und Virtualität oder: Über die Rückgewinnung der Autonomie über das eigene Denken und Handeln, in: Pädagogische Rundschau, Heft 056.2023, S. 751-768, https://doi.org/10.3726/PR062023.0067 (20.12.2023)
Lankau, Ralf (2019) Thesenpapier zu Autonomie des Menschen vs. autonome Systeme, https://vdw-ev.de/ralf-lankau-autonomie-des-menschen-vs-autonome-systeme/ (20. 12.2023)
Linde, Helmut(2023) Künstliche Intelligenz: So funktioniert ChatGPT, in Golem, veröffentlicht am 6.2.23; https://www.golem.de/news/kuenstliche-intelligenz-so-funktioniert-chatgpt-2302-171644.html, (20. 12.2023)
Merschmann, Helmut (2000) Interview mit Jospeh Weizenbaum, Joseph „Das Internet ist ein riesiger Misthaufen“, in: Breliner Zeitung vom 13. Juni 2000; https://www.berliner-zeitung.de/aber-einer-mit-perlen-darin-ein-gespraech-mit-dem-computer-wissenschaftler-joseph-weitzenbaum-das-internet-ist-ein-riesiger-muellhaufen-li.56751 (28.12.2023)
Negroponte, Nicholas (1998) Being Digital, Wired
Obama, Barack (2022) „Regulation has to be part of the answer’ to combating online disinformation, Barack Obama said at Stanford event, https://news.stanford.edu/2022/04/21/disinformation-weakening-democracy-barack-obama-said/, (20. 12.2023)
Schirrmacher, Frank (Hrsg.; 2015)Technologischer Totalitarismus
Schulz, Martin (2014) Internetkonzerne und Geheimdienste wollen den determinierten Menschen.FAZ vom 06.02.2014 und in Frank Schirrmacher (Hrsg.) Technologischer Totalitarismus, Berlin, S. 15f.
van Bosch, Thomas (2023) Form Eliza tot ChatGPT: The strormy development of language model; http://communities.surf.nl/en/artificial-intelligence/article/from-eliza-to-chatgpt-the-stormy-development-of-language-models (5.2.2023)
Whittaker, Meredith (2023) AI, Privacy, and the Surveillance Business Model, Vortrag auf der re:publica 2023: https://www.youtube.com/watch?v=x_vD1KUfhl8 (10.6.2023)
Zuboff, Shoshana (1988). In the Age of the Smart Machine. The Future of Work and Power, New York
Zuboff, Shoshana (2018). Zeitalter des Überwachungskapitalismus. Frankfurt