Marc Schuilenburg und Rik Peeters (Hrsg.): The Algorithmic Society. Technology, Power, and Knowledge. 2020, London: Routledge.
von Eike Bone-Winkel, Rostock
„Algorithmen sind gekommen, um zu bleiben.“ Der vorliegende Sammelband beschäftigt sich mit den Mechanismen und den sozialen Auswirkungen algorithmischen Regierens aus dem Blickwinkel der kommunalen Verwaltung, Strafjustiz und der „Smart City“. Algorithmen, die die Kriminalität vorhersagen, öffentliche Dienstleistungen anbieten oder Rückfallraten in der Strafjustiz berechnen wollen, werden in verschiedenen Beiträgen behandelt, um ein Verständnis darüber zu erzeugen, wie Algorithmen und Macht zusammenhängen. Die Idee, dass Algorithmen unser Leben besser und fairer gestalten, darf nicht davor täuschen, dass diese durch Programmierungen oder den verwendeten Daten genauso mit Vorurteilen und Fehleinschätzungen behaftet sein können. Studien zeigen, dass Menschen oder Gruppen, die in den Daten historisch überrepräsentiert sind, z.B. aufgrund ihres Gehalts oder krimineller Vergangenheit einen höheren Risiko-Wert erhalten können.
Algorithmen scheinen zunehmend „die“ Lösung für komplexe Herausforderungen etwa in der Sicherheit, des Gesundheits- oder des Umweltschutzes oder der Verwaltung zu sein. Ihr wachsender Einfluss wird dabei immer größer. Ihre Verwendung erweitert nicht nur die Möglichkeiten der gegenwärtigen Kontrolle und Überwachung, sondern führt auch zu einer Verschiebung von Macht. Denn je komplexer Algorithmen werden, umso weniger Menschen haben Zugang zu diesen. Dabei ist es weniger wichtig, zu fragen, was Algorithmen sind, sondern eher: Wie funktionieren sie? In welcher Umgebung? Wie wirken sie sich auf unser Verhalten aus? Wie werden sie von Regierenden genutzt, um zu regieren?
In „Governing by algorithms and algorithmic governmentality“ beschreibt Paul Henman in einer anschaulichen Alltagsroutine, welche (durch vielfältige Interessengruppen geleitete) Algorithmen uns bereits jetzt im Alltag begegnen und wie diese in der Zukunft noch ausgebaut werden könnten. Der Verfasser stellt die These auf, dass es ausgeprägte algorithmische Regierungsformen bereits gibt. Hierzu entwirft er einen Überblick über das von Foucault formulierte und in nachfolgenden „Regierungsstudien“ mobilisierte Konzept der Regierungsgewalt, um daran anknüpfend Algorithmen als eine bestimmte digitalisierte Form des Wissens und vorausschauende Art der Steuerung darzustellen. Dabei stellt er fest, dass das technologische Regieren durch die Anwender immer als neutraler Prozess angesehen wird, und Computercodes eine algorithmische Regierungsform darstellen, die komplexes Wissen und Prozesse auf Nullen und Einsen reduzieren und somit das qualitative und organische Denken beseitigt. Als Beleg führt der Autor einige interessante Fälle an, die zeigen wie Algorithmen digitalisierte Wissensformen schaffen, die die Realitäten überlagern und verdrängen und somit eine immer feinere Differenzierung der Gesellschaft vornehmen.
Im nächsten Beitrag betrachtet Cary Coglianese nicht nur die Vorteile des algorithmischen Regierens, sondern nimmt ebenfalls Bezug auf eine Reihe von Bedenken über maschinelles Lernen. Diese, so der Verfasser, haben nicht originär mit der Technologie selbst zu tun, sondern viel mehr mit menschlichen Entscheidungen, wie diese zu entwickeln und einzusetzen sind. Algorithmen haben ihre Vorzüge. Sie sind in Bezug auf Geschwindigkeit und Genauigkeit besser als Menschen und führen zu intelligenteren und schnelleren Entscheidungen. Jedoch hängt ihre Akzeptanz stark von den Konsequenzen für die Betroffenen ab. Wenn Algorithmen im Geheimen entworfen würden und die Öffentlichkeit nicht weiß, wofür sie verwendet werden oder wie sie aufgebaut sind, wäre dies ein ernsthaftes Problem. So fragt der Autor zu Recht: Haben nicht alle Bürger:innen das Recht auf menschliche Regeln und Entscheidungen?
Trotz einiger positiver Anwendungen verliert der Verfasser nicht aus dem Auge, dass ein Algorithmus durchaus die mit Vorurteilen und Verzerrungen behafteten Daten wiederspiegeln kann, und somit das Ziel sein muss, diesen Konflikt zu lösen. Auch die Frage des Datenschutzes beim Austausch von Informationen zwischen privaten und staatlichen Institutionen wird kritisch beleuchtet, ebenso die Gefahren des Machtmissbrauchs durch algorithmisches Regieren. Diese gehen letztendlich von denen aus, die die Algorithmen programmieren und nicht von den Algorithmen selbst, so Coglianese.
Im Beitrag „Responsible and accountable algorithmization…“ der Autoren Albert Meijer und Stephan Grimmelikhuijsen geht es zunächst um das nötige Vertrauen, und dass Algorithmen die Privatsphäre verletzen, Vorurteile verstärken und sogar zu Diskriminierung führen können. Für eine verbesserte Akzeptanz sind zwei gleichzeitig vorherrschende Bedingungen notwendig: responsibility und accountability. Wie diese umgesetzt werden könnten, zeigen beide Autoren anhand praktischer Fragestellungen, die helfen können vertrauensvolle Algorithmen zu entwickeln und einzusetzen. Das algorithmische Regieren hängt dabei nicht nur von der Art der Technologie ab, sondern auch von denjenigen, die die Algorithmen verwenden, von den Informationen, die der Algorithmus nutzt, von der Kontrolle über diesen und von den Richtlinien der Organisationen, die diesen entwickelt haben.
Arjan Widlak, Marlies van Eck und Rik Peeters beschreiben in ihrem Beitrag zunächst Normen und Grundlagen einer gelungenen Bürokratie, die genauso für automatisierte Entscheidungen gelten müssen, angefangen von Diskretion, Gleichbehandlung und Fairness bis hin zur Transparenz. Die Autoren erarbeiten hierfür drei für eine gelungene Bürokratie geltende Grundsätze: der ordnungsgemäße Prozess, die Verantwortung und die Verhältnismäßigkeit. Wie Entscheidungen für den Bürger durch Automatisierung negativ beeinflusst werden, belegen die Verfasser anhand von drei passenden Beispielen, die den Beitrag sinnvoll abrunden.
Der zweite Abschnitt zur algorithmischen Strafjustiz wird von den Autoren Ávila, Hannah-Moffat und Maurutto eröffnet. Sie beschreiben die Unterschiede zwischen der „traditionellen“ (durch eine gemeinsame Logik und Struktur gekennzeichneten) und der durch Computer- und Statistikexperten geprägten „machine learning“ Risikoanalyse. Dabei gehen die Verfasser:innen davon aus, dass die versprochenen Vorteile letztgenannter (vorurteilsfrei, fair und objektiv genau) gegenüber den klassischen Methoden wohl nicht haltbar sind. Dies belegen sie durch den Vergleich beider Methoden und kommen zu dem Schluss, dass die Kritik an den traditionellen Risikoanalysen zur Re-/Produktion von Rassismus, Diskriminierung und Sexismus in den algorithmenbasierten Methoden fortwirkt. Hinzu kommen weitere Probleme, wie etwa die Vermischung von Kausalität und Korrelation, oder aber das Problem der „black box“ durch privatwirtschaftliche Copyright- oder Patentschutzbestimmungen.
In „Rethinking predictive policing“ stellt Rosamunde van Brakel die Frage, unter welchen Bedingungen neue algorithmische Systeme polizeiliche Praktiken im demokratischen Sinne verändern können. Zur Beantwortung dieser Frage beschreibt die Verfasserin, was demokratische Überwachung bedeutet, wie Predictive Policing derzeit genutzt wird und was es braucht, um diese Technologie in einem demokratischen Wege neu zu denken. Insbesondere für zukünftige Softwareprodukte werden einige wichtige Aspekte aufgezeigt, die anschließende Debatten bereichern könnten. Der Beitrag sollte daher als Angebot an sämtliche staatliche Nutzer von Predictive Policing angesehen werden.
Gwen van Eijk führt die Leser in ihrem Beitrag „Algorithmic reasoning – The production of subjectivity through data“ in die algorithmenbasierte Risikobewertung von Strafgefangenen und das Problem der Berechnung des zukünftigen Verhaltens eines Individuums aufgrund der (oftmals verzerrten) aggregierten Datenlage von Anderen ein, die dann auch noch häufig zu Ungunsten von marginalisierten Gruppen stattfindet. Die Auswirkungen auf die Betroffenen durch einige zwiespältige Forderungen aus der Risikoberechnung sind lesenswert und logisch herausgestellt. Um die maschinelle Risikobewertung als fair und konstruktiv ansehen, sollten, so die Verfasserin, die Erfahrungen von betroffenen Einzelpersonen einbezogen werden.
Smart Cities sind innerhalb von zwei Jahrzehnten mit dem Versprechen Effizienz, Entscheidungen und Sicherheit zu verbessern und dabei neutral, rational und objektiv zu sein zu einem globalen Narrativ geworden, so die Autoren Schuilenburg und Pali in„Smart city imaginaries“. Unter Nutzung und Analyse einer Unmenge von Daten werden Smart Cities in bereits bestehende Formen von Städten integriert und weniger von Grund auf neu gedacht. So werden Straßen, Stadtteile oder gar der Universitätscampus zu Testräumen deklariert, die kaum ethischen Regeln folgen. Es dominieren technologische Interessen. Die Verfasser beschäftigen sich daher mit den sozialen Vorstellungen einer smarten Stadt unter ökonomischen, demokratischen und sicherheitsspezifischen Aspekten, kommen aber zu dem Ergebnis, dass die technologischen Lösungen derzeit in einem neoliberalen Markt eingebunden sind und nur dessen Regeln folgen.
Das Gefühl und die Atmosphäre einer Stadt sind identitätsstiftender, verglichen mit anderen Dingen wie Gebäuden, der Industrie oder öffentlicher Plätze. Deshalb versuchen, so Michael McGuire in „Sense in the (smart) city“, eine Vielzahl von staatlichen Institutionen durch sensorische Kontrolle mittels Algorithmen soziales Verhalten und Stimmungen zu steuern und zu verändern. Einige interessante Beispiele, die gleichzeitig innovativ und ein wenig verstörend wirken, werden durch den Verfasser betrachtet. So gibt es etwa in Singapur in neueren Fahrstühlen einen Urin-Detektor, der bei Uringeruch einen Alarm auslöst und automatisch die Türen schließt, bis die Polizei eintrifft. Was eine dauerhafte Informationsflut für die Sinne bedeuten kann, und warum die smarte Stadt eine perfekte Voraussetzung für „hyperpersonalisierte“ Angebote und Dienstleistungen ist, wird durch McGuire lesenswert ausgearbeitet.
„Five smart city futures“ heißt der nächste Beitrag von Keith Hayward, der den Leser in eine dystopische Zukunft der Stadt mitnimmt, die nur von privaten und wirtschaftspolitischen Protagonisten zum „Guten“ gewendet werden kann. Dabei scheint diese bei genauer Betrachtung nur ein „nackter König“ zu sein, ein kommerzielles Konstrukt, geschaffen, um Unternehmensvisionen zu verkaufen. So teilen sich seit Dekaden die beiden größten Konkurrenten IBM und Cisco den Markt mit durchweg positiv konnotierten Begriffen auf. Wie schnell einfachste Manipulationen die Algorithmen zu Missinterpretationen führen können, zeigen Experimente, u.a. durch simple Aufkleber auf Verkehrszeichen beim automatisierten Fahren oder durch individuelle Schutzmaßnahmen der Bevölkerung gegen Überwachungstechnologien.
Das Kapitel schließt mit dem Beitrag „Understanding the algorithmic society“ der Herausgeber Schuilenburg und Peeters, die noch einmal aufzeigen, wo überall bereits Algorithmen wirken und wie sie in Zukunft aussehen könnten. Basierend auf den vergangenen Beiträgen halten sie fünf Kernaussagen hinsichtlich der Auswirkungen von Algorithmen in der Gesellschaft fest, die sich disziplinübergreifend ausmachen lassen, um schlussendlich mittels Richtlinien aufzuzeigen, wie staatliche Behörden in einer algorithmischen Gesellschaft aussehen könnten.
Der Sammelband beinhaltet breit gefächerte, aber durchaus neue Erkenntnisse. Dabei ist die Balance zwischen Wissensvermittlung und Beitragslänge gelungen, so dass Beiträge, die zunächst nicht dem individuellen Interesse entsprechen, mit einigen überraschenden Feststellungen aufwarten. Dabei bestehen kaum noch Zweifel, dass die Automatisierung von Entscheidungsprozessen in naher Zukunft auf weitere öffentliche Bereiche und staatliche Praktiken ausgeweitet wird, so dass dieser Sammelband nur ein Teil von vielen weiteren sein dürfte.