JavaScript ist in Ihrem Browser deaktiviert. Ohne JavaScript funktioniert die Website nicht korrekt.
Das Online-Magazin der Angestellten Schweiz

Den Algorithmen auf die Finger schauen

Algorithmen sind allgegenwärtig und entscheiden zum Beispiel darüber, in welcher Reihenfolge die Suchresultate auf Google erscheinen, aber auch über den Grad der Rückfallgefahr bei Gefängnisinsassen. Dass Algorithmen nicht zu mächtig werden, darüber wacht Algorithm Watch, mit einem Ableger auch in der Schweiz.

Algorithmen sind aus unserem Alltag nicht mehr wegzudenken. Auf den Social-Media-Kanälen entscheiden sie darüber, was im Newsfeed angezeigt wird – und was nicht. Im Navi im Auto schicken sie die Fahrer*innen auf eine Umfahrung, wenn auf der geplanten Route Stau herrscht. Sprechen Sie auf Ihrem Handy mit Siri oder zuhause mit dem Lautsprecher Alexa, sorgen die Algorithmen dafür, dass Sie auf Ihre Fragen überhaupt brauchbare Antworten erhalten.

Das ist alles äusserst praktisch – aber wie überall gibt es beim Gebrauch von Algorithmen auch Schattenseiten. Wenn Google Maps den Lastwagenfahrern Schleichwege durch die Quartiere empfiehlt, ist es für die Anwohner unangenehm. Wenn Jobportale Frauen tiefer qualifizierte und bezahlte Stellen anbieten als Männern, ist es diskriminierend. Wenn die Gesichtserkennung auf dem Smartphone bei dunkelhäufigen Menschen schlechter funktioniert als bei hellhäutigen, ebenso. Und wenn Regime die Gesichtserkennung via Überwachungskameras flächendeckend einsetzen, ist der Überwachungsstaat eine Tatsache.

Die Gefahr von Fehlleistungen und Missbrauch ist gross. Es braucht auch eine Überwachung und gezielte Steuerung des Einsatzes von Algorithmen, damit diese zum Wohl der Menschen eingesetzt werden und nicht gegen sie. Diesem Ziel hat sich die Organisation Algorithm Watch mit Hauptsitz in Berlin verschrieben. Seit letztem Herbst gibt es einen Ableger in der Schweiz. Unterstützt wird Algorithm Watch vom Migros Pionierfonds.

So gut oder schlecht, wie sie programmiert sind

Gemäss Wikipedia ist ein Algorithmus «eine eindeutige Handlungsvorschrift zur Lösung eines Problems oder einer Klasse von Problemen». Algorithmen bestehen aus einer Reihe von Anweisungen, die Schritt für Schritt ausgeführt werden, um eine Aufgabe zu lösen. Der Name geht auf den persischen Mathematiker Muhammad al-Chwarizmi zurück, der vor 1200 Jahren lebte und ein Lehrbuch über die indischen Ziffern verfasst hatte. Sein Name wurde zu «Algorismi» lateinisiert. Heute sind Algorithmen ein zentrales Thema der Informatik und Mathematik. Verwendung finden sie vor allem in Computerprogrammen.

Auch wenn Algorithmen selbständig etwas abarbeiten (können), darf man nicht vergessen, dass sie ein Produkt von Menschen sind. Sie sind so gut oder so schlecht, wie sie von Menschen programmiert sind.

In ihrem «Report Automating Society» von 2020 hat Algorithm Watch die problematischen Aspekte des Einsatzes von Algorithmen zusammengetragen und macht Vorschläge, wie verhindert werden kann, dass Algorithmen (Gruppen von) Menschen benachteiligen.

Weder neutral noch objektiv

Algorithmen werden mit bestimmten Absichten, Wertvorstellungen und einem bestimmten Menschenbild im Hintergrund programmiert. Diese Absichten und dieses Menschenbild widerspiegeln sich im Algorithmus. Die Absichten sind häufig kommerziell, können aber auch politisch sein. Das grosse Problem nun ist, dass die Anwender*innen des Algorithmus dies meistens ausblenden. Der Algorithmus scheint ihnen ein Werkzeug zu sein, das neutral oder objektiv entscheidet und sie übernehmen darum die Entscheidungen unhinterfragt. Wenn es sich um einen Restauranttipp von Siri handelt, ist dies nicht von grosser Tragweite. Wenn aber Algorithmen in letzter Instanz darüber entscheiden, wer frühzeitig aus der Haft entlassen wird und wer nicht, dann ist dies höchst problematisch. Solche Programme existieren und werden auch in der Schweiz eingesetzt (siehe Kasten) – wobei wir aber davon ausgehen, dass keine Behörde allein den Algorithmus entscheiden lässt.

Ein anderes Beispiel, das ethische Fragen aufwirft, kommt in polnischen Banken zu Einsatz. Es ist ein System, welches das Lächeln der Angestellten misst. Je mehr sie lächeln, desto höher fällt ihr Bonus aus.

Der Glaube, dass mit Technologie alles lösbar ist, heisst «Technischer Solutionismus». Algorithm Watch stellt sich auf den Standpunkt, dass dieser als «übergreifende ideologische Rechtfertigung» für den uneingeschränkten Einsatz von Algorithmen missbraucht wird.

In diversen Ländern wehrten sich Menschen mittlerweile erfolgreich vor Gericht gegen den Einsatz von automatischen Entscheidungssystemen (ADM, Automated Decision-making System). So in den Niederlanden gegen ein gemäss dem Automation Report «invasives und intransparentes automatisiertes System» zur Aufdeckung von Sozialbetrug.

Grosse Gefahr Gesichtserkennung

Als besonders besorgniserregend schätzt der Report die Gefahren bei der Gesichtserkennung ein. Die Technologie sei heute beinahe flächendeckend zu finden und breite sich rasend aus. (Noch im Bericht 2019 war sie lediglich ein Randthema.)

«Erschreckend» findet Nadja Braun Binder, Professorin für Öffentliches Recht an der Universität Basel, «Anwendungen wie die Gesichtserkennung im öffentlichen Raum, bei denen im Hintergrund gleich noch Datenbanken nach heiklen Informationen durchsucht werden». Dies sagt sie in einem Interview gegenüber dem Migros Pionierfonds. Sie stellt fest: «In einigen Ländern wie etwa China sind solche Systeme bereits im Einsatz, im Namen von Sicherheit und Prävention.» Was China damit anstellt, ist hinlänglich bekannt. Algorithm Watch plädiert dafür, Gesichtserkennung, die den Weg für eine Massenüberwachung ebnet, zu verbieten.

Den Algorithmen einen Rahmen setzen

Um die Menschen vor einem nachteiligen Einsatz von Algorithmen zu schützen, empfiehlt Algorithm Watch zu Handen der Entscheidungsträger*innen in der Politik eine Reihe von Massnahmen:

  • Transparenz von ADM-Systemen erhöhen: Die Betroffenen müssen wissen, wie, warum und zu welchem Zweck automatische Entscheidungssysteme zum Einsatz kommen.
  • Einen eindeutigen Rahmen für die Rechenschaftspflicht von ADM-Systemen schaffen: Wie Forschungsergebnisse zeigen, reichen gesetzlich verankerte Erfordernisse zur Transparenz nicht. Um für echte Transparenz zu sorgen, braucht es gemäss Algorithm Watch eine effektive Auditierung algorithmischer Systeme.
  • Algorithmische Kompetenzen verbessern und die öffentliche Debatte um ADM-Systeme stärken: Diejenigen, die mit den Systemen konfrontiert werden, etwa Aufsichtsbehörden oder Regierungen, müssen in der Lage sein, auf verantwortungsvolle und umsichtige Weise mit ihnen umzugehen. Die Öffentlichkeit ist von Anfang an einzubeziehen, wenn darüber entschieden wird, ADM-Systeme einzusetzen.

Entscheiden müssen immer Menschen

Professorin Nadja Braun Binder empfiehlt, Algorithmen nur unterstützend zu nutzen, und nicht «um Entscheide zu treffen – das sollte Menschen überlassen bleiben, auf Basis des vom Algorithmus bereitgestellten Materials». Diesen Grundsatz empfiehlt auch der Vordenker der Digitalisierung beim Deutschen Gewerkschafsbund, Welf Schröter. Er rät Arbeitnehmerorganisationen, bezüglich der Digitalisierung auf der Hut zu sein und vorausschauend zu handeln (vgl. dazu den Beitrag «Wappnen wir uns für die wahre Digitalisierung»).

Nadja Braun Binder glaubt, dass wir in der Schweiz bezüglich des Einsatzes von ADM-Systemen, sei es staatlich oder privat, «auf gutem Weg» sind. Der Staat setze solche Systeme bisher «nur zurückhaltend und nach ausgiebigen Abklärungen» ein. Die Professorin fordert aber eine erhöhte Wachsamkeit, «sobald es um eine Beurteilung von Menschen geht».

Der Automation Report kommt zum Schluss, dass die Herausforderungen der KI in der Schweiz «bereits weitgehend erkannt» sind und in verschiedenen Politikbereichen aufgenommen werden. Positiv vermerkt wird, dass der Bundesrat ein nationales Kompetenzzentrum für Datenwissenschaft angestossen hat. Geschaffen werden müssten noch gewisse gesetzliche Grundlagen. Gelingt es unserem Land, Stolpersteine und Fallgruben in Bezug auf den Einsatz von Algorithmen zu vermeiden, dann brauchen wir diese nicht zu fürchten.

Hansjörg Schmid

Mittwoch, 23. Jun 2021

Zurück zur Übersicht

Teilen:

Wo Algorithmen in der Schweiz in heiklen Bereichen eingesetzt werden

Der Report Automating Society führt für die Schweiz interessante Beispiele für den Einsatz von Automated Decision-making Systems (ADM, auf Deutsch: automatische Entscheidungssysteme) bei der Polizei und Justiz auf. Dass dies besonders heikle Bereiche sind, liegt auf der Hand.

  • Precobs versucht anhand von Daten aus der Vergangenheit Einbruchdiebstähle vorherzusagen, basierend auf der Annahme, dass Einbrecher häufig in kleinen Gebieten operieren.
  • Die Kantone Glarus, Luzern, Schaffhausen, Solothurn, Thurgau und Zürich nutzen das System Dyrias-Intimpartner, um die Wahrscheinlichkeit zu prognostizieren, mit der jemand einen gewalttätigen Übergriff auf sein Intimpartnerin verübt. Dieses wird bei Befragungen von verdächtigen Personen verwendet.
  • Seit 2018 nutzen die Justizbehörden aller deutschschweizer Kantone ROS. Das Tool stuft Gefangene in Bezug auf ihr Rückfallrisiko für ein Delikt in drei Kategorien ein. Ein Bericht von SRF enthüllte 2013, dass die Trefferquote zumindest der damaligen Version sehr schlecht war. Lediglich ein Viertel der in der gefährlichsten Kategorie (Risiko eines erneuten Gewaltverbrechens) Eingestuften beging ein weiteres Delikt.

Als positives und erfolgreiches Beispiel für den Einsatz eines ADM sei das Universitätsklinikum Genf erwähnt. Als erstes Krankenhaus der Welt nutzt es ADM, um Behandlungen von Krebspatient*innen vorzuschlagen.