Warum der polnische "AMS"-Algorithmus gescheitert ist
Im Mai 2014 hat das polnische Ministerium für Arbeit und Soziales einen Algorithmus vorgestellt, der bei der polnischen Arbeitslosenbehörde (ähnlich dem AMS) eingesetzt werden sollte, um effizienter mit Förderungen und Maßnahmen zum Arbeitswiedereinstieg umzugehen. Er ist in vielerlei Hinsicht sehr ähnlich. Ein Unterschied ist allerdings, dass das Ganze vor der DSGVO eingesetzt wurde, weshalb Datenschutz nur eine kleine Rolle bei der Anfechtung des Algorithmus gespielt hat. Diskriminierung und das fehlende Recht auf Änderung der Kategorie, in die man fällt, waren allerdings ein großes Thema, genauso wie die Intransparenz mit der diese Kategorisierung stattfindet. Der oder die Arbeitslose wussten zu dem Zeitpunkt nicht, wie sich die Antworten auf diverse Fragen der Betreuer*innen auf ihr Profiling auswirken.
Ähnlich wie in Österreich hat der Algorithmus alle Menschen, die als arbeitslos gemeldet waren, in drei Kategorien unterteilt. Sehr ähnlich ist auch die Einteilung: der Algorithmus teilt die Menschen nach deren „Bereitschaft zur Arbeitsaufnahme“ und deren Qualifikation ein und damit einhergehend bestimmt er, welche Förderungen diese Menschen bekommen. Das dortige Arbeitsamt bzw. das Ministerium hat damit argumentiert, dass es nur eine Unterstützung zur Entscheidungsfindung bezüglich Fördermaßnahmen sein soll. Unsere polnische Schwesternorganisation Fundacja Panoptykon hat natürlich wissen wollen, nach welchen Kriterien der Algorithmus die Personen einteilt.
Die Gruppenaufteilung erfolgte folgendermaßen:
- Gruppe 1: nicht mehr als 22 Minuspunkte (nur ca. 2% aller Arbeitslosen). Das sind jene Arbeitslose, die mit sehr großer Wahrscheinlichkeit sehr schnell wieder eine Arbeit findet, ohne dass das Amt viel dazu beitragen muss.
- Gruppe 2: zwischen 23 und 59 Minuspunkten (ca. 65%). In dieser Gruppe befinden sich jene Arbeitslose, die die meisten Förderungen und Maßnahmen zur Arbeitsaufnahme erhalten.
- Gruppe 3: alles über 59 Minuspunkten (ca. 33%). Diese Gruppe bekommt aufgrund ihrer geringen Chance, eine Arbeit zu finden, nur wenige oder ausgelagerte Fördermaßnahmen (von Drittanbietern, wenn überhaupt).
Personen, die die größte Hilfe bei der Arbeitssuche bräuchten, wurden vom Algorithmus quasi als „hilfsunwürdig" eingestuft.
Die Kritikpunkte vor dem Verfassungsgericht
Bemängelt hat Panoptykon mehrere Punkte am Algorithmus, darunter:
- Fehlende Transparenz: die Kriterien sind nicht offengelegt und können sich jederzeit ändern
- Der Algorithmus basiert auf der Annahme, dass ein Algorithmus eine objektivere Entscheidung als ein Mensch treffen kann. Diese Vereinfachung bzw. vermeintliche Objektivierung vermisst aber realitätsnahe Zugänge (es können nicht alle „menschlichen“ Kriterien berücksichtigt werden).
- Arbeitslose hätten keinerlei Möglichkeit, das Profil berichtigen zu lassen. Auch die Löschung der Daten, die als Basis für den Algorithmus dienen, würden zu keiner Berichtigung bzw. Änderung des Status führen.
Argumentiert wurde eben - wie oben schon erwähnt - vom Ministerium, dass der Algorithmus nur als Entscheidungshilfe dienen sollen. Untersuchungen haben aber gezeigt, dass nur 0,58% der algorithmischen Entscheidungen von menschlichen Bearbeiter*innen beanstandet bzw. korrigiert wurden. Da diese Studie aber erst später durchgeführt wurde, war das Diskriminierungsargument vor dem Verfassungsgericht kein gutes und es wurde darauf verzichtet es einer Prüfung zu unterziehen. Jurist*innen argumentierten, dass das nicht durchgehen wird, da am Ende ohnehin ein Mensch die Entscheidung fällen muss, in welche Kategorie ein Mensch tatsächlich fällt.
Panoptykon hat die polnische Volksanwaltschaft dazu gebracht, die drei oben genannten Kritikpunkte vor dem Verfassungsgericht anzuführen. Neben vielen anderen Kritikpunkten erschienen ihm diese als am aussichtsreichsten, um den Algorithmus zu kippen.
Anfang Juni 2018 hat das polnische Verfassungsgericht einen Teil der Bestimmungen aufgehoben, mit denen Arbeitslose algorithmisch und automatisiert profiliert werden sollten. Das Gericht gab der polnischen Regierung 12 Monate Zeit, um das Gesetz grundrechtskonform zu gestalten. Da das nicht zur Zufriedenheit des Verfassungsgerichts passiert ist, wurde der Algorithmus schlussendlich völlig eingestellt.
Kampf um Transparenz
Zwei Jahre zuvor, also 2016, hat Panoptykon versucht herauszufinden, nach und mit welchen Kriterien der Algorithmus arbeitet. Da das zuständige Ministerium keine Antwort erteilt hat, hat Panoptykon eine Beschwerde beim Warschauer Landesverwaltungsgericht eingelegt. Das Gericht hat entschieden, dass es sich um eine Information von öffentlichem Interesse handelt und die Behörde entweder eine Auskunft erteilen oder aber einen triftigen Grund angeben muss, diese nicht erteilen zu wollen (oder können).
Die Behörde hat Panoptykon dann die Liste der Kriterien geschickt, anhand derer Arbeitslose zu klassifizieren sind und hat auf eine Berufung verzichtet. Es handelt sich um 24 Datenpunkte, wobei acht davon bereits bei der Registrierung als Arbeitslose*r gesammelt werden (Alter, Geschlecht, etc.) Frauen bekommen beispielsweise einen Minuspunkt, Männer keinen. Je mehr Minuspunkte, desto schlechter die Bewertung. Der Rest der Antworten wird von den Betreuer*innen mündlich erfragt und ins System eingetragen. Viele Lebensumstände werden aber gar nicht berücksichtigt (z.B. Obdachlosigkeit oder Diskriminierung aufgrund der Zugehörigkeit zu einer bestimmten Ethnie). Dieser Umstand hat allerdings auch die positive Seite, dass diese Daten eben nicht gesammelt werden - das ist aber nur ein kleiner Pluspunkt in Anbetracht der negativen Auswirkungen.
Learnings vom polnischen Algorithmus
- Das Argument, dass am Ende ein Mensch entscheide und der Algorithmus nur eine Hilfsstellung sei, ist aufgrund der kleinen Berichtigungsquote ein sehr schlechtes. Menschen vertrauen auf Entscheidungen von Computern, weil diese vermeintlich objektiv sind.
- Ein Drittel aller Arbeitslosen hat schlechte oder gar keine Unterstützung bekommen.
- Viele Menschen können diese Kategorisierung nicht erfassen bzw. sind sich nicht darüber im Klaren, was da passiert und können somit auch keinen Einspruch einlegen, wenn sie nicht ausreichend darüber informiert werden. Transparenz ist das A und O.
- Die Manifestation von real-life Diskriminierungen in einen Algorithmus verbessert die Situation von ohnehin schon schlechter gestellten Menschen selten.
Wir brauchen deine Hilfe
Um uns ein besseres Bild von der österreichischen Variante des Algorithmus zu machen, suchen wir nach Menschen, die in die Kategorie C fallen und bereits Erfahrungen mit ausgelagerten Fördermaßnahmen haben. Wir behandeln deine Informationen vertraulich, dein Name wird nie ohne deine vorherige Zustimmung irgendwo erscheinen! Unter "Kontakt" findest du unsere E-Mail-Adresse, mit der du dich - gerne auch verschlüsselt - an uns wenden kannst.
Links:
Da du hier bist!
… haben wir eine Bitte an dich. Für Artikel wie diesen analysieren wir Gesetzestexte, bewerten Regierungsdokumente oder lesen Allgemeine Geschäftsbedingungen (wirklich!). Wir sorgen dafür, dass möglichst viele Menschen sich mit komplizierten juristischen und technischen Inhalten befassen und auch verstehen, dass sie große Auswirkungen auf unser Leben haben. Diese Arbeit machen wir aus der festen Überzeugung, dass wir gemeinsam stärker sind als alle Lobbyisten, Machthabende und Konzerne. Dafür brauchen wir deine Unterstützung. Hilf uns, eine starke Stimme für die Zivilgesellschaft zu sein!
Jetzt Fördermitglied werden