Info

Learning a little every day

Posts tagged algoritmes

Choose another tag?

NRC:

De overheid moet stoppen met het gebruik van Systeem Risico Indicatie (SyRI) om fraude op te sporen. Het systeem is in strijd met het Europese Verdrag voor de Rechten van de Mens (EVRM) en privacywetgeving. Dat heeft de rechtbank in Den Haag woensdag bepaald in een principiële rechtszaak over het gebruik van data van burgers door de overheid.

De inzet van het fraudebestrijdingssysteem werd aangevochten door een ‘privacycoalitie’ die zeker niet tegen fraudebestrijding was. Maar die de manier waarop dit met SyRI werd gedaan buitenproportioneel vond.

Want SyRI ging vrij ver. Hoe ver? Arnoud Engelfriet legt het uit:

SyRI is bedoeld voor gemeenten om fraude met sociale voorzieningen op te sporen. Dat gebeurt door gegevens van burgers uit allerlei overheidsdatabases te koppelen. Via een algoritme komen vervolgens risicoprofielen en personen met een verhoogd risico op fraude naar voren. Grof gezegd: als in het weekend je waterverbruik hoger is dan normaal en je staat als alleenstaand bekend, dan ben je een mogelijke fraudeur, pardon een risico want kennelijk woont je partner in het weekend bij jou. Dus dan krijg je een onderzoek en moet je aantonen dat je in het weekend gewoon graag in bad gaat. (Let op dat jij de bewijslast hebt want jij moet alle relevante feiten melden, dus ook bewijzen dat je alles hebt gemeld. Ja dit is raar.)

Daarbij werden heel veel gegevens verzameld en gekoppeld, waarbij niet transparant was hoe die data werd vertaald naar risicoprofielen. En dat was in strijd met met artikel 8 lid 2 van het Europees Verdrag van de Rechten voor de Mens. Tweakers:

Daarin staat dat er ‘een redelijke verhouding’ moet zijn tussen het maatschappelijk belang van een wet en de inbreuk op iemands privéleven. “De wetgeving is wat betreft de inzet van SyRI onvoldoende inzichtelijk en controleerbaar. De wetgeving is onrechtmatig want in strijd met hoger recht en dus onverbindend”, staat in het vonnis. SyRI bevat te weinig waarborgen waarmee het privéleven van de burgers wordt beschermd en is daarmee buitenproportioneel voor het doel om fraude tegen te gaan. Zo wordt er te weinig gedacht aan dataminimalisatie en is er geen onafhankelijke toetsing van een derde partij om naar de proportionaliteit en de inzet te kijken.

Het systeem is dus onvoldoende uitgedacht, niet proportioneel, er is geen controle en je kunt automatische risico-beoordelingen niet aanvechten. Maar erger nog, het werkt niet. Ton Zylstra:

SyRI is sinds 2015 toegepast in Eindhoven (G.A.L.O.P. II), de Afrikaanderwijk te Rotterdam, Capelle aan den IJssel, Rotterdam Bloemhof & Hillesluis en Haarlem Schalkwijk. Altijd in sociaal zwakkere wijken. En in contrast met alle verhalen over cutting edge dingen die je met big data en algoritmen kunt doen, werkt SyRi geheel niet. Het vonnis gaat daar verder niet op in, want het was geen onderdeel van de zaak. De Volkskrant achterhaalde vorig jaar echter dat er nog géén énkel fraudegeval is opgespoord sinds SyRI in 2014 wettelijk mogelijk werd.

Terwijl men toch als eerste de mogelijke baten en verwachtte kosten had moeten inschatten.

Hopelijk zal hierdoor het heersende paradigma dat data goud waard is, en meer data overal en altijd beter, langzamerhand een beetje terrein verliezen. Want data meestal niet het grootste probleem…

Frank Pasquale:

Over the past decade, algorithmic accountability has become an important concern for social scientists, computer scientists, journalists, and lawyers. Exposés have sparked vibrant debates about algorithmic sentencing. Researchers have exposed tech giants showing women ads for lower-paying jobs, discriminating against the aged, deploying deceptive dark patterns to trick consumers into buying things, and manipulating users toward rabbit holes of extremist content. Public-spirited regulators have begun to address algorithmic transparency and online fairness, building on the work of legal scholars who have called for technological due process, platform neutrality, and nondiscrimination principles.

Door deze eerste golf van wetenschappelijk onderzoek (en activisme) is er breder maatschappelijk bewustzijn ontstaan, wat langzamerhand begint te leiden tot regelgeving. Mede doordat:

many members of the corporate and governmental establishment now acknowledge that data can be biased, inaccurate, or inappropriate. 

Pasquale legt uit dat de eerste golf van onderzoek pas het begin was. Daarin lag de focus op het verbeteren van bestaande systemen. Met de tweede golf wordt onderzocht of dergelijke systemen eigenlijk moeten bestaan:

For example, when it comes to facial recognition, first-wave researchers have demonstrated that all too many of these systems cannot identify minorities’ faces well. These researchers have tended to focus on making facial recognition more inclusive, ensuring that it will have a success rate as high for minorities as it is for the majority population. However, several second-wave researchers and advocates have asked: if these systems are often used for oppression or social stratification, should inclusion really be the goal? Isn’t it better to ban them, or at least ensure they are only licensed for socially productive uses?

En dat zijn dé vragen.