Heb jij ook last van Algoritme Angst?

    Doe jij in apps of online bepaalde dingen niet meer, of juist wel, vanwege algoritmes? Bram Koster wel, en op Twitter vroeg hij of meer mensen dat hadden.

    Voorzichtig met algoritmes

    Op Spotify speelt hij niet zomaar bepaalde muziekgenres af om te voorkomen dat z’n Discover Weekly vernacheld wordt. En in Instagram’s Explore tab klikt hij nergens meer uit angst dat hij alleen nog maar meer van hetzelfde te zien krijgt.

    Christiaan Lustig gaat iets verder. Hij probeert te voorkomen dat platformen veel data over hem verzamelen door:

    • zijn tijd op sociale platformen te beperken;
    • na gebruik direct uit te loggen; en
    • bewust alternatieven te gebruiken (zoals DuckDuckGo in plaats van Google’s zoekmachine)

    Algoritme-beïnvloeding

    Zelf probeer ik algoritmes een beetje te sturen door bepaalde data expliciet aan te leveren, en andere data zoveel mogelijk buiten de ecosystemen van de grote tech-bedrijven te houden.
    • Sociale platformen gebruik ik ook beperkt. Daarbij vermijd ik zoveel mogelijk de officiële apps. Op mobiel als laptop log ik ook alleen in met een tweede browser. Zodat tracking pixels me niet zomaar kunnen koppelen aan een account.
    • Waar mogelijk gebruik ik ook alternatieven voor de grote platformen. E-mail heb ik bij een betaalde partij ondergebracht, want wie betaalt is klant. En voor zoeken gebruik ik ook DuckDuckGo in plaats van Spotify.
    • Op Spotify, YouTube en streaming diensten zet ik soms bepaalde muziek en series op zonder ze echt te kijken, als ik vind dat bepaalde genres te weinig in mijn algoritmische suggesties terugkomen. En aangezien ik het idee heb dat ‘likes’ en series toevoegen aan je watchlist belangrijke signalen zijn doe ik dat soms meer als ik algoritmes een zetje in een bepaalde richting wil geven. Bv. meer ‘90s hiphop. Of bij YouTube ook om de algoritmes op het verkeerde been te zetten.
    Is dat iets tè? Misschien. :)

    SyRI werkte niet, en mag nu niet meer

    NRC:

    De overheid moet stoppen met het gebruik van Systeem Risico Indicatie (SyRI) om fraude op te sporen. Het systeem is in strijd met het Europese Verdrag voor de Rechten van de Mens (EVRM) en privacywetgeving. Dat heeft de rechtbank in Den Haag woensdag bepaald in een principiële rechtszaak over het gebruik van data van burgers door de overheid.

    De inzet van het fraudebestrijdingssysteem werd aangevochten door een ‘privacycoalitie’ die zeker niet tegen fraudebestrijding was. Maar die de manier waarop dit met SyRI werd gedaan buitenproportioneel vond.

    Want SyRI ging vrij ver. Hoe ver? Arnoud Engelfriet legt het uit:

    SyRI is bedoeld voor gemeenten om fraude met sociale voorzieningen op te sporen. Dat gebeurt door gegevens van burgers uit allerlei overheidsdatabases te koppelen. Via een algoritme komen vervolgens risicoprofielen en personen met een verhoogd risico op fraude naar voren. Grof gezegd: als in het weekend je waterverbruik hoger is dan normaal en je staat als alleenstaand bekend, dan ben je een mogelijke fraudeur, pardon een risico want kennelijk woont je partner in het weekend bij jou. Dus dan krijg je een onderzoek en moet je aantonen dat je in het weekend gewoon graag in bad gaat. (Let op dat jij de bewijslast hebt want jij moet alle relevante feiten melden, dus ook bewijzen dat je alles hebt gemeld. Ja dit is raar.)

    Daarbij werden heel veel gegevens verzameld en gekoppeld, waarbij niet transparant was hoe die data werd vertaald naar risicoprofielen. En dat was in strijd met met artikel 8 lid 2 van het Europees Verdrag van de Rechten voor de Mens. Tweakers:

    Daarin staat dat er 'een redelijke verhouding' moet zijn tussen het maatschappelijk belang van een wet en de inbreuk op iemands privéleven. "De wetgeving is wat betreft de inzet van SyRI onvoldoende inzichtelijk en controleerbaar. De wetgeving is onrechtmatig want in strijd met hoger recht en dus onverbindend", staat in het vonnis. SyRI bevat te weinig waarborgen waarmee het privéleven van de burgers wordt beschermd en is daarmee buitenproportioneel voor het doel om fraude tegen te gaan. Zo wordt er te weinig gedacht aan dataminimalisatie en is er geen onafhankelijke toetsing van een derde partij om naar de proportionaliteit en de inzet te kijken.

    Het systeem is dus onvoldoende uitgedacht, niet proportioneel, er is geen controle en je kunt automatische risico-beoordelingen niet aanvechten. Maar erger nog, het werkt niet. Ton Zylstra:

    SyRI is sinds 2015 toegepast in Eindhoven (G.A.L.O.P. II), de Afrikaanderwijk te Rotterdam, Capelle aan den IJssel, Rotterdam Bloemhof & Hillesluis en Haarlem Schalkwijk. Altijd in sociaal zwakkere wijken. En in contrast met alle verhalen over cutting edge dingen die je met big data en algoritmen kunt doen, werkt SyRi geheel niet. Het vonnis gaat daar verder niet op in, want het was geen onderdeel van de zaak. De Volkskrant achterhaalde vorig jaar echter dat er nog géén énkel fraudegeval is opgespoord sinds SyRI in 2014 wettelijk mogelijk werd.

    Terwijl men toch als eerste de mogelijke baten en verwachtte kosten had moeten inschatten.

    Hopelijk zal hierdoor het heersende paradigma dat data goud waard is, en meer data overal en altijd beter, langzamerhand een beetje terrein verliezen. Want data meestal niet het grootste probleem…

    Verantwoordelijke algoritmen

    Frank Pasquale:

    Over the past decade, algorithmic accountability has become an important concern for social scientists, computer scientists, journalists, and lawyers. Exposés have sparked vibrant debates about algorithmic sentencing. Researchers have exposed tech giants showing women ads for lower-paying jobs, discriminating against the aged, deploying deceptive dark patterns to trick consumers into buying things, and manipulating users toward rabbit holes of extremist content. Public-spirited regulators have begun to address algorithmic transparency and online fairness, building on the work of legal scholars who have called for technological due process, platform neutrality, and nondiscrimination principles.

    Door deze eerste golf van wetenschappelijk onderzoek (en activisme) is er breder maatschappelijk bewustzijn ontstaan, wat langzamerhand begint te leiden tot regelgeving. Mede doordat:

    many members of the corporate and governmental establishment now acknowledge that data can be biased, inaccurate, or inappropriate. 

    Pasquale legt uit dat de eerste golf van onderzoek pas het begin was. Daarin lag de focus op het verbeteren van bestaande systemen. Met de tweede golf wordt onderzocht of dergelijke systemen eigenlijk moeten bestaan:

    For example, when it comes to facial recognition, first-wave researchers have demonstrated that all too many of these systems cannot identify minorities’ faces well. These researchers have tended to focus on making facial recognition more inclusive, ensuring that it will have a success rate as high for minorities as it is for the majority population. However, several second-wave researchers and advocates have asked: if these systems are often used for oppression or social stratification, should inclusion really be the goal? Isn’t it better to ban them, or at least ensure they are only licensed for socially productive uses?

    En dat zijn dé vragen.