Translate

maandag 20 december 2021

Glimlachen naar de camera?

Laatst zat ik wat te spelen met de Google Arts & Culture app. Die bestaat al tien jaar maar regelmatig worden daaraan nieuwe functies toegevoegd. Een van de recentste is de selfie-variant (Google Lens) die op basis van gezichts-herkenning zoekt naar portretten in de kunstgeschiedenis die op het jouwe lijken. Na op de sluiterknop te hebben gedrukt, verschenen talloze puntjes in het beeld die de unieke eigenschappen van mijn gezicht registreren: grootte van de ogen en de afstand ertussen, vorm en omvang van mond, neus en oren. Na luttele seconden kwam het resultaat op het scherm. Mijn gezicht blijkt onder andere gelijkenis (73%) te vertonen met dat van Jean George Wille (1715), een bekende Duitse kopergraveerder en kunsthandelaar die het grootste deel van zijn leven in Frankrijk woonde en werkte. Interessante persoon, alleen jammer dat hij man is. Ook Euphrosine Asser-Oppenheim, een joodse vrouw die halverwege de 19de eeuw door haar echtgenoot Eduard Asser werd geportretteerd, kwam als gelijkenis (64%) naar voren. Haar portret hangt in het Rijksmuseum van Amsterdam. Gelukkig wel een vrouw maar deze keer bepaald geen knapperd. Tja. 

Een andere nieuwe functie van deze app is dat je je portret een kunstzinnige make-over kunt geven. Ik stapte over naar deze pimpoptie. Je kunt kiezen uit stijlen als die van Edvard Munch (de schreeuw), Frida Kahlo, Vincent van Gogh, Katsushika Hokusai (van de bekende blauwe golf), Keith Haring en vele anderen. Je kunt kiezen uit abstracte, impressionistische en moderne patronen. Die stap leverde een beter resultaat op. Rechts achter mijn hoofd zie je Munch´s versie van Damai´s schilderij dat in mijn werkkamer hangt. Onze nummer 2 in Bali is een creatieveling! 

Dit soort applicaties maakt gebruik van gezichts-herkenning en daarover is veel te doen. Het is zelfs zó omstreden dat Facebook -het moederbedrijf noemt zich inmiddels Meta- de functie uit de app verwijderde vanwege privacy. Maar Google Foto´s gaat er vrolijk mee door. (Er zitten duizenden van mijn foto´s in webalbums op de cloud...)

Er zijn instanties die gebruikers waarschuwen om niet al te gemakkelijk om te gaan met dit soort fun-applicaties en je foto niet zomaar ergens op een mogelijk onbetrouwbare website achter te laten. Je weet immers nooit waarin en onder welke omstandigheden jouw digitale portret op een later tijdstip weer opduikt. Nu ben ik niet van de complottheorieën en ook niet achterdochtig maar ik ben evenmin een doetje. Het is eenieder bekend dat van digitale technologieën ook misbruik wordt gemaakt; door kwaadwillende individuen en controlerende overheden. Ik hoor oudere personen nog weleens beweren dat ze geen moeite hebben met camera´s en andere surveillance-toepassingen want ze hebben niets op hun kerfstok en dus niets te vrezen. Maar dat is naïef. Gezichtsherkenningsapps zijn niet per se foutenvrij (iedereen kan dus slachtoffer worden), er kan misbruik van privacy worden gemaakt en massasurveillance kan persoonlijke vrijheden inperken. 

Een lawine aan dit soort apps wordt beschreven in de recente roman van de Amerikaanse auteur Dave Eggers, getiteld `Het Alles´ (The Every). Dit boek is het vervolg op `De Cirkel´ uit 2013, zijn eerste dystopische, satirische roman dat zich afspeelt in Silicon Valley.

Tech-bedrijf de Every -voorheen de Cirkel- is een combinatie van Facebook en Google. Wekelijks slokt het startups op die spraakmakende apps ontwikkelen. Algoritmen nemen de wereld over en dit soort algocratieën moet een halt worden toegeroepen. De Every moet worden vernietigd voordat het de wereld vernietigt. Dat vinden de slimme hoofdpersonages Delaney en Wes in het boek. Na een uitgebreide sollicatieprocedure komen zij bij het bedrijf in dienst. Hun doel is om De Every van binnenuit te saboteren en kapot te maken. Dat willen ze doen met ideeën die zo weerzinwekkend zijn dat rationele mensen zich massaal ervan zullen afkeren vanwege de eindeloze schendingen van fatsoen, privacy, monopolie en de ongebreidelde consolidering van controle, macht en rijkdom.

De Every maakt gebruik van biometrische technologie als gezichtsherkenning, irisherkenning (eye tracking), spraakherkenning, vingerafdrukherkenning en `slimme´ sensoren, soms gebruik makend van kunstmatige intelligentie. Dat is de capaciteit van computers om elke intellectuele taak die een mens kan uitvoeren, te begrijpen en te leren; ook zelfstandig. Apps van de Every meten en weten alles. Van ons. Voor zo´n bedrijf is onze data hun money. Ze houden bij of je voldoende beweegt, sociaal interactief bent, voldoende collega’s beoordeelt, de juiste hartslag hebt, gepaste grammatica gebruikt en een omvangrijke woordenschat hebt.

Biometrische surveillance maakt mensen tot wandelende barcodes die kunnen worden gescand en gekoppeld aan gegevens die eerder over hen werden verzameld en vastgelegd. In de Every-samenleving draagt iedereen een bodycam en hangen overal camera’s (op plekken waar die niet hangen worden burgers gewaarschuwd ze te betreden `op eigen risico´...). Een faux pas heeft gevolgen voor je sham-score (schaamtescore). Werd je ooit gefotografeerd met iemand die later een aanrander blijkt? Dan krijg je minpunten. Schepte je twee keer op omdat je het eten lekker vond? Je wordt publiekelijk te schande gezet. Algoritmen bepalen of iemand wordt ontslagen of niet.

Een van Delaney's meest duivelse ideeën is `Friendy´, een app die met behulp van kunstmatige intelligentie de betrouwbaarheid van iemands vrienden meet door gezichtsuitdrukkingen, oogcontact en vocale intonaties te analyseren. Daarna wordt een numerieke waarde toegekend aan de kwaliteit van de vriendschap. `Hermosa´ is de naam van een gezichtsherkenningsapp waarmee menselijke schoonheid wordt bepaald en in een cijfer uitgedrukt. Alle schoonheidsstandaarden zijn erin verwerkt, de meeste verfijnde maten voor symmetrie en proportie. Vriendin Pia (die zich een schoonheid waant) kocht de luxe uitvoering van de app en scoorde slechts 628 punten. Ze kan die werkelijkheid niet aan en gaat onder het mes. “De chirurg zegt dat hij haar ergens in de 700 kan krijgen. Ze zal niet gelukkig zijn tot ze in de 800 zit, minstens”. Zo rijgt zich een lange reeks van sneue apps aan elkaar maar niets lijkt managers of medewerkers van de Every te gek of extreem. De ironie is dat Delaney en Wes als verontruste burgers de algoritmen juist verder de wereld in helpen. De afloop is anders dan gepland. Dat zal ik niet verklappen.  

Als lezer van dit boek word je overvoerd met apps en ideeën. Dat vond ik interessant aan de roman. Ik las het als bijscholingscursus in technologie, een ideeënroman bij uitstek. Bij bij tijd en wijle vond ik Eggers boek zelfs vermakelijk. Maar we zijn gewaarschuwd... Al kan ik mij nu al verheugen op grappige Deep Fake-filmpjes en toespraken rond Kerst en Oud & Nieuw. Bijvoorbeeld van de koning en zijn echtgenote, van politici die niet bekend staan om hun humor en andere Bekende Nederlanders die op de ludieke korrel worden genomen. Bring it on!

De roman kreeg van sommige recensenten geen al te hoge waardering. De recensent van de Volkskrant (niemand minder dan Huib Modderkolk) noemde het plot “dun en simplistisch”. De recensent van The Guardian vond dat de hoofdpersonen tot de laatste bladzijde nogal eendimensionaal en plat bleven. In die kritiek kan ik mij vinden. Het lot van Delaney, aan het einde van het boek, kwam op mij nogal simplistisch over. Eggers is een begenadigd schrijver maar Het Alles is niet zijn beste roman tot nu toe.

Inderdaad, Big Tech is Watching Us. En hoe!

In 2019 werd AlgoritmWatch opgericht. Dit is een Duitse non-profit onderzoeks- en belangenorganisatie die zich inzet voor het in de gaten houden, onthullen en analyseren van systemen voor geautomatiseerde besluitvorming (Automised Decision-Making, ADM) en hun impact op de samenleving. Ze doen onderzoek naar apps en schrijven rapporten over hun bevindingen. Het team bestaat onder andere uit Johannes Filter, Leonard Haas, Lorenz Matzat en Melanie Gelei. Ik verzin het niet!

Hoe meer technologie wordt ontwikkeld, hoe complexer het wordt. AlgoritmWatch is van mening dat complexiteit niet mag betekenen dat technologie niet meer begrijpelijk is. Op de website van deze organisatie kwam ik te weten dat de Nederlandse overheid gebruik maakt van SyRI (Systeem Risico Indicatie), een geheim algoritme om mogelijke fraude van sociale zekerheid op te sporen. Als een overheidsinstantie fraude vermoedt met uitkeringen, toeslagen of belastingen in een bepaalde omgeving kan men gebruikmaken van SyRI. Gemeenten, UWV, Sociale Verzekeringsbank, inspecteuren van het Ministerie van Sociale Zaken en Werkgelegenheid en van de Belastingdienst hebben allen toegang tot dit systeem. SyRI bepaalt bij welke burgers verder onderzoek nodig is. 

Het kwartje viel bijna direct. Het gebruik van dit systeem leidde tot het vermaledijde kindertoeslagenschandaal in Nederland! Een groep gedupeerden en burgerrechtenactivisten (onder andere Platform Burgerrechten) daagden de overheid vorig jaar februari voor de rechter en slaagden erin publieke organisaties te dwingen minder repressieve alternatieven in te zetten. SyRI bleek in strijd met het Europees Verdrag voor de Rechten van de Mens en zette de deur wagenwijd open voor misstanden. FNV en andere partijen waarschuwden de Eerste Kamer begin dit jaar voor een nog grotere en ingrijpendere datakoppelingswet. Zij riepen die wetgevers op het voorstel voor de zogeheten Super SyRIterug te sturen naar de Tweede Kamer. De rest is geschiedenis. De regering viel over deze kwestie, er bleken duizenden burgers te zijn benadeeld. Het einde van de affaire is nog lang niet in zicht.

Ook beschreef AlgoritmWatch een project in Spanje, genaamd VioGén. Dat is een algoritme waarmee de politie femicide (moord op vrouwen) wil beteugelen. Dat is een groot probleem in dit land; een zeer kwalijk uitvloeisel van machismo. Het politieprotocol bestaat uit een reeks vooraf vastgestelde vragen aan vrouwen die aangifte doen van huiselijk geweld en bevatten ook specifieke vragen over het risico voor hun kinderen. Het programma beoordeelt dan op basis van de ingevoerde gegevens welk risico vrouwen lopen slachtoffer te worden van gendergeweld.

In het onderzoeksrapport dat ik las, deed een vrouw bij de Guardia Civil aangifte van fysieke en mentale bedreiging van haarzelf en haar twee dochtertjes, door haar echtgenoot. De gegevens werden in VioGén ingevoerd en daaruit kwam het advies `laag risico´. Zeven maanden later vermoordde de echtgenoot zijn beide dochters op wrede wijze en pleegde daarna zelfmoord. 

Sinds de software nationaal werd ingezet (2007) eindigden enkele zaken met een laag risico in de moord van vrouwen en meisjes. VioGén is verreweg de meest complexe toepassing in zijn soort in de wereld. Bijna 30.000 Spaanse politieagenten en andere wetshandhavers in het land hadden in 2018 toegang tot dit systeem. In januari 2020 bevatte het 600.000 gevallen, waarvan er 61.000 als actief werden bestempeld. Dat betekent dat ze door de politie worden opgevolgd. Het systeem is ontworpen om de situatie van de betrokken vrouwen periodiek te controleren totdat ze veilig worden geacht; dat gebeurt hier over verschillende regio's heen. Enkele vrouwenorganisaties zijn van mening dat dit systeem het beste is dat ze voor dit doel hebben maar helaas gaat het af en toe flink fout.

De laatste misser met dodelijke afloop had betrekking op een, door haar echtgenoot, vermoorde vrouw in 2020. Beide personen stonden in het systeem geregistreerd na een aangifte van haar kant. Hij was door de rechter echter vrijgesproken en daarmee ging de status van de zaak in VioGén naar `inactief´. Niet veel later werd de vrouw vermoord. Zo zie je maar. 


Geen opmerkingen:

Een reactie posten