Belangrijkste leerpunten
- Twitter hoopt iets te doen aan wat gebruikers racistische vooroordelen noemen in hun voorbeeldsoftware voor afbeeldingen.
- De oproep van de techgigant is misschien de culturele afrekening die de industrie nodig heeft om diversiteitskwesties aan te pakken.
- Het gebrek aan diversiteit van Tech doet afbreuk aan de doeltreffendheid van zijn technologische vooruitgang.
Twitter zal een onderzoek starten naar zijn algoritme voor het bijsnijden van afbeeldingen nadat het een trending topic werd dat leidde tot een groter gesprek over diversiteitskwesties in de technische industrie. De moloch van sociale media haalde de krantenkoppen nadat gebruikers duidelijke raciale vooroordelen ontdekten in het algoritme voor het bekijken van afbeeldingen. De ontdekking vond plaats nadat Twitter-gebruiker Colin Madland het platform had gebruikt om aan te geven dat Zoom zijn zwarte collega’s die de groene schermtechnologie gebruikten niet herkende, maar in een grootse show van ironie ontdekte hij dat het algoritme voor het bijsnijden van afbeeldingen zich op dezelfde manier gedroeg en zwarte gezichten deprioriteit. “Zeker, het is een enorm probleem voor elke minderheid, maar ik denk dat er ook een veel breder probleem is.” Andere gebruikers stapten in op de trend en leidden tot een reeks virale tweets die lieten zien dat het algoritme consequent de voorkeur gaf aan witte en lichtere gezichten, variërend van mensen tot stripfiguren en zelfs honden.
Dit falen is een indicatie van een grotere culturele beweging in de technische industrie die consequent geen rekening heeft gehouden met minderheidsgroepen, wat is overgeslagen naar de technische kant. “Het zorgt ervoor dat minderheden zich vreselijk voelen, alsof ze niet belangrijk zijn, en het kan worden gebruikt voor andere dingen die in de loop van de tijd ernstiger schade kunnen veroorzaken”, zei Erik Learned-Miller, hoogleraar informatica aan de Universiteit van Massachusetts, in een telefonisch interview. “Als je eenmaal hebt besloten waarvoor een stukje software kan worden gebruikt en alle schade die kan optreden, beginnen we te praten over de manieren om de kans dat dit gebeurt te minimaliseren.”
Kanarie op de tijdlijn
Twitter gebruikt neurale netwerken om automatisch afbeeldingen bij te snijden die zijn ingesloten in tweets. Het algoritme zou gezichten moeten detecteren om een voorbeeld te bekijken, maar het lijkt een merkbare witte vertekening te hebben. Bedrijfswoordvoerster Liz Kelley twitterde een reactie op alle zorgen.
Kelley tweette: “Bedankt aan iedereen die dit heeft gemeld. We hebben getest op vooringenomenheid voordat we het model opstuurden en hebben geen bewijs gevonden van raciale of gendervooroordelen in onze tests, maar het is duidelijk dat we meer analyses te doen hebben. open source ons werk, zodat anderen het kunnen beoordelen en repliceren.” Mede-auteur van het witboek “Facial Recognition Technologies in The Wild: A Call for a Federal Office”, Learned-Miller is een vooraanstaand onderzoeker naar de excessen van op gezichtsherkenning gebaseerde AI-leersoftware. Hij heeft het al jaren over de mogelijke negatieve impact van software voor het leren van afbeeldingen en heeft gesproken over het belang van het creëren van een realiteit waarin deze vooroordelen zo goed mogelijk worden verzacht.
Veel algoritmen voor gezichtsherkenningstechnologie gebruiken referentiesets voor gegevens, ook wel trainingssets genoemd, een verzameling afbeeldingen die worden gebruikt om het gedrag van software voor het leren van afbeeldingen te verfijnen. Het stelt de AI uiteindelijk in staat om gemakkelijk een breed scala aan gezichten te herkennen. Deze referentiesets kunnen echter een diverse pool missen, wat leidt tot problemen zoals die van het Twitter-team. “Zeker, het is een enorm probleem voor elke minderheid, maar ik denk dat er ook een veel breder probleem is”, zegt Learned-Miller. “Het heeft te maken met een gebrek aan diversiteit in de technische sector en de behoefte aan een gecentraliseerde, regelgevende macht om het juiste gebruik van dit soort krachtige software die vatbaar is voor misbruik en misbruik te laten zien.”
Technologie zonder diversiteit
Twitter is misschien het nieuwste technologiebedrijf op het hakblok, maar dit is verre van een nieuw probleem. Het technische veld blijft een overwegend wit, eeuwig door mannen gedomineerd veld en onderzoekers hebben ontdekt dat het gebrek aan diversiteit een replicatie van systemische, historische onevenwichtigheden in de ontwikkelde software veroorzaakt. In een rapport uit 2019 van het AI Now Institute van de New York University ontdekten onderzoekers dat zwarte mensen minder dan 6 procent van het personeelsbestand uitmaken bij de beste technologiebedrijven in het land. Evenzo vormen vrouwen slechts 26 procent van de arbeiders in het veld – een statistiek die lager is dan hun aandeel in 1960. “Het geeft minderheden een vreselijk gevoel, alsof ze niet belangrijk zijn, en het kan worden gebruikt voor andere dingen die ernstiger kunnen veroorzaken schade langs de lijn.” Op het eerste gezicht lijken deze representatieproblemen misschien alledaags, maar in de praktijk kan de veroorzaakte schade groot zijn.
Onderzoekers in het AI Now Institute-rapport suggereren dat dit causaal verband houdt met problemen met software die vaak geen rekening houden met niet-blanke en niet-mannelijke populaties. Of het nu gaat om infraroodzeepdispensers die een donkere huid niet detecteren of de AI-software van Amazon die geen onderscheid maakt tussen vrouwelijke gezichten en die van hun mannelijke tegenhangers, het niet aanpakken van diversiteit in de technische industrie leidt tot een falen van technologie om met een diverse wereld om te gaan. “Er zijn veel mensen die niet over de problemen hebben nagedacht en zich niet echt realiseren hoe deze dingen schade kunnen aanrichten en hoe groot deze schade is”, suggereerde Learned-Miller over AI-beeldleren. “Hopelijk krimpt dat aantal mensen!”