CAMBRIDGE – Algoritmen zijn net zo bevooroordeeld als de data waarmee ze gevoed worden. En alle data zijn bevooroordeeld. Zelfs van “officiële” statistieken mag niet worden aangenomen dat ze staan voor objectieve, eeuwige “feiten.” De cijfers die overheden publiceren presenteren de samenleving zoals zij nu is, bezien door de lens van wat degenen die de data verzamelen relevant en belangrijk achten. De categorieën en classificaties die worden gebruikt om te data te begrijpen zijn niet neutraal. Net zoals we meten wat we zien, hebben we de neiging alleen maar te zien wat we meten.
Nu de algoritmische besluitvorming zich verspreidt naar een steeds bredere reeks beleidsterreinen, werpt zij een schril licht op de sociale vooroordelen die ooit schuilgingen achter de schaduwen van de data die we verzamelen. Door bestaande structuren en processen naar hun logische uitersten te voeren, dwingt kunstmatige intelligentie (AI) ons om de confrontatie aan te gaan met het soort samenleving dat we hebben geschapen.
Het probleem is niet alleen dat computers zijn ontworpen om te denken als bedrijven, zoals mijn collega Jonnie Penn van de Universiteit van Cambridge heeft betoogd. Het is ook dat computers denken als economen. Een AI is immers een versie van de homo economicus die zo onfeilbaar is als je maar kunt bedenken. Het is een rationeel calculerende, logisch consistente, op bepaalde doeleinden gerichte actor, die in staat is de gewenste resultaten te bewerkstelligen met eindige computationele middelen. Als het erom gaat “nut te maximaliseren” zijn ze veel effectiever dan welke mens dan ook.
“Nut” is voor de economie wat “flogiston” ooit was voor de chemie. Vroege scheikundigen theoretiseerden dat brandbaar materiaal een verborgen element bevatte – flogiston – dat kon verklaren waarom stoffen van vorm veranderden als zij brandden. Maar hoe hard ze ook hun best deden, de wetenschappers konden deze hypothese nooit bevestigen. Zij konden geen flogiston vinden, om dezelfde reden dat economen vandaag de dag feitelijk nut niet kunnen meten.
Economen gebruiken het concept van het nut om te verklaren waarom mensen de keuzes maken die zij maken – wat ze kopen, waar ze in investeren, hoe hard ze werken: iedereen probeert zoveel mogelijk nut na te streven, overeenkomstig zijn of haar voorkeuren en geloofsovertuigingen, en binnen de grenzen die worden gesteld door een karig inkomen of schaarse middelen. Hoewel nut niet echt bestaat, is het een krachtig begrip. Het lijkt alleen maar vanzelfsprekend om te veronderstellen dat iedereen probeert het voor zichzelf zo goed te doen als mogelijk is.
Bovendien is de notie van nut die economen er op na houden geboren uit klassiek utilitarisme, dat ten doel heeft een zo groot mogelijke hoeveelheid goede dingen voor een zo groot mogelijk aantal mensen veilig te stellen. Net als de moderne economen die in de voetsporen treden van John Stuart Mill zijn de meeste ontwerpers van algoritmen utilitaristen die denken dat als iets “goeds” gekend is, het kan worden gemaximaliseerd.
Maar deze veronderstelling kan tot verontrustende resultaten leiden. Bedenk bijvoorbeeld eens hoe algoritmen worden gebruikt om te beslissen of gevangenen het verdienen op borgtocht te worden vrijgelaten. Uit een belangrijk onderzoek uit 2017 blijkt dat algoritmen veel beter zijn dan mensen in het voorspellen van recidivisme, en gebruikt kunnen worden om het percentage mensen dat gevangen zit met ruim 40% te verlagen, “zonder dat er sprake zal zijn van een stijging van de misdaad.” In de Verenigde Staten kan AI dus worden ingezet om de gevangenispopulatie te laten inkrimpen, die uit onevenredig veel zwarten bestaat. Maar wat gebeurt er als AI het borgtochtproces overneemt en Afrikaans-Amerikanen nog steeds vaker gevangen blijken te zitten dan witte Amerikanen?
De zeer efficiënte algoritmische besluitvorming heeft dergelijke vragen op de voorgrond geplaatst, waardoor wij gedwongen worden om te beslissen welke uitkomsten moeten worden gemaximaliseerd. Willen we slechts de totale gevangenispopulatie reduceren, of moeten we ons ook bekommeren om eerlijkheid? Waar de politiek omtrekkende bewegingen en compromissen toestaat om dergelijke “tradeoffs” mogelijk te maken, vergt computercode helderheid.
Die vraag om helderheid maakt het lastiger om de structurele bronnen van maatschappelijke ongelijkheid te negeren. In het tijdperk van AI zullen algoritmen ons dwingen te erkennen hoe de uitkomsten van vroegere sociale en politieke conflicten in het heden zijn voortgezet door ons gebruik van data.
Dankzij groepen als het AI Ethics Initiative en de Partnership on AI is er een breder debat over de ethiek rond AI ontstaan. Maar AI-algoritmen doen uiteraard alleen maar wat hen via de code wordt opgedragen. Het échte probleem strekt verder dan het gebruik van algoritmische besluitvorming in het bestuur van bedrijfsleven en politiek, en raakt aan de ethische fundamenten van onze samenlevingen.
Hoewel we beslist moeten praten over de praktische en filosofische “tradeoffs” van de maximalisering van “nut” via AI moeten we ons ook bezighouden met zelfreflectie. Algoritmen stellen fundamentele vragen over hoe we onze sociale, politieke en economische relaties tot op de dag van vandaag hebben georganiseerd. We moeten nu beslissen of we echt de huidige sociale arrangementen in de besluitvormingsstructuren van de toekomst willen encoderen. Gezien de politieke verbrokkeling die we momenteel in de hele wereld zien plaatsgrijpen, lijkt dit een goed moment om een nieuw script te schrijven.
Vertaling: Menno Grootveld
CAMBRIDGE – Algoritmen zijn net zo bevooroordeeld als de data waarmee ze gevoed worden. En alle data zijn bevooroordeeld. Zelfs van “officiële” statistieken mag niet worden aangenomen dat ze staan voor objectieve, eeuwige “feiten.” De cijfers die overheden publiceren presenteren de samenleving zoals zij nu is, bezien door de lens van wat degenen die de data verzamelen relevant en belangrijk achten. De categorieën en classificaties die worden gebruikt om te data te begrijpen zijn niet neutraal. Net zoals we meten wat we zien, hebben we de neiging alleen maar te zien wat we meten.
Nu de algoritmische besluitvorming zich verspreidt naar een steeds bredere reeks beleidsterreinen, werpt zij een schril licht op de sociale vooroordelen die ooit schuilgingen achter de schaduwen van de data die we verzamelen. Door bestaande structuren en processen naar hun logische uitersten te voeren, dwingt kunstmatige intelligentie (AI) ons om de confrontatie aan te gaan met het soort samenleving dat we hebben geschapen.
Het probleem is niet alleen dat computers zijn ontworpen om te denken als bedrijven, zoals mijn collega Jonnie Penn van de Universiteit van Cambridge heeft betoogd. Het is ook dat computers denken als economen. Een AI is immers een versie van de homo economicus die zo onfeilbaar is als je maar kunt bedenken. Het is een rationeel calculerende, logisch consistente, op bepaalde doeleinden gerichte actor, die in staat is de gewenste resultaten te bewerkstelligen met eindige computationele middelen. Als het erom gaat “nut te maximaliseren” zijn ze veel effectiever dan welke mens dan ook.
“Nut” is voor de economie wat “flogiston” ooit was voor de chemie. Vroege scheikundigen theoretiseerden dat brandbaar materiaal een verborgen element bevatte – flogiston – dat kon verklaren waarom stoffen van vorm veranderden als zij brandden. Maar hoe hard ze ook hun best deden, de wetenschappers konden deze hypothese nooit bevestigen. Zij konden geen flogiston vinden, om dezelfde reden dat economen vandaag de dag feitelijk nut niet kunnen meten.
Economen gebruiken het concept van het nut om te verklaren waarom mensen de keuzes maken die zij maken – wat ze kopen, waar ze in investeren, hoe hard ze werken: iedereen probeert zoveel mogelijk nut na te streven, overeenkomstig zijn of haar voorkeuren en geloofsovertuigingen, en binnen de grenzen die worden gesteld door een karig inkomen of schaarse middelen. Hoewel nut niet echt bestaat, is het een krachtig begrip. Het lijkt alleen maar vanzelfsprekend om te veronderstellen dat iedereen probeert het voor zichzelf zo goed te doen als mogelijk is.
Bovendien is de notie van nut die economen er op na houden geboren uit klassiek utilitarisme, dat ten doel heeft een zo groot mogelijke hoeveelheid goede dingen voor een zo groot mogelijk aantal mensen veilig te stellen. Net als de moderne economen die in de voetsporen treden van John Stuart Mill zijn de meeste ontwerpers van algoritmen utilitaristen die denken dat als iets “goeds” gekend is, het kan worden gemaximaliseerd.
BLACK FRIDAY SALE: Subscribe for as little as $34.99
Subscribe now to gain access to insights and analyses from the world’s leading thinkers – starting at just $34.99 for your first year.
Subscribe Now
Maar deze veronderstelling kan tot verontrustende resultaten leiden. Bedenk bijvoorbeeld eens hoe algoritmen worden gebruikt om te beslissen of gevangenen het verdienen op borgtocht te worden vrijgelaten. Uit een belangrijk onderzoek uit 2017 blijkt dat algoritmen veel beter zijn dan mensen in het voorspellen van recidivisme, en gebruikt kunnen worden om het percentage mensen dat gevangen zit met ruim 40% te verlagen, “zonder dat er sprake zal zijn van een stijging van de misdaad.” In de Verenigde Staten kan AI dus worden ingezet om de gevangenispopulatie te laten inkrimpen, die uit onevenredig veel zwarten bestaat. Maar wat gebeurt er als AI het borgtochtproces overneemt en Afrikaans-Amerikanen nog steeds vaker gevangen blijken te zitten dan witte Amerikanen?
De zeer efficiënte algoritmische besluitvorming heeft dergelijke vragen op de voorgrond geplaatst, waardoor wij gedwongen worden om te beslissen welke uitkomsten moeten worden gemaximaliseerd. Willen we slechts de totale gevangenispopulatie reduceren, of moeten we ons ook bekommeren om eerlijkheid? Waar de politiek omtrekkende bewegingen en compromissen toestaat om dergelijke “tradeoffs” mogelijk te maken, vergt computercode helderheid.
Die vraag om helderheid maakt het lastiger om de structurele bronnen van maatschappelijke ongelijkheid te negeren. In het tijdperk van AI zullen algoritmen ons dwingen te erkennen hoe de uitkomsten van vroegere sociale en politieke conflicten in het heden zijn voortgezet door ons gebruik van data.
Dankzij groepen als het AI Ethics Initiative en de Partnership on AI is er een breder debat over de ethiek rond AI ontstaan. Maar AI-algoritmen doen uiteraard alleen maar wat hen via de code wordt opgedragen. Het échte probleem strekt verder dan het gebruik van algoritmische besluitvorming in het bestuur van bedrijfsleven en politiek, en raakt aan de ethische fundamenten van onze samenlevingen.
Hoewel we beslist moeten praten over de praktische en filosofische “tradeoffs” van de maximalisering van “nut” via AI moeten we ons ook bezighouden met zelfreflectie. Algoritmen stellen fundamentele vragen over hoe we onze sociale, politieke en economische relaties tot op de dag van vandaag hebben georganiseerd. We moeten nu beslissen of we echt de huidige sociale arrangementen in de besluitvormingsstructuren van de toekomst willen encoderen. Gezien de politieke verbrokkeling die we momenteel in de hele wereld zien plaatsgrijpen, lijkt dit een goed moment om een nieuw script te schrijven.
Vertaling: Menno Grootveld