Amazon har beslutat att stänga ner sitt experimentella rekryteringsverktyg baserat på artificiell intelligens (AI) efter att ha upptäckt att det diskriminerar kvinnor. Företaget skapade verktyget för att tråla efter potentiella kandidater på nätet och ge dem betyg mellan en och fem stjärnor. Men algoritmen lärde sig att systematiskt nedgradera kvinnors CV:n för tekniska jobb som exempelvis programutvecklare.

Trots att Amazon ligger i täten när det gäller utvecklingen av AI-teknik, kunde företaget inte skapa en algoritm som fungerade könsneutralt. Men företagets misslyckande påminner oss om att den partiskhet som uppstår vid användning av AI härrör från en rad olika källor. Det finns en allmän uppfattning att algoritmer ska fungera utan den partiskhet och de fördomar som människors beslutsfattande präglas av, men sanningen är att en algoritm oavsiktligt kan lära sig att agera partiskt och utveckla fördomar från en rad olika källor. Det kan handla om allt från de data som används för att lära upp AI-algoritmer, till de människor som använder den, men även andra till synes orelaterade faktorer, kan bidra till att AI agerar partiskt.

AI-algoritmer används för att hjälpa till att förutsäga utfall genom att tränas i att upptäcka mönster i stora datamängder. I Amazons fall använde algoritmen alla CV:n som skickats till bolaget under en tioårsperiod för att lära sig skilja ut de bästa kandidaterna. Med tanke på den låga andelen kvinnor som arbetade i företaget, inte olikt situationen i många andra teknikföretag, upptäckte algoritmen snabbt att manliga kandidater dominerade och trodde då att det var en framgångsfaktor.

Eftersom algoritmen använde resultaten från sina egna prognoser för att förbättra precisionen, fastnade den i ett mönster där den systematiskt diskriminerade kvinnliga kandidater. De data som användes för att lära upp algoritmen hade skapats av människor,
vilket innebar att algoritmen ärvde icke önskvärda mänskliga egenskaper, såsom fördomar och diskriminering, som också traditionellt har varit ett problem vid rekrytering.

Vissa algoritmer är också utformade för att förutsäga och leverera vad användarna vill se. Det här är ett vanligt fenomen i sociala medier eller i reklam på nätet, där användarna får se innehåll eller annonser som algoritmen tror att de kommer att interagera med. Liknande mönster har också rapporterats i rekryteringsbranschen.

En rekryterare rapporterade att när han använde sig av ett professionellt socialt nätverk för att hitta kandidater, lärde sig AI-algoritmen att ge honom resultat som liknade de profiler han från början hade plockat ut själv. Följden av detta blev att hela grupper av potentiella kandidater systematiskt plockades bort från rekryteringsprocessen.

Men diskrimineringen sker också av andra skäl, som inte alls har någon sådan koppling. En nyligen genomförd studie visade att en algoritm som skapade jobbannonser för rekrytering inom vetenskap, teknik och matematik var mer benägen att visa annonsen för män, inte för att män var mer benägna att klicka på den, utan för att det är dyrare att rikta reklam mot kvinnor. Eftersom företag betalar mer för annonser riktade till kvinnor (kvinnor står för 70% till 80% av alla inköp av konsumtionsvaror), valde algoritmen att leverera annonser som i högre grad var riktade till män än till kvinnor eftersom den hade utformats för att kostnadsoptimera de annonser den levererade.

Men om en algoritm endast visar mönster i de data vi förser den med, användarnas preferenser, och de ekonomistyrda beteenden som uppstår på marknaden, är det kanske orättvist att anklaga den för att kopiera våra sämsta egenskaper. Vi förväntar oss automatiskt att en algoritm ska fatta beslut utan att diskriminera, trots att människor sällan lyckas med detta. Även om en algoritm agerar partiskt, kan det ändå innebära en förbättring jämfört med att bara fortsätta som förut.

För att utnyttja den artificiella intelligensens fulla potential, är det viktigt att undersöka vad som skulle hända om vi tillät AI:n att fatta beslut utan mänsklig inblandning. Detta undersöktes i en studie som gjordes 2018. Med hjälp av en algoritm som tränats på historiska straffrättsliga uppgifter om borgensbeslut förutsågs sannolikheten för att brottslingar skulle återfalla i brott. I en beräkning kunde författarna minska återfallsbrottsligheten med 25 % och samtidigt minska fallen av diskriminering av de intagna.

Men de vinster som belystes i denna forskningsstudie skulle bara uppstå om algoritmen verkligen fattade alla beslut själv. Detta skulle sannolikt inte ske i verkligheten eftersom domarna troligen skulle föredra att själva välja om de skulle följa algoritmens
rekommendationer eller inte. Även om en algoritm är välkonstruerad, blir den överflödig om människor väljer att inte lita på den.

Många av oss förlitar redan på algoritmer för att fatta många beslut, som exempelvis vilken film vi ska se på Netflix eller vad vi ska köpa från Amazon. Men forskning visar att folk snabbare tappar förtroendet för algoritmer än för människor när de ser att de gör misstag, även när algoritmen fungerar bättre totalt sett.

Till exempel, om din GPS föreslår en alternativ väg för att undvika trafikstockningar och den sedan visar sig ta längre tid än planerat, kommer du troligen sluta förlita dig på din GPS framöver. Men om du själv hade fattat beslutet om att ta den alternativa vägen, skulle du knappast sluta lita på ditt eget omdöme. En uppföljningsstudie om att övervinna motståndet mot algoritmer visade även att människor var mer benägna att använda algoritmer och acceptera deras brister om de själva hade möjlighet att ändra algoritmen, även om det innebar att de införde brister i algoritmen.

Trots att människor snabbt förlorar förtroendet för bristfälliga algoritmer, tenderar många av oss att lita mer på maskiner om de har mänskliga drag. Enligt forskning om självkörande bilar var människor mer benägna att lita på bilen och trodde att den skulle fungera bättre, om systemet i bilen hade ett namn, ett kön och en mänsklig röst. Men om maskiner görs väldigt människolika, men inte helt mänskliga, tycker folk ofta att de är läskiga vilket kan det påverka förtroendet för dem.

Även om vi inte direkt gillar den bild av vårt samhälle som algoritmer visar oss, verkar vi fortfarande ändå vilja leva med dem och få dem att efterlikna och agera som oss. Och om så är fallet borde väl algoritmer också kunna få göra misstag?

Maude Lavanchy, Forskare vid IMD