"AI" vidmakthåller bias
Jag intervjuades nyligen av podden 'AI för folket' om AI-bias. Här är en genomgång av de insikter jag delade med mig av.
Det bör inte vara en nyhet att det letar sig in fördomar och förutfattade meningar som påverkar resultatet från generativ "AI". I december översatte och publicerade jag ett diagram som beskriver var och hur mänsklig partiskhet kan bidra till skada inom maskininlärning. Och för en månad sedan intervjuades jag av Frida Mangen på AI för folket om hur vi kan förhålla oss kritiskt till den "AI" som allt oftare påverkar viktiga beslut.
Det här är inte en transkribering av samtalet, utan mer en generell sammanfattning av mina budskap och en möjlighet för mig att brodera ut resonemangen och göra innehållet tillgängligt för fler. Några frågor hann vi aldrig med under intervjun, så jag har skrivit svar på dem här. 😇
- Du kan lyssna på samtalet på Pocket Casts, Apple Podcasts eller Spotify. Det är 17 minuter långt.
Påminnelse: när jag själv skriver om "AI" så sätter jag ofta citattecken runt förkortningen för att markera att jag tycker det är ett vilseledande begrepp som inte har definierats på ett tillfredställande sätt.
Vad är bias i generativ AI och varför uppstår det?
Bias är ett begrepp som använts länge inom forskning men som nu också är utbrett som paraplybegrepp för en rad olika teorier om hur mänskliga tankevurpor påverkar våra beslut och vad vi väljer att tro på.
I grunden handlar bias om att vi drar fel slutsatser för att det passar vår egen världsbild.
Inom forskning innebär bias att forskningsresultatet blir missvisande när det är fel i metoden, när dataunderlaget är bristfälligt, eller forskarens egna åsikter har spelat en betydande roll.
När vi pratar om bias hos människor så handlar det ofta om någon form av bekräftelsebias. Alltså: vi tror mer på något som bekräftar våra förutfattade meningar än något som säger emot samma övertygelse.
Den som är fotbollsfantast kan till exempel vara mer benägen att tycka att domarbeslut som drabbar det egna laget är mer orättvisa än domarbeslut som drabbar motståndarlaget.
Bias inom generativ "AI" uppstår av alla dessa anledningar. Resultatet som vi får från generativ "AI" kan alltså vara felaktigt, skevt eller fördomsfullt för att "AI"-mjukvaran utvecklats med data som är bristfällig, det saknas representation eller att de människor som är involverade tar beslut utifrån sina egna bias.
Vi kanske också använder system till saker de inte alls är byggda för, för att vi förleds att tro på en förmåga hos dessa system som inte alls finns.
Många tänker att AI är objektiv, men varför är det egentligen inte så?
Många tänker nog att det som populärt kallas "AI" är objektivt dels för att det handlar om datorer, och det finns ett stort förtroende för att räknemaskiner inte kan göra fel. Och dels för att begreppet "AI" – som redan påverkat människor genom science fiction – har marknadsförts på ett oerhört offensivt sätt av tech-företagen och deras hängivna förespråkare. Ambitionen tycks vara att ge människor uppfattningen att mjukvaran på något sätt är en kombination av en räknemaskin och en resonerande varelse – som då på något sätt skulle göra den överlägsen på ett sätt som ingen förmår förklara.
Allt det som bygger illusionen av en tänkande varelse är egentligen exakt det som jag önskade fick fler att inse hur vanskligt det är att lita på dessa datorprogram för tillförlitliga och rättvisa beräkningar. När det gäller generativ "AI" så glöms det lätt bort hur enormt många människor som faktiskt är involverade i konstruktionen av modeller och mjukvara.
Det handlar bland annat om allt människo-skapat innehåll som behövs för modellinlärningen (ofta använt utan samtycke), hur de programmeras, konfigureras och kvalitetssäkras, hur grafiska gränssnitt ser ut och fungerar, vem som lär ut hur vi ska använda dem, och hur var och en till slut väljer att använda dem. Alla dessa människor har sina egna bias och det är jättesvårt att överblicka hur och var fördomarna letar sig in – för det är överallt och hela tiden, och sällan är den egentligen avsiktlig.
Det känns dock avsiktligt när företagen själva undviker att prata på ett öppet sätt om dessa komplexa förhållanden.
Finns det specifika sätt som bias i generativ AI skiljer sig från bias i annan AI?
Generativ "AI" har en förmåga att förstärka fördomar som vi har övergett eller försöker överge. Det faktum att det krävs så oerhört stora mängder information vid konstruktionen av dessa modeller gör att det letar sig in fel från helt oförutsägbara källor och av oförutsägbar karaktär – och det är näst intill omöjligt att skapa sig en tillförlitlig förståelse för hur enskilda system för generativ "AI" kommer fram till sina "svar". Det är för stort för att överblicka. Och det är inte som att någon kvalitetssäkrar allt innehåll som används – det skulle vara en omöjlighet att hinna med.
Det innebär att även de som bygger systemen själva har en begränsad förståelse för vilket innehåll som används i deras modeller. Det här kan exemplifieras av hur det uppdagats att stora aktörer inom generativ AI använt sig av dataset, stora fotodatabaser, som i sig innehåller övergrepp mot barn. Det upptäcktes i en oberoende granskning av Stanford Observatory:
David Thiel
Man kan börja få en förståelse för hur svårt det är att överblicka allt det här innehållet genom att läsa redovisningen "Models All the Way Down". I artikeln beskrivs ett dataset som heter LAION-5B och som består av 5,8 miljarder foton. Om du hade som heltidsjobb, 5 dagar i veckan och 8 timmar om dagen, att titta på varje bild i detta dataset under endast 1 sekund – så skulle det ta dig 781 år.
Det är inte alls konstigt att dessa stora underlag inte kvalitetsgranskas. Man har inte råd och man har inte tid.
Hur kan vi som användare märka att en AI-modell har bias?
När vi använder de här systemen kan vi förstås av en slump upptäcka att systemet ger resultat som innehåller fördomar på ett eller annat sätt. Men vi kan ju också anstränga oss för att försöka uppdaga det genom att vår egen förståelse för kulturella skillnader.
Jag vet att Kristina Knaving, forskare på RISE, brukar försöka utröna hur systemet förutsätter att bröllop ska utföras. I Sverige överlämnas ju inte bruden som regel av sin far, vilket är en typiskt amerikansk tradition. Men det klarar ett AI-system ofta inte av att särskilja när den får frågor på svenska, och förutsätter ibland i sina svar att det amerikanska tillvägagångssättet är norm.
Det finns ett visuellt talande exempel där en person på Reddit genererade bilder av olika krigare genom historien: japanska samurajer, spanska erövrare, franska soldater under andra världskriget, och många fler. Alla genererades med det som kritikerna kallar för "ett amerikanskt leende".
jenka
Det blir naturligt så att systemen oftare visar innehåll och bilder ur amerikanska och europeiska perspektiv, med tillhörande kulturella inramningar, när det är det som maskinen ofta har matats med.
Kan du ge exempel på situationer där bias i AI har upptäckts på oväntade sätt?
AI-forskaren Joy Buolamwini bjuder på ett sådant uppvaknande i sin bok Unmasking AI. Hon är AI-forskare, teknikentusiast och är även mörkhyad. Hon fick en smärre chock när hon upptäckte att modellerna hon använde för ansiktsigenkänning inte ville känna igen mörkhyade människor. Det ledde sedan till att hon utförde flera studier som avslöjade den utbredda fördomsfullhet mot mörkhyade människor som finns inbäddad i så gott som samtliga ansiktsigenkänning-system.
Larry Hardesty | MIT News Office
Det är typiskt att de här systemen diskriminerar mot kvinnor, rasifierade personer och personer med funktionsnedsättningar. De förstärker alltså diskriminering som redan finns. Till exempel kan de på ett oerhört farligt sätt upprepa direkt felaktiga och skadliga föreställningar om hur man ställer medicinska diagnoser på kvinnor eller personer med mörk hy.
Jag har själv skrivit om en studie av forskarna Alenichev, Kingori och Peeters Grietens som utforskade hur stereotyper inom hälso- och sjukvård är inbäddade i AI-bildgeneratorer. Forskarna blev själva överraskade av hur svårt det var att generera bilder av svarta läkare som behandlar vita barn. Flera hundratals försök efter varandra misslyckades. Trots att man skrev det omvända så genererades inte sällan ändå vita läkare som behandlade svarta barn.
Per Axbom
Forskarna konstaterade
"Trots den förmodade enorma generativa kraften hos AI, visade den sig oförmögen att undvika vidmakthållandet av existerande ojämlikhet och fördomar."
Vidmakthållandet är ett viktigt ord. Det innebär att snarare än bidra till att vidareutveckla samhället så tvingas vi återuppleva en svunnen tid med fördomar som vi vill överge men som AI-systemen envist håller fast vid.
ETT TILL EXEMPEL. Bloomberg gjorde en viktig granskning av bildgeneratorer där de kunde visa att de bilder som genererades var mer fördomsfulla än verkligheten. Ett konkret exempel är där man genererade hundratals bilder av domare. Endast 3% av dessa var kvinnor. Men i verkligheten är 34% av domarna i USA kvinnor. Siffran är högre för Europa.
Så här blir det för att maskinerna är probabilistiska. De är inte programmerade att ta hänsyn till verklighen, bara vad som är mest sannolikt. Så även om skillnaden är liten i verkligheten, kommer det som är lite mer sannolikt få en betydligt mer framträdande roll. Fördomar förstärks och vidmakthålls.
Subtil bias
En del bias är betydligt mer subtil. Det finns exempel från användning av språkmodeller för att skapa jobbannonser, och dessa använder språk som är diskriminerande mot äldre och personer med funktionsnedsättningar. Det här kanske inte alla upptäcker som jobbar med rekrytering, man kanske inte är tränad i att känna igen det, eller att leta efter det. "AI"-systemen gör oss lite latare – det blir tillräckligt bra – och så låter man det här man kallar för småsaker passera.
Det finns dessutom forskning som visar att när "AI" används för att skapa jobbannonser så blir de mer fördomsfulla än när människor skriver dem på egen hand:
Camille Hogg
Vad är mätningsbias och varför är det särskilt problematiskt?
Mätningbias är en av många kategorier av bias som forskarna Suresh & Guttag kartlade i ett paper från 2021. Det är något som förekommer tidigt i utvecklingen av AI-modeller, efter att man definierat sitt urval med data som man ska använda. I det här stadiet definieras vad som ska vara underlag för modellens förmåga att förutsäga och tolka information. Då behöver man välja ut, samla in och beräkna vilka egenskaper som ska spela roll i modellens uträkningar.
Något så enkelt som bedömning av smärta kan variera mellan olika grupper. Och när det varierar så kommer tillverkarens beslut om vilket värde, ord eller etikett som ska vara riktmärke, att påverka vissa grupper mer negativt än andra. Någon grupp måste bli normen för uträkningen, och det kommer såklart inte vara en redan marginaliserad grupp.
Om modellen till exempel ska bedöma din kreditvärdighet, så kanske man kollar på historisk löneutveckling, betalningsanmärkningar och andra värden som man kan få tag på. På senare år har det visat sig att det finns mycket historisk bias i dessa uträkningar. Till exempel på grund av arvsled av bostäder som vissa grupper av förklarliga skäl inte haft tillgång till.
Låginkomsttagare får då höga riskpoäng för att de är fattiga, inte för att de utgör en större risk. Men "smarta beräkningar" gör att de får mindre tillgång till samhället och mindre möjlighet att påverka sin egen situation. Systemen vidmakthåller orättvisa.
Det är nämligen samma typ av algoritmer som kan användas för att bedöma om du är lämplig för bidrag, lån, vissa boendeformer, ett visst arbete eller kanske ett bankkonto.
Helt korrekt historisk data kan alltså skapa orättvisa, eller fördomsfulla, algoritmer. Det är viktigt att komma ihåg att när vi baserar våra uträkningar på historisk data så uppfinner vi inte alltid nya, smartare sätt att nå bättre resultat. Det kan istället leda till att vi baserar våra mätningar och uträkningar på skeva och orättvisa förhållanden som nu även blir en fundamental del i nya, moderna algoritmer som vi kallar "innovativa".
Ett klassiskt exempel är data som visar höga brottsfrekvenser baserat på att det finns mer brottsbekämpande närvaro i ett område. Mer närvaro leder till mer upptäckta fall och än mer närvaro. På statistiken ser det ut som att området är särskilt utsatt, men statistiken avslöjar sällan hur många som patrullerar området jämfört med andra områden.
Hur kan bias i generativ AI påverka olika samhällsområden, som rekrytering, media eller juridik?
Låt oss ta rekrytering som exempel. Här vill jag rekommendera boken The Algorithm av Hilke Schellman. Bokens underrubrik lyder så här: Vem bestämmer över vem som blir anställd, övervakad, befordrad och avskedad, och varför vi måste slå tillbaka nu.
Beroende på bransch och land så är vi allt närmare en verklighet där orden vi använder i våra cv:n och intervjuer spelar roll för hur AI-system poängsätter vår anställningsbarhet. Våra ansiktsuttryck eller röster kan tolkas i videomöten för att avgöra om vi är lojala mot företaget. Hur mycket vi skriver på våra tangentbord ska avslöja hur produktiva vi är.
När jag berättar om de här sakerna får jag ofta höra från AI-ivrare att människor redan idag minsann också har fördomar som drabbar arbetssökande. Det är jag rörande överens om. Men våra mänskliga fördomar är under ständig bearbetning, föränderliga med tid och rum och i samtal, och består framför allt av en mångfald olika idéer och åsikter som kan bemötas i dialog.
Ett AI-system är ofta helt låst i sina fördomar, jättedyrt om inte omöjligt att begära att leverantören “tränar om” när man upptäcker brister, och arbetar betydligt snabbare och med större volymer än en människa kan göra på egen hand. Maskiner kan diskriminera mer effektivt än en människa någonsin kan. Och allt färre människor förstår hur maskinen fungerar.
En av de viktigaste insikterna jag tar med mig från Schellmans bok är att ett brett tillämpande av ett fördomsfullt rekryteringsverktyg kommer drabba samma människor. Människor som är utsatta för fördomar idag är det åtminstone inte på samma sätt på alla arbetsplatser. Om vi normaliserar standardiserade system baserade på liknande modeller så kommer samma människor att diskrimineras på alla ställen, och alltså få en mer utmanande situation. Hur man anmäler ett sådant system för diskriminering är också väldigt oklart.
Försäkringskassan
Jag måste i sammanhanget förstås också nämna Försäkringskassan. Ett automatiserat system hos Försäkringskassan används för att sätta riskpoäng på de som söker ersättning för vård av barn. SvD:s granskning tillsammans med Lighthouse Reports visar hur systemet på ett oproportionerligt och oriktigt sätt sätter högre riskpoäng på kvinnor och personer med utländsk bakgrund, låg inkomst och låg utbildningsnivå.
Per Axbom
Att redan marginaliserade grupper drabbas negativt är inte alls ovanligt för AI-system. Och som jag förklarat tidigare så behöver inte denna bias uppstå för att den är medvetet inbyggd. Den kan lika gärna uppstå för att det finns egenskaper i den underliggande informationen som tillverkare och produktägare inte alls tänkt på som avgörande, eller diskriminerande, i maskinens beräkningar.
Vilka metoder finns idag för att göra generativ AI mer rättvis?
Det tydligaste ur ett rättviseperspektiv är att öka representationen i dataunderlaget. Men ofta finns det helt enkelt inte tillräckligt med data om underrepresenterade grupper. Då kan man också överväga att minska mängden data om de överrepresenterade grupperna. Det är inte alls lika vanligt, eftersom man då riskerar att mängden data inte blir tillräcklig för en kvalitetssäkrad modell, på grund av för lite data.
Det är ganska vanligt att man då försöker använda syntetiska, artificiella datamängder som imiterar egenskaperna hos det riktiga datat, vilket är tänkt att lösa problemen med obalans och öka storleken på ett dataset.
Men den som har makten över hur detta syntetiska innehåll definieras och kvalitetssäkras är en människa, och kanske framför allt, det som blir svårt för mig att förlika mig med: kan man verkligen med en fördomsfull AI generera tillräckligt representativ data som balanserar ut de underliggande fördomarna? Mitt exempel med svarta läkare som behandlar vita barn indikerar motsatsen. Men det här är en fråga för någon som arbetar specifikt med balansering. Kanske är det mer rimligt inom vissa ämnesområden och branscher än andra.
Jag håller mig alltid sunt skeptisk till situationer där man ser att en teknik inte funkar och lösningen som föreslås är att slänga på mer av samma teknik.
Vad kan vi som användare göra för att bli mer medvetna om bias och hantera det i vår interaktion med AI?
Vi behöver träna oss själva i att känna igen bias och fördomar. Vi behöver bli mer medvetna och arbeta med att känna igen bias även hos oss själva. Ett sätt är att till exempel reflektera över möten i vardagen och arbetslivet, gör jag antaganden om människor baserat på deras utseende, deras roll, bakgrund eller språkanvändning? Värderar jag allas bidrag och uttalanden på samma sätt eller låter jag personliga preferenser påverka mig?
När vi blir mer medvetna och använder vår nyfikenhet, så kommer bias bli tydligare i alla sammanhang, även i vår användning av AI. Vad tycker jag om innehållet, varför tycker jag så och vad är det som jag kanske missar? Att läsa, titta på eller lyssna på berättelser från människor med olika erfarenheter kan bidra till att bryta ner stereotyper och fördomar som vi alla i någon mån har.
Är bias något vi alltid kommer att behöva hantera, eller kan vi nå en punkt där AI är "rättvis"?
Jag vill nog påstå att det är omöjligt att nå en situation där vi kan kalla generativ "AI" fritt från bias, eller rakt igenom rättvist. Det är och kommer fortsätta vara en produkt av mänskligt innehåll, mänskliga antaganden och mänsklig användning där man utsätter andra människor för resultat baserad på data som inte kan sammanfatta komplexiteten hos en människa.
AI som inte producerar text och bild, utan endast producerar matematiska beräkningar, är kanske det närmaste vi kan komma. Men inte generativ AI då, eftersom det uttrycker sig tvärsäkert även när svaret är osant. Snarare en termostat som håller temperaturen inom ett visst värde. En maskin som övervakar en patient skulle potentiellt kunna komma nära. Men redan när vi börjar prata om röntgenbilder så börjar vi se tecken på bias, för vilka röntgenbilder är det som används, på vilka människor och med vilken maskin, av vilket märke.
Representationen spelar alltid roll för vem systemet kommer att funka bäst för. Och det kommer sannolikt funka bäst för de grupper som det finns mest data för… och det är inte sällan vita män.
Anne Trafton | MIT News
Ser du några positiva utvecklingar eller innovationer som kan hjälpa oss att minska bias framöver?
De bästa innovationerna har vi redan: böcker och utbildning. Vi motverkar detta genom att läsa och lära oss mer. Genom att aktivt söka upp och lyssna på personer som kan berätta mer om fördomar. Böcker, podcaster och filmer som fokuserar på marginaliserade röster är ovärderliga verktyg för att utöka din förståelse.
Många fördomar som var utbredda i samhället för fyrtio år sedan har vi raserat. Jag tror på mänsklighetens förmåga att fortsätta agera för rättvisa även efter ett gäng bakslag.
Vi vet ännu inte om "AI" kommer göra mer skada än nytta när det gäller att sprida och förstärka fördomar, men det fina är att vi människor kan vara bättre än "AI" på att känna igen och hantera orättvisa. När det behövs kan vi stänga av maskinen.
Vad är det viktigaste du vill att lyssnarna tar med sig?
Vi pratar mycket om ansvar idag och många vill att tillverkarna av AI-system ska ta ett större ansvar. Men jag vill också att fler personer funderar över sitt eget ansvar när man använder systemen och sprider innehåll som kan innehålla fördomar, ibland på sätt som du kanske själv inte är medveten om. För ansvaret ligger förstås hos alla människor som på något sätt är en del i flödet. Som användare är du en viktig länk i den kedjan.
Var också vaksam och informera dig om när organisationer och myndigheter poängsätter dig och behandlar dig som en eller flera datapunkter i ett AI-system. Var nyfiken, och fundera över hur det kan drabba dig på negativa sätt.
Kanske viktigast ändå: Ta hand om dig själv för att må bra, så att du sedan kan visa omtänksamhet om andra. Och be om hjälp från andra människor när du behöver det.
