Dataskuggor hos myndigheter suddar ut människovärden
Vi har hamnat i en situation där det hos myndigheterna finns mängder av information om dig som medborgare, och du vet inte vilken information det är, om den är rätt eller vad den används till. Vet myndigheterna själva?
Du har idag många dataskuggor. Diffusa bilder av dig som person som myndigheter, banker och försäkringsbolag tar hjälp av för att bedöma din lämplighet för till exempel arbete, bidrag, sjukpenning, rabatter, och kredit. Du är i många sammanhang blott en risk, frågan är hur stor, och en 'datadriven' organisation lägger stor vikt vid din skugga för att avgöra det.
Orättvis behandling av myndigheter är inte alls nytt, eller ett resultat av moderna algoritmer och AI. Det är ett resultat av synen på människor. Och av hur idéer om effektivitet, och tilliten till data, påverkar den synen.
Nyligen avslöjade SvD, tillsammans med Lighthouse Reports, att Försäkringskassans automatiserade system för att bedöma oärlighet inom vab visar tydliga tecken på diskriminering. Men vi bör inte överraskas av ett fenomen som myndigheter drivit mot i decennier. Det har blivit norm inom såväl offentlig sektor som näringsliv att behandla dataskuggor, förenklade bilder av var och en av oss, som vore de en rimlig och verklig representation av vårt människovärde och kapacitet i någon form av outtalad hierarki.
"Betalningssvårigheter, körkortsindragningar, sjukhusvistelser, konflikter med barnavårdsnämnden, skolbetyg, tjänstgöringsbetyg, läkarintyg, vilka böcker man lånat, vilka tidningar man prenumererar på, om en bror suttit inne, om en svåger är organiserad kommunist. Snart kanske dessutom de flesta av ens betalningar och lån, om bankerna blir hopkopplade i SIBOL-systemet. Inkomsterna finns där ju redan, i skatteskrapan."
Så skrev människorättsaktivisten och folkpartisten Kerstin Anér redan 1972, ja för mer än ett halvt sekel sedan, när hon varnade för den datainsamling som drog igång i samband med datoriseringen.
Arbetsmarknadsstyrelsen var 1972 igång sedan länge med att samla in data om alla arbetssökande. Historien förtäljer att tjänstemännen visade missnöje över vad man ansåg vara en omänsklig hantering. En reflexmässig protest mot något som då upplevdes uppenbart orättvist. Systermyndigheten Socialstyrelsen stoppade också in människor i fördefinierade rutor som exemplifieras: "alkoholiserad, arbetsskygg, familjeproblem…".
Skugga efter skugga växte fram för varje medborgare.
Från USA kom rapporter om system som värderade lämplighet för arbete, och som fortsatte användas även när ingen programmerare fanns kvar som visste hur systemet fungerade. Att det fick fortgå tycktes ofattbart.
Men femtio år senare heter det inom "AI"-branschen att de interna processerna bor i svarta lådor. Ingen får se eller förstå hur de verkligen fungerar, och ingen förklaring av systemens slutsatser begärs av beslutsfattarna. En förbluffande mängd makthavare och ledare uttrycker att det är bra så.
När människan reduceras till data så känns det för dessa makthavare omedelbart vetenskapligt och respektingivande. Ofelbart. Det blir propert, binärt och utan gråzoner. Uppgifter finns inkodade i mallade profiler. Om de är rätt, rättvisande eller relevanta blir sekundärt. Bara vi får ut en siffra i andra änden. Siffror är tack och lov så mycket lättare att läsa än människor. Och svåra att ifrågasätta.
Anér fortsätter:
"Man märker knappast, att det bara är några enstaka punkter, uttag ur sitt sammanhang, som utgör bilden. Man glömmer, att många av uppgifterna i databilden redan är tolkade, insatta i ett sammanhang som kanske inte alls är det ursprungliga. Man har slutsatser framför sig — men tror att det är råa fakta. Och så tillsätter, avsätter, dömer och utvärderar man en dataskugga, men den som får ta konsekvenserna är en människa av kött och blod."
Jag häpnar över hur träffsäker hon var så tidigt. Hur få som förstod, eller idag förstår. Att vi har låtit det gå så här långt.
Istället för att stärka människor har datorerna många gånger använts till att förminska oss. Tillit kan endast återställas när dessa pseudo-beräkningar upphör och organisationer hittar tillbaka till ett värdigt bemötande av medborgare och kunder. Automatiserad utvärdering innebär ofta automatiserad diskriminering, och en mer effektiv diskriminering är det sista vi behöver.
Det går inte att lita på myndigheter som inte kan berätta på vilka grunder deras automatiska bedömningar sker. Vars chefer är oförmögna att redogöra för hur det maskinella stödet fungerar. Det får inte vara en situation att eftersträva i en demokrati.
Särskilt hugger det till när Anér i samma essä ifrågasätter vad som händer över tid om maskinens syfte blir att hantera och bedöma fler och fler människor utan att utbyta ett enda ord med dem. Utan att lyssna. Utan att ta någon som helst hänsyn till deras fysiska gestalt. Hennes ord gör att nackhåren reser sig:
"Är detta att tjäna människan, eller att avskaffa henne?"
Hur dina många dataskuggor tolkas av maskin och främling är nu viktigare än hur du själv på riktigt mår.
_____
Per Axbom är utbildare, föreläsare och rådgivare inom digital etik, författare till handboken Digital omtanke och medgrundare av Tankesmedjan Dataskuggan.
Kerstin Anérs citat är från essän "Dataskuggan", publicerad i den kristna kulturtidskriften Vår lösen, år 1972. Det var i denna essä som begreppet Dataskugga myntades, ett begrepp som sedan anammats internationellt i den engelska formen data shadow.
Referenser
- Anér, Kerstin (1972). 'Dataskuggan'. Vår lösen.
- Amnesty International (2024). Sverige: Försäkringskassan måste upphöra med sitt diskriminerande system, amnesty.se, 27 november.
- Amnesty International (2024). Danmark: AI-verktyg riskerar att diskriminera människor som redan lever i utsatthet, amnesty.se, 13 november.
- Amnesty International (2024). France: Discriminatory algorithm used by the social security agency must be stopped, amnesty.org, 16 oktober.
- Amnesty International (2021). Dutch childcare benefit scandal an urgent wake-up call to ban racist algorithms, amnesty.org, 25 oktober.
- Axbom, Per (2024). Diagram: Bias inom maskininlärning. axbom.se, 13 december.
- Axbom, Per (2023). Förklaringsmodell för ansvar, påverkan och makt inom AI. axbom.se, 11 december.
- Axbom, Per (2023). Elementen inom AI-etik. axbom.se, 19 juni.
- Axbom, Per (2022). Elementen inom digital etik. axbom.se, 4 april.
- Booth, Robert (2024). Revealed: bias found in AI system used to detect UK benefits fraud, The Guardian, 6 december.
- de Heer, Sarah (2023). A Scandal on AI in Administration, Again: Fortifying Fundamental Rights in the Age of AI, verfassungsblog.de, 25 juli.
- Granberg, Sascha & Geiger, Gabriel (2024). Hemlig AI såg oskyldiga kvinnor som vab-fuskare, Svenska Dagbladet, 27 november.
- Granberg, Sascha & Geiger, Gabriel (2024). Sweden's Suspicion Machine, Lighthouse Reports, 27 november.
- Heikkiläa, Melissa (2022). Dutch scandal serves as a warning for Europe over risks of using algorithms, Politico, 29 mars.
- Kronblad, Charlotta (2022). Algoritmisk orättvisa – när domstolen är blind för digitala bevis, Advokaten nr 6 2022 Årgång 88.
- Meaker, Morgan (2024). Algorithms Policed Welfare Systems For Years. Now They're Under Fire for Bias, Wired, 16 oktober.
- Schaart, Eline (2021). Mark Rutte pulls plug on Dutch government, plans immediate return, Politico, 15 januari.
- Stacey, Kiran (2023). UK risks scandal over ‘bias’ in AI tools in use across public sector, The Guardian, 23 oktober.
- Yigitcanlar et al (2024). Local governments are using AI without clear rules or policies, and the public has no idea, The Conversation, 11 december.