Digital etik

Deepfake-porr med valfri person från Instagram

Per Axbom

16 maj 2023

Tekniken blir hela tiden bättre och billigare. Porrindustrin växer i alla led. Nu är nämligen alla en potentiell porrskådis mot sin egen vilja. Och för unga kvinnor är det i princip omöjligt att skydda sig från att utnyttjas.

Det går nu att till en låg kostnad skapa porrfilmer med vem som helst som har ett knippe foton av sig själv publicerade på Internet. Filmer med kändisars ansikten finns i stor mängd för runt 5 dollar. I chattforum erbjuds skräddarsydda filmer med valfri person på Instagram som har mindre än 2 miljoner följare, en så kallad “personal girl”, för 65 dollar.

Så här funkar det

Filmer som genereras med hjälp av AI kallas för deepfake. Ordet deep kommer från begreppet deep learning, en metod för maskininlärning.

De som skapar filmerna utgår oftast från en befintlig film. Redan här har vi problem, eftersom personerna i original-filmen sällan ger samtycke till den här användningen.
Flertalet bilder av den person man vill ska figurera i filmen laddas ner från internet. Till exempel hämtas bilder från Instagram och Facebook, eller via stillbilder från Snapchat, TikTok eller Twitch.
En mjukvara (program eller app) för att generera deepfake-filmer används för att markera vems ansikte som ska ersättas med det nya ansiktet från bilderna. Möjligheten finns alltså att ersätta varje person i filmen med olika utvalda människor vars foton man laddat ner.
Mjukvaran får sedan på egen hand generera den nya filmen. Processen tar några timmar för att uppnå en kvalitet där många människor inte direkt kan se att filmen är fejk.

Här ser du ett kort exempel på en deepfake där ett ansikte ersätts med ett annat i en befintlig spelfilm. I det här fallet ersätter mitt ansikte Johnny Depps ansikte, som piraten Jack Sparrow i filmen Pirates of the Carribean.

0:00

/0:12

Exempel på en deepfake-film med Per Axbom som karaktären Jack Sparrow.

Det här exemplet genererades på cirka 20 sekunder och använde endast en enstaka stillbild på mitt ansikte. Kvaliteten ökar betydligt med fler bilder, mer datorkraft och längre arbetstid. Idag kan man också klona en människas röst med cirka en minuts ljudprov. Jag lät därför min egen röstklon göra rösten i början av klippet. Rösten är alltså inte heller jag, utan en dator.

Det är lätt att se hur man kan tycka att tekniken är lite rolig och harmlös. Det kan kännas medryckande att se sig själv i situationer från filmer man gillar. Men samma teknik används när illasinnade aktörer stjäl foton från nätet och låter intet ont anande människors ansikten, och ibland röster, agera i naken- och sexscener.

Hur det påverkar kvinnor

Så här säger Danielle Keats Citron, författare till Hate Crimes in Cyberspace om hur det påverkar kvinnor idag (min översättning):

"Deepfake-teknik används för att skada kvinnor genom att infoga deras ansikten i porr. Det är mardrömslikt, plågsamt, förringande och kuvande. Deepfake-sexfilmer säger till individer att deras kroppar inte är deras egna och det kan bli svårt att fortsätta vara aktiv online, få eller behålla ett jobb, eller att känna sig trygg."

Det är olyckligt att det kallas för fejk eftersom det är ett verkligt övergrepp; ansiktet tillhör en riktig människa. Förtvivlade unga kvinnor blir regelbundet uppmärksammade på att det finns nakenbilder och porrfilmer med personer som ser ut precis som dem, och är namngivna som varande dem. Det kan givetvis bidra till enormt skadliga effekter vad gäller stress, psykisk hälsa och självbild. Vilket i sin tur kan få ytterligare tragiska konsekvenser.

Kunde detta ha förutspåtts? Tusen gånger ja. För det har redan pågått decennier. År 2013 blev tillvaron mardrömslik för Noelle Martin när hon bild-googlade sig själv och upptäckte hur hon retuscherats in i pornografiska foton som spreds på nätet. Fundera nu över hur långt tekniken kommit sedan dess.

Noelle Martin, idag advokat, talar på TEDxPerth 2017 om sina erfarenheter av att upptäcka hur hon figurerade i fejk-porr och senare bidrog till lagändringar i Australien.

‌I en rapport från 2019 visade Sensity – ett företag i Amsterdam med expertis inom AI och deepfake – att 96 procent av deepfake-filmer är sexuella och produceras utan samtycke. I 99 procent av fallen är det kvinnor som drabbas. Att kvinnor utsätts för deepfake-filmer är betydligt vanligare än att politiker utsätts.

Tidigare i år avslöjades till exempel att Twitch-artisten Brandon Ewing tittade på deepfake-porr där kvinnliga Twitch-artisters ansikten, några av dem hans tidigare vänner, använts i filmerna. Kvinnorna blev medvetna om filmerna först sedan Ewing av misstag visade porrsajten i en livesändning.

Makthavarna i techbranschen som bygger många av dagens omskrivna AI-verktyg vill gärna få journalister och lagstiftare att fokusera på sinnebilden av datorer med medvetande som en av vår tids största risker. Som om de för första gången ser ett hot mot sin egen dominans i näringskedjan.

Samtidigt lider människor runtom i världen redan idag, på riktigt, av de här tekniksprången. På helt förutsägbara, synliga och kännbara sätt. Samhället måste därför tydligare adressera AI-förstärkta övergrepp som redan, och sedan länge, pågår.◾️

Per Axbom är bloggare, föreläsare, lärare och senior strateg inom digital etik, tillgänglighet och UX-design. Han är författare till Digital omtanke och aktuell i flera podcaster.

Hjälp att få

Kom ihåg att det aldrig är ditt fel om du blir utsatt. Ansvaret ligger alltid på den som begår brottet.
Du som vuxen kan få råd av Rädda Barnens Nätsmart om hur du pratar med barn om övergrepp på nätet. Motsvarande stöd finns även hos Brottsoffermyndigheten, Bris och ECPAT.
Läs mer hos Polisen om de olika typer av brott som begås när man tar, har och delar nakenbilder, och hur du som utsatt eller närstående kan agera.
Mind har en lista med organisationer och jourer för dig som behöver någon att prata med.