Många berättar för mig hur deras företag är igång och testar AI-verktyg. Det i sig är inte alls konstigt. Det är nog svårt att som ledare idag inte känna sig stressad över AI-tillverkarnas löften om omvälvande förmågor som radikalt ska förändra alla verksamheter. Löften som gärna också får stora rubriker i tidningarna. Det finns rimligen en stark ansvarskänsla i att få koll på läget.

Däremot sker de här "testerna" med en varierande grad av tydliga instruktioner och ramar. "Bråttom-bråttom"-faktorn leder ofta till tunnelseende. Man blir skrämsel-driven istället för datadriven. Testningen kan till exempel brista i det stöd man får för att förstå verktygen, och hur utvärderingen ska dokumenteras.

Den här mallen kan hjälpa. Se den som ett sätt att ta ett djupt andetag innan du tar viktiga beslut.

Arbetsbladet för test och utvärdering av AI ger dig en struktur för frågor och ämnen som bör vara del av en AI-analys. Allt ifrån förarbete till områden som främjar förändring.

Du kan ladda ner mallen här i PDF-format och PNG- format. Ett enkelt sätt att använda den är att lägga den som bakgrund i whiteboard-verktyg som Miro, Mural eller Figma. Man kan då ha brainstorming-sessioner med digitala 'klisterlappar'.

Som ytterligare stöd skriver jag kort om varje område nedan. Notera att mallen alltså är tänkt att användas under hela utvärderingsperioden, och inte bara vid ett workshop-tillfälle.

Genomgång av mallen

Om projektet

• Projektnamn. Bestäm och skriv ett namn för utvärderingsprojektet så att det blir lätt att referera till.
• Tidsperiod. Ange start- och slutdatum för utvärderingen.
• Mer info: Ange en kontaktperson eller webbadress för den som vill få mer information.

Rama in

Frågeställningar och ställningstaganden som bör vara på plats innan projektet sätter igång.

Varför – Skäl att göra detta

Vad är det som driver att vi vill göra en utvärdering av AI. Är det särskilda förväntningar, en känsla av brådskande behov eller annat. Genoma att vara ärlig med drivkraften bakom blir det lättare att i ett senare skede också bättre förstå om den drivkraften var befogad.

Mål – Prestationer att uppfylla

Var så tydlig som möjligt med vilka typer av mål organisationen tänker sig. Till exempel om vissa professioner ska arbeta snabbare, om kvaliteten på något arbete förväntas öka eller om man ska börja göra något man inte tidigare gjort. Det behöver ännu inte vara i alltför mycket detalj – detaljer kommer senare när ni sätter KPI:er. Gemensamt här är ändå att det ska handla om en förbättring eller förändring som man anser vara gynnsam för organisationen.

Risker – Potentiell och  inneboende fara/skada

För att göra en trygg utvärdering gäller att redan på förhand prata om de risker som en användning av AI-verktyg, och kanske framför allt generativ AI, kan utgöra. Det kan handla om fördomar som förstärks, summeringar som blir felaktiga eller information som används utan tillstånd.

Som diskussionsunderlag för en sådan övning kan ni till exempel använda mitt diagram Elementen inom AI-etik. Genom att tidigt adressera dessa kan ni förebygga skadliga utfall.

Resurser – Vad ska vi köpa, studera och lära oss innan vi börjar

Inför alla resor måste man också packa med sig det man behöver för att klara sig, samt förstå vad det är man ger sig in på. Hur väl förstår alla tekniken som ska testas? Behöver man gå en kurs innan, eller finns inläsningsmaterial i form av artiklar eller böcker att förbereda sig med? Givet vad ni vill åstadkomma kanske det är särskilda tillägg, produkter eller mjukvara, som man vill köpa in.

Säkerställ att ni har det som underlättar resan och undvik att behöver avbryta mitt i. Är alla ens överens om vad "AI" betyder?

Utför

För själva testning av AI-verktyget gäller att inte försöka göra eller utvärdera för många saker på en gång. Det riskerar nämligen att försvåra bedömningen av hur väl ett nytt verktyg passar in i verksamheten. Det är ju ofta också så att det här arbetet sker parallellt med att man utför sina ordinarie uppgifter. Tar man på sig för mycket blir antingen det vanliga arbetet lidande eller så blir utvärderingen halvdant genomförd.

Att göra

I mallen finns utrymme för tre aktiviteter under "Att göra". Här beskriver ni vad organisationen, eller utvalda individer, gör med det nya verktyget som förväntas leda till uppfyllande av det, eller de, mål som prioriterats i Mål-avsnittet. Om ni bedömer att ni vill utföra och kartlägga fler aktiviteter än så återskapar ni förslagsvis denna del till en utökad tabell.

KPI:er

KPI står som bekant för Key Performance Indicator och även här gäller att inte försöka mäta för mycket. Håll det gärna till tre eller färre indikatorer per aktivitet. Indikatorer kan här handla om tidsbesparingar, nöjdhet (intern eller extern), minskat antal fel, ökat kundengagemang, minskad väntetid, med mera. Detta ska förstås vara kopplat till de mål ni beskrivit innan.

Som vanligt i en workshop-övning rekommenderar jag en öppen och fri brainstorm kring dessa, men att ni sedan begränsar mängden KPI:er genom resonemang och eventuellt i slutändan dot voting (alla deltagare får 3-5 poäng att dela ut till sina favoriter) .

Ansvarig(a)

Det bör förstås också vara tydligt vem som faktiskt ansvarar för att mäta respektive KPI, det faller annars mellan stolarna. Själva mätningarna utförs och dokumenteras på lämpligt sätt som avgörs av respektive ansvarig person.

Utvärdera

Nu är vi inne i fasen som innebär att vi gör en noggrann sammanställning av vad vi lärt oss, kostnader och vinster, samt funderar över vilka andra konsekvenser som användningen kan leda till. Om vi inte fått svar på alla frågor, eller nya har dykt upp, så förtydligas även det.

Lärdomar – Vad vet vi nu som vi inte visste innan

Förutom rapporteringen av hur väl aktiviteterna levt upp till de KPI:er som mätts, finns här utrymme för deltagare att dela med sig av alla möjliga perspektiv som de kan ha tagit med sig från arbetet under projektet gång. Det här kan blir oerhört givande aktivitet om man tillåter sig att lyfta såväl konkreta händelser som mer känslomässiga upplevelser. Hur har deltagarna till exempel utmanat sina egna förutfattade meningar om tekniken.

System-effekter – Påverkan bortom inramningen

Det är viktigt att uppmärksamma att användningen av ny teknik också kan påverka på sätt som är oförutsägbara, men som går att upptäcka om man är vaksam. Till exempel kan en avdelnings förmåga att arbeta snabbare skapa en högre arbetsbelastning för någon annan, det jag kallar för Osynkade kugghjul. Något som upplevs bättre kan alltså ändå bidra till ett sämre resultat.

Här rekommenderar jag också att man lyfter vidare effekter av de verktyg man väljer att förlita sig på. Till exempel uppmärksammas allt oftare hur AI-modeller kräver enorma mängder energi i såväl tillverkning som användning. För många organisationer kan det kännas värt att reflektera över om man vill göra sig beroende av verktyg som bidrar till ett ökat klimatavtryck, om samma aktiviteter kan göras på mer energieffektiva sätt med fullgott resultat.

Något som kan vara värt att lyfta är även de konsekvenser som ofta visar sig först efter en längre tids användning, såsom behov av ökade lagringsutrymmen eller om verktygen får en oförutsedd åtkomst till dokument med känslig information som sedan blir tillgänglig i svaren som ges.

Se även: Förklaringsmodell för ansvar, påverkan och makt inom AI

Kostnader – Upplevda förluster

Utrymme för att lyfta kostnader av olika slag som är förenade med användningen an den nya tekniken.

Vinster – Upplevda fördelar

Utrymme för att lyfta nyttor av olika slag som är förenade med användningen an den nya tekniken.

Ouppklarat – Vad vet vi fortfarande inte, eller vill lära oss

I utvärderingen är det värdefullt att notera sådant som fortfarande är frågetecken, om det finns ovissheter som dykt upp och insikter om vad man behöver lära sig mer om framåt. Det är inte orimligt att en utvärdering följs av en annan som blir än mer fokuserad på ett särskilt verksamhetsområde.

Nästa steg

Den största nyttan av utvärderingen får vi av gemensamma beslut om hur verksamheten ska agera framåt. Detta är användbart och värdefullt även om man inte upplevde de förväntade fördelarna av verktyget i sin test. En förståelse för vad som inte fungerar är också en ny förståelse, och hjälper organisationen i framtida vägval.

Kom ihåg att experiment av denna typ aldrig misslyckas – man lär sig alltid något nytt. I alla fall om man använder den här mallen. 😉

Här rekommenderar jag en enkel och populär uppställning som jag själv använder mig av i många olika sammanhang för att skapa en handlingsplan efter att ha tillskansat mig ny kunskap – även efter något så enkelt som att ha läst en bok.

Sluta göra

Finns det något jag/vi redan ägnar oss åt som inte alls ger den typ av effekt vi hoppas, eller kostar mer än det smakar? Då blir det en lista med aktiviteter som bör upphöra.

Fortsätt göra

Finns det något jag/vi redan ägnar oss åt som ger värdefulla resultat utifrån arbetsinsatsen – eller till exempel bidrar till välbefinnande? Då blir det en lista med aktiviteter som vi fortsätter utföra som en del i arbetet.

Börja göra

Vad har vi lärt oss om nya sätt att göra saker på som vi kan ha nytta av framåt för att skapa värde för organisationen och/eller oss själva? Här formas listan med saker som vi vill börja göra och som vi inte gjort förut.

Var uppmärksam på om ni lägger till aktiviteter utan att tydligt också ta bort några.

Sammanfattningsvis

Om du och din organisation använder er av den här mallen så har ni goda förutsättningar för att lära er massor av att testa nya verktyg. Men alla organisationer är också olika. Ni är välkomna att anpassa och forma mallen efter era egna behov.

Jag har satt licensen CC BY-SA vilket innebär att ni får använda, dela och anpassa den hur ni vill bara ni anger mig som upphovsperson och inte ändrar licensen. God sed är också att lägga en länk till den här sidan. När jag uppdaterar mallen så lägger jag alltid upp den nya versionen här.

Berätta gärna om den kommer till användning och hur det går. Behöver ni en workshop-ledare så vet du var ni hittar mig.

Lästips

• arXiv. FABLES: Evaluating faithfulness and content selection in book-length summarization. En forskningsstudie som visar riskerna med att förlita sig på sammanfattningar gjorda med språkmodeller.
• Baldur Bjarnason: The LLMentalist Effect: how chat-based Large Language Models replicate the mechanisms of a psychic’s con. En artikel från juli 2023 som fått mycket uppmärksamhet den senaste veckan. Den förklarar mekanismerna som gör att människor luras att tro på parapsykiska förmågor som medier och siare påstår sig ha, och visar hur samma mekanismer gör att människor tror på magiska förmågor hos språkmodeller (chatbottar som ChatGPT).
• The Markup: AI Detection Tools Falsely Accuse International Students of Cheating. Om hur personer med engelska som andraspråk mer ofta utsätts för felaktiga utpekanden – av automatiserade system –  om att ha fuskat med hjälp av AI.

Insamling till Barncancerfonden

I juni fyller jag 50. I samband med det har jag startat en insamling till Barncancerfonden i mitt namn, vilket jag också gjorde när jag fyllde 40. Om du haft nytta av mitt kostnadsfria innehåll genom åren kanske du kan tänka dig att skänka en slant. 😊 (Klicka på "Jag vill bidra".)