Tre lärdomar från en man som avstyrde kärnvapenkrig genom att inte lita på en dator

Den 26 september 1983 fattade Stanislav Petrov det korrekta beslutet att inte lita på en dator. Det tidiga varningssystemet vid ledningscentralen Serpukhov-15, som högljutt larmade om en kärnvapenattack från USA, var naturligtvis modernt och av senaste tekniken. Stanislav Petrov var ansvarig på plats och arbetade sitt andra skift som inhoppare för en kollega som var sjuk. Många officerare ställda inför samma situation skulle ha ringt sina överordnade för att uppmärksamma dem på behovet av en motattack. Särskilt då andra officerare skrek åt honom att han skulle retaliera snabbt innan det var för sent. Men Petrov gav inte vika.

Se denna rekonstruktion från dokumentären The Man Who Saved the World för att få en känsla för allvaret i situationen han befann sig i:

0:00

/0:33

Klipp från dokumentären som visar en rekonstruktion av de ögonblick då larmet går och alla får reda på att 5 kärnvapenmissiler avfyrats från USA.

Jag har delat Petrovs historia förut. Ett stort antal människor har honom att tacka för sina liv. Och ändå förblir han för allmänheten i stort sett okänd.

Om vi ska undvika ogrundat och missriktat förtroende för maskiner, algoritmer och AI måste vi lära oss av människor som Stanislav Petrov.

Som du vet hade datorn förstås fel om den förestående attacken. Petrov räddade sannolikt världen från en tragisk kärnvapenkatastrof under dessa vansinnigt påfrestande minuter, genom att våga vänta på bekräftelse från marken. I sammanhanget måste man också vara medveten om att detta var i en tid då relationerna mellan USA och Sovjet var oerhört spända. Bara tre veckor tidigare hade Sovjet skjutit ner ett passagerarplan, Korean Air Lines Flight 007.

Här är tre lärdomar jag tar med mig från hans berättelse:

1) Omfamna flera perspektiv

Det faktum att det inte var Stanislov Petrovs eget val att satsa på en karriär inom armén vittnar om hur viktigt det är att välkomna ett brett spektrum av erfarenheter och perspektiv. Petrov fick en utbildning som ingenjör snarare än militär. Han var välbekant med oförutsägbarheten i maskiners beteende.

Ledare berömmer i allmänhet ofelbarheten hos automatiserade maskiner som de har investerat pengar och resurser i. Och militär personal tränas i att agera enligt rutiner som grundar sig i instruktioner från maskiner, eller riskera straff. Ingenjören känner däremot instinktivt till de inneboende riskerna med oförutsett beteende och falska positiva resultat i maskiner.

På tal om mannen som han ersatte vid tidpunkten för händelsen, sa Petrov:

"Han vara bara en militär. Han var sjuk eller nå't. Killarna i armén som bara har vapen i händerna tänker inte. De accepterar order. Mitt vapen var min hjärna och det är den stora skillnaden."

Även om det är en fördomsfull kommentar är den en återspegling av det tänkesätt han upplevde på plats.

0:00

/0:48

Klipp från dokumentären. "Datorn kan inte ha fel" möts av "Jag litar inte på datorn".

2) Leta efter flera bekräftelsepunkter

Stanislav Petrov förstod vad han letade efter. Även om han har erkänt att han inte kunde vara 100 % säker på att attacken inte var verklig, var det flera faktorer som han har nämnt som spelade in i hans beslut:

Han hade fått höra att en amerikansk attack skulle bli total. En attack med bara 5 missiler kändes inte vettig för honom.
Markradarn kunde inte fånga bevis på en attack, även efter flera minuters väntan.
Meddelandet passerade för snabbt igenom de 30 lager av verifiering han själv hade tänkt ut.

Utöver detta: Detekteringssystemet för att upptäcka avfyrningar var nytt (och därför litade han inte helt på det).

För att bekräfta vår övertygelse bör vi förvänta oss att många olika variabler styrker varandra och indikerar samma sak för oss. Om en eller flera variabler säger något annorlunda måste vi undersöka dessa avvikelser för att förstå varför. Om idén om ett felfungerande system styrks av alla andra variabler, så bör det betraktas som mer troligt att ett systemfel har upstått.

3) Belöna avslöjanden av illa fungerande system

Om vi fortsätter att berömma våra verktyg för deras förträfflighet och effektivitet är det svårt att senare acceptera deras defekter. När brister upptäcks behöver detta kommuniceras lika tydligt och brett som framgångar. Att upprätthålla en illusion av perfekta, neutrala och felfria system kommer att hindra människor från att ifrågasätta systemen när systemen behöver ifrågasättas.

Stanislav Petrov fick ingen belöning från militären för sina handlingar. Vid ett tillfälle blev han faktiskt tillrättavisad för att han inte skrev på korrekt sätt om händelsen i krigsdagboken.

Petrov själv sa att det inte fanns någon belöning just för att händelsen upptäckte buggar i detektionssystemet. Att belöna honom skulle vara genant för hans överordnade, och för ansvariga forskare. Och att uppmärksamma hans handlingar skulle innebära att någon, troligen en överordnad, skulle behöva straffas.

Vi måste sluta straffa när misslyckanden hjälper oss att förstå något som kan förbättras.

Petrov gick bort i maj 2017, men vi ska inte sluta lära oss av ett av de mest betydelsefulla besluten i mänsklighetens historia. Petrov själv skulle naturligtvis aldrig göra anspråk på att vara en hjälte av något slag:

"Allt som hände betydde inte något för mig – det var mitt jobb. Jag gjorde helt enkelt mitt jobb, och jag var rätt person vid rätt tidpunkt, det är allt. Min framlidna hustru visste inget om det under 10 år. 'Så vad gjorde du?' frågade hon mig. 'Inget. Jag gjorde inget.'"
– Stanislav Petrov

I detta citat anspelar han också på att han inte fick berätta för sin hustru, som var sjuk i cancer, om händelsen på 10 år. När Petrovs agerande äntligen kom till publik kännedom började omvärlden förstås uppmärksamma det. Bland de utmärkelser och utmärkelser han fick utanför Sovjetunionen/Ryssland är:

2004: San Francisco-baserade Association of World Citizens gav Petrov sitt World Citizen Award.
2006: Han hedrades vid ett möte i FN i New York City. Association of World Citizens gav Petrov en andra speciell World Citizen Award.
2012: Han mottog 2011 års tyska mediapris, som delades ut till honom vid en ceremoni i Baden-Baden, Tyskland
2013: Han tilldelades Dresdens fredspris i Dresden, Tyskland, den 17 februari.
2018: Han blev postumt hedrad i New York med $50 000 Future of Life Award.

Vad lär du dig av Stanislav Petrovs handlingar?

Du kan se dokumentären på YouTube eller hitta den på någon av alla streaming-tjänster.