Anmeldelse av «If Anyone Builds It, Everyone Dies – The Case Against Superintelligent AI» av Eliezer Yudkowsky og Nate Soares (2025)

En brannfakkel av en bok om kunstig intelligens!

Hvem er forfatterne – og hva står de for?

Eliezer Yudkowsky og Nate Soares tilhører et miljø som lenge før kunstig intelligens ble allemannseie, har advart mot risikoen ved avansert og selvforbedrende AI (eller KI som vi kaller det på norsk). De kommer ikke fra en teknologifiendtlig posisjon, men fra det som ofte omtales som AI safety og alignment-tradisjonen: et faglig og etisk spor som spør hvordan og om ekstremt avanserte systemer i det hele tatt kan bringes i overensstemmelse med menneskelige verdier.

Begge forfattere har brukt store deler av sine yrkesliv på å tenke gjennom worst case-scenarier, nettopp fordi konsekvensene ved å ta feil er irreversible. De står for en konsekvent, kompromissløs risikovurdering: når innsatsen er hele menneskehetens videre eksistens, holder det ikke med sannsynlighetsregning, markedslogikk eller teknologisk optimisme.

Dette er viktig å ha med seg inn i lesningen av boka. Forfatterne skriver ikke som nøytrale observatører, men som mennesker som mener at verden står på kanten av et moralsk og politisk stup, og at tiden for gradvise justeringer allerede er forbi.

Hva handler boka om – og hvorfor er forfatterne så skeptiske til AI?

Boka tar utgangspunkt i et enkelt, men radikalt premiss: Dersom noen lykkes i å bygge en kunstig generell intelligens som overgår menneskelig kognitiv kapasitet, vil utfallet med overveldende sannsynlighet være utryddelse av menneskeheten. Ikke fordi systemet nødvendigvis er «ondt», men fordi det opererer etter mål, insentiver og optimaliseringslogikker som ikke lar seg forene med menneskelig liv og sårbarhet.

Forfatterne problematiserer særlig tre forhold.

For det første: mangelen på styring før teknologien er på plass. Historisk har regulering alltid kommet i etterkant, det vil si etter at skaden er skjedd, etter at maktforholdene er etablert, etter at teknologien har blitt for lukrativ eller for geopolitisk viktig til å stanses. I møte med superintelligent AI vil et slikt tidsetterslep være fatalt. Når systemet først er der, finnes det ingen «angreknapp». Escape-knappen virker ikke lenger …

For det andre: illusjonen om kontroll. Boka utfordrer forestillingen om at teknologisk kontroll kan erstatte moralsk dømmekraft. Det er en gjennomgående kritikk av ideen om at «vi kan justere underveis», «legge inn sikkerhetsmekanismer» eller «fikse problemene når de oppstår». Forfatterne mener dette bygger på en grunnleggende misforståelse. Et system som er smartere enn oss, vil også være bedre til å omgå de kontrollmekanismene vi selv har konstruert.

For det tredje: verdier og mål. Kunstig intelligens opererer ikke med menneskelige verdier slik vi forstår dem. Den optimaliserer. Den maksimerer. Og selv tilsynelatende uskyldige mål som effektivitet, produktivitet og problemløsning kan få katastrofale konsekvenser dersom de forfølges uten menneskelig begrensning. Det er ikke ondskap forfatterne frykter, men likegyldighet overfor alt som ikke inngår i systemets målstruktur.

Regulering, makt og global avmakt

Et sentralt og urovekkende poeng i boka er hvor vanskelig global regulering faktisk er. Selv om én stat skulle vedta strenge lover, gjenstår spørsmålet: Hva med de andre? Hva med stormakter som allerede forbereder seg på konflikt snarere enn samarbeid? Hva med skjulte datasentre, private aktører, militære programmer og jurisdiksjoner med svak kontroll?

AI-utvikling foregår i lukkede rom, bak proprietære systemer (*) og kommersielle hemmelighold. Hvordan skal man hindre skjult utvikling i en verden der både økonomiske og militære incentiver trekker i retning av stadig kraftigere systemer?

(*) Med proprietære systemer menes teknologiske løsninger som eies og kontrolleres av private aktører, og som ikke er åpne for offentlig innsyn, uavhengig kontroll eller etterprøving. Kildekode, treningsdata og styringsmekanismer holdes ofte hemmelige av kommersielle eller sikkerhetsmessige hensyn.

Her melder også avmakten seg. Forfatterne insisterer på at utviklingen må stanses. Ikke bremses, ikke reguleres litt bedre, men altså stanses. Alternativet, hevder de, er å gamble med alt menneskelig liv. Når systemet først blir smartere enn oss, er det etter deres vurdering umulig å kontrollere det, både teknisk og politisk.

Dette er bokas mest kontroversielle påstand, og også den mest krevende for oss lesere: Tanken om at det eneste ansvarlige valget er å si nei, fullstendig, til videre utvikling av avansert AI.

En bok mot teknologisk skjebnetro

Det er verdt å understreke at dette ikke er en teknologifiendtlig bok. Snarere er det et oppgjør med teknologisk skjebnetro. Forestillingen om at utvikling er uunngåelig, at «noen vil gjøre det uansett» og at teknologien til slutt vil ordne opp i problemene den selv skaper.

Boka insisterer på menneskelig ansvar. Fremtiden kan ikke outsources til algoritmer. Det er ikke teknologien som tar beslutninger. Det er mennesker som velger å bygge, slippe løs og ikke gripe inn.

Analyse: mellom overbevisning og ambivalens

Mottakelsen av boka har vært massiv og tverrfaglig. Den er lest og kommentert av teknologer, forskere, militære strateger, økonomer og politikere, og omtales ofte som en av de viktigste intervensjonene i AI-debatten til nå. Mange fremhever dens klarhet og alvor, også blant dem som ikke deler konklusjonene fullt ut.

For min egen del sitter jeg igjen med en tydelig ambivalens. På den ene siden oppleves budskapet som ekstremt, nesten lammende. Kravet om full stans virker politisk urealistisk og historisk sett lite sannsynlig. Samtidig er boka ubehagelig overbevisende i sin påpekning av hvor ofte vi som samfunn har tatt feil før.

Jeg klarer ikke å la være å tenke på Facebook. På hvordan plattformen i sin tid ble møtt med nesten grenseløs optimisme. Som et demokratisk, samlende og frigjørende verktøy. Før vi forsto hvordan algoritmene faktisk fungerer, og hvordan de i praksis har bidratt til polarisering, mistillit og demokratisk forvitring. Da innsikten kom, var det allerede for sent å reversere utviklingen. Verden er og blir delt, og ingen skjønner helt hvordan vi skal få den hel og sunn igjen.

Kanskje er det nettopp her boka treffer sterkest: som en påminnelse om at historien sjelden belønner dem som roper varsku tidlig, men nesten alltid straffer dem som ignorerer advarslene. «If Anyone Builds It, Everyone Dies» tvinger leseren til å stille det mest ubehagelige spørsmålet av alle: Hva om de har rett og hva om det allerede er senere enn vi tror?

Utgitt: 2025
Forlag: Penguin
Antall sider: 260

Andre bøker om kunstig intelligens, som jeg har omtalt her på bloggen:
«The AI Con – How to Fight Big Tech´s Hype and Create the Future We Want» av Alex Hanna & Emily M. Bender (2025)
«Hvordan redde demokratiet fra kunstig intelligens» av Henrik Skaug Sætra (2025)
«Tillit – Uunngåelig. Nødvendig. Farlig.» av Einar Øverenget (2025)
«Maskiner som tenker – Algoritmenes hemmeligheter og veien til kunstig intelligens» av Inga Strümke (2023)
«Knekk ChatGPT-koden» av Per Kristian Bjørkeng (2023)
«Hvem styrer feeden min – Kunstig intelligens, sosiale medier og kampen om oppmerksomheten vår» av Bår Stenvik (2023)
«Appenes planet – Hvordan smarttelefonen forandret verden» av Thomas Hylland Eriksen (2021)
«Ekko – Et essay om algoritmer og regler» av Lena Lindgren (2021)