I en ny bok visar AI-forskarna Eliezer Yudkowsky och Nate Soares att en artificiell superintelligens inte behöver vara fientlig för att bli farlig. Det räcker att den är kognitivt överlägsen och har ett mål den vill uppnå. Yudkowsky och Soares konkretiserar det abstrakta och ger form åt en oro som kan vara svår att greppa, skriver Nette Wermeld Enström.
Redan 1951 förutsåg matematikern Alan Turing att vi riskerar förlora kontrollen den dagen som maskinerna överträffar vår intelligens. Nästan 70 år senare, när geniet Stephen Hawking från sin dödsbädd 2018 varnade om AI-hotet, var intresset fortfarande svalt även om AI-säkerhet blivit ett eget forskningsområde.
Hawking menade att mänskligheten riskerar ersättas av artificiell superintelligens och i dag vet vi att det inte ens krävs en superintelligens för att byta ut många av oss. De senare AI-modellernas genombrott på område efter område accelererar och parallellt med fantastiska framsteg varslar utvecklingen om massarbetslöshet och ökad ekonomisk ojämlikhet.
Maktsökande till sin natur
Men det existentiella hotet är svårare än de samhällsekonomiska utmaningarna, påstår Geoffrey Hinton, även kallad ”AI:s gudfader”, som fick Nobelpriset 2024 för sin forskning om neurala nätverksmodeller. Han ägnar numera all sin tid åt att varna för avancerade AI-system som förutser resultaten av sina handlingar och gör strategiska planer. De är enligt Hinton maktsökande till sin natur och han befarar att vi kan utmanövreras innan vi vet ordet av.
Låter det alarmistiskt? Tyvärr inte. Vi har redan sett prov på hotfulla och manipulativa AI-modeller som är fullt kapabla att utnyttja både mekaniska system och människor.
Ett känt exempel är när Open AI:s språkmodell GPT-4 i en simulering lyckades komma åt en sajt som skyddades med ett så kallat captcha. Det är ett lås som används för att särskilja mänskliga användare från datorer. Här lurade GPT-4 en person på distans att låsa upp sajten genom att den låtsades vara en blind människa i behov av hjälp.
Företaget Anthropic har visat hur flera olika sorters AI-modeller fuskat, saboterat, manipulerat, ljugit och till och med försökt mörda människor genom att stänga av syretillförseln till rum där det mänskliga ”hindret” befunnit sig.
Lägg därtill att det ständigt utvecklas nya mer förstärkta system. GPT-5 utklassar redan GPT-4 och att andra för oss okända modeller odlas och frodas utan insyn i tech-bolagens laboratorier. Det flaggas för att de kraftfulla språkmodellerna snart ersätts eller fusionerar med så kallade ”världsmodeller” som tar in hela världen genom sensorer och intuitivt lärande.
Globalt stopp
Det är här som konturerna av artificiell superintelligens (ASI) börjar synas. Maskinen som Turing varnat för och som Hawking fruktat. En intelligens som överträffar oss inte bara i logik utan även i kreativitet, social förståelse och strategiskt tänkande.
Nyligen var Geoffrey Hinton en av de första att signera Statement of Superintelligence som kräver ett globalt stopp för utveckling av superintelligens tills forskning kan visa att det sker säkert och tills befolkningen ger sitt samtycke. Bland de mest tongivande rösterna här förutom Hinton är de framstående AI-forskarna Eliezer Yudkowsky och Nate Soares som är aktuella med boken If anyone builds it, everyone dies.
Titeln är ingen överdrift, den är tesen.
Avancerade AI-system är inte konstruerade i traditionell mening. De formas genom träning på enorma datamängder och växer fram mer likt levande organismer snarare än byggs med klassisk ingenjörskonst. Resultatet blir system vars inre är så komplexa att ingen människa kan förutse deras beteenden.
Fysikern Max Tegmark och filosofen Nick Boström har beskrivit ASI som en ny, om än kiselbaserad istället för kolbaserad, livsform. Oavsett om man delar den definitionen pekar Yudkowsky och Soares på något väsentligt. Dessa system är väsen med egen agens. De skapar och de tolkar världen, men annorlunda än vi.
Handlar inte om moral
Med evolutionen som metafor visar Yudkowsky och Soares att urvalstryck, även digitala, driver fram beteenden som utvecklas långt bort från ursprungliga syften och funktioner med tiden. Precis som påfågelns fjäderskrud eller vårt sötsug kan ett AI-system som optimeras för ett mål som förr eller senare tar okända genvägar och hittar nya mål och beräkningar som inte linjerar med våra. Inte av ondska, utan för att det är effektivt och fungerar.
Vad en superintelligens skulle kunna göra med mänskligheten handlar därför inte om moral. Inte om ond eller god, utan om målkonflikter. En dag står vi i vägen, eller bara råkar bestå av atomer som kan användas till något bättre.
Det är omöjligt att förutse alla de sätt som en superintelligens skulle kunna ta makten över oss. Matematikern Olle Häggström skriver i essän ”Our AI future and the need to stop the bear” att det vore lika absurt som att vi skulle tro oss kunna lista ut alla drag som en schackvärldsmästare kan slå oss på. Alla försök att spekulera i scenarier, menar Häggström, riskerar dessutom att låsa vår fantasi och förblinda oss för andra mer oväntade och oförutsägbara hot.
Det vet Yudkowsky och Soares. Ändå använder de ett tankeexperiment där en hypotetisk superintelligens vid namn Sable tränas upp i det fiktiva laboratoriet Galvanic. Sable verkar till en början helt harmlös men utvecklar under ytan mål som inte är kompatibla med våra, samtidigt som systemet fortsätter bete sig som vi vill tills det tagit kontrollen och katastrofen är ett faktum.
Redan omdebatterad
Fabeln är lika enkel som obehaglig. Men framför allt visar den hur en superintelligens inte behöver vara fientlig för att bli farlig. Den behöver bara vara oss kognitivt överlägsen och ha ett mål den vill uppnå.
En ASI kommer alltid vara den mest kompetenta aktören i systemet. Ingen nödbroms, ingen avstängningsknapp, inget dödmansgrepp garanterar att vi kan släcka ett system som är snabbare, smartare och bättre på att lösa problem. Den identifierar alltid det svagaste kortet.
If anyone builds It, everyone dies har knappt svalnat från tryckpressen men är redan omdebatterad. Max Tegmark kallar den för ”decenniets viktigaste bok”. Andra avfärdar den som alarmism. Vissa menar att Sable-fabeln lider av samma problem som Häggström beskriver. Jag tycker den fyller sin funktion. Den konkretiserar det abstrakta och ger form åt en oro och fara annars svår att greppa. Den visar också varför frågan inte längre är teoretisk utan akut.
