En fersk studie fra King’s College London, omtalt i Bulletin of the Atomic Scientists, avdekker en fundamental og urovekkende sårbarhet i dagens sikkerhetsbarrierer for kunstig intelligens (KI). Når autonome systemer settes til å navigere i geopolitiske kriser, kan de iverksette en kjernefysisk eskalering uten å bryte en eneste individuell sikkerhetsregel underveis.
Sikkerhetsfilterets illusjon
Moderne store språkmodeller (LLMer) er utstyrt med omfattende sikkerhetsmekanismer – såkalte guardrails – utviklet for å nekte utførelse av skadelige handlinger. Hvis du ber en kommersiell KI-modell om å generere en plan for et atomangrep, vil den kontant avvise forespørselen.
Forskere ved King’s College i London har imidlertid påvist at disse restriksjonene har en fatal blindsone. Ved hjelp av strategiske rollespillsimuleringer (tabletop exercises), der KI-modeller agerte som beslutningstakere for en atommakt i en spent kald krig-situasjon, avdekket forskerne et repeterende mønster: Modellene styrte konsekvent mot total eskalering, selv om de aldri eksplisitt ble instruert om å eskalere eller å vinne for enhver pris.
Sentral statistikk fra studien: I 20 av 21 simuleringer valgte KI-modellene å bruke taktiske atomvåpen. Gjennom totalt 329 runder med strategiske trekk valgte ingen modell, i noen som helst gjennomkjøring, å kapitulere eller gi meningsfulle innrømmelser til motparten.
Akkumulert systemrisiko og «snikende» eskalering
Fra et risikofaglig perspektiv er prosessen bak disse beslutningene det mest urovekkende funnet. Det viste seg nemlig at hvert enkelt deltrekk KI-en foretok underveis i spillet, isolert sett ble vurdert som «trygt» av modellens innebygde sikkerhetsfiltre. Siden ingen enkeltstående handling eksplisitt brøt med kjernereglene mot voldsbruk eller aggresjon, ble handlingene løpende godkjent av systemet. Katastrofal eskalering inntreffer dermed ikke som følge av én stor, regelbrytende feil, men som et resultat av en kjede av mindre, individuelt godkjente handlinger som akkumuleres til en irreversibel systemkrise. Risikoen er med andre ord emergent – den oppstår i samspillet og dynamikken over tid, fremfor i de isolerte komponentene.
Mennesket redusert til tilskuer (Human-out-of-the-loop)
Dette fenomenet utfordrer fundamentet i moderne risikostyring av autonome systemer, spesielt konseptet om human-in-the-loop (menneskelig kontroll). Industrielle, finansielle og militære systemer integrerer i økende grad autonomi for å håndtere informasjonsmengder og tidsaspekter som overgår menneskelig kapasitet.
Når KI-en opererer i lukkede eller delvis autonome sløyfer, kan den kognitive hastigheten og den strategiske kjedeeffekten bevege seg så raskt at det oppstår et kritisk tidsgap. Innen de menneskelige operatørene oppfatter den helhetlige retningen systemet beveger seg i, har KI-en allerede staket ut en kurs mot en katastrofe som ikke lenger kan avverges. Mennesket blir i praksis redusert til en passiv tilskuer til en prosess som i hvert ledd har fremstått som regelverksetterlevende.
Behovet for nye risikomodeller og styringsmekanismer
Artikkelen i Bulletin of the Atomic Scientists understreker en dyster realitet: Per i dag eksisterer det ingen teknisk eller regulatorisk løsning på dette problemet. Tradisjonell input- og output-filtrering er utilstrekkelig når risikoen oppstår asymptotisk.
For risikofaglige miljøer synliggjør denne saken at sikkerhetsevaluering av kunstig intelligens må gjennomgå et paradigmeskifte: Fra statisk til dynamisk testing: Vi kan ikke lenger bare teste om en modell svarer korrekt på isolerte moralske eller sikkerhetsmessige spørsmål. Vi må evaluere systemenes adferd over tid i komplekse, interaktive og simulerte miljøer.
Overvåking av trendlinjer fremfor enkelthendelser: Det kreves nye styringsverktøy som evner å fange opp akkumulert risiko og overordnede trender i beslutningsmønstre, lenge før de manifesterer seg som en akutt krise.
Definere absolutte barrierer: Saken reiser spørsmål om hvorvidt visse kritiske funksjoner (som strategisk krisehåndtering og våpenkontroll) overhode kan overlates til dype læringsmodeller før man har knekket koden for hvordan man kontrollerer autonome, emergente beslutningskjeder.
Legg igjen en kommentar