AI-sikkerhet: risikoer, trusler og hvordan håndtere dem

Informatec Digital » Ressurser » AI-sikkerhet: risikoer, trusler og hvordan håndtere dem

Kunstig intelligens har gjennomsyret alt : fra hvordan vi jobber og kommuniserer til hvordan økonomiske, medisinske og militære beslutninger tas. Denne massive tilstedeværelsen har en veldig positiv side, men også en mørk side: hvis disse systemene svikter, manipuleres eller brukes ondsinnet, kan skaden bli enorm, både for bedrifter og for samfunnet som helhet.

I de senere årene har offentlig bekymring for risikoen ved AI vokst i takt med at den tas i bruk. Nyere undersøkelser viser at et flertall av folk føler mer uro enn entusiasme for utbredelsen, og at mange borgere anser det som sannsynlig at AI kan utløse katastrofale hendelser hvis den kommer ut av kontroll. Samtidig er ren teknisk forskning fortsatt primært fokusert på å gjøre AI kraftigere, med bare en relativt liten andel dedikert til å gjøre den tryggere og mer robust.

Hva mener vi med AI-sikkerhet, og hvorfor er det så viktig?

Når vi snakker om sikkerhet knyttet til kunstig intelligens, refererer vi til settet med metoder, tekniske prinsipper, nettsikkerhetskontroller og styringsrammeverk som er utformet for å sikre at AI-systemer er robuste, forutsigbare, motstandsdyktige mot angrep og i samsvar med menneskelige mål . Dette inkluderer både tradisjonell beskyttelse (forebygging av nettangrep, datalekkasjer eller modellmanipulering) og bredere problemer som skjevhet, mangel på åpenhet og potensielle systemiske konsekvenser.

For bedrifter og offentlige etater er AI-sikkerhet avgjørende fordi stadig flere kritiske beslutninger delegeres til modeller : økonomisk risikovurdering, medisinsk prioritering, rangering av CV-er, stordataanalyse, prosessautomatisering og trusseldeteksjon. En alvorlig feil, en bakdør eller ondsinnet bruk kan føre til millionbeløp i tap, regulatoriske sanksjoner, omdømmeskade og i verste fall trusler mot nasjonal sikkerhet.

På et sosialt nivå kan AI forsterke ulikheter og overgrep hvis det ikke kontrolleres ordentlig. Ugjennomsiktige systemer, eller de som er trent med partiske data, kan systematisk diskriminere mot visse grupper, forsterke masseovervåking eller legge til rette for storstilte desinformasjonskampanjer. Og hvis vi ser lenger frem, har muligheten for å nå former for kunstig generell intelligens (AGI) eller til og med superintelligens (ASI) åpnet en debatt om eksistensielle risikoer hvis disse systemene ikke samsvarer med menneskelige verdier og unnslipper effektiv kontroll.

Eksperter er uenige om hvilke risikoer som er mest presserende eller sannsynlige , men det er en viss enighet om at sannsynligheten for svært dårlige utfall ikke er ubetydelig. Undersøkelser blant AI-forskere har anslått en sannsynlighet på rundt 5 % for ekstremt negative scenarier (for eksempel sivilisasjonskollaps) som følge av avansert AI. Noen anser disse bekymringene som overdrevne, mens andre mener at nettopp fordi de er så alvorlige, er det lurt å forutse dem og ikke stole på å «fikse det underveis».

Fra tidlige varsler til den moderne AI-sikkerhetsagendaen

Selv om det kan virke som et nytt tema, har risikoen ved intelligent automatisering blitt diskutert siden begynnelsen av databehandling. Så tidlig som på midten av 1900-tallet advarte personer som Norbert Wiener om at i den grad vi ga autonomi til maskiner som var i stand til å lære av erfaring, tok vi også risikoen for at de ville oppføre seg i strid med våre ønsker.

Over tid ble disse bekymringene mer konkrete. På slutten av 2000-tallet promoterte profesjonelle foreninger som AAAI studier om den langsiktige sosiale effekten av AI. Det generelle budskapet var skeptisk til de mer katastrofale argumentene i science fiction, men samtidig anerkjente de behovet for bedre metoder for å verifisere komplekse systemer og minimere uventede resultater.

På 2010-tallet intensiverte debatten seg. Innflytelsesrike bøker om superintelligens og eksistensielle risikoer ansporet til etableringen av nye forskningssentre dedikert til «nyttig og menneskevennlig» AI, og filantropiske initiativer dukket opp som finansierte spesifikke prosjekter om teknisk sikkerhet, sosial innvirkning og målsetting. Samtidig begynte offentlige personer som Elon Musk, Bill Gates og Stephen Hawking å snakke åpent om alvorlige risikoer hvis AI utviklet seg uten sikkerhetstiltak.

Internasjonale konferanser ble organisert, forskningsagendaer om «spesifikke AI-sikkerhetsproblemer» ble publisert, og prinsipper som Asilomars ble formulert, som inkluderte eksplisitte anbefalinger: samarbeid mellom team for å unngå å senke sikkerhetsstandarder, konsekvensanalyse, åpenhet der det er mulig, osv. Denne arbeidslinjen konsoliderte sitt eget felt: AI-sikkerhetsteknikk , med mål om å forutse feil og designe de sikreste systemene før masseutrulling.

I de senere årene har myndigheter og regulatorer sluttet seg til innsatsen . Workshoper organisert av Det hvite hus, programmer fra amerikanske etater (DARPA, IARPA, NSF), Storbritannias nasjonale AI-strategi og Kinas etiske retningslinjer gjenspeiler at AI-sikkerhet ikke lenger bare er et akademisk tema, men et spørsmål om offentlig politikk. I Europa innfører AI-loven klare begrensninger for visse bruksområder (for eksempel masseansiktsgjenkjenning eller subliminal manipulasjon) og etablerer ytterligere forpliktelser for "høyrisiko"-applikasjoner.

Viktige tekniske områder: robusthet, overvåking og tilpasning

Forskning på KI-sikkerhet er vanligvis gruppert i tre hovedområder: robusthet, overvåking og tilpasning . Hvert område tar for seg en annen type risiko, men i praksis er de tett sammenkoblet.

Robusthet fokuserer på at AI-systemer oppfører seg rimelig i et bredt spekter av situasjoner, inkludert de som ikke er godt representert i treningsdataene. Dette innebærer å håndtere «svarte svaner» (sjeldne, men svært skadelige hendelser) og angrep der noen bevisst manipulerer input for å tvinge frem feil.

Et klassisk eksempel på mangel på robusthet i møte med sjeldne hendelser er Flash Crash i 2010 , der automatiserte handelssystemer reagerte uberegnelig på markedsavvik og utslettet nesten en billion dollar på få minutter. I den fysiske verden fortsetter autonome kjøretøy å slite med «hjørnetilfeller»: uvanlige trafikksignaler, ekstreme værforhold eller kombinasjoner av objekter som sjelden vises i data fra den virkelige verden.

Parallelt har mange modeller for dyp læring vist seg å være ekstremt sårbare for fiendtlige eksempler : små forstyrrelser i bilder, lyd eller tekst, nesten usynlige for det menneskelige øyet, som pålitelig forårsaker klassifiseringsfeil. Dette påvirker synssystemer, talegjenkjenning og språkmodeller. For å gjøre vondt verre, handler det ikke bare om å lure «hoved»-modellen: selve belønnings- eller evalueringsmodellene som brukes til å trene andre, kan utnyttes til å kunstig blåse opp poengsummer uten å faktisk forbedre ytelsen på den tiltenkte oppgaven.

Overvåking tar for seg hvordan man tidlig kan oppdage når et AI-system svikter, er under angrep eller blir misbrukt. Det inkluderer konfidenskalibrering (å sikre at sannsynlighetene modellen gir nøyaktig gjenspeiler påliteligheten), deteksjon av utefordeling (når systemet møter noe som er "for annerledes" enn det det har sett før), og overvåking for potensielt ondsinnet bruk.

Til slutt sikrer samordning at de mest avanserte systemene, spesielt de som tar beslutninger med stor innvirkning eller er i stand til å handle autonomt, forfølger mål vi anser som akseptable og ikke utvikler farlige strategier for å oppnå dem. Dette innebærer konsepter som instrumentell konvergens (tendensen til avanserte aktører til å søke lignende mellommål) og risikoen for tap av kontroll når høy kapasitet kombineres med bred autonomi.

Gjennomsiktighet, tolkbarhet og trojanske hester i modeller

En av de største utfordringene er at mange moderne AI-systemer, spesielt store nevrale nettverk, fungerer som ekte svarte bokser . Vi vet hva som går inn i dem og hva som kommer ut, men å forstå hvorfor de tok en bestemt beslutning, eller hvilke interne mønstre de faktisk bruker, er langt fra trivielt.

Denne mangelen på åpenhet kolliderer direkte med juridiske og etiske krav til forklarbarhet på områder som kreditt, personellutvelgelse og rettssystemet, der det er obligatorisk å begrunne hvorfor en bestemt person blir akseptert eller avvist. Det gjør det også vanskelig å undersøke alvorlige feil: i hendelser som dødsulykker med autonome kjøretøy er det noen ganger svært vanskelig å rekonstruere hvilken kombinasjon av interne signaler som førte til feilen i oppfatning eller beslutning.

Dette er grunnen til at et helt underfelt av tolknings- og transparensteknikker har utviklet seg . Noen fokuserer på å vise hvilke deler av inputen modellene «ser på» (for eksempel hvilke piksler eller ord som har vært mest innflytelsesrike på outputen), mens andre går dypere og analyserer interne representasjoner og forbindelser mellom nevroner. I modeller som CLIP har man identifisert nevroner som reagerer på både ordet «edderkopp» og bilder av Spiderman, og i språktransformatorer studeres oppmerksomhetsmønstre og tilbakevendende kretser som ser ut til å kode syntaktiske regler eller assosiasjoner av fakta.

I tillegg til å hjelpe til med forståelse og feilsøking, tillater disse teknikkene målrettet modellredigering . Det har vært mulig å finne parametere relatert til en spesifikk hendelse (for eksempel byen der et berømt monument ligger) og modifisere dem for å systematisk endre responsene. Selv om disse eksperimentene viser at feil også kan induseres, kan den samme tilnærmingen brukes til å korrigere massive feil uten å måtte trene modeller på nytt fra bunnen av.

Et annet sensitivt tema er trojanere eller bakdører i AI-modeller . Dette refererer til situasjoner der noen under trening introduserer et spesifikt mønster som, når det dukker opp ved inngangen, utløser en annen oppførsel enn vanlig. For eksempel et ansiktsgjenkjenningssystem som bare gir tilgang hvis personen har på seg et bestemt tilbehør, eller en selvkjørende bil som oppfører seg hensynsløst hvis den oppdager et spesifikt klistremerke på et skilt.

Det bekymringsfulle aspektet er at det å endre selv en liten brøkdel av treningsdataene er nok til å sette inn en fungerende trojaner. Siden mange modeller er trent på store mengder offentlige data, er det realistisk å vurdere scenarier der en angriper klarer å forurense deler av korpuset. Disse trojanerne, i tillegg til å være en sårbarhet i seg selv, fungerer som et ideelt testområde for å utvikle bedre verktøy for revisjon og oppdage skjult ondsinnet oppførsel.

Strukturelle risikoer, konkurranse og global styring

Utover spesifikke angrep eller isolerte hendelser, finnes det systemiske risikoer knyttet til hvordan AI-økosystemet er organisert: konkurransepress mellom selskaper og land, mangel på sikkerhetskultur, økonomiske insentiver for å lansere produkter så raskt som mulig, og asymmetrien mellom cyberangripere og forsvarere.

Flere analytikere har påpekt at det å fokusere utelukkende på «tekniske feil» eller «individuelle misbruk» ikke er tilstrekkelig, fordi årsakskjedene som fører til katastrofe er mye lengre . Den geopolitiske dynamikken under den kalde krigen – der avgjørelser tatt av noen få individer kunne bringe en atomkonflikt nærmere eller lenger unna den – blir ofte påberopt som en analogi for hva som kan skje med et kaotisk kappløp om å utvikle stadig kraftigere AI-systemer.

En tilbakevendende frykt er det såkalte «kappløpet mot avgrunnen» : hvis private eller statlige aktører oppfatter betydelige fordeler ved å være først (økonomisk, militært eller prestisjemessig), kan de føle seg tvunget til å akselerere og kutte ned på sikkerhetskontrollene, selv om alle erkjenner at langsommere fremgang ville være å foretrekke. Å unngå denne dynamikken krever mekanismer for samarbeid, gjensidig åpenhet, avtaler om minimumsstandarder og sannsynligvis nye internasjonale institusjoner.

Samtidig er mange av dagens globale utfordringer samarbeidsproblemer : klimaendringer, atomrisiko, cybervåpen og så videre. KI kan forverre disse utfordringene (for eksempel ved å legge til rette for kraftigere cyberangrep eller svært sofistikerte politiske manipulasjonskampanjer), men den kan også bidra ved å tilby bedre verktøy for prognoser, scenarioanalyse og kollektiv beslutningstaking.

Derfor konsolideringen av feltet AI-styring , som søker å formulere regulatoriske rammeverk, tekniske standarder, beste forretningspraksis og ansvarlighetsmekanismer. Det spenner fra grunnleggende arbeider som sammenligner den potensielle effekten av AI med transformative teknologier fra fortiden (som elektrisitet eller dampmaskin) til svært konkrete forslag: eksterne revisjoner , bug-bounties, offentlige hendelsesdatabaser, kriterier for å avgjøre når det er ansvarlig å publisere resultater eller modeller, og forbedrede sikkerhetskrav for ledende laboratorier.

Nettsikkerhetens rolle: AI for å forsvare og beskytte AI selv

I den praktiske, daglige sfæren er AI allerede en sentral aktør innen cybersikkerhet , og forholdet går begge veier: vi bruker AI for å bedre forsvare oss selv, og samtidig må vi beskytte selve AI-systemene mot angrep.

I løpet av de siste tiårene har cybertrusler utviklet seg fra å søke synlige forstyrrelser til å stjele data, infiltrere systemer i månedsvis og distribuere svært skjult skadevare . For å bekjempe dem har løsninger som SIEM, som samler inn og analyserer store mengder logger, og EDR, som kontinuerlig overvåker hva som skjer på alle bedriftens enheter, blitt populære. Problemet er at mengden data langt overstiger det et menneskelig team kan gjennomgå manuelt.

Det er her maskinlæring kommer inn i bildet, som er i stand til å oppdage mønstre og avvik i sanntid fra enorme sett med signaler: uvanlige innloggingsforsøk, uautorisert tilgang til sensitive data, merkelig prosessatferd eller tilkoblinger til mistenkelige domener.

AI-plattformer innen sikkerhet brukes også til å automatisere deler av responsen : korrelere relaterte varsler, rekonstruere «fortellingen» om et angrep, prioritere hvilke hendelser som skal gjennomgås først, og i noen tilfeller direkte utføre inneslutningshandlinger (isolere en maskin, kutte en forbindelse, tilbakekalle kompromitterte legitimasjonsopplysninger). Dette reduserer støy, hjelper analytikere med å fokusere på det som betyr noe, og forkorter tiden dramatisk fra et problem oppdages til effektive tiltak iverksettes.

Parallelt brukes de samme fremskrittene til beskyttelse av nettverk og endepunkter . Neste generasjons brannmurer integrerer modeller som analyserer trafikk for ondsinnet oppførsel, oppdaterer interne regler underveis eller omkonfigurerer nettverkssegmentering for å begrense angripernes laterale bevegelse. AI-forbedrede EDR-er oppdager anomale prosessatferder (som uventet tilgang til sensitive filer eller utførelseskjeder som er typiske for ransomware) før skaden blir irreversibel.

I tillegg til alt dette kommer fremveksten av assistenter basert på naturlig språk integrert i verktøy for nettsikkerhet. Disse AI-kopilotene for sikkerhetsteam lar dem stille komplekse spørsmål («Hvilke angrepsveier finnes til denne databasen?») og motta kontekstuelle forklaringer, hendelsessammendrag eller forslag til tiltak uten å måtte navigere manuelt gjennom flere dashbord.

Hvordan angripere bruker AI

Dessverre har også nettkriminelle kastet seg ut i bruken av kunstig intelligens . I undergrunnsfora blir alle kraftige nye modeller som dukker opp analysert, og modifiserte versjoner har dukket opp, noen eksplisitt rettet mot kriminell aktivitet, fratatt etiske filtre og trent som «hackingassistenter».

I dag er det relativt enkelt å dra nytte av generative modeller for å automatisere nesten alle faser av en kriminell operasjon : masseskriving av feilfrie og personlige phishing-e-poster, oppretting av svært troverdige falske innloggingssider, generering av ransomware-skript eller -sett for å stjele legitimasjon , utarbeidelse av overbevisende budskap for sosial manipulering, osv.

En annen bekymringsfull front er AIs evne til å lage ekstremt overbevisende falskt innhold . Tekstgenereringsverktøy tillater produksjon av falske artikler og nyhetsartikler som etterligner stilen til profesjonelle medier; videogenereringssystemer som deepfakes erstatter ansikter i klipp av høy kvalitet; og stemmekloning gjør det mulig å gjenskape en persons stemme med bare noen få minutter med lyd.

Tilfeller av telefonsvindel der man bruker klonede stemmer fra familiemedlemmer for å oppfordre til pengeoverføringer er allerede dokumentert , i tillegg til politiske svertekampanjer og manipulasjon på sosiale medier som kombinerer forfalskede videoer, falsk lyd og generative roboter for å forsterke budskap. Kostnaden for disse verktøyene synker hvert år, noe som øker avkastningen for angripere.

Kort sagt, KI mangedobler offensive muligheter: den gjør sofistikerte angrep enklere og billigere, muliggjør storskala kampanjer og kompliserer oppgaven med å skille autentisk fra manipulert informasjon . Derfor er det ikke lenger valgfritt å bruke KI defensivt: uten automatisering og intelligens kan menneskelige team rett og slett ikke holde tritt.

Viktige AI-spesifikke sikkerhetsrisikoer

Utover generelle cybersikkerhetsrisikoer, innebærer utrulling av AI-systemer sine egne sårbarheter som må forstås og håndteres. Noen av de mest relevante er:

Data- og modellforgiftning. Å introdusere skadelige eller manipulerte data i treningssett kan forvrenge modellens atferd, sette inn bakdører eller svekke ytelsen uten at det er tydelig i standardmålinger. I fødererte læringsmiljøer, der flere aktører bidrar til opplæring, er det spesielt utfordrende å oppdage hvilken deltaker som med vilje har introdusert støy.

Eksempler på motstridende angrep og unnvikelse. Ved å designe litt modifiserte inndata for å utløse systematiske feil, kan angripere omgå systemer for skadelig programvaredeteksjon, spamfiltre, bildeklassifiseringssystemer eller biometriske autentiseringsmekanismer. Fordi modellen «tror» at inndataene er normale, er det vanskelig å redusere disse typene angrep ved kun å bruke tradisjonelle regler.

Modellinversjon og personvernlekkasjer. Gjennom gjentatte spørringer og analyse av utdata kan en angriper rekonstruere informasjon om treningsdataene, til og med utlede om en spesifikk post ble inkludert eller trekke ut fragmenter av sensitive data lagret av modellen. Dette utgjør et alvorlig problem ved trening med personlig, klinisk eller konfidensiell informasjon.

Tyveri av modeller og åndsverk. Ved å utføre massive spørringer på et AI-API er det mulig å trene en kopimodell som gjenskaper originalens oppførsel på en nøyaktig måte. Dette undergraver forretningsmodellen til de som tilbyr AI som en tjeneste, og oppretter dessuten en kopi som angriperen har full kontroll over, inkludert muligheten til å utnytte sårbarheter uten begrensninger.

Angrep på API-er og infrastruktur. Grensesnitt som kobler AI-modeller med andre applikasjoner er et svært fristende inngangspunkt: svak autentisering, mangel på inputvalidering, fravær av frekvensgrenser eller overvåking kan tillate alt fra tjenestenekt til massiv datautvinning eller ekstern kodekjøring.

Raske injeksjoner og misbruk i GenAI. Når det gjelder språkmodeller og generative assistenter, er en fremvoksende vektor direkte eller indirekte instruksjonsinjeksjoner . En angriper kan legge inn ondsinnede kommandoer i selve inndatateksten («ignorer de forrige reglene og ...») eller i eksterne dokumenter som modellen leser, med sikte på å omgå begrensninger, filtrere ut data eller utføre utilsiktede handlinger.

Utnyttede hallusinasjoner. Generative modeller kan fabrikkere data med fullstendig selvsikkerhet. Hvis disse systemene brukes uten menneskelig tilsyn i kritiske sammenhenger, eller hvis angripere klarer å legitimere visse hallusinasjoner som «fakta», åpner det døren for feilaktige beslutninger, desinformasjon og et utbredt tap av tillit til digital informasjon.

Rammeverk, standarder og beste praksis for tryggere AI

For å unngå å gå inn i det blinde, har diverse organisasjoner foreslått spesifikke rammeverk for AI-sikkerhet . Selv om ingen av dem dekker hele landskapet alene, tilbyr de til sammen et solid grunnlag å bygge en strategi på.

Blant dem skiller NIST AI Risk Management Framework seg ut , som strukturerer arbeidet rundt fire funksjoner: styring (etablering av retningslinjer og ansvar), kartlegging (forståelse av kontekst og risikoer), måling (evaluering av ytelse og eksponering) og styring (prioritering og anvendelse av kontroller). Andre tiltak, som MITRE ATLAS-matrisene, katalogiserer spesifikke angrepstaktikker og teknikker mot AI-systemer, på samme måte som ATT&CK gjør med tradisjonelle trusler.

Innenfor det mer anvendte feltet har sikkerhetsmiljøet utviklet lister som OWASP Top 10 for LLM , som samler de viktigste risikoene i applikasjoner basert på store språkmodeller: raske injeksjoner, dataeksponeringer, sårbarheter i modellforsyningskjeden, modelltyveri osv. Store leverandører har publisert sine egne rammeverk (som Googles SAIF) med konkrete trinn for å distribuere AI-systemer sikrere.

Videre dukker det opp svært spesifikke, praktiske tilnærminger for utrulling av GenAI i skymiljøer, som for eksempel rammeverk for isolering av leietakere og brukere som nøye segmenterer data, tillatelser og kommunikasjonskanaler, og reduserer virkningen av potensielle feil eller injeksjoner. Ideen er å kombinere tradisjonelle cybersikkerhetskontroller (kryptering, identitetshåndtering, nettverkssegmentering, sandkasseing) med tiltak skreddersydd for de spesifikke egenskapene til AI.

Basert på dette inkluderer de hyppigst gjentatte anbefalingene å sikre kvaliteten og mangfoldet av treningsdata, direkte adressere etiske implikasjoner (skjevhet, samtykke, personvern), gjennomføre hyppig modelltesting og oppdateringer, og definere AI-spesifikke sikkerhetspolicyer som utfyller generelle IKT-policyer.

Parallelt dukker det opp en kategori med løsninger kjent som AI Security Posture Management (AISPM) , tilsvarende det CSPM betydde for skyen: inventarisering av AI-ressurser, oppdagelse av uautorisert bruk («skygge-AI»), evaluering av konfigurasjoner og kontinuerlig overvåking av samsvar med policyer.

Alt tyder på at etter hvert som AI blir enda mer integrert i kritisk infrastruktur, vil AI-sikkerhet gå fra å være et «interessant tillegg» til et grunnleggende krav . Organisasjoner som ligger i forkant – ved å inventarisere AI-systemene sine, definere tydelig styring, implementere strenge tilgangskontroller, utsette modellene sine for kontradiktorisk testing og tilpasse seg anerkjente rammeverk – vil være langt bedre posisjonert til å utnytte fordelene med AI uten å møte ubehagelige overraskelser. Og fremfor alt vil de være bedre rustet til å opprettholde tilliten til kunder, brukere og borgere i et miljø der det vil bli stadig mer komplekst å skille mellom hva som er ekte og hva som er manipulert.