AI-sikkerhed: risici, trusler og hvordan man håndterer dem

Informatic Digital » Recursos » AI-sikkerhed: risici, trusler og hvordan man håndterer dem

Kunstig intelligens har gennemsyret alt : fra hvordan vi arbejder og kommunikerer til hvordan økonomiske, medicinske og militære beslutninger træffes. Denne massive tilstedeværelse har en meget positiv side, men også en mørk side: Hvis disse systemer fejler, manipuleres eller bruges ondsindet, kan skaden være enorm, både for virksomheder og for samfundet som helhed.

I de senere år er den offentlige bekymring over risiciene ved kunstig intelligens vokset i takt med dens udbredelse. Nylige undersøgelser viser, at et flertal af mennesker føler mere uro end begejstring over dens udbredelse, og at mange borgere anser det for plausibelt, at kunstig intelligens kan udløse katastrofale begivenheder, hvis den kommer ud af kontrol. Samtidig er rent teknisk forskning fortsat primært fokuseret på at gøre kunstig intelligens mere kraftfuld, mens kun en relativt lille del er dedikeret til at gøre den mere sikker og robust.

Hvad mener vi med AI-sikkerhed, og hvorfor er det så vigtigt?

Når vi taler om sikkerhed baseret på kunstig intelligens, henviser vi til det sæt af metoder, tekniske principper, cybersikkerhedskontroller og styringsrammer, der er designet til at sikre, at AI-systemer er robuste, forudsigelige, modstandsdygtige over for angreb og i overensstemmelse med menneskelige mål . Dette omfatter både traditionel beskyttelse (forebyggelse af cyberangreb, datalækager eller modelmanipulation) og bredere problemer såsom bias, manglende gennemsigtighed og potentielle systemiske påvirkninger.

For virksomheder og offentlige myndigheder er AI-sikkerhed afgørende, fordi flere og flere kritiske beslutninger delegeres til modeller : økonomisk risikovurdering, medicinsk prioritering, rangering af CV'er, big data-analyse, procesautomatisering og trusselsdetektion. En alvorlig fejl, en bagdør eller ondsindet brug kan føre til milliontab, regulatoriske sanktioner, omdømmeskade og i værste fald trusler mod den nationale sikkerhed.

På et socialt plan kan AI forstærke uligheder og misbrug, hvis det ikke kontrolleres ordentligt. Uigennemsigtige systemer eller systemer, der er trænet med forudindtaget data, kan systematisk diskriminere mod bestemte grupper, forstærke masseovervågning eller fremme store desinformationskampagner. Og set længere frem har muligheden for at nå frem til former for kunstig generel intelligens (AGI) eller endda superintelligens (ASI) åbnet en debat om eksistentielle risici, hvis disse systemer ikke er i overensstemmelse med menneskelige værdier og undgår effektiv kontrol.

Eksperter er uenige om, hvilke risici der er mest presserende eller sandsynlige , men der er en vis enighed om, at sandsynligheden for meget dårlige udfald ikke er ubetydelig. Undersøgelser blandt AI-forskere har anslået en sandsynlighed på omkring 5% for ekstremt negative scenarier (f.eks. civilisationssammenbrud) som følge af avanceret AI. Nogle anser disse bekymringer for at være overdrevne, mens andre mener, at det netop fordi de er så alvorlige, er klogt at forudse dem og ikke stole på at "rette det undervejs".

Fra tidlige advarsler til den moderne AI-sikkerhedsdagsorden

Selvom det kan virke som et nyt emne, er risiciene ved intelligent automatisering blevet diskuteret siden datalogiens begyndelse. Allerede i midten af ​​det 20. århundrede advarede personer som Norbert Wiener om, at i det omfang vi gav autonomi til maskiner, der var i stand til at lære af erfaring, påtog vi os også risikoen for, at de ville opføre sig i modstrid med vores ønsker.

Med tiden blev disse bekymringer mere konkrete. I slutningen af ​​2000'erne promoverede professionelle foreninger som AAAI studier af AI's langsigtede sociale indvirkning. Det generelle budskab var skeptisk over for de mere katastrofale argumenter i science fiction, men anerkendte samtidig behovet for bedre metoder til at verificere komplekse systemer og minimere uventede resultater.

I 2010'erne intensiveredes debatten. Indflydelsesrige bøger om superintelligens og eksistentielle risici ansporede til oprettelsen af ​​nye forskningscentre dedikeret til "gavnlig og menneskevenlig" AI, og filantropiske initiativer opstod, der finansierede specifikke projekter om teknisk sikkerhed, social indflydelse og målretning. Samtidig begyndte offentlige personer som Elon Musk, Bill Gates og Stephen Hawking at tale åbent om alvorlige risici, hvis AI udviklede sig uden sikkerhedsforanstaltninger.

Internationale konferencer blev organiseret, forskningsdagsordener om "specifikke AI-sikkerhedsproblemer" blev offentliggjort, og principper som Asilomars blev formuleret, som omfattede eksplicitte anbefalinger: samarbejde mellem teams for at undgå at sænke sikkerhedsstandarder, konsekvensanalyse, gennemsigtighed hvor det var muligt osv. Denne arbejdslinje konsoliderede sit eget felt: AI-sikkerhedsteknik , med det mål at forudse fejl og designe de sikreste systemer inden deres masseudrulning.

I de senere år har regeringer og regulatorer tilsluttet sig indsatsen . Workshops organiseret af Det Hvide Hus, programmer fra amerikanske agenturer (DARPA, IARPA, NSF), Storbritanniens nationale AI-strategi og Kinas etiske retningslinjer afspejler, at AI-sikkerhed ikke længere blot er et akademisk emne, men et spørgsmål om offentlig politik. I Europa indfører AI-loven klare begrænsninger for visse anvendelser (f.eks. masseansigtsgenkendelse eller subliminal manipulation) og fastsætter yderligere forpligtelser for "højrisiko"-applikationer.

Vigtige tekniske områder: robusthed, overvågning og tilpasning

Forskning i AI-sikkerhed grupperes typisk i tre hovedområder: robusthed, overvågning og tilpasning . Hvert område omhandler en forskellig type risiko, men i praksis er de tæt forbundet.

Robusthed fokuserer på AI-systemer, der opfører sig rimeligt i en bred vifte af situationer, herunder dem, der ikke er velrepræsenteret i træningsdataene. Dette involverer håndtering af "sorte svaner" (sjældne, men meget skadelige hændelser) og angreb, hvor nogen bevidst manipulerer input for at fremtvinge fejl.

Et klassisk eksempel på manglende robusthed i lyset af sjældne begivenheder er Flash Crash i 2010 , hvor automatiserede handelssystemer reagerede uberegneligt på markedsanomalier og udslettede næsten en billion dollars på få minutter. I den fysiske verden kæmper autonome køretøjer fortsat med "corner cases": usædvanlige trafiksignaler, ekstreme vejrforhold eller kombinationer af objekter, der sjældent optræder i data fra den virkelige verden.

Parallelt hermed har mange deep learning-modeller vist sig ekstremt sårbare over for fjendtlige eksempler : små forstyrrelser i billeder, lyd eller tekst, næsten usynlige for det menneskelige øje, som pålideligt forårsager klassificeringsfejl. Dette påvirker synssystemer, talegenkendelse og sprogmodeller. For at gøre tingene værre er det ikke kun et spørgsmål om at bedrage "hoved"-modellen: selve belønnings- eller evalueringsmodellerne, der bruges til at træne andre, kan udnyttes til kunstigt at oppuste scorer uden rent faktisk at forbedre præstationen på den tilsigtede opgave.

Overvågning omhandler, hvordan man tidligt opdager, når et AI-system fejler, er under angreb eller bliver misbrugt. Det omfatter konfidenskalibrering (sikring af, at de sandsynligheder, modellens output giver, nøjagtigt afspejler dets pålidelighed), detektion af out-of-distribution (når systemet støder på noget, der er "for anderledes" end det, det har set før) og overvågning af potentielt ondsindet brug.

Endelig sikrer tilpasning , at de mest avancerede systemer, især dem, der træffer beslutninger med stor indflydelse eller er i stand til at handle autonomt, forfølger mål, vi anser for acceptable, og ikke udvikler farlige strategier til at nå dem. Dette involverer koncepter som instrumentel konvergens (tendensen hos avancerede aktører til at søge lignende mellemliggende mål) og risikoen for tab af kontrol, når høj kapacitet kombineres med bred autonomi.

Gennemsigtighed, fortolkningsevne og trojanske heste i modeller

En af de største udfordringer er, at mange moderne AI-systemer, især store neurale netværk, fungerer som ægte sorte bokse . Vi ved, hvad der går ind i dem, og hvad der kommer ud, men at forstå, hvorfor de traf en bestemt beslutning, eller hvilke interne mønstre de rent faktisk bruger, er langt fra trivielt.

Denne mangel på gennemsigtighed kolliderer direkte med juridiske og etiske krav til forklarlighed inden for områder som kreditvurdering, personaleudvælgelse og retssystemet, hvor det er obligatorisk at begrunde, hvorfor en bestemt person accepteres eller afvises. Det gør det også vanskeligt at undersøge alvorlige fejl: i hændelser som fatale kollisioner med selvkørende køretøjer er det nogle gange meget vanskeligt at rekonstruere, hvilken kombination af interne signaler der førte til fejlen i opfattelse eller beslutning.

Derfor er der udviklet et helt underfelt af fortolknings- og gennemsigtighedsteknikker . Nogle fokuserer på at vise, hvilke dele af inputtet modellerne "ser på" (for eksempel hvilke pixels eller ord, der har haft mest indflydelse på outputtet), mens andre går dybere og analyserer interne repræsentationer og forbindelser mellem neuroner. I modeller som CLIP er der identificeret neuroner, der reagerer på både ordet "edderkop" og billeder af Spiderman, og i sprogtransformatorer studeres opmærksomhedsmønstre og tilbagevendende kredsløb, der synes at kode syntaktiske regler eller associationer af fakta.

Udover at hjælpe med forståelse og fejlfinding, muliggør disse teknikker målrettet modelredigering . Det har været muligt at finde parametre relateret til en specifik begivenhed (for eksempel byen, hvor et berømt monument er placeret) og ændre dem for systematisk at ændre reaktionerne. Selvom disse eksperimenter viser, at fejl også kan induceres, kan den samme tilgang anvendes til at korrigere massive fejl uden at skulle omtræne modeller fra bunden.

Et andet følsomt emne er trojanske heste eller bagdøre i AI-modeller . Dette refererer til situationer, hvor nogen under træning introducerer et specifikt mønster, der, når det vises ved inputtet, udløser en anden adfærd end normalt. For eksempel et ansigtsgenkendelsessystem, der kun giver adgang, hvis personen har et bestemt tilbehør på, eller en selvkørende bil, der opfører sig hensynsløst, hvis den registrerer et specifikt klistermærke på et skilt.

Det bekymrende aspekt er, at det er nok at ændre selv en lille del af træningsdataene til at indsætte en fungerende trojaner. Da mange modeller er trænet på store mængder offentlige data, er det realistisk at overveje scenarier, hvor en angriber formår at forurene en del af datakorpuset. Disse trojanere fungerer, udover at være en sårbarhed i sig selv, som et ideelt testområde for at udvikle bedre værktøjer til revision og detektering af skjult ondsindet adfærd.

Strukturelle risici, konkurrence og global styring

Ud over specifikke angreb eller isolerede hændelser er der systemiske risici relateret til, hvordan AI-økosystemet er organiseret: konkurrencepres mellem virksomheder og lande, manglen på en sikkerhedskultur, økonomiske incitamenter til at frigive produkter så hurtigt som muligt og asymmetrien mellem cyberangribere og -forsvarere.

Flere analytikere har påpeget, at det ikke er tilstrækkeligt at fokusere udelukkende på "tekniske fejl" eller "individuelle misbrug", fordi årsagskæderne, der fører til katastrofer, er meget længere . Den geopolitiske dynamik under den kolde krig – hvor beslutninger fra nogle få individer kunne bringe en atomkonflikt tættere på eller længere væk fra den – påberåbes ofte som en analogi til, hvad der kunne ske med et kaotisk kapløb om at udvikle stadig mere kraftfulde AI-systemer.

En tilbagevendende frygt er det såkaldte "kapløb mod afgrunden" : hvis private eller statslige aktører oplever betydelige fordele ved at være først (økonomiske, militære eller prestigefyldte), kan de føle sig tvunget til at fremskynde og reducere sikkerhedskontrollen, selvom alle erkender, at langsommere fremskridt ville være at foretrække. At undgå denne dynamik kræver mekanismer for samarbejde, gensidig gennemsigtighed, aftaler om minimumsstandarder og sandsynligvis nye internationale institutioner.

Samtidig er mange af nutidens globale udfordringer problemer med samarbejde : klimaforandringer, atomrisici, cybervåben osv. Kunstig intelligens kan forværre disse udfordringer (for eksempel ved at fremme kraftigere cyberangreb eller meget sofistikerede politiske manipulationskampagner), men den kan også hjælpe ved at give bedre værktøjer til prognoser, scenarieanalyse og kollektiv beslutningstagning.

Derfor konsolideringen af ​​feltet AI-styring , som søger at formulere lovgivningsmæssige rammer, tekniske standarder, bedste forretningspraksis og ansvarlighedsmekanismer. Det spænder fra grundlæggende arbejde, der sammenligner den potentielle indvirkning af AI med transformative teknologier fra fortiden (såsom elektricitet eller dampmaskinen) til meget konkrete forslag: eksterne revisioner , bug-bounties, offentlige hændelsesdatabaser, kriterier for at afgøre, hvornår det er ansvarligt at offentliggøre resultater eller modeller, og forbedrede sikkerhedskrav til førende laboratorier.

Cybersikkerhedens rolle: AI til at forsvare og beskytte AI selv

I den praktiske, daglige verden er AI allerede en central aktør inden for cybersikkerhed , og forholdet går begge veje: vi bruger AI til bedre at forsvare os selv, og samtidig skal vi beskytte selve AI-systemerne mod angreb.

I de seneste årtier har cybertrusler udviklet sig fra at søge synlige forstyrrelser til at stjæle data, infiltrere systemer i månedsvis og implementere meget skjult malware . For at bekæmpe dem er løsninger som SIEM, der indsamler og analyserer store mængder logs, og EDR, der løbende overvåger, hvad der sker på alle virksomhedens enheder, blevet populære. Problemet er, at mængden af ​​data langt overstiger, hvad et menneskeligt team kan gennemgå manuelt.

Det er her, maskinlæring kommer ind i billedet, i stand til at registrere mønstre og anomalier i realtid fra enorme mængder af signaler: usædvanlige loginforsøg, uautoriseret adgang til følsomme data, mærkelig procesadfærd eller forbindelser til mistænkelige domæner.

AI-platforme inden for sikkerhed bruges også til at automatisere en del af responsen : korrelering af relaterede advarsler, rekonstruktion af "fortællingen" om et angreb, prioritering af hvilke hændelser der skal gennemgås først, og i nogle tilfælde direkte udførelse af inddæmningshandlinger (isolering af en maskine, afbrydelse af en forbindelse, tilbagekaldelse af kompromitterede legitimationsoplysninger). Dette reducerer støj, hjælper analytikere med at fokusere på det, der betyder noget, og forkorter dramatisk tiden fra et problem opdages, til der træffes effektive handlinger.

Parallelt hermed anvendes de samme fremskridt til beskyttelse af netværk og endpoints . Næste generations firewalls integrerer modeller, der analyserer trafik for ondsindet adfærd, opdaterer interne regler undervejs eller omkonfigurerer netværkssegmentering for at begrænse angriberes laterale bevægelse. AI-forbedrede EDR'er registrerer unormal procesadfærd (såsom uventet adgang til følsomme filer eller udførelseskæder, der er typiske for ransomware), før skaden bliver uoprettelig.

Oven i købet kommer fremkomsten af ​​assistenter baseret på naturligt sprog, der er integreret i cybersikkerhedsværktøjer. Disse AI-copiloter for sikkerhedsteams giver dem mulighed for at stille komplekse spørgsmål ("Hvilke angrebsstier findes der til denne database?") og modtage kontekstualiserede forklaringer, hændelsesoversigter eller forslag til afhjælpning uden manuelt at skulle navigere gennem flere dashboards.

Hvordan angribere bruger AI

Desværre er cyberkriminelle også hoppet hovedkulds ind i brugen af ​​AI . I undergrundsfora analyseres enhver kraftfuld ny model, der dukker op, og der er dukket modificerede versioner op, nogle eksplicit rettet mod kriminelle aktiviteter, frataget etiske filtre og trænet som "hackingassistenter".

I dag er det relativt nemt at udnytte generative modeller til at automatisere næsten alle faser af en kriminel operation : masseskrivning af fejlfri og personlige phishing-e-mails, oprettelse af meget troværdige falske login-sider, generering af ransomware-scripts eller -kits til at stjæle legitimationsoplysninger , udarbejdelse af overbevisende budskaber til social engineering osv.

En anden bekymrende front er AI's evne til at skabe ekstremt overbevisende falsk indhold . Tekstgenereringsværktøjer muliggør produktion af falske artikler og nyhedshistorier, der efterligner stilen i professionelle medier; videogenereringssystemer som deepfakes erstatter ansigter i klip af høj kvalitet; og stemmekloning gør det muligt at genskabe en persons stemme med blot et par minutters lyd.

Der er allerede dokumenteret tilfælde af telefonsvindel, hvor familiemedlemmers stemmer er klonet til at opfordre til pengeoverførsler , såvel som politiske smædekampagner og manipulation på sociale medier, der kombinerer forfalskede videoer, falsk lyd og generative bots for at forstærke budskaber. Omkostningerne ved disse værktøjer falder hvert år, hvilket øger investeringsafkastet for angribere.

Kort sagt, AI mangedobler offensive muligheder: den gør sofistikerede angreb lettere og billigere, muliggør storstilede kampagner og komplicerer opgaven med at skelne autentisk fra manipuleret information . Derfor er det ikke længere valgfrit at bruge AI defensivt: uden automatisering og intelligens kan menneskelige teams simpelthen ikke følge med.

Vigtige AI-specifikke sikkerhedsrisici

Ud over generelle cybersikkerhedsrisici indebærer implementering af AI-systemer sine egne sårbarheder , som skal forstås og håndteres. Nogle af de mest relevante er:

Data- og modelforgiftning. Introduktion af skadelige eller manipulerede data i træningssæt kan forvrænge modeladfærd, indsætte bagdøre eller forringe ydeevnen uden at det er tydeligt i standardmålinger. I fødererede læringsmiljøer, hvor flere aktører bidrager til træning, er det særligt udfordrende at opdage, hvilken deltager der bevidst har introduceret støj.

Eksempler på adversarielle angreb og undvigelse. Design af let modificerede input til at udløse systematiske fejl giver angribere mulighed for at omgå malware-detektionssystemer, spamfiltre, billedklassificeringssystemer eller biometriske godkendelsesmekanismer. Fordi modellen "tror", at inputtet er normalt, er disse typer angreb vanskelige at afbøde ved kun at bruge traditionelle regler.

Modelinversion og privatlivslækager. Gennem gentagne forespørgsler og outputanalyse kan en angriber rekonstruere information om træningsdataene, endda udlede, om en specifik post blev inkluderet, eller udtrække fragmenter af følsomme data, der er gemt af modellen. Dette udgør et alvorligt problem ved træning med personlige, kliniske eller fortrolige oplysninger.

Tyveri af modeller og intellektuel ejendom. Ved massivt at forespørge en AI API er det muligt at træne en kopimodel, der nøje replikerer originalens adfærd. Dette underminerer forretningsmodellen for dem, der tilbyder AI som en tjeneste, og skaber desuden en kopi, som angriberen har fuld kontrol over, herunder evnen til at udnytte sårbarheder uden begrænsninger.

Angreb på API'er og infrastruktur. Grænseflader, der forbinder AI-modeller med andre applikationer, er et meget fristende indgangspunkt: svag autentificering, manglende inputvalidering, fravær af frekvensgrænser eller overvågning kan muliggøre alt fra denials of service til massiv dataudtrækning eller fjernudførelse af kode.

Øjeblikkelige injektioner og misbrug i GenAI. I tilfælde af sprogmodeller og generative assistenter er en fremvoksende vektor direkte eller indirekte instruktionsinjektioner . En angriber kan integrere ondsindede kommandoer i selve inputteksten ("ignorer de tidligere regler og...") eller i eksterne dokumenter, som modellen læser, med det formål at omgå begrænsninger, udvinde data eller udføre utilsigtede handlinger.

Udnyttede hallucinationer. Generative modeller kan fremstille data med fuldstændig selvsikkerhed. Hvis disse systemer bruges uden menneskelig opsyn i kritiske sammenhænge, ​​eller hvis angribere formår at legitimere visse hallucinationer som "fakta", åbner det døren for fejlagtige beslutninger, misinformation og et udbredt tab af tillid til digital information.

Rammer, standarder og bedste praksis for sikrere AI

For at undgå at gå i blinde med det, har forskellige organisationer foreslået specifikke rammer for AI-sikkerhed . Selvom ingen af ​​dem dækker hele landskabet alene, tilbyder de tilsammen et solidt fundament at bygge en strategi på.

Blandt dem skiller NIST AI Risk Management Framework sig ud , idet det strukturerer arbejdet omkring fire funktioner: styring (fastlæggelse af politikker og ansvar), kortlægning (forståelse af kontekst og risici), måling (evaluering af præstation og eksponering) og styring (prioritering og anvendelse af kontroller). Andre tiltag, såsom MITRE ATLAS-matricerne, katalogiserer specifikke angrebstaktikker og -teknikker mod AI-systemer, svarende til hvad ATT&CK gør med traditionelle trusler.

Inden for det mere anvendte felt har sikkerhedsmiljøet udviklet lister som OWASP Top 10 for LLM , der samler de vigtigste risici i applikationer baseret på store sprogmodeller: hurtige injektioner, dataeksponeringer, sårbarheder i modelforsyningskæden, modeltyveri osv. Store leverandører har udgivet deres egne frameworks (såsom Googles SAIF) med konkrete trin til at implementere AI-systemer mere sikkert.

Derudover er der ved at opstå meget specifikke, praktiske tilgange til implementering af GenAI i cloud-miljøer, såsom rammeværker for isolering af lejere og brugere , der omhyggeligt segmenterer data, tilladelser og kommunikationskanaler, hvilket reducerer virkningen af ​​potentielle fejl eller injektioner. Ideen er at kombinere traditionelle cybersikkerhedskontroller (kryptering, identitetsstyring, netværkssegmentering, sandboxing) med foranstaltninger, der er skræddersyet til de specifikke karakteristika ved AI.

Baseret på dette omfatter de hyppigst gentagne anbefalinger sikring af kvaliteten og diversiteten af ​​træningsdata, direkte håndtering af etiske implikationer (bias, samtykke, privatliv), hyppig modeltestning og -opdateringer og definition af AI-specifikke sikkerhedspolitikker , der supplerer generelle IKT-politikker.

Parallelt hermed dukker en kategori af løsninger op, kendt som AI Security Posture Management (AISPM) , svarende til, hvad CSPM betød for skyen: opgørelse over AI-aktiver, opdagelse af uautoriseret brug ("skygge-AI"), evaluering af konfigurationer og løbende overvågning af overholdelse af politikker.

Alt tyder på, at AI-sikkerhed, efterhånden som AI bliver endnu mere integreret i kritisk infrastruktur, vil gå fra at være et "interessant ekstra" til et fundamentalt krav . Organisationer, der er på forkant – ved at opgøre deres AI-systemer, definere klar governance, implementere strenge adgangskontroller, underkaste deres modeller kontradiktorisk testning og tilpasse sig anerkendte rammer – vil være langt bedre positioneret til at udnytte fordelene ved AI uden at støde på ubehagelige overraskelser. Og frem for alt vil de være bedre rustet til at opretholde kundernes, brugernes og borgernes tillid i et miljø, hvor det bliver stadig mere komplekst at skelne mellem, hvad der er virkeligt, og hvad der er manipuleret.