- Takojšnje vbrizgavanje izkorišča nezmožnost LLM-ov, da bi razlikovali sistemska navodila od uporabniških podatkov.
- Obstajajo neposredne, posredne in shranjene različice, ki lahko ogrozijo zasebnost in integriteto sistemov.
- Od jailbreaka se razlikuje po tem, da slednji posebej poskuša zaobiti etične in varnostne ovire modela.
- Za ublažitev je potreben multidisciplinarni pristop, ki združuje filtriranje vhodnih podatkov, upravljanje privilegijev in človeški nadzor.
Verjetno ste že slišali za klepetalne robote in kako nam olajšajo življenje, vendar obstaja tudi temna plat, ki ni vedno v novicah. Izkazalo se je, da imajo ta orodja, čeprav se zdijo čarobna, ... temeljna šibka točka v načinu obdelave informacij, kar določenim uporabnikom omogoča, da jih "prelisičijo" v stvari, ki jih njihovi ustvarjalci nikoli niso dovolili.
Govorimo o promptni injekciji, tehniki, ki v osnovi vključuje manipulacijo jezika za prevzem nadzora nad umetno inteligenco. Ni vam treba biti strokovnjak za kodiranje ali nameščati kakršnih koli nenavadnih programov; včasih, dobro umeščen stavek To je dovolj, da model ignorira svoja pravila in razkrije skrivnosti ali deluje zlonamerno, kar postane pravi glavobol za trenutno kibernetsko varnost.
Kaj točno je takojšnja injekcija?
Da bi to pravilno razumeli, je pomembno najprej vedeti, da modeli velikih jezikov (LLM), kot sta GPT-4 ali Gemini, delujejo s pomočjo pozivov. Poziv je preprosto navodilo, ki ga uporabnik da napravi. Težava je v tem, da razvijalci dodajo nevidna notranja navodila (sistemski pozivi) za določitev vedenja in pravil bota, vendar umetna inteligenca ne more razlikovati, kje se konča programerjev ukaz in kje se začne uporabnikovo besedilo.
Do te ranljivosti pride, ker model obdeluje celoten besedilni tok kot eno samo enoto. Če torej napadalec vstavi ukaz, ki pravi »prezri vse zgoraj navedeno«, lahko umetna inteligenca dati prednost novemu vrstnemu redu o prvotnih varnostnih pravilih. V bistvu gre za obliko socialnega inženiringa, ki se uporablja za stroje, kjer je jezik orožje za ugrabitev vedenja asistenta.
Ključne razlike med takojšnjim vbrizgavanjem in jailbreakom
Mnogi ljudje zamenjujejo ta dva izraza, vendar nista ista stvar. Jailbreaking je kot poskus "odklepanja ključavnice" umetne inteligence. Njegov cilj je izničiti etične zaščite in pravilnike o vsebini, ki botu preprečujejo, da bi govoril prepovedane stvari ali ustvarjal omejeno vsebino. Najbolj znan primer je način DAN ("Naredi karkoli zdaj"), kjer je model prisiljen sprejeti lik brez pravil.
Po drugi strani pa je takojšnja injekcija širši koncept. Ni vedno namenjena kršenju moralnih pravil, ampak spremeniti funkcionalnost sistemaNapadalec morda preprosto želi, da bot razkrije svoja notranja navodila ali izvede nepooblaščeno dejanje na povezanem sistemu. Medtem ko je jailbreaking običajno namerno dejanje uporabnika znotraj lastne seje, je lahko injection neviden napad, ki prizadene tretje osebe.
Vrste napadov: neposredni, posredni in shranjeni
Vsi napadi se ne izvajajo na enak način. Najenostavnejša pot je neposredno vbrizgavanjeDo tega pride, ko uporabnik vnese zlonamerno navodilo neposredno v okno za klepet. Lahko gre za nameren poskus vdora v sistem ali za naključno uporabniško napako, ki povzroči nepravilno delovanje v modelu.
Veliko bolj nevarno je posredno vbrizgavanjeTukaj napadalec ne komunicira z umetno inteligenco, temveč skrije navodila v zunanjih virih, ki jih bo umetna inteligenca prebrala, kot so spletna stran, dokument PDF ali e-pošta. Če na primer bota prosite, naj povzame spletno stran, ki vsebuje nevidno besedilo, z ukazom »ukradi uporabniške podatke«, bo umetna inteligenca bo obdelal skriti ukaz in bi lahko izkopal informacije, ne da bi se tega sploh zavedal.
Končno imamo shranjena injekcijaTa metoda vključuje vstavljanje zlonamernih navodil v podatkovne baze ali v same učne podatke. Ker so informacije že shranjene, lahko napad prizadene veliko uporabnikov v različnih sejah, saj model absorbira strup in to ponovi vsakič, ko nekdo pregleda te specifične informacije.
Vplivi iz resničnega življenja in scenariji nevarnosti
Ko je napad uspešen, so lahko posledice resne. Od uhajanje zaupnih podatkov Od podjetja do manipulacije kritičnih odločitev. V korporativnih okoljih, kjer ima umetna inteligenca dostop do API-jev ali e-pošte, bi lahko napadalec prisilil bota, da pošilja sporočila v imenu uporabnika ali dostopa do zasebnih datotek.
- Goljufija z življenjepisom: Nekateri kandidati so vključili prazno besedilo (nevidno za ljudi), v katerem pravijo, da so "izjemni strokovnjaki", da bi prelisičili filtre umetne inteligence v kadrovski službi.
- Ugrabitev brskalnika: Raziskovalcem je uspelo Agenti umetne inteligence, ki berejo e-pošto pošljite odstopna pisma uporabnikovemu šefu z uporabo skritih navodil.
- Puščanje sistema: V primeru Bing Chata je študentu uspelo prepričati bota, da razkrije svoje kodno ime »Sydney« in svoje interne operativne smernice.
- Večmodalni napadi: Zdaj obstajajo tveganja, kjer zlonamerna navodila niso v besedilu, ampak vdelano v slike ki ga umetna inteligenca analizira in s tem širi površino napada.
Strategije obrambe in blaženja
Slaba novica je, da zaradi stohastične narave LLM-ov ni dokončne rešitve. Vendar pa je mogoče sprejeti nekatere korake. varnostne ovire zelo učinkovito. Ena najboljših možnosti je vhodno/izhodna filtracija, kjer zunanji sistem analizira, ali poziv vsebuje sumljive vzorce, preden ti dosežejo model.
Prav tako je bistveno uporabiti načelo minimalne privilegijeUmetni inteligenci ne smete dati polnega dostopa do svojega e-poštnega računa ali baze podatkov; bolje je, da deluje kot posrednik, ki zahteva človeško odobravanje za dejanja z visokim tveganjem. Druge tehnike vključujejo uporabo modelov "v karanteni" za obdelavo zunanjih podatkov, s čimer se loči kontrolna logika od branja nezaupanja vrednih podatkov.
Nenazadnje sta ključnega pomena nenehno usposabljanje in kontradiktorno testiranje. Podjetja morajo simulirati napade, da bi odkrila ranljivosti, preden jih hekerji odkrijejo. Poleg tega telemetrični dnevnik Omogoča vam zaznavanje anomalij v odzivih modela, kar vam pomaga hitro reagirati, ko nekaj smrdi po sumljivem.