- Promptno ubrizgavanje iskorištava nemogućnost LLM-ova da razlikuju sistemske instrukcije od korisničkih podataka.
- Postoje izravne, neizravne i pohranjene varijante koje mogu ugroziti privatnost i integritet sustava.
- Razlikuje se od jailbreaka po tome što potonji posebno nastoji zaobići etičke i sigurnosne barijere modela.
- Ublažavanje zahtijeva multidisciplinarni pristup koji kombinira filtriranje ulaznih podataka, upravljanje privilegijama i ljudski nadzor.
Vjerojatno ste čuli za chatbotove i kako nam olakšavaju život, ali postoji i tamna strana koja ne dospijeva uvijek u vijesti. Ispada da ovi alati, iako naizgled magični, imaju temeljnu slabost u načinu na koji obrađuju informacije, omogućujući određenim korisnicima da ih "prevare" da rade stvari koje njihovi tvorci nikada nisu namjeravali.
Govorimo o prompt injectionu, tehnici koja u biti uključuje manipuliranje jezikom kako bi se preuzela kontrola nad umjetnom inteligencijom. Ne morate biti stručnjak za kodiranje ili instalirati nejasne programe; ponekad je dobro plasirana fraza dovoljna da model ignorira svoja pravila i otkrije tajne ili djeluje zlonamjerno, postajući prava glavobolja za modernu kibernetičku sigurnost.
Što je točno promptna injekcija?
Da bismo ovo pravilno razumjeli, bitno je znati da modeli velikih jezika (LLM), poput GPT-4 ili Geminija, rade pomoću uputa. Uputa je jednostavno uputa koju korisnik daje računalu. Problem je u tome što programeri dodaju nevidljive interne upute (sistemske upute) kako bi definirali ponašanje i pravila bota, ali umjetna inteligencija ne može razlikovati gdje završava programerova naredba, a počinje korisnikov tekst.
Ova ranjivost nastaje jer model obrađuje cijeli tekstualni tok kao jednu cjelinu. Dakle, ako napadač umetne naredbu koja kaže "ignoriraj sve gore navedeno", umjetna inteligencija može dati prioritet novoj naredbi u odnosu na izvorna sigurnosna pravila. To je, u biti, oblik društvenog inženjeringa primijenjenog na strojeve, gdje je jezik oružje koje se koristi za preuzimanje ponašanja asistenta.
Ključne razlike između Prompt Injectiona i Jailbreaka
Mnogi ljudi brkaju ova dva pojma, ali nisu ista. Jailbreaking je kao pokušaj "obijanja brave" na umjetnoj inteligenciji. Cilj mu je nadjačati etičke zaštite i pravila o sadržaju tako da bot govori zabranjene stvari ili generira ograničeni sadržaj. Najpoznatiji primjer je DAN način rada ("Učini bilo što sada"), gdje je model prisiljen usvojiti lik bez pravila.
S druge strane, prompt injection je širi koncept. Ne cilja uvijek na kršenje moralnih pravila, već na promjenu funkcionalnosti sustava . Napadač bi jednostavno mogao htjeti da bot otkrije svoje interne upute ili izvrši neovlaštenu radnju na povezanom sustavu. Dok je jailbreaking obično namjeran čin korisnika unutar vlastite sesije, prompt injection može biti nevidljivi napad koji utječe na treće strane.
Vrste napada: izravni, neizravni i pohranjeni
Nisu svi napadi izvršeni na isti način. Najjednostavnija metoda je izravno ubrizgavanje , koje se događa kada korisnik upiše zlonamjernu instrukciju izravno u prozor za chat. To može biti namjerni čin hakiranja sustava ili slučajna korisnička pogreška koja uzrokuje nepravilno ponašanje u modelu.
Neizravno ubrizgavanje je daleko opasnije . Ovdje napadač ne komunicira izravno s umjetnom inteligencijom, već skriva upute unutar vanjskih izvora koje će umjetna inteligencija pročitati, kao što su web stranica, PDF dokument ili e-pošta. Na primjer, ako zamolite bota da sažme web stranicu koja sadrži nevidljivi tekst naredbom "ukradi korisničke podatke", umjetna inteligencija će obraditi skrivenu naredbu i mogla bi izvući informacije bez vašeg znanja.
Konačno, imamo pohranjenu injekciju . Ova metoda uključuje umetanje zlonamjernih instrukcija u baze podataka ili u same podatke za obuku. Budući da su informacije već pohranjene, napad može utjecati na mnoge korisnike u različitim sesijama, jer model apsorbira zlonamjerni softver i replicira ga svaki put kada netko pristupi tim specifičnim informacijama.
Utjecaji iz stvarnog života i scenariji opasnosti
Kada je napad uspješan, posljedice mogu biti ozbiljne, od curenja povjerljivih podataka tvrtke do manipulacije ključnim odlukama. U korporativnim okruženjima, gdje umjetna inteligencija ima pristup API-jima ili e-pošti, napadač bi mogao natjerati bota da šalje poruke u ime korisnika ili pristupa privatnim datotekama.
- Prijevara u životopisu: Neki su kandidati uključili prazan tekst (nevidljiv ljudima) u kojem tvrde da su "iznimni stručnjaci" kako bi zavarali HR-ove AI filtere.
- Otmica preglednika: Istraživači su uspjeli u AI agenti koji čitaju e-poštu poslati otkazne pisma šefu korisnika koristeći skrivene upute.
- Curenja sustava: U slučaju Bing Chata, student je uspio nagovoriti bota da otkrije svoje kodno ime "Sydney" i svoje interne operativne smjernice.
- Multimodalni napadi: Sada postoje rizici gdje zlonamjerne upute nisu u tekstu, već ugrađeno u slike koje umjetna inteligencija analizira, proširujući površinu napada.
Strategije obrane i ublažavanja
Loša vijest je da, zbog stohastičke prirode LLM-ova, ne postoji konačno rješenje. Međutim, mogu se uvesti vrlo učinkovite zaštitne mjere . Jedna od najboljih opcija je filtriranje ulaza/izlaza, gdje vanjski sustav analizira sadrži li upit sumnjive obrasce prije nego što dođe do modela.
Također je ključno primijeniti načelo najmanjih privilegija . Ne biste trebali dati umjetnoj inteligenciji potpuni pristup svom računu e-pošte ili bazi podataka; bolje je da djeluje kao posrednik koji zahtijeva ljudsko odobrenje za visokorizične radnje. Druge tehnike uključuju korištenje modela "u karanteni" za obradu vanjskih podataka, odvajajući kontrolnu logiku od čitanja nepouzdanih podataka.
Konačno, ključni su kontinuirana obuka i testiranje protivnika. Tvrtke moraju simulirati napade kako bi pronašle ranjivosti prije nego što to učine hakeri. Nadalje, telemetrijsko zapisivanje omogućuje otkrivanje anomalija u odgovorima modela, što pomaže u brzoj reakciji kada se čini da nešto nije u redu.