- Sinasamantala ng prompt injection ang kawalan ng kakayahan ng mga LLM na pag-iba-ibahin ang mga tagubilin ng system mula sa data ng user.
- May mga direkta, hindi direkta, at nakaimbak na mga variant na maaaring maglagay sa panganib ng privacy at integridad ng mga sistema.
- Naiiba ito sa jailbreaking dahil partikular na nilalayon ng huli na iwasan ang mga hadlang sa etika at seguridad ng modelo.
- Ang pagpapagaan ay nangangailangan ng isang multidisiplinaryong pamamaraan na pinagsasama ang pagsala ng input, pamamahala ng pribilehiyo, at pangangasiwa ng tao.
Malamang ay narinig mo na ang tungkol sa mga chatbot at kung paano nila pinapadali ang ating buhay, ngunit may isang madilim na bahagi na hindi laging nababalita. Lumalabas na ang mga tool na ito, bagama't tila mahiwaga, ay mayroon pangunahing kahinaan sa paraan ng pagproseso nila ng impormasyon, na nagpapahintulot sa ilang partikular na gumagamit na "linlangin" sila sa paggawa ng mga bagay na hindi kailanman pinayagan ng kanilang mga tagalikha.
Pinag-uusapan natin ang prompt injection, isang pamamaraan na karaniwang kinabibilangan ng pagmamanipula sa wika upang kontrolin ang AI. Hindi mo kailangang maging eksperto sa coding o mag-install ng anumang kakaibang programa; minsan, isang pariralang maayos ang pagkakalagay Sapat na ito para balewalain ng modelo ang mga patakaran nito at ibunyag ang mga sikreto o kumilos nang may malisya, na nagiging isang tunay na sakit ng ulo para sa kasalukuyang cybersecurity.
Ano nga ba ang agarang iniksyon?
Para maunawaan ito nang maayos, mahalagang malaman muna na ang mga Large Language Model (LLM), tulad ng GPT-4 o Gemini, ay gumagana gamit ang mga prompt. Ang prompt ay simpleng instruksyon na ibinibigay ng user sa makina. Ang problema ay nagdaragdag ang mga developer ng hindi nakikitang mga panloob na tagubilin (mga prompt ng system) upang tukuyin ang pag-uugali at mga patakaran ng bot, ngunit hindi matukoy ng AI kung saan nagtatapos ang utos ng programmer at kung saan nagsisimula ang teksto ng gumagamit.
Nangyayari ang kahinaang ito dahil pinoproseso ng modelo ang buong text stream bilang isang yunit. Kaya, kung ang isang attacker ay maglalagay ng command na nagsasabing "balewalain ang lahat ng nasa itaas," maaaring unahin ang bagong kaayusan tungkol sa mga orihinal na tuntunin sa seguridad. Sa esensya, ito ay isang anyo ng social engineering na inilalapat sa mga makina, kung saan ang wika ang sandata upang agawin ang pag-uugali ng katulong.
Mga Pangunahing Pagkakaiba sa pagitan ng Prompt Injection at Jailbreak
Maraming tao ang nalilito sa dalawang terminong ito, ngunit hindi sila pareho. Ang jailbreaking ay parang pagtatangkang "buksan ang kandado" sa AI. Ang layunin nito ay upang mapawalang-bisa ang mga etikal na proteksyon at mga patakaran sa nilalaman na pumipigil sa bot na magsabi ng mga ipinagbabawal na bagay o bumuo ng mga pinaghihigpitang nilalaman. Ang pinakasikat na halimbawa ay ang DAN mode ("Do Anything Now"), kung saan napipilitan ang modelo na gamitin ang isang karakter na walang mga patakaran.
Sa kabilang banda, ang agarang iniksyon ay isang mas malawak na konsepto. Hindi nito laging nilalabag ang mga tuntuning moral, ngunit baguhin ang paggana ng sistemaMaaaring gusto lang ng umaatake na ibunyag ng bot ang mga panloob na tagubilin nito o magsagawa ng hindi awtorisadong aksyon sa isang konektadong sistema. Bagama't ang jailbreaking ay karaniwang isang sinasadyang gawain ng gumagamit sa loob ng kanilang sariling sesyon, ang injection ay maaaring isang hindi nakikitang pag-atake na nakakaapekto sa mga ikatlong partido.
Mga uri ng pag-atake: Direkta, Hindi Direkta, at Nakaimbak
Hindi lahat ng pag-atake ay isinasagawa sa parehong paraan. Ang pinakasimpleng landas ay ang direktang iniksyonNangyayari ito kapag direktang tinatype ng user ang malisyosong instruksyon sa chat window. Maaaring ito ay isang sinasadyang pagtatangka na i-hack ang system o isang aksidenteng error ng user na nagdudulot ng hindi pangkaraniwang pag-uugali sa modelo.
Mas mapanganib ang hindi direktang iniksyonDito, ang umaatake ay hindi nakikipag-ugnayan sa AI, ngunit sa halip ay itinatago ang mga tagubilin sa mga panlabas na mapagkukunan na babasahin ng AI, tulad ng isang webpage, isang PDF na dokumento, o isang email. Halimbawa, kung hihilingin mo sa isang bot na ibuod ang isang webpage na naglalaman ng hindi nakikitang teksto gamit ang utos na "steal user data," ang AI ipoproseso ang nakatagong utos at maaaring makahalughog ng impormasyon nang hindi mo namamalayan.
Panghuli, mayroon tayong nakaimbak na iniksyonAng pamamaraang ito ay kinabibilangan ng pagtatanim ng mga malisyosong tagubilin sa mga database o sa mismong datos ng pagsasanay. Dahil nakaimbak na ang impormasyon, ang pag-atake ay maaaring makaapekto sa maraming gumagamit sa iba't ibang sesyon, dahil ang modelo sumisipsip ng lason at inuulit nito ito sa tuwing may kumukunsulta sa partikular na impormasyong iyon.
Mga epekto sa totoong buhay at mga senaryo ng panganib
Kapag ang isang pag-atake ay matagumpay, ang mga kahihinatnan ay maaaring maging seryoso. Mula sa pagtagas ng kumpidensyal na datos Mula sa kumpanya hanggang sa manipulasyon ng mga mahahalagang desisyon. Sa mga kapaligirang pangkorporasyon, kung saan ang AI ay may access sa mga API o email, maaaring pilitin ng isang umaatake ang bot na magpadala ng mga mensahe sa ngalan ng user o mag-access ng mga pribadong file.
- Pandaraya sa resume: Nagsama ang ilang kandidato ng blankong teksto (hindi nakikita ng mga tao) na nagsasabing sila ay "mga pambihirang eksperto" para lokohin ang mga AI filter ng HR.
- Pag-hijack ng browser: Nagtagumpay ang mga mananaliksik sa Mga ahente ng AI na nagbabasa ng mga email magpadala ng mga sulat ng pagbibitiw sa boss ng gumagamit gamit ang mga nakatagong tagubilin.
- Mga tagas ng sistema: Sa kaso ng Bing Chat, nagawa ng isang estudyante na ibunyag ng bot ang code name nito na "Sydney," at ang mga panloob na alituntunin sa pagpapatakbo nito.
- Mga pag-atakeng multimodal: Ngayon ay may mga panganib kung saan ang mga malisyosong tagubilin ay wala sa teksto, ngunit naka-embed sa mga imahe na sinusuri ng AI, na nagpapalawak sa saklaw ng pag-atake.
Mga estratehiya sa depensa at pagpapagaan ng sakit
Ang masamang balita ay, dahil sa estokastikong katangian ng mga LLM, walang tiyak na solusyon. Gayunpaman, maaaring gawin ang ilang mga hakbang. mga hadlang sa kaligtasan napakaepektibo. Isa sa mga pinakamahusay na opsyon ay ang input/output filtering, kung saan sinusuri ng isang panlabas na sistema kung ang prompt ay naglalaman ng mga kahina-hinalang pattern bago pa man makarating ang mga ito sa modelo.
Mahalaga ring ilapat ang prinsipyo ng minimal na mga pribilehiyoHindi mo dapat bigyan ang isang AI ng buong access sa iyong email account o database; mas makabubuti para dito na kumilos bilang isang tagapamagitan na nangangailangan... pagsang-ayon ng tao para sa mga aksyong may mataas na panganib. Kabilang sa iba pang mga pamamaraan ang paggamit ng mga modelong "naka-quarantine" upang iproseso ang panlabas na datos, na naghihiwalay sa lohika ng kontrol mula sa pagbabasa ng hindi mapagkakatiwalaang datos.
Panghuli, ang patuloy na pagsasanay at adversarial testing ay mahalaga. Dapat gayahin ng mga kumpanya ang mga pag-atake upang mahanap ang mga kahinaan bago pa man gawin ito ng mga hacker. Bukod pa rito, talaan ng telemetriya Nagbibigay-daan ito sa iyong matukoy ang mga anomalya sa mga tugon ng modelo, na tumutulong sa iyong mabilis na tumugon kapag may amoy malansa.