- Sinasamantala ng prompt injection ang kawalan ng kakayahan ng mga LLM na pag-iba-ibahin ang mga tagubilin ng system mula sa data ng user.
- May mga direkta, hindi direkta, at nakaimbak na mga variant na maaaring maglagay sa panganib ng privacy at integridad ng mga sistema.
- Naiiba ito sa jailbreaking dahil partikular na nilalayon ng huli na iwasan ang mga hadlang sa etika at seguridad ng modelo.
- Ang pagpapagaan ay nangangailangan ng isang multidisiplinaryong pamamaraan na pinagsasama ang pagsala ng input, pamamahala ng pribilehiyo, at pangangasiwa ng tao.
Malamang ay narinig mo na ang tungkol sa mga chatbot at kung paano nila pinapadali ang ating buhay, ngunit may isang madilim na bahagi na hindi laging nababalita. Lumalabas na ang mga tool na ito, bagama't tila mahiwaga, ay may pangunahing kahinaan sa kung paano nila pinoproseso ang impormasyon, na nagpapahintulot sa ilang mga gumagamit na "linlangin" sila sa paggawa ng mga bagay na hindi kailanman nilayon ng kanilang mga tagalikha.
Pinag-uusapan natin ang prompt injection, isang pamamaraan na mahalagang kinabibilangan ng pagmamanipula ng wika upang kontrolin ang AI. Hindi mo kailangang maging eksperto sa coding o mag-install ng mga hindi kilalang programa; kung minsan, ang isang mahusay na pagkakalagay na parirala ay sapat na para balewalain ng modelo ang mga patakaran nito at magbunyag ng mga sikreto o kumilos nang may malisya, na nagiging isang tunay na sakit ng ulo para sa modernong cybersecurity.
Ano nga ba ang agarang iniksyon?
Para maunawaan ito nang maayos, mahalagang malaman na ang mga Large Language Model (LLM), tulad ng GPT-4 o Gemini, ay gumagana gamit ang mga prompt. Ang prompt ay simpleng instruksyon na ibinibigay ng user sa makina. Ang problema ay nagdaragdag ang mga developer ng mga hindi nakikitang panloob na instruksyon (mga prompt ng system) upang tukuyin ang pag-uugali at mga panuntunan ng bot, ngunit hindi matukoy ng AI kung saan nagtatapos ang utos ng programmer at nagsisimula ang teksto ng user.
Nangyayari ang kahinaang ito dahil pinoproseso ng modelo ang buong text stream bilang isang yunit. Kaya, kung ang isang attacker ay maglalagay ng command na nagsasabing "balewalain ang lahat ng nasa itaas," maaaring unahin ng AI ang bagong command kaysa sa orihinal na mga panuntunan sa seguridad. Ito ay, sa esensya, isang anyo ng social engineering na inilalapat sa mga makina, kung saan ang wika ang sandatang ginagamit upang agawin ang pag-uugali ng assistant.
Mga Pangunahing Pagkakaiba sa pagitan ng Prompt Injection at Jailbreak
Maraming tao ang nalilito sa dalawang terminong ito, ngunit hindi sila pareho. Ang jailbreaking ay parang pagtatangkang "buksan ang kandado" sa AI. Ang layunin nito ay pawalang-bisa ang mga etikal na proteksyon at mga patakaran sa nilalaman upang ang bot ay magsabi ng mga ipinagbabawal na bagay o lumikha ng mga pinaghihigpitang nilalaman. Ang pinakasikat na halimbawa ay ang DAN mode ("Do Anything Now"), kung saan ang modelo ay napipilitang umampon ng isang karakter na walang mga patakaran.
Sa kabilang banda, ang prompt injection ay isang mas malawak na konsepto. Hindi nito laging nilalayon na labagin ang mga tuntuning moral, kundi baguhin ang paggana ng sistema . Maaaring gusto lang ng umaatake na ibunyag ng bot ang mga panloob na tagubilin nito o magsagawa ng hindi awtorisadong aksyon sa isang konektadong sistema. Bagama't ang jailbreaking ay karaniwang isang sinasadyang kilos ng gumagamit sa loob ng kanilang sariling sesyon, ang prompt injection ay maaaring isang hindi nakikitang pag-atake na nakakaapekto sa mga ikatlong partido.
Mga uri ng pag-atake: Direkta, Hindi Direkta, at Nakaimbak
Hindi lahat ng pag-atake ay isinasagawa sa parehong paraan. Ang pinakasimpleng paraan ay ang direct injection , na nangyayari kapag direktang tina-type ng user ang malisyosong instruksyon sa chat window. Maaari itong maging isang sinasadyang gawain upang i-hack ang sistema o isang hindi sinasadyang error ng user na nagdudulot ng hindi pangkaraniwang pag-uugali sa modelo.
Mas mapanganib ang indirect injection . Dito, hindi direktang nakikipag-ugnayan ang attacker sa AI, ngunit sa halip ay itinatago nito ang mga tagubilin sa loob ng mga panlabas na mapagkukunan na babasahin ng AI, tulad ng isang webpage, isang PDF na dokumento, o isang email. Halimbawa, kung hihilingin mo sa isang bot na ibuod ang isang webpage na naglalaman ng hindi nakikitang teksto gamit ang utos na "steal user data," ipoproseso ng AI ang nakatagong utos at maaaring maglabas ng impormasyon nang hindi mo nalalaman.
Panghuli, mayroon tayong stored injection . Ang pamamaraang ito ay kinabibilangan ng pagtatanim ng mga malisyosong tagubilin sa mga database o sa mismong data ng pagsasanay. Dahil nakaimbak na ang impormasyon, ang pag-atake ay maaaring makaapekto sa maraming user sa iba't ibang sesyon, dahil sinisipsip ng modelo ang malware at kinokopya ito sa tuwing may mag-a-access sa partikular na impormasyong iyon.
Mga epekto sa totoong buhay at mga senaryo ng panganib
Kapag nagtagumpay ang isang pag-atake, maaaring maging malubha ang mga kahihinatnan, mula sa pagtagas ng kumpidensyal na datos ng kumpanya hanggang sa manipulasyon ng mga mahahalagang desisyon. Sa mga kapaligirang pangkorporasyon, kung saan may access ang AI sa mga API o email, maaaring pilitin ng isang umaatake ang bot na magpadala ng mga mensahe sa ngalan ng user o mag-access ng mga pribadong file.
- Pandaraya sa resume: Nagsama ang ilang kandidato ng blankong teksto (hindi nakikita ng mga tao) na nagsasabing sila ay "mga pambihirang eksperto" para lokohin ang mga AI filter ng HR.
- Pag-hijack ng browser: Nagtagumpay ang mga mananaliksik sa Mga ahente ng AI na nagbabasa ng mga email magpadala ng mga sulat ng pagbibitiw sa boss ng gumagamit gamit ang mga nakatagong tagubilin.
- Mga tagas ng sistema: Sa kaso ng Bing Chat, nagawa ng isang estudyante na ibunyag ng bot ang code name nito na "Sydney," at ang mga panloob na alituntunin sa pagpapatakbo nito.
- Mga pag-atakeng multimodal: Ngayon ay may mga panganib kung saan ang mga malisyosong tagubilin ay wala sa teksto, ngunit naka-embed sa mga imahe na sinusuri ng AI, na nagpapalawak sa saklaw ng pag-atake.
Mga estratehiya sa depensa at pagpapagaan ng sakit
Ang masamang balita ay, dahil sa estokastikong katangian ng mga LLM, walang tiyak na solusyon. Gayunpaman, maaaring maglagay ng mga napakabisang pananggalang . Isa sa mga pinakamahusay na opsyon ay ang input/output filtering, kung saan sinusuri ng isang panlabas na sistema kung ang prompt ay naglalaman ng mga kahina-hinalang pattern bago ito makarating sa modelo.
Mahalaga ring ilapat ang prinsipyo ng least privilege . Hindi mo dapat bigyan ang isang AI ng buong access sa iyong email account o database; mas makabubuti kung ito ang magsilbing tagapamagitan na nangangailangan ng pag-apruba ng tao para sa mga aksyong may mataas na panganib. Kabilang sa iba pang mga pamamaraan ang paggamit ng mga "quarantine" na modelo upang iproseso ang panlabas na data, na naghihiwalay sa control logic mula sa pagbabasa ng hindi mapagkakatiwalaang data.
Panghuli, ang patuloy na pagsasanay at adversarial testing ay mahalaga. Dapat gayahin ng mga kumpanya ang mga pag-atake upang mahanap ang mga kahinaan bago pa man gawin ito ng mga hacker. Bukod pa rito, ang telemetry logging ay nagbibigay-daan para sa pagtuklas ng mga anomalya sa mga tugon ng modelo, na nakakatulong upang mabilis na tumugon kapag tila may mali.