- Брза инјекција искоришћава немогућност LLM-ова да разликују системске инструкције од корисничких података.
- Постоје директне, индиректне и сачуване варијанте које могу угрозити приватност и интегритет система.
- Разликује се од jailbreaking-а по томе што потоњи посебно тежи да заобиђе етичке и безбедносне баријере модела.
- Ублажавање захтева мултидисциплинарни приступ који комбинује филтрирање уноса, управљање привилегијама и људски надзор.
Вероватно сте чули за четботове и како нам олакшавају живот, али постоји и мрачна страна која се не појављује увек у вестима. Испоставља се да ови алати, иако делују магично, имају... фундаментална слаба тачка у начину на који обрађују информације, што омогућава одређеним корисницима да их „преваре“ да раде ствари које њихови творци никада нису дозволили.
Говоримо о брзом убризгавању, техници која у основи подразумева манипулисање језиком како би се преузела контрола над вештачком интелигенцијом. Не морате бити стручњак за кодирање или инсталирати неке необичне програме; понекад, добро постављена фраза Ово је довољно да модел игнорише своја правила и открије тајне или делује злонамерно, што постаје права главобоља за тренутну сајбер безбедност.
Шта је тачно брза ињекција?
Да бисмо ово правилно разумели, важно је прво знати да модели великих језика (LLM), као што су GPT-4 или Gemini, раде користећи промпте. Промпт је једноставно инструкција коју корисник даје машини. Проблем је у томе што програмери додају невидљиве интерне инструкције (системске захтеве) да дефинишу понашање и правила бота, али вештачка интелигенција не може да разликује где се завршава програмерова команда, а где почиње корисников текст.
Ова рањивост се јавља зато што модел обрађује цео текстуални ток као једну јединицу. Стога, ако нападач убаци команду која каже „игнориши све горе наведено“, вештачка интелигенција може дати приоритет новом редоследу о оригиналним безбедносним правилима. У суштини, то је облик друштвеног инжењеринга примењен на машине, где је језик оружје за отмицу понашања асистента.
Кључне разлике између брзог убризгавања и џејлбрејка
Многи људи мешају ова два појма, али нису исти. Џејлбрејк је као покушај „обијања браве“ на вештачкој интелигенцији. Његов циљ је... да поништи етичку заштиту и политике садржаја које спречавају бота да говори забрањене ствари или генерише ограничени садржај. Најпознатији пример је DAN режим („Уради било шта сада“), где је модел приморан да усвоји лик без правила.
С друге стране, брзо убризгавање је шири концепт. Не тежи увек кршењу моралних правила, али променити функционалност системаНападач може једноставно желети да бот открије своја интерна упутства или да изврши неовлашћену радњу на повезаном систему. Док је џејлбрејк обично намерни чин корисника унутар сопствене сесије, убризгавање може бити невидљиви напад који утиче на треће стране.
Врсте напада: директни, индиректни и складиштени
Не изводе се сви напади на исти начин. Најједноставнији пут је директно убризгавањеОво се дешава када корисник директно унесе злонамерну инструкцију у прозор за ћаскање. То може бити намерни покушај хаковања система или случајна грешка корисника која узрокује неправилно понашање у моделу.
Много опасније је индиректно убризгавањеОвде, нападач не комуницира са вештачком интелигенцијом, већ скрива инструкције у спољним изворима које ће вештачка интелигенција прочитати, као што су веб страница, PDF документ или имејл. На пример, ако замолите бота да сумира веб страницу која садржи невидљиви текст помоћу команде „укради корисничке податке“, вештачка интелигенција ће обрадити скривену команду и могли би да извучу информације, а да тога нисте ни свесни.
Коначно, имамо складиштена ињекцијаОва метода подразумева постављање злонамерних инструкција у базе података или у саме податке за обуку. Пошто су информације већ сачуване, напад може утицати на многе кориснике у различитим сесијама, пошто модел апсорбује отров и то се понавља сваки пут када неко консултује ту конкретну информацију.
Утицаји из стварног живота и сценарији опасности
Када је напад успешан, последице могу бити озбиљне. Од цурење поверљивих података Од компаније до манипулације критичним одлукама. У корпоративним окружењима, где вештачка интелигенција има приступ API-јима или имејловима, нападач би могао да натера бота да шаље поруке у име корисника или да приступа приватним датотекама.
- Превара са животописом: Неки кандидати су укључили празан текст (невидљив људима) наводећи да су „изузетни стручњаци“ како би преварили филтере вештачке интелигенције у одељењу за људске ресурсе.
- Отмица прегледача: Истраживачи су успели у Агенти вештачке интелигенције који читају имејлове слати писма о оставци шефу корисника користећи скривена упутства.
- Цурење система: У случају Bing Chat-а, један студент је успео да натера бота да открије своје кодно име „Сиднеј“ и своје интерне оперативне смернице.
- Мултимодални напади: Сада постоје ризици када злонамерна упутства нису у тексту, већ уграђено у слике које вештачка интелигенција анализира, проширујући површину напада.
Стратегије одбране и ублажавања
Лоша вест је да, због стохастичке природе LLM-ова, не постоји дефинитивно решење. Међутим, могу се предузети неки кораци. сигурносне баријере веома ефикасно. Једна од најбољих опција је филтрирање улаза/излаза, где екстерни систем анализира да ли промпт садржи сумњиве обрасце пре него што стигну до модела.
Такође је важно применити принцип најмање привилегијаНе би требало да вештачкој интелигенцији дајете потпун приступ свом имејл налогу или бази података; боље је да она делује као посредник који захтева људско одобравање за акције високог ризика. Друге технике укључују употребу „карантинских“ модела за обраду екстерних података, одвајајући контролну логику од читања непоузданих података.
Коначно, континуирана обука и супарничко тестирање су кључни. Компаније морају симулирати нападе како би пронашле рањивости пре него што то ураде хакери. Штавише, дневник телеметрије Омогућава вам да откријете аномалије у одговорима модела, помажући вам да брзо реагујете када нешто мирише сумњиво.