- A prompt injektálás az LLM-ek azon képtelenségét használja ki, hogy megkülönböztessék a rendszer utasításait a felhasználói adatoktól.
- Vannak közvetlen, közvetett és tárolt változatok, amelyek veszélyeztethetik a rendszerek adatvédelmét és integritását.
- A jailbreakeléstől abban különbözik, hogy az utóbbi kifejezetten a modell etikai és biztonsági korlátainak megkerülésére törekszik.
- A kockázatcsökkentés multidiszciplináris megközelítést igényel, amely ötvözi a bemeneti szűrést, a jogosultságkezelést és az emberi felügyeletet.
Valószínűleg hallottál már a chatbotokról és arról, hogyan könnyítik meg az életünket, de van egy sötét oldaluk is, ami nem mindig kerül be a hírekbe. Kiderült, hogy ezek az eszközök, bár látszólag varázslatosak, alapvető gyengeséggel rendelkeznek az információfeldolgozás terén, lehetővé téve bizonyos felhasználók számára, hogy „becsapják” őket olyan dolgokra, amiket az alkotóik soha nem szándékoztak.
A prompt injektálásról beszélünk, egy olyan technikáról, amely lényegében a nyelv manipulálását jelenti a mesterséges intelligencia feletti irányítás átvételéhez. Nem kell kódoló szakértőnek lenni, vagy homályos programokat telepíteni; néha egy jól elhelyezett kifejezés elég ahhoz, hogy a modell figyelmen kívül hagyja a szabályait, és titkokat fedjen fel, vagy rosszindulatúan cselekedjen, ami igazi fejfájást okoz a modern kiberbiztonság számára.
Pontosan mit jelent az azonnali injekció?
Ennek megfelelő megértéséhez elengedhetetlen tudni, hogy a nagy nyelvi modellek (LLM-ek), mint például a GPT-4 vagy a Gemini, promptok segítségével működnek. A prompt egyszerűen az az utasítás, amelyet a felhasználó ad a gépnek. A probléma az, hogy a fejlesztők láthatatlan belső utasításokat (rendszerpromptokat) adnak hozzá a bot viselkedésének és szabályainak meghatározásához, de a mesterséges intelligencia nem tudja megkülönböztetni, hogy hol ér véget a programozó parancsa és hol kezdődik a felhasználó szövege.
Ez a sebezhetőség azért fordul elő, mert a modell a teljes szövegfolyamot egyetlen egységként dolgozza fel. Így, ha egy támadó beilleszt egy olyan parancsot, amely azt mondja, hogy „minden fentit figyelmen kívül hagy”, a mesterséges intelligencia prioritást élvezhet az új parancsnak az eredeti biztonsági szabályokkal szemben. Lényegében ez a gépekre alkalmazott társadalmi manipuláció egy formája, ahol a nyelv a fegyver, amelyet az asszisztens viselkedésének eltérítésére használnak.
Főbb különbségek a gyors injekció és a jailbreak között
Sokan összekeverik ezt a két kifejezést, pedig nem ugyanaz. A jailbreakelés olyan, mintha megpróbálnák "feltörni a zárat" a mesterséges intelligencián. Célja az etikai védelem és a tartalomszabályzatok felülbírálása , hogy a bot tiltott dolgokat mondjon, vagy korlátozott tartalmat generáljon. A leghíresebb példa a DAN mód ("Do Anything Now" - "Csinálj bármit most"), ahol a modell kénytelen szabályok nélkül felvenni egy karaktert.
Másrészről a prompt injektálás tágabb fogalom. Nem mindig az erkölcsi szabályok megszegését célozza, hanem inkább a rendszer működésének megváltoztatását . A támadó egyszerűen csak azt szeretné, ha a bot felfedné a belső utasításait, vagy jogosulatlan műveletet hajtana végre a csatlakoztatott rendszeren. Míg a jailbreakelés általában a felhasználó szándékos cselekedete a saját munkamenetén belül, a prompt injektálás egy láthatatlan támadás lehet, amely harmadik feleket érint.
Támadástípusok: közvetlen, közvetett és tárolt
Nem minden támadás végrehajtása történik ugyanúgy. A legegyszerűbb módszer a közvetlen injekciózás , amely akkor történik, amikor a felhasználó közvetlenül a csevegőablakba írja be a rosszindulatú utasítást. Ez lehet szándékos cselekmény a rendszer feltörésére, vagy véletlen felhasználói hiba, amely a modell szabálytalan viselkedését okozza.
A közvetett injektálás sokkal veszélyesebb . Itt a támadó nem kommunikál közvetlenül a mesterséges intelligenciával, hanem külső forrásokban, például weboldalakon, PDF-dokumentumokban vagy e-mailekben rejti el az utasításokat, amelyeket a mesterséges intelligencia elolvas. Például, ha megkérsz egy botot, hogy összegezzen egy láthatatlan szöveget tartalmazó weboldalt a „felhasználói adatok ellopása” paranccsal, a mesterséges intelligencia feldolgozza a rejtett parancsot , és a felhasználó tudta nélkül kiszivárogtathatja az információkat.
Végül, a tárolt injektálásról beszélünk . Ez a módszer magában foglalja a rosszindulatú utasítások adatbázisokba vagy magukba a betanító adatokba való beültetését. Mivel az információ már tárolva van, a támadás sok felhasználót érinthet különböző munkamenetekben, mivel a modell elnyeli a rosszindulatú programot , és minden alkalommal replikálja azt, amikor valaki hozzáfér az adott információhoz.
Valós életbeli hatások és veszélyhelyzetek
Sikeres támadás esetén a következmények súlyosak lehetnek, a bizalmas vállalati adatok kiszivárgásától a kritikus döntések manipulálásáig. Vállalati környezetekben, ahol a mesterséges intelligencia hozzáfér az API-khoz vagy az e-mailekhez, a támadó ráveheti a botot, hogy üzeneteket küldjön a felhasználó nevében, vagy hozzáférjen a privát fájlokhoz.
- Önéletrajz-csalás: Néhány jelölt üres (az emberek számára láthatatlan) szöveget is beillesztett, amelyben azt állítják, hogy „kivételes szakértők”, hogy becsapják a HR mesterséges intelligencia szűrőit.
- Böngésző eltérítése: A kutatóknak sikerült AI-ügynökök, akik e-maileket olvasnak rejtett utasítások segítségével küldjön felmondóleveleket a felhasználó főnökének.
- Rendszer szivárgások: A Bing Chat esetében egy diáknak sikerült rávennie a botot, hogy felfedje a kódnevét, a „Sydney”-t, és a belső működési irányelveit.
- Multimodális támadások: Most már ott is fennállnak a kockázatok, ahol a rosszindulatú utasítások nem szöveges formában vannak, hanem képekbe ágyazva amit a mesterséges intelligencia elemez, kiterjesztve a támadási felületet.
Védelmi és mérséklési stratégiák
A rossz hír az, hogy az LLM-ek sztochasztikus természete miatt nincs végleges megoldás. Azonban nagyon hatékony óvintézkedések hozhatók létre . Az egyik legjobb megoldás a bemeneti/kimeneti szűrés, ahol egy külső rendszer elemzi, hogy a prompt tartalmaz-e gyanús mintákat, mielőtt elérné a modellt.
Az is kulcsfontosságú, hogy a minimális jogosultságok elvét alkalmazzuk . Nem szabad teljes hozzáférést adni egy mesterséges intelligenciának az e-mail fiókunkhoz vagy az adatbázisunkhoz; jobb, ha közvetítőként működik, amely emberi jóváhagyást igényel a magas kockázatú műveletekhez. További technikák közé tartozik a „karanténba helyezett” modellek használata a külső adatok feldolgozásához, elválasztva a vezérlőlogikát a nem megbízható adatok olvasásától.
Végül a folyamatos képzés és a versenytársak tesztelése kulcsfontosságú. A vállalatoknak szimulálniuk kell a támadásokat, hogy a hackerek előtt megtalálják a sebezhetőségeket. Továbbá a telemetriai naplózás lehetővé teszi a modell válaszaiban található anomáliák észlelését, segítve a gyors reagálást, ha valami nincs rendben.