- Bij promptinjectie wordt gebruikgemaakt van het feit dat LLM's geen onderscheid kunnen maken tussen systeeminstructies en gebruikersgegevens.
- Er bestaan directe, indirecte en opgeslagen varianten die de privacy en integriteit van systemen in gevaar kunnen brengen.
- Het verschilt van jailbreaking doordat laatstgenoemde er specifiek op gericht is de ethische en veiligheidsbarrières van het model te omzeilen.
- Het beperken van de risico's vereist een multidisciplinaire aanpak die inputfiltering, privilegebeheer en menselijk toezicht combineert.
Je hebt vast wel eens gehoord over chatbots en hoe ze ons leven makkelijker maken, maar er is ook een keerzijde die niet altijd in het nieuws komt. Het blijkt dat deze tools, hoewel ze magisch lijken, een keerzijde hebben. fundamenteel zwak punt De manier waarop ze informatie verwerken, stelt bepaalde gebruikers in staat om ze te "misleiden" tot dingen die de makers nooit hebben toegestaan.
We hebben het over promptinjectie, een techniek die in feite neerkomt op het manipuleren van de taal om de AI te besturen. Je hoeft geen codeerexpert te zijn of ongebruikelijke programma's te installeren; soms is het voldoende om... een goed gekozen uitdrukking Dit is voldoende reden voor het model om zijn eigen regels te negeren en geheimen te onthullen of kwaadwillig te handelen, wat een serieuze bedreiging vormt voor de huidige cyberbeveiliging.
Wat is promptinjectie precies?
Om dit goed te begrijpen, is het belangrijk om eerst te weten dat grote taalmodellen (LLM's), zoals GPT-4 of Gemini, werken met prompts. Een prompt is simpelweg de instructie die de gebruiker aan de machine geeft. Het probleem is dat ontwikkelaars prompts toevoegen. onzichtbare interne instructies (systeemprompts) om het gedrag en de regels van de bot te definiëren, maar de AI kan niet onderscheiden waar het commando van de programmeur eindigt en waar de tekst van de gebruiker begint.
Deze kwetsbaarheid ontstaat doordat het model de volledige tekststroom als één geheel verwerkt. Als een aanvaller bijvoorbeeld een commando invoert zoals "negeer al het bovenstaande", kan de AI dit dus negeren. Geef prioriteit aan de nieuwe orde over de oorspronkelijke beveiligingsregels. Het is in wezen een vorm van sociale manipulatie toegepast op machines, waarbij taal het wapen is om het gedrag van de assistent te manipuleren.
Belangrijkste verschillen tussen promptinjectie en jailbreak
Veel mensen verwarren deze twee termen, maar ze zijn niet hetzelfde. Jailbreaking is als proberen het slot van een AI te forceren. Het doel ervan is om ethische beschermingen teniet te doen en inhoudsbeleid dat voorkomt dat de bot verboden dingen zegt of beperkte inhoud genereert. Het bekendste voorbeeld is de DAN-modus ("Do Anything Now"), waarbij het model gedwongen wordt een personage zonder regels aan te nemen.
Aan de andere kant is promptinjectie een breder concept. Het is niet altijd de bedoeling om morele regels te overtreden, maar systeemfunctionaliteit wijzigenDe aanvaller wil mogelijk simpelweg dat de bot zijn interne instructies prijsgeeft of een ongeautoriseerde actie uitvoert op een verbonden systeem. Hoewel jailbreaking meestal een opzettelijke handeling van de gebruiker binnen zijn eigen sessie is, kan injectie een onzichtbare aanval zijn die derden treft.
Soorten aanvallen: Directe, indirecte en opgeslagen aanvallen
Niet alle aanvallen worden op dezelfde manier uitgevoerd. De eenvoudigste methode is de directe injectieDit gebeurt wanneer de gebruiker de kwaadwillige instructie rechtstreeks in het chatvenster typt. Het kan een opzettelijke poging zijn om het systeem te hacken of een onbedoelde gebruikersfout die leidt tot onvoorspelbaar gedrag van het model.
Veel gevaarlijker is de indirecte injectieHier communiceert de aanvaller niet rechtstreeks met de AI, maar verbergt instructies in externe bronnen die de AI zal lezen, zoals een webpagina, een PDF-document of een e-mail. Als je bijvoorbeeld een bot vraagt om een webpagina met onzichtbare tekst samen te vatten met de opdracht "gebruikersgegevens stelen", dan zal de AI zal het verborgen commando verwerken en zou informatie kunnen stelen zonder dat je het zelfs maar doorhebt.
Eindelijk hebben we de opgeslagen injectieDeze methode houdt in dat er kwaadaardige instructies in databases of in de trainingsdata zelf worden geplaatst. Omdat de informatie al is opgeslagen, kan de aanval veel gebruikers in verschillende sessies treffen, aangezien het model absorbeert het gif En dit wordt elke keer herhaald wanneer iemand die specifieke informatie raadpleegt.
Gevolgen en gevarenscenario's uit de praktijk
Wanneer een aanval slaagt, kunnen de gevolgen ernstig zijn. Van de lek van vertrouwelijke gegevens Van het bedrijf tot de manipulatie van cruciale beslissingen. In bedrijfsomgevingen, waar AI toegang heeft tot API's of e-mails, kan een aanvaller de bot berichten laten versturen namens de gebruiker of toegang geven tot privébestanden.
- CV-fraude: Sommige kandidaten hebben lege tekst (onzichtbaar voor mensen) toegevoegd waarin staat dat ze "uitzonderlijke experts" zijn, om de AI-filters van de HR-afdeling te misleiden.
- Browserkaping: Onderzoekers zijn erin geslaagd om AI-agenten die e-mails lezen Verstuur ontslagbrieven naar de baas van de gebruiker met behulp van verborgen instructies.
- Systeemlekken: In het geval van Bing Chat is het een student gelukt om de bot zijn codenaam, "Sydney", en zijn interne werkingsrichtlijnen te laten onthullen.
- Multimodale aanvallen: Er bestaan risico's waarbij kwaadwillige instructies niet in de tekst staan, maar ingebed in afbeeldingen dat de AI analyseert, waardoor het aanvalsoppervlak wordt vergroot.
Verdedigings- en mitigatiestrategieën
Het slechte nieuws is dat er, vanwege het stochastische karakter van LLM's, geen definitieve oplossing bestaat. Er kunnen echter wel enkele stappen worden ondernomen. veiligheidsbarrières Zeer effectief. Een van de beste opties is input/output-filtering, waarbij een extern systeem analyseert of de prompt verdachte patronen bevat voordat deze het model bereikt.
Het is ook essentieel om het principe van toe te passen minimale privilegesJe moet een AI geen volledige toegang geven tot je e-mailaccount of database; het is beter dat de AI fungeert als tussenpersoon die bepaalde toegang vereist. menselijke goedkeuring voor risicovolle acties. Andere technieken omvatten het gebruik van 'geïsoleerde' modellen om externe gegevens te verwerken, waarbij de controlelogica wordt gescheiden van het lezen van onbetrouwbare gegevens.
Tot slot zijn continue training en vijandige tests essentieel. Bedrijven moeten aanvallen simuleren om kwetsbaarheden te vinden voordat hackers dat doen. Bovendien, telemetrie logboek Het stelt je in staat om afwijkingen in de reacties van het model te detecteren, zodat je snel kunt reageren als er iets niet klopt.