- La injecció de prompts explota la incapacitat dels LLM per diferenciar instruccions del sistema de les dades de lusuari.
- Hi ha variants directes, indirectes i emmagatzemades que poden comprometre la privadesa i la integritat dels sistemes.
- Es diferencia del jailbreak en què aquest darrer busca específicament eludir les barreres ètiques i de seguretat del model.
- La mitigació requereix un enfocament multidisciplinari que combini el filtratge d'entrades, la gestió de privilegis i la supervisió humana.
Segurament hauràs sentit a parlar dels chatbots i de com ens faciliten la vida, però hi ha un costat fosc que no sempre surt a les notícies. Resulta que aquestes eines, encara que semblen màgiques, tenen un punt feble fonamental en la manera com processen la informació, cosa que permet a certs usuaris «enganyar-les» perquè facin coses que els seus creadors mai no van permetre.
Parlem de la injecció de prompts, una tècnica que bàsicament consisteix a manipular el llenguatge per prendre el control de la IA. No cal ser un expert en codi ni instal·lar programes rars; de vegades, una frase ben posada és suficient perquè el model ignori les seves regles i reveli secrets o actuï de forma maliciosa, convertint-se en un autèntic maldecap per a la ciberseguretat actual.
Què és exactament la injecció de prompts?
Per entendre-ho bé, primer cal saber que els Large Language Models (LLM), com GPT-4 o Gemini, funcionen mitjançant prompts. Un prompt és simplement la instrucció que lusuari dóna a la màquina. El problema és que els desenvolupadors afegeixen instruccions internes invisibles (system prompts) per definir el comportament i les regles del bot, però la IA no sap distingir on acaba lordre del programador i on comença el text de lusuari.
Aquesta vulnerabilitat passa perquè el model processa tot el flux de text com una sola unitat. Així, si un atacant insereix una ordre que diu «ignora tot això», la IA pot prioritzar la nova ordre sobre les regles de seguretat originals. És, en essència, una forma d'enginyeria social aplicada a les màquines on el llenguatge és l'arma per segrestar el comportament de l'assistent.
Diferències clau entre Prompt Injection i Jailbreak
Molta gent confon aquests dos termes però no són el mateix. El jailbreak és com intentar «forçar el pany» de la IA. El seu objectiu és anul·lar les proteccions ètiques i les polítiques de contingut perquè el bot digui coses prohibides o vaig generar contingut restringit. L'exemple més famós és la manera DAN (Do Anything Now), on s'obliga el model a adoptar un personatge sense regles.
Per altra banda, la injecció de prompts és un concepte més ampli. No sempre cerca trencar les regles morals, sinó alterar la funcionalitat del sistema . Pot ser que l'atacant només vulgui que el bot reveli les instruccions internes o que executi una acció no autoritzada en un sistema connectat. Mentre que el jailbreak sol ser un acte deliberat de l'usuari a la seva pròpia sessió, la injecció pot ser un atac invisible que afecta tercers.
Tipus d'atacs: Directes, Indirectes i Emmagatzemats
No tots els atacs s'executen de la mateixa manera. El camí més senzill és la injecció directa , que passa quan lusuari escriu la instrucció maliciosa directament a la finestra del xat. Pot ser una mica intencionat per hackejar el sistema o un error accidental de l'usuari que provoca un comportament erràtic del model.
Molt més perillosa és la injecció indirecta . Aquí, l'atacant no parla amb la IA, sinó que amaga instruccions en fonts externes que la IA llegirà, com ara una pàgina web, un document PDF o un correu electrònic. Per exemple, si demaneu a un bot que resumeixi una web que conté text invisible amb l'ordre «roba les dades de l'usuari», la IA processarà l'ordre oculta i podria exfiltrar informació sense que te n'adonis.
Finalment, tenim la injecció emmagatzemada . Aquest mètode consisteix a plantar instruccions perjudicials en bases de dades o en les dades d'entrenament. Com que la informació ja està guardada, l'atac pot afectar molts usuaris en diferents sessions, ja que el model absorbeix el verí i el replica cada cop que algú consulta aquesta informació específica.
Impactes i escenaris reals de perill
Quan un atac té èxit, les conseqüències poden ser greus. Des de la filtració de dades confidencials de l'empresa fins a la manipulació de decisions crítiques. En entorns corporatius, on la IA té accés a API o correus, un atacant podria aconseguir que el bot enviï missatges en nom de l'usuari o accedeixi a fitxers privats.
- Frau en currículums: Alguns candidats han inclòs text en blanc (invisible per a humans) dient que són «experts excepcionals» per enganyar els filtres d'IA de Recursos Humans.
- Segrest de navegadors: Investigadors han aconseguit que agents d'IA que llegeixen correus electrònics envieu cartes de dimissió al cap de l'usuari mitjançant instruccions ocultes.
- Fuites de sistema: En el cas de Bing Chat, un estudiant va aconseguir que el bot revelés el seu nom en clau, «Sydney», i les pautes operatives internes.
- Atacs multimodals: Ara hi ha riscos on les instruccions malicioses no estan en text, sinó embegudes en imatges que la IA analitza, expandint la superfície datac.
Estratègies de defensa i mitigació
La mala notícia és que, a causa de la naturalesa estocàstica dels LLM, no hi ha una solució definitiva. Tot i això, es poden posar barreres de seguretat molt efectives. Una de les millors opcions és el filtratge d'entrades i sortides, on un sistema extern analitza si el prompt conté patrons sospitosos abans que arribin al model.
També és fonamental aplicar el principi de privilegis mínims . No hauríeu de donar-li a una IA accés total al vostre compte de correu oa la vostra base de dades; és millor que actuï com un intermediari que requereix aprovació humana per a accions d'alt risc. Altres tècniques inclouen l'ús de models «quarantenats» per processar dades externes, separant la lògica de control de la lectura de dades no fiables.
Per acabar, l'entrenament continu i les proves adversarials són claus. Les empreses han de simular atacs per trobar buits abans que els hackers. A més, el registre de telemetria permet detectar anomalies en les respostes del model, ajudant a reaccionar ràpid quan alguna cosa fa mala olor.