- Els deepfakes són continguts audiovisuals generats per IA que amenacen la privadesa, la reputació i la confiança pública.
- El seu impacte inclou des de l'assetjament i la pornografia no consentida fins al frau corporatiu i la manipulació política.
- El marc legal espanyol i europeu ja ofereix eines per perseguir usos nocius, encara que la tecnologia avança molt ràpid.
- La defensa exigeix combinar detecció tècnica, protocols organitzatius i formació en pensament crític i ciberseguretat.
Els deepfakes han deixat de ser una curiositat d'Internet per esdevenir un dels reptes més seriosos de l'era digital. Vídeos, àudios i imatges manipulades mitjançant intel·ligència artificial poden fer que vegem algú dir o fer alguna cosa que mai va passar, amb un realisme que, en molts casos, enganya fins i tot a ulls experts. I això no només afecta famosos o polítics: qualsevol amb presència a les xarxes es pot convertir en objectiu.
Aquest fenomen combina tres ingredients molt perillosos: tecnologia potent, facilitat dús i enorme capacitat de difusió . El resultat és un còctel perfecte per a la desinformació, el frau econòmic, l'assetjament i l'erosió generalitzada de la confiança en allò que veiem i en sentim. Desgranarem, amb calma i en detall, què són exactament els deepfakes, com es creen, quins riscos plantegen per a persones, empreses i institucions, què diu la llei i quines mesures reals podem prendre per defensar-nos.
Què són els deepfakes i per què importen
El terme deepfake sorgeix de la combinació de deep learning (aprenentatge profund) i fake (fals) . Fa referència a qualsevol contingut audiovisual –vídeo, imatge o àudio– generat o manipulat per algorismes d' intel·ligència artificial generativa perquè sembli autèntic. No parlem de mers filtres o retocs, sinó de reconstruccions completes de rostres, gestos o veus que imiten de manera molt precisa una persona real.
Amb eines avui dia accessibles, fins i tot gratuïtes, és possible superposar la cara d'algú sobre el cos d'una altra persona, clonar la veu o recrear escenes que mai no han passat . L'avenç de les xarxes neuronals i de les GAN (xarxes generatives adversàries) ha fet que el nivell de realisme es dispari, complicant molt la distinció entre contingut verídic i manipulat.
Els deepfakes es consideren ja una evolució de les fake news : si abans es manipulava el text o la foto, ara es genera un fals vídeo o un àudio creïble que impacta molt més a nivell emocional i cognitiu. El nostre cervell tendeix a confiar més en allò que “veu i sent” que en un simple titular, cosa que multiplica el seu poder de persuasió.
Tot i que aquesta tecnologia existeix des de finals dels 90, va saltar a la fama el 2017 quan un usuari de Reddit va començar a publicar contingut pornogràfic fals amb la cara d'actrius conegudes. Des d'aleshores, el seu ús s'ha estès enormement, tant a nivell de lleure com en contextos clarament maliciosos.
Com es creen els deepfakes: la part tècnica sense tecnicismes
Darrere d'un deepfake hi ha sistemes d' aprenentatge automàtic que analitzen milers d'imatges, fotogrames o fragments d'àudio . El procés típic amb cares segueix dos grans passos: codificació i descodificació. Primer, un algorisme codificador estudia les similituds entre dues cares i extreu un conjunt de característiques comunes. Després, un descodificador reconstrueix la imatge objectiu usant les expressions de l'altra persona.
A la pràctica, s'entrenen dos descodificadors diferents, un per cada cara. Quan s'introdueixen les dades d'una persona al descodificador de l'altra , obtenim un vídeo en què el subjecte A sembla fer els gestos i moviments del subjecte B. Si es fa bé, el resultat sembla un enregistrament original.
Una altra tècnica habitual és l'ús de xarxes generatives adversàries (GAN) . Aquí intervenen dues xarxes: una generadora, que fabrica imatges o fragments de vídeo falsos, i una altra discriminadora, que intenta distingir el que és fals del que és real. S'enfronten entre si milers de vegades, millorant contínuament fins que el discriminador deixa de detectar el parany amb facilitat i el resultat s'acosta moltíssim a la realitat.
La majoria de deepfakes de vídeo es construeixen alimentant l'algoritme amb grans conjunts d'imatges de la persona a imitar . Com més angles, gestos i condicions de llum tingui el model, més convincent serà el resultat final. Tradicionalment, per això, les víctimes solien ser persones molt exposades mediàticament, encara que avui ja n'hi ha prou amb una sola foto o uns pocs segons de veu per generar un clon decent.
En el cas de la veu, els sistemes de clonació permeten, a partir de pocs segons d'enregistrament, reproduir el timbre, accent i ritme de parla . Combinant síntesi de veu amb guions generats per IA, és possible produir àudios en què la víctima “diu” qualsevol cosa que l'atacant vulgui posar a la boca.
Tipus de deepfakes: imatge, vídeo i veu
Dins del paraigua dels deepfakes podem distingir diverses modalitats, segons el tipus de contingut manipulat i la tècnica emprada. Dues categories s'han popularitzat especialment: deepfaces i deepvoices.
Els anomenats deepfaces són aquells on es genera o substitueix per complet el rostre d'una persona . A partir de múltiples fotografies, el sistema compon cares estàtiques tan versemblants que semblen retrats reals i, després, les encadena en seqüència per crear un vídeo fluid. L'objectiu és aconseguir que, en veure'l, ningú no sospiti que està davant d'una composició artificial.
En paral·lel, els deepvoices se centren en la suplantació de la veu . L'algorisme aprèn les característiques vocals d'una persona (freqüència, entonació, pauses, crosses…) i després pot llegir qualsevol text fent-ho passar per aquesta persona. Aquest tipus de deepfake és especialment perillós a nivell corporatiu i financer.
Un exemple paradigmàtic es va produir el 2019: uns ciberdelinqüents van clonar la veu d'un CEO per trucar a un alt càrrec de la seva empresa i ordenar-li una transferència urgent de més de 250.000 dòlars. El directiu va obeir perquè la veu sonava exactament com a superior, i el context d'urgència era creïble.
Més enllà d'aquestes dues categories, també hi ha deepfakes híbrids que combinen vídeo, àudio i text generats per IA , de manera que tot el contingut —allò que es veu i allò que se sent— és sintètic però coherent. A mesura que la tecnologia madura, les fronteres entre uns tipus i els altres es difuminen.
Usos legítims i aplicacions positives
Encara que solem associar deepfakes amb estafes i ciberassetjament, la mateixa tecnologia té aplicacions totalment legítimes i valuoses si es fa servir amb transparència i consentiment. A la indústria del cinema, per exemple, s'empra per rejovenir actors, recrear personatges morts o doblegar diàlegs sense perdre sincronia labial.
A nivell educatiu, els models generatius permeten adaptar continguts audiovisuals a múltiples idiomes mantenint la gesticulació original del ponent. Això millora la comprensió, evita la sensació de “doblatge de sèrie B” i facilita l'accessibilitat global de cursos i conferències.
També s'exploren usos en accessibilitat, com ara la creació d'avatars que interpreten llengua de signes de forma personalitzada, o veus sintètiques a mida per a persones que no poden parlar. Amb lenfocament ètic adequat, la mateixa tecnologia que avui ens preocupa pot obrir portes importants en inclusió digital.
El gran repte no és tant l'eina en si, sinó el context, el propòsit i la transparència amb què s'utilitza. Per això les regulacions europees recents insisteixen en l'obligació d'etiquetar clarament els continguts generats per IA perquè el públic els pugui distingir.
Riscos i amenaces dels deepfakes per a la societat
L'impacte negatiu dels deepfakes abasta des del pla íntim d'una persona fins a l' estabilitat política, econòmica i social . Un dels perills més evidents és la desinformació: vídeos falsos on es veu líders polítics realitzant declaracions incendiàries o reconeixent actes delictius que mai no han tingut lloc.
Tot i que després es desmenten, el mal ja està fet, perquè l'impacte emocional del primer visionat sol pesar més que la rectificació posterior . Això contribueix a polaritzar l'opinió pública, alimentar teories conspiratives i debilitar la confiança als mitjans ia les institucions democràtiques.
Un altre risc gravíssim és l'ús de deepfakes per a assetjament, difamació i vulneració de la intimitat . La creació de porno fals amb la cara de dones —especialment polítiques, activistes i periodistes— s'ha convertit en una forma de violència digital amb conseqüències devastadores en la reputació, la vida personal i la salut mental.
Estudis recents assenyalen que al voltant del 2,2% de les persones enquestades en determinats treballs acadèmics s'identifiquen com a víctimes de deepfakes íntims, mentre que un 1,8% reconeix haver creat o difós aquest tipus de continguts. Tot i que les xifres semblin baixes, reflecteixen una tendència preocupant i en creixement.
A més, els deepfakes afavoreixen l'aparició d'una “crisi de la veritat” : si qualsevol prova audiovisual es pot fabricar, la societat corre el risc d'assumir que res no és completament creïble. Aquest és potser l'impacte més perillós a llarg termini perquè erosiona la confiança bàsica necessària per a la convivència digital i el debat públic informat.
Impacte en el frau i la ciberseguretat corporativa
A nivell empresarial, els deepfakes s'estan convertint en una eina d'atac molt eficaç per a ciberdelinqüents. No parlem de ciència ficció: ja hi ha nombrosos casos de suplantació de directius mitjançant vídeo o àudio per ordenar transferències, sol·licitar dades sensibles o donar instruccions estratègiques falses.
Un dels escenaris més habituals s'integra a . A més a més del clàssic correu fraudulent, l'atacant incorpora un vídeo o àudio deepfake del CEO o del CFO reforçant la urgència de la petició. La víctima, en veure o escoltar el seu “cap”, abaixa la guàrdia i executa l'ordre.
També s'utilitzen deepfakes en enginyeria social avançada . Per exemple, s'envia a un despatx d'advocats un vídeo aparentment rutinari on un soci reclama la signatura urgent de contractes o l'accés a determinats documents. El context és versemblant, la imatge i la veu quadren, i el sistema de verificació es basa únicament a “reconèixer la cara”.
En entorns de treball remot, cada cop més habituals, els atacants es colen en videotrucades fent-se passar per membres de l'equip . Mitjançant avatars generats per IA, participen en reunions, sol·liciten accés a sistemes interns o pressionen per obtenir informació reservada. La suplantació pot passar desapercebuda si el comportament no és gaire estrany.
Tot això suposa un desafiament directe per als sistemes de seguretat basats en reconeixement facial o de veu. Estudis recents indiquen que petits ajustaments en ombres, desenfocaments intel·ligents o soroll adversari poden reduir dràsticament l'eficàcia dels detectors biomètrics, permetent que un rostre fals superi el control d'accés.
Desafiaments per a la detecció: per què no n'hi ha prou amb un antivirus
Detectar deepfakes no és tan senzill com instal·lar un programari i oblidar-se'n. Els models de detecció actuals s'enfronten a un problema clau: la seva capacitat de generalització és limitada . Solen entrenar-se amb certes tècniques i estils de manipulació i, quan apareix un nou algorisme generador, perden eficàcia.
A més, els atacants poden introduir pertorbacions adversàries dissenyades específicament per enganyar els detectors . És a dir, afegeixen soroll imperceptible a l'ull humà, però que confon els sistemes forenses i fa que el contingut manipulat passi els filtres com si fos autèntic.
A això s'hi afegeix el repte de l'escalabilitat. Les plataformes i xarxes socials reben cada dia quantitats ingents de vídeos i àudios , per la qual cosa analitzar en profunditat cada peça és pràcticament impossible. Moltes es veuen obligades a recórrer a mostrejos, anàlisis superficials o sistemes automàtics que, de vegades, fallen.
Per tant, ara com ara no existeix una “bala de plata” contra els deepfakes. La defensa requereix una combinació de tècniques : anàlisi de metadades, examen d'artefactes visuals o sonors, xarxes neuronals entrenades per detectar patrons subtils i, molt important, formació i sentit crític dels usuaris.
El mateix avenç de la IA obliga a actualitzar de manera contínua els models de detecció . Cada nova generació d'eines generatives obliga a revisar i reentrenar els sistemes defensius, fet que planteja un joc del gat i el ratolí permanent entre atacants i defensors.
Marc legal: com responen Espanya i la Unió Europea
A nivell jurídic, els deepfakes no sempre apareixen com a delicte específic, però el seu ús nociu encaixa en diversos tipus penals i normatives ja vigents. A Espanya, el Codi Penal ofereix diferents vies de protecció davant de suplantacions i vulneracions de la intimitat.
L'article 197 i següents protegeixen el dret a la intimitat ia la pròpia imatge, sancionant l' obtenció, l'ús o la difusió d'imatges o enregistraments de caràcter íntim sense consentiment , fins i tot si han estat manipulades digitalment. Un deepfake sexual difós sense permís es pot considerar delicte contra la intimitat.
L'article 401 tipifica la suplantació d'identitat , que es pot aplicar quan un deepfake s'utilitza per fer-se passar per una altra persona, per exemple, per enganyar tercers o cometre fraus. Els articles 208-210 regulen injúries i calúmnies, aplicables si el contingut fals danya greument l'honor o la reputació de la víctima.
Els articles 248 i 249, relatius a l'estafa, cobreixen supòsits en què s'usen veus o cares alterades per obtenir un benefici econòmic il·lícit . En aquests casos, el deepfake és el mitjà emprat per cometre el delicte, encara que no es tipifiqui com a il·lícit independent.
En paral·lel, la Llei Orgànica 3/2018 (LOPDGDD) i el Reglament General de Protecció de Dades (RGPD) protegeixen les dades personals, incloses les biomètriques com a rostre o veu. Utilitzar la imatge o la veu d'algú en un deepfake sense el consentiment pot constituir una infracció greu de protecció de dades, amb sancions administratives i possibles responsabilitats civils o penals.
La Llei Orgànica 1/1982, sobre el dret a l'honor, a la intimitat ia la pròpia imatge, permet a la víctima demanar civilment a qui difongui un deepfake que atempti contra la seva dignitat o reputació , sol·licitant retirada del contingut, indemnització per danys i mesures cautelars urgents per frenar-ne la difusió.
A nivell europeu, l' AI Act (Reglament d'Intel·ligència Artificial de la UE) exigirà que els continguts generats mitjançant IA, inclosos els deepfakes, s'identifiquin clarament com a tals. Per la seva banda, el Digital Services Act (DSA) obliga plataformes i serveis digitals a reaccionar amb rapidesa davant de continguts falsos, difamatoris o que vulnerin drets fonamentals.
A més, alguns governs -inclòs el d'Espanya- han començat a tipificar de forma més específica delictes lligats a deepfakes sexuals i grooming, reforçant la protecció penal davant de la pornografia no consentida generada amb IA i l'abús a menors mitjançant manipulacions audiovisuals.
Riscos específics per a menors, dones i col·lectius vulnerables
Els deepfakes no afecten per igual tothom. Les dades apunten que dones, menors i determinats col·lectius públics suporten una part desproporcionada de limpacte, especialment en làmbit del contingut íntim sense consentiment.
Informes recents indiquen que una part significativa dels deepfakes identificats a la xarxa tenen caràcter pornogràfic i se centren en dones, moltes figures públiques. Això es tradueix en campanyes d'assetjament, xantatge i descrèdit, amb un component fort de violència de gènere digital.
Alguns estudis i reportatges estimen que un de cada cinc joves a Espanya afirma haver patit algun tipus d'experiència relacionada amb deepfakes durant la infància o l'adolescència, ja sigui com a víctima directa, espectador o participant. Aquesta exposició primerenca augmenta el risc de normalitzar pràctiques d'assetjament i de sextorsió.
Per a la Criminologia i el sistema judicial, els deepfakes suposen un maldecap addicional: podrien arribar a presentar-se com a “proves” en processos judicials , dificultant la tasca de jutges, fiscals i pèrits per determinar l'autenticitat dels materials.
La situació també planteja problemes seriosos en l'àmbit de la seguretat personal i de la ciberseguretat pública, ja que la biometria de control d'accessos basada en rostre o veu es podria tornar cada vegada menys fiable si no es desenvolupen en paral·lel mecanismes robustos de detecció de contingut sintètic.
Més enllà dels danys individuals, la proliferació de deepfakes contribueix a un clima de desconfiança generalitzada a la informació digital . Si qualsevol vídeo o àudio pot ser fals, s'instal·la la idea que “res no és segur” i, al final, molta gent deixa d'intentar diferenciar entre allò veritable i allò manipulat.
Aquesta fatiga informativa és especialment perillosa perquè aplana el terreny per a campanyes de desinformació i manipulació massiva . Els atacs de desinformació que combinen notícies falses amb deepfakes audiovisuals poden influir en les eleccions, els referèndums, les decisions d'inversió i les relacions internacionals.
Les xarxes socials actuen com a accelerador del procés. Un contingut fals però impactant es pot viralitzar en qüestió de minuts , mentre que la verificació i les rectificacions arriben molt més tard i amb menys abast. Aquest desfasament juga clarament a favor dels que utilitzen la IA generativa amb fins maliciosos.
Les grans plataformes —Facebook, X (abans Twitter), Google, etc.— han anunciat mesures per limitar la difusió de deepfakes nocius , des de prohibicions explícites fins a sistemes d'etiquetatge i eliminació ràpida. Tot i això, la magnitud del problema i la rapidesa amb què evoluciona la tecnologia fan que la resposta sigui sempre parcial.
El risc més profund és que aquests fenòmens contribueixin a desgastar el pensament crític de la ciutadania . Si “tot pot ser mentida”, es torna més senzill sembrar dubtes, propagar teories extremes i soscavar la confiança en mitjans, institucions i fins i tot en el mateix sistema democràtic.
Estratègies tecnològiques i organitzatives per defensar-se
Davant d'un problema tan complex, la resposta ha de ser igualment multidimensional. En el pla tècnic, s'estan desenvolupant algorismes de detecció basats en IA que busquen petites incoherències als vídeos: errors en la sincronització labial, parpellejos poc naturals, artefactes de compressió, pell excessivament llisa o vores borroses a la zona de la cara.
Una altra línia de treball consisteix a protegir el contingut “en origen”, inserint marques d‟aigua invisibles o metadades verificables que acrediten que un vídeo o una foto són autèntics. Aquestes marques poden ajudar després a diferenciar materials originals de còpies manipulades, sempre que hi hagi un estàndard acceptat i eines per validar-les.
En entorns corporatius, cada cop pren més força l' autenticació multifactorial ampliada . És a dir, no confiar exclusivament en la imatge o veu d'una persona, sinó combinar-la amb altres factors: geolocalització, patrons habituals d'ús, confirmacions per canals alternatius (SMS, aplicacions segures) o codis d'un sol ús.
També es recomana implantar protocols clars per a operacions sensibles , com ara les transferències bancàries o els canvis de credencials. Per exemple, establir que cap ordre econòmica important s'executa només per correu o videotrucada, sinó que requereix sempre una verificació addicional per un canal diferent.
Finalment, la formació continuada és clau. Les organitzacions que fan simulacres de phishing i deepfakes —ensenyant a la seva plantilla a detectar senyals subtils com ara desfasaments d'àudio, gestos poc naturals o comportaments fora del comú— desenvolupen una cultura de seguretat molt més resistent.
Com detectar un deepfake: senyals pràctics per al dia a dia
Des del punt de vista de lusuari, hi ha diverses pistes que poden ajudar a sospitar que un contingut és fals, encara que no sempre siguin definitives. Una primera recomanació és buscar fallades visuals evidents : vores difuminades al voltant de la cara, il·luminació incoherent respecte al fons, moviments entretallats o expressions facials “rares”.
El parpelleig és un altre indicador útil. Molts deepfakes segueixen mostrant patrons de parpelleig poc naturals : ulls massa oberts durant molt de temps o parpellejos amb un ritme estrany. Tot i que els models nous estan millorant en aquest aspecte, continua sent un punt feble en molts casos.
Convé fixar-se també al cos, el coll i les espatlles de la persona. La majoria de manipulacions se centren en el rostre , per la qual cosa la resta del cos pot delatar la falsificació si les proporcions, la postura o els gestos no coincideixen amb allò esperable per a aquesta persona.
La durada del vídeo pot ser una altra pista. Generar un deepfake llarg requereix més recursos i augmenta les probabilitats que apareguin errors, així que molts continguts manipulats són relativament curts i se centren en una frase o escena molt impactant. Un clip brevíssim amb un missatge explosiu ens hauria de posar en guàrdia.
Per acabar, és crucial analitzar el context i l'origen de l'enregistrament . Qui ho ha difós primer?, apareix en mitjans solvents o només en comptes anònims?, hi ha altres fonts independents que confirmin el que es veu? Reduir la velocitat de reproducció o veure el vídeo fotograma a fotograma pot ajudar a detectar canvis sobtats al fons, l'alineació de la cara o l'interior de la boca (llengua, dents), zones on molts algorismes encara fallen.
Educació mediàtica i cultura de verificació
Cap tecnologia de detecció serà suficient sense una ciutadania amb pensament crític i habilitats bàsiques de verificació . Organismes com INCIBE i l'Oficina de Seguretat de l'Internauta insisteixen en la necessitat d'estar alerta davant de la informació que rebem, analitzar els continguts amb detall i contrastar sempre amb fonts fiables.
Desenvolupar l'hàbit de no compartir res de manera impulsiva , especialment si apel·la a emocions fortes (por, ràbia, indignació), és una de les millors vacunes davant de la viralització de deepfakes i notícies falses. Aturar-se uns segons a preguntar “qui guanya que jo cregui això?” pot canviar molt les coses.
La formació en ciberseguretat, investigació en línia i ciberintel·ligència no és només cosa d'especialistes. Comprendre com operen el phishing, l'enginyeria social i els atacs de desinformació ajuda que qualsevol persona redueixi notablement la superfície d'exposició, tant a la vida privada com professional.
En el cas de nens i adolescents, és especialment important integrar aquests temes a l' educació digital i emocional , explicant els riscos del ciberassetjament, la sextorsió i la difusió d'imatges íntimes. Saber que un vídeo pot ser fals, però que les conseqüències poden ser molt reals, marca una gran diferència.
Del costat de les empreses i institucions, la inversió en programes de sensibilització que vagin més enllà dels “consells genèrics” de ciberseguretat ja és una necessitat estratègica. Qui no entengui els deepfakes, el seu impacte i com reaccionar davant d'ells estarà en clar desavantatge al nou escenari digital.
Tot apunta que els deepfakes continuaran multiplicant-se en volum i sofisticació , afectant la seguretat, l'economia, la política i l'esfera íntima de milions de persones. Assumir que formen part del paisatge digital, exigir marcs legals clars, apostar per tecnologies de detecció robustes i, sobretot, cultivar una cultura de verificació i responsabilitat compartida és la millor manera que aquesta poderosa eina no es converteixi en una arma que desfiguri completament la confiança en la nostra vida online.