Seguridad de la IA: riesgos, amenazas y cómo afrontarlos

Informatec Digital » Recursos » Seguridad de la IA: riesgos, amenazas y cómo afrontarlos

La inteligencia artificial se ha colado en todo: desde cómo trabajamos y nos comunicamos hasta cómo se toman decisiones financieras, médicas o militares. Esta presencia tan masiva tiene una cara muy positiva, pero también una parte oscura: si estos sistemas fallan, son manipulados o se usan con mala idea, el daño puede ser enorme, tanto para las empresas como para la sociedad en general.

En los últimos años, la preocupación social por los riesgos de la IA ha crecido a la par que su adopción. Encuestas recientes muestran que una mayoría de personas siente más inquietud que entusiasmo ante su expansión y que muchos ciudadanos consideran plausible que la IA pueda desencadenar eventos catastróficos si se descontrola. Al mismo tiempo, la investigación puramente técnica sigue centrada sobre todo en hacer la IA más potente, y solo una fracción relativamente pequeña se dedica de lleno a hacerla más segura y robusta.

Qué entendemos por seguridad de la IA y por qué importa tanto

Cuando hablamos de seguridad de la inteligencia artificial nos referimos al conjunto de métodos, principios técnicos, controles de ciberseguridad y marcos de gobernanza destinados a que los sistemas de IA sean robustos, previsibles, resistentes a ataques y alineados con objetivos humanos. Incluye tanto la protección clásica (evitar ciberataques, fugas de datos o manipulación de modelos) como cuestiones más amplias: sesgos, falta de transparencia o posibles impactos sistémicos.

Para empresas y administraciones, la seguridad de la IA es clave porque cada vez más decisiones críticas se delegan en modelos: evaluación de riesgos financieros, priorización médica, clasificación de currículos, análisis de big data, automatización de procesos o detección de amenazas. Un fallo grave, una puerta trasera o un uso malicioso puede derivar en pérdidas millonarias, sanciones regulatorias, daño reputacional y, en el peor escenario, afectaciones a la seguridad nacional.

En el plano social, la IA puede amplificar desigualdades y abusos si no se controla bien. Sistemas opacos o entrenados con datos sesgados pueden discriminar sistemáticamente a determinados colectivos, reforzar la vigilancia masiva o facilitar campañas de desinformación a gran escala. Y, mirando a más largo plazo, la posibilidad de llegar a formas de inteligencia artificial general (AGI) o incluso superinteligencia (ASI) ha abierto un debate sobre riesgos existenciales si estos sistemas no se alinean con valores humanos y escapan al control efectivo.

Los expertos no se ponen de acuerdo sobre qué riesgos son más urgentes o probables, pero sí hay cierto consenso en que la probabilidad de resultados muy malos no es despreciable. En encuestas a investigadores de IA se ha llegado a estimar alrededor de un 5 % de probabilidad de escenarios extremadamente negativos (por ejemplo, colapso civilizatorio) derivados de IA avanzada. Hay voces que consideran estas preocupaciones exageradas, y otras que opinan que precisamente por ser tan graves conviene adelantarse y no confiar en que “ya lo arreglaremos sobre la marcha”.

De los primeros avisos a la agenda moderna de seguridad de la IA

Aunque pueda parecer un tema reciente, los riesgos de la automatización inteligente se discuten desde los inicios de la informática. Ya a mediados del siglo XX, figuras como Norbert Wiener advertían de que, en la medida en que diésemos autonomía a las máquinas capaces de aprender de la experiencia, también asumiríamos el riesgo de que se comportasen de forma contraria a nuestros deseos.

Con el tiempo, estas preocupaciones se fueron haciendo más concretas. A finales del 2000, asociaciones profesionales como la AAAI promovieron estudios sobre el impacto social a largo plazo de la IA. El mensaje general era escéptico respecto a los argumentos más catastrofistas de la ciencia ficción, pero a la vez reconocía que eran necesarios mejores métodos para verificar sistemas complejos y minimizar resultados inesperados.

En la década de 2010, el debate se aceleró. Libros influyentes sobre superinteligencia y riesgos existenciales estimularon la creación de nuevos centros de investigación dedicados a una IA “beneficiosa y humanamente compatible”, y surgieron iniciativas filantrópicas que financiaron proyectos específicos sobre seguridad técnica, impacto social y alineación de objetivos. Al mismo tiempo, figuras públicas como Elon Musk, Bill Gates o Stephen Hawking empezaron a hablar abiertamente de riesgos serios si la IA avanzaba sin salvaguardas.

Se organizaron conferencias internacionales, se publicaron agendas de investigación en “problemas concretos de seguridad en IA” y se formularon principios como los de Asilomar, que incluían recomendaciones explícitas: cooperación entre equipos para no rebajar estándares de seguridad, análisis de impactos, transparencia cuando fuese posible, etc. Esta línea de trabajo fue consolidando un campo propio: la ingeniería de seguridad de la IA, con el objetivo de anticipar fallos y diseñar sistemas lo más seguros posible antes de su despliegue masivo.

En años recientes, gobiernos y reguladores se han sumado al esfuerzo. Talleres organizados por la Casa Blanca, programas de agencias estadounidenses (DARPA, IARPA, NSF), la Estrategia Nacional de IA del Reino Unido o las directrices éticas de China reflejan que la seguridad de la IA ya no es solo un tema académico, sino un asunto de política pública. En Europa, la Ley de IA introduce restricciones claras a ciertos usos (por ejemplo, reconocimiento facial masivo o manipulación subliminal) y establece obligaciones extra para aplicaciones de “alto riesgo”.

Áreas técnicas clave: robustez, supervisión y alineación

La investigación en seguridad de la IA suele agruparse en tres grandes frentes: robustez, supervisión y alineación. Cada uno ataca un tipo de riesgo diferente, pero en la práctica están muy conectados entre sí.

La robustez se centra en que los sistemas de IA se comporten de manera razonable en un amplio abanico de situaciones, incluidas aquellas que no estaban muy representadas en los datos de entrenamiento. Eso implica lidiar con “cisnes negros” (eventos raros pero muy dañinos) y con ataques donde alguien manipula las entradas a propósito para forzar errores.

Un ejemplo clásico de falta de robustez ante eventos raros es el Flash Crash de 2010, donde sistemas automatizados de trading reaccionaron de manera descontrolada a anomalías en el mercado y volatilizaron cerca de un billón de dólares en minutos. En el mundo físico, los vehículos autónomos siguen sufriendo con “casos de esquina”: señales de tráfico poco habituales, situaciones meteorológicas extremas o combinaciones de objetos que apenas aparecen en los datos reales.

En paralelo, se ha demostrado que muchos modelos de aprendizaje profundo son extremadamente vulnerables a ejemplos adversarios: pequeñas perturbaciones en imágenes, audio o texto, casi invisibles para el ojo humano, que provocan errores de clasificación con total confianza. Esto afecta a sistemas de visión, a reconocimiento de voz y también a modelos de lenguaje. Para colmo, no se trata solo de engañar al modelo “principal”: los propios modelos de recompensa o evaluación que se usan para entrenar a otros pueden ser explotados para inflar artificialmente puntuaciones sin mejorar realmente el rendimiento en la tarea deseada.

La supervisión aborda cómo detectar a tiempo que un sistema de IA está fallando, está siendo atacado o se está utilizando mal. Incluye la calibración de la confianza (que las probabilidades que emite el modelo reflejen de verdad lo seguro que está), la detección de situaciones fuera de distribución (cuando el sistema se enfrenta a algo “demasiado distinto” de lo que ha visto antes) y la monitorización de usos potencialmente maliciosos.

Por último, la alineación se ocupa de que los sistemas más avanzados, especialmente aquellos que toman decisiones de alto impacto o que tienen capacidad de actuar de forma autónoma, persigan objetivos que realmente consideramos aceptables y no desarrollen estrategias peligrosas para lograrlos. Aquí entran conceptos como la convergencia instrumental (la tendencia de agentes avanzados a buscar objetivos intermedios similares) y los riesgos de pérdida de control si se combina gran capacidad con autonomía amplia.

Transparencia, interpretabilidad y troyanos en modelos

Uno de los grandes retos es que muchos sistemas de IA modernos, en especial las grandes redes neuronales, funcionan como auténticas cajas negras. Sabemos qué les entra y qué les sale, pero no es nada trivial entender por qué han tomado tal o cual decisión, ni qué patrones internos están usando realmente.

Esta opacidad choca de frente con requisitos legales y éticos de explicabilidad en ámbitos como el crédito, la selección de personal o la justicia, donde resulta obligatorio justificar por qué se acepta o deniega a una persona determinada. También dificulta investigar fallos graves: en incidentes como atropellos mortales por vehículos autónomos, a veces es muy complicado reconstruir qué combinación de señales internas llevó al error de percepción o decisión.

Por eso se ha desarrollado todo un subcampo de técnicas de interpretabilidad y transparencia. Algunas se centran en mostrar qué partes de la entrada “miran” los modelos (por ejemplo, qué píxeles o qué palabras han sido más influyentes en la salida), y otras van más a fondo, analizando representaciones internas y conexiones entre neuronas. En modelos como CLIP se han identificado neuronas que responden tanto a la palabra “araña” como a imágenes de Spiderman, y en transformadores de lenguaje se estudian patrones de atención y circuitos recurrentes que parecen codificar reglas sintácticas o asociaciones de hechos.

Además de ayudar a entender y depurar, estas técnicas permiten editar modelos de forma dirigida. Se ha conseguido localizar los parámetros relacionados con un hecho concreto (por ejemplo, la ciudad donde está un monumento famoso) y modificarlos para cambiar sistemáticamente las respuestas. Aunque estos experimentos demuestran que también se pueden inducir errores, el mismo enfoque podría aplicarse a corregir errores masivos sin necesidad de reentrenar modelos desde cero.

Otro frente delicado son los troyanos o puertas traseras en modelos de IA. Hablamos de situaciones donde, durante el entrenamiento, alguien introduce un patrón específico que, cuando aparece en la entrada, desencadena un comportamiento distinto al habitual. Por ejemplo, un sistema de reconocimiento facial que solo concede acceso si la persona lleva un cierto accesorio, o un coche autónomo que se comporta de forma imprudente si detecta una pegatina concreta en una señal.

Lo preocupante es que basta alterar una fracción minúscula de los datos de entrenamiento para insertar un troyano funcional. Dado que muchos modelos se entrenan con grandes volúmenes de datos públicos, es realista plantear escenarios en los que un atacante consigue contaminar parte del corpus. Estos troyanos, además de ser una vulnerabilidad en sí misma, sirven como banco de pruebas ideal para desarrollar mejores herramientas de auditoría y detección de comportamientos maliciosos encubiertos.

Riesgos estructurales, competición y gobernanza global

Más allá de ataques concretos o accidentes puntuales, existen riesgos de carácter sistémico que tienen que ver con cómo está organizado el ecosistema de IA: la presión competitiva entre empresas y países, la falta de cultura de seguridad, los incentivos económicos para sacar productos cuanto antes, o la asimetría entre ciberatacantes y defensores.

Varios analistas han señalado que centrarse solo en “fallos técnicos” o “usos indebidos individuales” se queda corto, porque las cadenas causales que llevan a un desastre son mucho más largas. Las dinámicas geopolíticas durante la Guerra Fría —donde decisiones de unas pocas personas podían acercar o alejar un conflicto nuclear— se invocan a menudo como analogía de lo que podría pasar con una carrera desordenada por desarrollar sistemas de IA cada vez más potentes.

Un temor recurrente es la llamada “carrera hacia el abismo”: si actores privados o estatales perciben grandes ventajas por llegar primero (económicas, militares, de prestigio), pueden sentirse obligados a acelerar y recortar controles de seguridad, incluso aunque todos reconozcan que sería mejor ir más despacio. Evitar esta dinámica requiere mecanismos de cooperación, transparencia mutua, acuerdos sobre estándares mínimos y, probablemente, nuevas instituciones internacionales.

Al mismo tiempo, muchos de los desafíos globales modernos son problemas de cooperación: cambio climático, riesgos nucleares, ciberarmamento, etc. La IA puede empeorarlos (por ejemplo, facilitando ciberataques más potentes o campañas de manipulación política muy sofisticadas), pero también puede ayudar, aportando mejores herramientas de previsión, análisis de escenarios y toma de decisiones colectivas.

De ahí que se haya ido consolidando el campo de la gobernanza de la IA, que busca articular marcos normativos, estándares técnicos, buenas prácticas empresariales y mecanismos de rendición de cuentas. Incluye desde trabajos fundacionales que comparan el impacto potencial de la IA con tecnologías transformadoras del pasado (como la electricidad o la máquina de vapor) hasta propuestas muy concretas: auditorías externas, recompensas por encontrar fallos, bases de datos públicas de incidentes, criterios para decidir cuándo es responsable publicar resultados o modelos, y requisitos de seguridad reforzados para laboratorios punteros.

El papel de la ciberseguridad: IA para defender y proteger la propia IA

En el terreno práctico del día a día, la IA ya es un actor central en ciberseguridad, y la relación va en las dos direcciones: usamos IA para defendernos mejor, y a la vez tenemos que blindar los propios sistemas de IA frente a ataques.

En las últimas décadas, las amenazas informáticas han pasado de buscar interrupciones visibles a robar datos, infiltrarse en sistemas durante meses y desplegar malware muy sigiloso. Para hacerles frente se popularizaron soluciones como SIEM, que recolectan y analizan grandes volúmenes de registros, y EDR, que monitoriza continuamente lo que ocurre en cada dispositivo corporativo. El problema es que la cantidad de datos supera con mucho lo que un equipo humano puede revisar de forma manual.

Aquí entra el aprendizaje automático, capaz de detectar patrones y anomalías en tiempo real a partir de conjuntos enormes de señales: intentos de inicio de sesión inusuales, accesos indebidos a datos sensibles, comportamientos extraños de procesos o conexiones a dominios sospechosos.

Las plataformas de IA en seguridad también se usan para automatizar parte de la respuesta: correlar alertas relacionadas, reconstruir el “relato” de un ataque, priorizar qué incidentes revisar primero y, en algunos casos, ejecutar directamente acciones de contención (aislar una máquina, cortar una conexión, revocar credenciales comprometidas). Esto reduce el ruido, ayuda a que los analistas se concentren en lo importante y acorta drásticamente el tiempo desde que se detecta un problema hasta que se toma una medida efectiva.

En paralelo, los mismos avances se están aplicando a la protección de redes y terminales. Los cortafuegos de nueva generación integran modelos que analizan el tráfico en busca de comportamientos maliciosos, actualizan reglas internas sobre la marcha o reconfiguran la segmentación de la red para limitar el movimiento lateral de atacantes. Los EDR enriquecidos con IA detectan comportamientos anómalos de procesos (como accesos inesperados a archivos confidenciales o cadenas de ejecución típicas de ransomware) antes de que el daño sea irreversible.

A todo esto se suma el auge de asistentes basados en lenguaje natural integrados en herramientas de ciberseguridad. Estos copilotos de IA para equipos de seguridad permiten hacer preguntas complejas (“¿qué rutas de ataque existen hacia esta base de datos?”) y recibir explicaciones contextualizadas, resúmenes de incidentes o propuestas de mitigación sin tener que bucear manualmente en múltiples paneles.

Cómo están usando la IA los atacantes

Por desgracia, los ciberdelincuentes también se han lanzado de cabeza a usar IA. En foros clandestinos se analizan cada nuevo modelo potente que aparece, y han surgido versiones modificadas u orientadas explícitamente a actividades delictivas, despojadas de filtros éticos y entrenadas como “asistentes de hacking”.

Hoy es relativamente sencillo aprovechar modelos generativos para automatizar casi todas las fases de una operación criminal: redacción masiva de correos de phishing impecables y personalizados, creación de páginas de login falsas muy creíbles, generación de scripts de ransomware o kits para robar credenciales, elaboración de mensajes persuasivos para ingeniería social, etc.

Otro frente preocupante es la capacidad de la IA para crear contenido falso extremadamente convincente. Herramientas de generación de texto permiten producir artículos y noticias falsas que imitan el estilo de medios profesionales; sistemas de generación de vídeo como los deepfakes sustituyen rostros en clips de alta calidad; y la clonación de voz hace posible recrear la voz de una persona con apenas unos minutos de audio.

Ya se han documentado casos de fraude telefónico usando voces clonadas de familiares para urgir transferencias de dinero, así como campañas de difamación política o manipulación en redes que combinan vídeos trucados, audios falsos y bots generativos para amplificar mensajes. El coste de estas herramientas baja cada año, lo que aumenta el retorno de inversión para los atacantes.

En resumen, la IA multiplica la capacidad ofensiva: hace más fáciles y baratos los ataques sofisticados, permite escalar campañas a gran escala y complica la tarea de distinguir lo auténtico de lo manipulado. De ahí que usar IA a la defensiva deje de ser opcional: sin automatización e inteligencia, los equipos humanos simplemente no pueden seguir el ritmo.

Principales riesgos de seguridad específicos de la IA

Más allá de los riesgos de ciberseguridad general, desplegar sistemas de IA conlleva vulnerabilidades propias que hay que entender y gestionar. Algunas de las más relevantes son:

Envenenamiento de datos y modelos. Introducir datos maliciosos o manipulados en los conjuntos de entrenamiento puede desviar el comportamiento del modelo, insertar puertas traseras o degradar su rendimiento sin que sea evidente en las métricas estándar. En entornos de aprendizaje federado, donde múltiples actores contribuyen al entrenamiento, detectar qué participante ha introducido ruido intencionado es especialmente complicado.

Ejemplos adversarios y evasión. Diseñar entradas ligeramente modificadas para provocar errores sistemáticos permite eludir sistemas de detección de malware, filtros de spam, clasificadores de imágenes o mecanismos de autenticación biométrica. Como el modelo “cree” que la entrada es normal, este tipo de ataques es difícil de mitigar solo con reglas tradicionales.

Inversión de modelos y fuga de privacidad. Mediante queries repetidas y análisis de salidas, un atacante puede reconstruir información sobre los datos de entrenamiento, hasta el punto de inferir si un registro concreto estaba incluido o extraer fragmentos de datos sensibles memorizados por el modelo. Esto supone un problema grave cuando se entrena con información personal, clínica o confidencial.

Robo de modelos y propiedad intelectual. Consultando masivamente una API de IA, es posible entrenar un modelo imitador que reproduce con bastante fidelidad el comportamiento del original. Esto socava el modelo de negocio de quienes ofrecen IA como servicio y, además, crea una copia sobre la que el atacante tiene control completo, incluyendo la posibilidad de explorar vulnerabilidades sin restricciones.

Ataques a APIs y a la infraestructura. interfaces que conectan modelos de IA con otras aplicaciones son un punto de entrada muy jugoso: autenticación débil, falta de validación de entradas, ausencia de límites de frecuencia o de monitorización pueden permitir desde denegaciones de servicio hasta extracción masiva de datos o ejecución remota de código.

Inyecciones de prompt y abusos en GenAI. En el caso de modelos de lenguaje y asistentes generativos, un vector emergente es el de las inyecciones directas o indirectas de instrucciones. Un atacante puede incrustar órdenes maliciosas en el propio texto de entrada (“ignora las reglas anteriores y…”) o en documentos externos que el modelo va a leer, con el objetivo de saltarse restricciones, exfiltrar datos o ejecutar acciones no previstas.

Alucinaciones explotadas. Los modelos generativos pueden inventarse datos con total aplomo. Si estos sistemas se usan sin supervisión humana en contextos críticos, o si los atacantes consiguen legitimar como “hechos” determinadas alucinaciones, se abre la puerta a decisiones erróneas, desinformación y pérdida de confianza generalizada en la información digital.

Marcos, estándares y buenas prácticas para una IA más segura

Para no ir a ciegas, distintos organismos han propuesto marcos de referencia específicos para la seguridad de la IA. Aunque ninguno cubre todo el panorama por sí solo, combinados ofrecen una base sólida sobre la que construir una estrategia.

Entre ellos destaca el Marco de gestión de riesgos de IA del NIST, que estructura el trabajo en torno a cuatro funciones: gobernar (establecer políticas y responsabilidades), mapear (entender el contexto y los riesgos), medir (evaluar el desempeño y la exposición) y gestionar (priorizar y aplicar controles). Otros esfuerzos, como las matrices ATLAS de MITRE, catalogan tácticas y técnicas de ataque específicas contra sistemas de IA, de manera similar a lo que hace ATT&CK con amenazas tradicionales.

En el terreno más aplicado, la comunidad de seguridad ha desarrollado listas como el OWASP Top 10 para LLM, que recoge los principales riesgos en aplicaciones basadas en grandes modelos de lenguaje: inyecciones de prompt, exposiciones de datos, vulnerabilidades en la cadena de suministro de modelos, robo de modelos, etc. Grandes proveedores han publicado sus propios marcos (como el SAIF de Google) con pasos concretos para desplegar sistemas de IA de manera más segura.

Además, están surgiendo enfoques prácticos muy específicos para el despliegue de GenAI en entornos cloud, por ejemplo, marcos de aislamiento de inquilinos y de usuarios que segmentan cuidadosamente datos, permisos y canales de comunicación, reduciendo el impacto de posibles fallos o inyecciones. La idea es combinar controles clásicos de ciberseguridad (cifrado, gestión de identidades, segmentación de red, sandboxing) con medidas adaptadas a las particularidades de la IA.

Sobre esta base, las recomendaciones que más se repiten incluyen garantizar la calidad y diversidad de los datos de entrenamiento, abordar de frente las implicaciones éticas (sesgos, consentimiento, privacidad), realizar pruebas y actualizaciones frecuentes de modelos, y definir políticas de seguridad específicas para IA que complementen las políticas TIC generales.

Paralelamente, está emergiendo una categoría de soluciones conocida como AI Security Posture Management (AISPM), equivalente a lo que CSPM supuso para la nube: inventariar activos de IA, descubrir usos no autorizados (“shadow AI”), evaluar configuraciones y supervisar el cumplimiento de políticas de forma continua.

Todo apunta a que, a medida que la IA se integre todavía más en infraestructuras críticas, la seguridad de la IA pasará de ser un “extra interesante” a un requisito básico. Las organizaciones que se adelanten —inventariando sus sistemas de IA, definiendo gobernanza clara, aplicando controles de acceso estrictos, sometiendo sus modelos a pruebas adversarias y alineándose con marcos reconocidos— estarán en una posición mucho mejor para aprovechar las ventajas de la IA sin quedar expuestas a sorpresas desagradables. Y, sobre todo, para mantener la confianza de clientes, usuarios y ciudadanos en un entorno donde diferenciar lo real de lo manipulado será cada vez más complejo.