Uso malicioso de la IA: qué cubre el AI Act y qué no cubre

Un análisis publicado en febrero de 2026 por el Real Instituto Elcano plantea una pregunta incómoda: ¿cubre realmente el AI Act, presentado como el modelo mundial de regulación de la IA, los riesgos más críticos? El estudio de Paula Oliver Llorente somete el reglamento a un test de estrés frente a 9 sub-riesgos de uso malicioso — el uso intencionado de capacidades de IA para causar daño. La conclusión es inequívoca: la cobertura es profundamente desequilibrada. Para las empresas sujetas al Reglamento (UE) 2024/1689, esta realidad tiene implicaciones directas para su estrategia de gestión de riesgos.

Uso malicioso de la IA: ¿de qué estamos hablando?

El uso malicioso de la IA designa las prácticas intencionadas que explotan las capacidades de los sistemas de IA para comprometer la seguridad de individuos, grupos o la sociedad. El elemento determinante es la intención de causar daño, lo que distingue el uso malicioso del mal uso accidental o de las consecuencias involuntarias.

Esta categoría se distingue también del abuso malicioso (malicious abuse), que explota las vulnerabilidades internas de los propios sistemas de IA — por ejemplo, ataques adversariales — en lugar de instrumentalizar sus capacidades con fines dañinos.

Basándose en los trabajos de organizaciones internacionales de seguridad de la IA, informes institucionales e incidentes documentados, el análisis identifica 9 sub-riesgos de uso malicioso:

1. Armas biológicas y amenazas químicas — Uso de IA para diseñar patógenos, realizar ataques biológicos o proporcionar instrucciones para reproducir armas existentes
2. IA maliciosas autónomas — Creación y despliegue de sistemas autónomos con objetivos destructivos (ej. ChaosGPT), capaces de adaptarse sin supervisión humana
3. Desinformación e IA persuasivas — Generación de contenidos falsos o engañosos a gran escala, persuasión personalizada que explota vulnerabilidades cognitivas, operaciones de influencia extranjera
4. Contenidos falsificados y abusivos — Imágenes íntimas no consentidas (NCII), material de abuso sexual infantil generado por IA (CSAM), suplantación de voz, chantaje, daño reputacional
5. Fraude, estafas e ingeniería social — Sistemas de IA (WormGPT, FraudGPT) que producen phishing convincente, usurpación de identidad y chatbots fraudulentos
6. Ciberataques ofensivos — Automatización de generación de malware, descubrimiento de vulnerabilidades, phishing multilingüe, reducción de barreras de entrada para atacantes
7. Armas autónomas y uso militar — Despliegue de drones y sistemas de armas con IA capaces de atacar sin supervisión humana
8. Concentración de poder — Gobiernos o empresas que usan la IA para consolidar su autoridad, suprimir la disidencia o monopolizar las capacidades de IA
9. Vigilancia estatal y opresión — Vigilancia masiva, policía predictiva, censura y represión de minorías mediante IA

Qué cubre el AI Act: un mapa desequilibrado

El análisis del Real Instituto Elcano confronta las disposiciones del AI Act con estos 9 sub-riesgos. El resultado se resume a continuación, reconstruyendo la Figura 1 del estudio original.

Tabla — Sub-riesgos de uso malicioso y obligaciones del AI Act

Leyenda: 🔴 Sin cobertura directa — 🟡 Cobertura parcial o indirecta — 🟢 Cobertura extensa

• Armas biológicas y químicas 🔴 — Solo se aplican las disposiciones genéricas de gestión de riesgos y notificación de incidentes para modelos GPAI con riesgos sistémicos. La protección principal proviene de los convenios internacionales (armas biológicas y químicas)
• IA maliciosas autónomas 🔴 — Mismo vacío regulatorio. La mitigación se limita a la gestión de riesgos sistémicos GPAI y a las obligaciones de supervisión humana de los sistemas de alto riesgo. No existen disposiciones específicas para prevenir la creación de agentes de IA autónomos destructivos
• Desinformación e IA persuasivas 🟡 — El AI Act prohíbe técnicas manipuladoras y engañosas (Art. 5), exige el etiquetado de deepfakes y contenidos sintéticos (Art. 50). Pero la persuasión personalizada mediante chatbots de IA no está cubierta. Complemento parcial mediante el Digital Services Act (DSA)
• Contenidos falsificados y abusivos 🟡 — Prohibiciones indirectas (explotación de vulnerabilidades, Art. 5). Pero las formas más graves — imágenes íntimas no consentidas (NCII), CSAM generado por IA — están ausentes del AI Act. El etiquetado de deepfakes ofrece protección débil. Complemento mediante la Directiva sobre imágenes íntimas no consentidas
• Fraude e ingeniería social 🟡 — Los requisitos de transparencia y divulgación pueden reducir la eficacia del phishing y la usurpación, pero no prohíben estas prácticas. No existe regulación explícita de herramientas de fraude con IA
• Ciberataques ofensivos 🟡 — Cubiertos principalmente por legislación preexistente de la UE que criminaliza los ciberataques. El AI Act se centra en proteger los sistemas de alto riesgo contra ataques adversariales (abuso malicioso) más que en el uso ofensivo de la IA. Complemento mediante el Cyber Resilience Act
• Armas autónomas y uso militar 🔴 — Explícitamente excluidos del ámbito del AI Act (defensa y seguridad nacional son competencias de los Estados miembros). Solo los sistemas de IA de doble uso (civil y militar) están cubiertos. Laguna importante en un área de riesgo catastrófico
• Concentración de poder 🔴 — El uso estatal de la IA está parcialmente limitado mediante restricciones a la policía predictiva. Pero la concentración corporativa de poder en IA (ventajas en datos, infraestructura cloud, capacidad de cómputo) no se aborda. El Digital Markets Act no cubre las dinámicas de concentración específicas de la IA
• Vigilancia estatal y opresión 🟢 — La cobertura más extensa. El AI Act prohíbe la puntuación social (Art. 5), la policía predictiva, ciertos tipos de identificación biométrica y categorización biométrica. Refleja la relevancia política de este tema en los debates europeos, especialmente frente a precedentes autoritarios

Por qué estas lagunas son intencionadas

La cobertura desequilibrada del AI Act no es un descuido. Resulta de una decisión de diseño deliberada para evitar la redundancia regulatoria.

El AI Act se enmarca en un corpus legislativo europeo más amplio. El desarrollo de armas biológicas, la comisión de fraudes y los ciberataques ya estaban tipificados como delito antes de la aparición de la IA. Los legisladores europeos consideraron que los delitos facilitados por IA no debían tratarse de forma diferente a sus equivalentes tradicionales, y que las protecciones no debían ser redundantes con la legislación existente.

En la práctica, muchos sub-riesgos se complementan con otros textos europeos:

• Desinformación → Digital Services Act (DSA)
• Contenidos abusivos → Directiva sobre imágenes íntimas no consentidas
• Ciberataques → Cyber Resilience Act
• Concentración de poder → Digital Markets Act (DMA)
• Armas biológicas → Convenios internacionales
• Armas autónomas → Iniciativas internacionales (ONU)

Este enfoque tiene sentido desde la perspectiva interna: evita la sobrerregulación y simplifica el cumplimiento. Pero crea un problema de exportabilidad: los países terceros no importarán todo el ecosistema regulatorio europeo.

Limitaciones transversales que debilitan la protección

Más allá de la cobertura por sub-riesgo, dos limitaciones transversales debilitan el AI Act frente al uso malicioso.

El uso personal en una zona gris

Los usos personales y no profesionales de los sistemas de IA no están cubiertos por el AI Act. El texto se apoya en las obligaciones de los proveedores y desarrolladores para limitar los riesgos aguas abajo. Los individuos maliciosos pasan así por los huecos, salvo intervención del derecho penal. Sin embargo, la IA amplifica tanto los incentivos como la facilidad de la actividad maliciosa, convirtiendo la posibilidad de persecución penal en un disuasorio débil.

El «mal uso razonablemente previsible»: un concepto vago

El AI Act establece obligaciones de gestión de riesgos basadas en el uso previsto y el «mal uso razonablemente previsible» tanto para los sistemas de alto riesgo como para los modelos GPAI con riesgo sistémico. El problema es que este concepto puede tener múltiples interpretaciones, debilitando la coherencia de la aplicación. Algunas empresas ya explotan esta ambigüedad — como OpenAI, que argumentó ante los tribunales que el uso de ChatGPT para autolesionarse constituye un «mal uso, uso no autorizado, uso involuntario, uso imprevisible y/o uso impropio» de su producto.

Qué significa esto para las empresas

Para los proveedores y responsables del despliegue de sistemas de IA, este análisis tiene implicaciones concretas.

La gestión de riesgos no puede limitarse al AI Act

Un sistema de gestión de riesgos conforme al Artículo 9 debe identificar los riesgos «conocidos y razonablemente previsibles». Los usos maliciosos entran en esta categoría — aunque el AI Act no los aborde todos directamente. Los proveedores deben, por tanto, integrar los riesgos de uso malicioso en su documentación técnica (Anexo IV, Sección 5), incluyendo los cubiertos por otra legislación.

Las obligaciones de transparencia como primera línea de defensa

Para los 4 sub-riesgos parcialmente cubiertos, las obligaciones de transparencia del AI Act (etiquetado de deepfakes, divulgación de interacciones humano-máquina, información a los responsables del despliegue) constituyen la primera línea de defensa. Su implementación efectiva es esencial, aunque resulten insuficientes frente a actores maliciosos determinados.

Los modelos GPAI con riesgo sistémico en primera línea

Los proveedores de modelos GPAI con riesgo sistémico (Artículos 51-56) tienen una responsabilidad particular. Sus obligaciones de gestión de riesgos, pruebas adversariales y notificación de incidentes son la única red de seguridad del AI Act para 4 de los 9 sub-riesgos identificados. La calidad de su implementación tiene un impacto directo en la seguridad de todo el ecosistema.

¿Desarrolla o despliega un sistema de IA y desea evaluar su exposición a los riesgos de uso malicioso? El diagnóstico gratuito de AiActo identifica su nivel de riesgo y sus obligaciones en menos de 3 minutos.

El efecto Bruselas en cuestión

El AI Act se diseñó con la ambición de convertirse en el modelo global de gobernanza de la IA — el llamado «efecto Bruselas». El Consejo de la UE lo presentó como potencial estándar mundial para la regulación de la IA.

Sin embargo, el análisis muestra que esta ambición se ve debilitada por las lagunas de cobertura de riesgos. Un marco regulatorio que deja fuera de su ámbito directo las armas biológicas asistidas por IA, los sistemas autónomos destructivos y la concentración del poder tecnológico pierde credibilidad como modelo global.

El Digital Omnibus, propuesto por la Comisión en noviembre de 2025, agrava el problema: retrasa la entrada en vigor de ciertas obligaciones para los sistemas de alto riesgo, introduce periodos transitorios para el watermarking GPAI y amplía los datos utilizables para el entrenamiento — aumentando potencialmente la eficacia de los sistemas de desinformación e ingeniería social.

Para las empresas europeas comprometidas con el cumplimiento, la señal es ambigua: por un lado, los plazos de agosto de 2026 se acercan; por otro, el propio marco regulatorio está en movimiento.

Recomendaciones prácticas

Ante esta situación, se perfilan tres ejes de actuación para las organizaciones.

1. Integrar los riesgos de uso malicioso en el análisis de riesgos del Artículo 9 — No limitarse a los usos previstos. Documentar explícitamente los escenarios de uso malicioso y las medidas de mitigación, incluyendo los riesgos cubiertos por otra legislación
2. Monitorizar el ecosistema regulatorio completo — El AI Act no funciona de forma aislada. Identificar los textos complementarios aplicables (DSA, Cyber Resilience Act, Directiva NCII, DMA) e integrar sus requisitos en la estrategia de cumplimiento global
3. Anticipar las revisiones del AI Act — El Artículo 112 prevé revisiones periódicas. La lista de sistemas de alto riesgo (Anexo III) puede modificarse mediante Actos Delegados. Las empresas deben seguir la evolución del marco, especialmente en lo relativo a la persuasión personalizada y los contenidos generados por IA

El cumplimiento del AI Act es un paso necesario, pero no suficiente. Las organizaciones que adopten una visión amplia de los riesgos — incluyendo los usos maliciosos más allá del ámbito del reglamento — estarán mejor preparadas, tanto ante los reguladores como ante las amenazas reales que la IA amplifica.

Preguntas frecuentes

¿Prohíbe el AI Act los deepfakes?

El AI Act no prohíbe los deepfakes como tales. El Artículo 50 impone obligaciones de transparencia: los contenidos sintéticos (imágenes, audio, vídeo) deben etiquetarse de forma legible por máquina. Las interacciones humano-máquina deben ser comunicadas. Pero estas obligaciones solo se aplican a proveedores y responsables del despliegue, no a individuos a título personal.

¿Están cubiertos por el AI Act los ciberataques asistidos por IA?

Indirectamente. El AI Act protege los sistemas de alto riesgo contra ataques adversariales (Art. 15 — ciberseguridad). Pero el uso ofensivo de la IA para realizar ciberataques está cubierto por el derecho penal existente y el Cyber Resilience Act, no por el propio AI Act.

¿Por qué las armas autónomas están excluidas del AI Act?

La defensa y la seguridad nacional son competencias de los Estados miembros de la UE, no de la Unión. El AI Act excluye explícitamente los sistemas de IA desarrollados o utilizados exclusivamente con fines militares. Solo los sistemas de doble uso (civil y militar) están cubiertos.

¿Qué es el «mal uso razonablemente previsible» en el AI Act?

Es un concepto central del Artículo 9 sobre gestión de riesgos. El proveedor debe identificar y mitigar riesgos relacionados no solo con el uso previsto de su sistema, sino también con cualquier mal uso que pueda razonablemente anticipar. La vaguedad de este concepto genera incertidumbres de interpretación y aplicación.

¿Debilita el Digital Omnibus la cobertura de los riesgos maliciosos?

Sí, según diversos análisis. El Digital Omnibus, propuesto en noviembre de 2025, retrasa ciertas obligaciones para los sistemas de IA de alto riesgo (hasta 16 meses adicionales), introduce periodos transitorios para el watermarking GPAI y amplía los datos utilizables para el entrenamiento. Estas medidas podrían aumentar la incidencia de los sistemas de desinformación e ingeniería social.

¿Cómo integrar los riesgos de uso malicioso en mi documentación técnica?

La Sección 5 del Anexo IV (sistema de gestión de riesgos) exige la identificación de riesgos «conocidos y razonablemente previsibles». Documente los escenarios de uso malicioso relevantes para su sistema, las medidas de mitigación adoptadas y los riesgos residuales aceptados. Plataformas como AiActo estructuran este proceso sección a sección.

El AI Act constituye un avance importante para la gobernanza de la IA, pero su cobertura de los riesgos de uso malicioso sigue siendo incompleta. Las empresas no pueden limitarse a marcar las casillas del reglamento: deben adoptar una visión más amplia de los riesgos, que integre todo el ecosistema regulatorio europeo y las amenazas específicas que la IA amplifica. Solo así el cumplimiento se traducirá en protección real.