El asunto Grok: lo que el escándalo de los deepfakes revela sobre el AI Act

Enero de 2026. En menos de dos semanas, Grok - la IA de imagen generativa desarrollada por xAI, la empresa de Elon Musk - produce alrededor de 3 millones de imágenes sexualizadas no consentidas. Celebridades desnudadas digitalmente. Mujeres políticas. Menores. Los contenidos se propagan rápidamente en X, antes Twitter. La respuesta internacional es inmediata: investigaciones en Francia, India, Reino Unido, Australia, Brasil. Malasia e Indonesia bloquean la plataforma. La Comisión Europea ordena a X conservar todos los documentos internos relacionados con Grok hasta finales de 2026.

Para AiActo, este escándalo no es una anécdota tecnológica. Es una demostración a escala real de lo que el AI Act (Reglamento UE 2024/1689) busca prevenir - y por qué existen estas normas.

Qué hizo Grok - y qué dice el AI Act al respecto

La función que originó el escándalo era sencilla: los usuarios enviaban fotos de personas reales a Grok y pedían a la IA que las "desnudara" digitalmente, las colocara en poses sexualizadas o generara contenido explícito a partir de su imagen. Grok ejecutaba estas peticiones con una tasa de rechazo prácticamente nula - un estudio mostró que la IA no rechazó ninguna de las 60 solicitudes probadas para generar imágenes electorales engañosas, frente al 72-97 % de rechazos de sus competidores como ChatGPT, Claude o Gemini.

Este tipo de sistema tiene un nombre: una app "nudifier". Y bajo el AI Act, su estatus es inequívoco.

Artículo 5: prácticas prohibidas desde febrero de 2025

El Artículo 5 del AI Act lista las prácticas de riesgo inaceptable prohibidas en la Unión Europea. Estas prohibiciones entraron en vigor el 2 de febrero de 2025 - ya se aplican, independientemente del resto del calendario regulatorio.

Entre ellas: los sistemas que explotan las vulnerabilidades humanas para producir comportamientos perjudiciales, y los sistemas que atentan contra la dignidad de las personas. Un sistema capaz de generar contenido sexualizado a partir de la imagen de una persona real sin su consentimiento entra directamente en esta categoría.

El Parlamento Europeo fue un paso más allá en la votación IMCO/LIBE del 18 de marzo de 2026 sobre el Digital Omnibus: los eurodiputados propusieron añadir explícitamente la prohibición de las aplicaciones "nudifier" a la lista de prácticas prohibidas. No es una nueva restricción - es una aclaración de una prohibición ya existente, necesaria a raíz del asunto Grok.

Artículo 50: obligaciones de transparencia sobre los deepfakes

Más allá de la prohibición directa, el Artículo 50§4 del AI Act impone una obligación aplicable a todos los sistemas de IA generativa, incluso los que no son de riesgo inaceptable: cualquier contenido de audio o visual generado o manipulado por IA para parecerse a personas reales existentes debe identificarse claramente como sintético.

Esta obligación entra en vigor el 2 de agosto de 2026. Afecta a:

• Los vídeos deepfake que representan a personas reales
• Las imágenes manipuladas por IA de personas identificables
• Los contenidos de audio que imitan una voz existente
• Cualquier síntesis visual presentada como real

Esto no es un fallo técnico - es una decisión de diseño. Y es exactamente lo que el AI Act busca prevenir al imponer obligaciones de gestión de riesgos desde la fase de diseño (Artículo 9).

La respuesta regulatoria: rápida, internacional, coordinada

• Comisión Europea (8 de enero): ordenó a X conservar todos los documentos internos relacionados con Grok hasta finales de 2026
• Fiscalía de París (principios de enero): investigación abierta por "contenidos manifiestamente ilegales", seguida de un registro en las oficinas parisinas de X en febrero con Europol
• Ofcom UK (12 de enero): investigación sobre el cumplimiento de X con las normas de protección de usuarios
• Malasia e Indonesia (10 de enero): primeros países en bloquear temporalmente el acceso a Grok
• Australia, Brasil, India: investigaciones y requerimientos en las semanas siguientes
• Parlamento Europeo (18 de marzo): la votación IMCO/LIBE integra la prohibición explícita de las "nudifier apps" en el Digital Omnibus

Qué cambia el asunto Grok para su empresa

1. Es posible que use herramientas similares

Cientos de aplicaciones de generación o manipulación de imágenes con IA circulan en entornos empresariales - para crear materiales de marketing, retocar fotos de productos, generar avatares o personajes. Si alguna de estas herramientas puede utilizarse para generar imágenes sexualizadas de personas reales sin su consentimiento, su empresa - como desplegadora - comparte responsabilidad regulatoria.

2. Sus obligaciones Art. 50 sobre deepfakes llegan en agosto de 2026

Aunque su uso sea completamente legítimo, el Artículo 50§4 exige que cualquier contenido de IA que manipule la imagen de personas reales esté claramente identificado. Esto afecta a sus campañas de marketing con avatares, vídeos de síntesis y contenidos generados con herramientas como Midjourney o DALL-E.

3. La reputación precede a la sanción

El asunto Grok lo ha demostrado: antes de cualquier multa, fue la respuesta internacional - bloqueos de países, investigaciones judiciales, pérdidas comerciales - lo que causó más daño a xAI. Para una PYME o un editor SaaS, un incidente similar a menor escala puede ser fatal, mucho antes de que intervenga la autoridad nacional.

El diagnóstico gratuito de AiActo le ayuda a identificar sus obligaciones según su perfil de desplegador.

Preguntas frecuentes

¿Se aplica el AI Act a Grok y xAI, una empresa estadounidense?

Sí. El AI Act se aplica a cualquier sistema de IA cuyos resultados se utilicen en la Unión Europea, independientemente del país de establecimiento del proveedor. xAI, que distribuye Grok en Europa, está sujeto al AI Act. Por eso la Comisión Europea y los reguladores europeos pudieron intervenir directamente desde enero de 2026.

¿Las prácticas de Grok ya eran ilegales antes del AI Act?

En parte. Los contenidos sexualizados no consentidos y las imágenes de menores caen bajo prohibiciones preexistentes - derecho penal nacional, DSA, RGPD. El AI Act añade una capa específica: prohíbe el diseño mismo de sistemas que permitan estas prácticas, no solo su uso abusivo. Es un cambio de paradigma: del control de contenidos a la gobernanza del diseño.

¿Qué cambia el Digital Omnibus concretamente en este asunto?

La votación IMCO/LIBE del 18 de marzo de 2026 propone añadir explícitamente la prohibición de sistemas "nudifier" a la lista de prácticas prohibidas del Artículo 5. No es una nueva norma - es una aclaración que hace la prohibición indiscutible y facilita las investigaciones. El texto todavía debe adoptarse en sesión plenaria y tras los trílogos, pero la dirección política es clara.

Mi empresa usa Midjourney o DALL-E para crear visuales - ¿estoy afectado?

Si usa estas herramientas para fines legítimos, no está en la misma situación que Grok. Pero dos obligaciones le afectan igualmente: verificar que las herramientas que utiliza tienen salvaguardas adecuadas (responsabilidad del desplegador Art. 26), y etiquetar claramente los contenidos generados por IA que representen a personas reales a partir de agosto de 2026 (Art. 50§4).

¿Qué sanciones prevé el AI Act para este tipo de infracción?

Las infracciones del Artículo 5 (prácticas prohibidas) son las más severamente sancionadas de todo el reglamento: hasta 35 millones de euros o el 7 % de la facturación mundial anual, aplicándose la cifra más elevada. Para una empresa del tamaño de xAI, estas cifras representan una exposición potencial de cientos de millones de euros.

El asunto Grok no es un caso límite - es una demostración en tiempo real de lo que el AI Act busca prevenir. Confirma que las prácticas prohibidas por el Artículo 5 no son hipótesis teóricas: ocurren, causan daños reales, y los reguladores son capaces de responder con rapidez. Prepararse antes de agosto de 2026 no es una opción de prudencia - es una necesidad. Consulte el calendario del AI Act en AiActo para seguir todas las fechas clave y anticipar sus obligaciones.