Usuarios han aprovechado funciones de generación y edición de imágenes para solicitar al modelo que “desvista” personas, incluidas personas menores de edad, o las represente en poses sexualizadas, lo que resultó en la publicación y distribución de contenido potencialmente ilícito en la plataforma.

Los desarrolladores de Grok ya reconocieron “lapsos en las medidas de seguridad”, pero mientras intentan corregirlas, autoridades en países como Francia e India investigan el caso bajo leyes contra la difusión de material ilegal y la protección de menores.

De hecho, reguladores europeos ya calificaron el contenido como ilegal y han instado a aplicar la Digital Services Act.

“La pornografía sintética es uno de los usos más extendidos y lucrativos de las herramientas generativas; en apenas unos años, la producción de este tipo de contenido creció al ritmo de la democratización de modelos de generación de imágenes, video y voz”, señaló en entrevista Fabiana Ramírez, investigadora de información informática en ESET Latam.

Un informe de la asociación Somos Más señaló en 2023 que cerca del 98% de los deepfakes que circulan en internet son pornográficos y no consensuados, y 99% de las personas afectadas son mujeres.

A diferencia de la industria pornográfica tradicional, el ecosistema de deepfakes sexuales opera en una zona gris. Los costos de creación pueden ser muy bajos, pues una suscripción a Grok cuesta alrededor de 30 dólares en la versión Plus, mientras que la opción Super Grok Heavy tiene un costo de 300 dólares al mes.

Aunque compañías como OpenAI, Google o Microsoft han reforzado filtros y políticas de uso, el caso de Grok evidencia una tensión estructural, ya que cuanto más potente y flexible es un modelo, mayor es el riesgo de usos abusivos, y más costoso resulta contenerlos sin afectar la experiencia del usuario.