Y es que debido a que las empresas no tienen visibilidad sobre estas herramientas, desconocen qué datos están siendo accedidos por los agentes que los empleados utilizan, así como los permisos específicos que estos poseen, menciona Vasu Jakkal, vicepresidenta corporativa de seguridad, cumplimiento, identidad y gestión de Microsoft.

Alimentar a la IA con tus secretos

Este uso desmedido impacta directamente en la gobernanza tecnológica, ya que los modelos externos de IA suelen aprender de la información que reciben. Al compartir datos sin control, menciona Felman, las empresas están, en esencia, alimentando modelos de terceros con sus secretos comerciales, ampliando los vectores de ataque disponibles para actores malintencionados.

Otro desafío crítico es la dificultad de trazabilidad de las decisiones automatizadas. Dado que estos sistemas no son determinísticos, sino probabilísticos, «cometen errores y alucinan», lo que complica entender por qué una IA tomó una decisión específica si no se cuenta con una plataforma supervisada. Sin controles, la empresa pierde la capacidad de auditar procesos internos.

La seguridad operativa también está en juego debido al concepto del «doble agente». Si un atacante logra manipular a un agente de IA no protegido, este podría volverse contra la organización. Jakkal advierte que se debe operar bajo la premisa de que «mi agente ya está comprometido», especialmente si no existen capas de verificación explícita para cada acción que realiza el sistema.