Saltar al contenido
EsUnGenio
tema

Seguridad y gobernanza

Dar capacidad de acción a un agente amplía la superficie de ataque; demostrar qué hizo, con qué permisos y bajo qué norma deja de ser burocracia.

Cuatro artículos coinciden en la misma frase dicha de formas distintas: la capacidad sin control no es innovación, es riesgo.

Los tres frentes técnicos

Capacidades y permisos. Un MCP decide qué puede tocar un agente. Antes de conectar uno hay que saber con certeza quién ejecuta el servidor, qué accesos permite, dónde se almacena la información, cómo se auditan las acciones y qué límites existen. No se usa un MCP del que no se conoce origen, código o política de permisos.

Ejecución local. Dar a un agente acceso directo a terminal y navegador no es gratis: ya se vieron vulnerabilidades en herramientas similares donde ciertas respuestas podían disparar comandos peligrosos sin filtrar. Políticas de permisos, aislamiento de entornos y revisión de lo que se ejecuta.

Contenido no fiable. La prompt injection aparece en el checklist ejecutivo junto a fugas de datos, controles de acceso y revisión humana: lo que el agente lee puede intentar darle instrucciones.

La evidencia como infraestructura

Para equipos con requisitos de calidad, auditoría o regulación no basta con que la IA haga cosas: hay que poder demostrar qué hizo y cómo se llegó ahí. De ahí que los artifacts de Antigravity —planes, capturas, grabaciones— cuenten como una decisión de gobierno y no como una comodidad de la interfaz.

El marco: EU AI Act y data foundation

El EU AI Act escalona obligaciones desde 2025 hasta 2026-2027, y por eso entender transparencia, gestión de riesgos y seguridad no puede esperar a la fecha de aplicación. Se traduce en artefactos concretos que alguien tiene que producir: model cards, registros, DPIA para IA.

Debajo está la data foundation —calidad, linaje, MDM, modernización del legado—, sin la cual la IA se integra con parches frágiles: un caso de uso brillante sobre datos sin linaje no se puede auditar y por tanto no llega a producción.

Sólo líderes formados pueden fijar estas políticas. Delegarlas hacia abajo produce reglas que nadie aplica, o shadow AI: uso oculto, sin controles, que es el síntoma de una organización que no adopta al ritmo al que su gente ya trabaja —ver cultura y adopción—. Prohibir solo lo esconde mejor.

La pregunta que todavía no tiene respuesta

Si los modelos empiezan a aprender de forma continua, como propone Nested Learning, el marco entero cruje:

  • ¿Cómo se versiona un modelo que nunca deja de aprender?
  • ¿Qué significa revertir un aprendizaje erróneo con memoria continua?
  • ¿Qué métricas definen la salud de un modelo que se reconfigura solo?

No es solo un avance técnico: obliga a repensar gobernanza, observabilidad y compliance.

Citations