Si tu estrategia de seguridad de agentes de IA depende de confiar ciegamente en los filtros del proveedor, estás delegando una decisión que sigue siendo tuya. Me preocupa que tantas conversaciones arranquen por elegir el modelo y dejen para después qué podrá hacer dentro del negocio.
Un asistente que redacta mal un párrafo exige una corrección; uno que modifica información o envía una propuesta puede comprometer una operación. Desde Nexo Estelar, mi agencia de consultoría y automatización con IA, miro esa diferencia como una decisión de negocio: cuánto poder entregar, bajo qué condiciones y con qué posibilidades de intervenir.
La decisión en un minuto
El arnés es el conjunto de controles que rodea al modelo: permisos, herramientas disponibles, límites y registros de lo que sucede. Su valor aparece cuando transforma una intención del agente en una acción permitida, verificable y, cuando corresponde, reversible.
| Decisión | Confiar solamente en el modelo | Diseñar controles de ejecución |
|---|---|---|
| Enviar una propuesta | Pedirle que revise antes | Exigir aprobación para el envío |
| Modificar información | Indicarle que tenga cuidado | Limitar qué registros puede cambiar |
| Dar una tarea por terminada | Aceptar su explicación | Comprobar el resultado en el sistema |
| Cambiar de proveedor | Rehacer criterios dispersos | Conservar reglas y volver a probarlas |
Mi criterio es simple: la autonomía que conviene conceder depende de las consecuencias de equivocarse.
El modelo aprendió; tu empresa autoriza
Durante años, buena parte del esfuerzo de seguridad se concentró en entrenar modelos para producir respuestas aceptables. RLHF, por ejemplo, utiliza evaluaciones humanas para orientar su comportamiento. Eso importa. El problema aparece cuando trasladamos esa confianza a un agente conectado con herramientas que pueden actuar sobre el negocio.
Hay una distancia enorme entre aprender a rechazar pedidos peligrosos y tener prohibido enviar dinero, borrar archivos o compartir una base de clientes. Una instrucción expresa una expectativa. Un permiso establece una frontera que debe hacerse cumplir fuera de la conversación.
El trabajo Agent Safety Should Be a Runtime Contract propone tratar la seguridad como un contrato durante la ejecución. Distingue dos funciones: impedir acciones indebidas y exigir pruebas antes de aceptar una tarea como completada. Es una propuesta de arquitectura y una agenda de investigación, no una certificación de que cualquier sistema construido así será seguro.
Yo leo ahí un cambio de responsabilidad que afecta directamente a la dirección de una empresa. Comprar capacidad de razonamiento no resuelve quién autoriza una excepción comercial. Tampoco determina qué evidencia alcanza para considerar actualizado un registro.
Si nadie definió esas condiciones, el agente queda obligado a interpretar vacíos que pertenecen a la organización. Después llamamos «error de la IA» a una decisión que nunca terminamos de tomar.
Lo que demuestra EvoSafeHarness
El estudio EvoSafeHarness aporta un resultado concreto: en DecodingTrust-Agent, la tasa promedio de éxito de ataques bajó del 45,6 % al 10 %, con una caída de 3,3 puntos en la utilidad medida. El modelo base permaneció fijo; el sistema optimizó las políticas y la lógica de control que lo rodeaban.
Son 35,6 puntos porcentuales de diferencia, aproximadamente un 78 % de reducción relativa.
Esto no significa que desapareciera el riesgo ni que una empresa vaya a obtener ese porcentaje al instalar una herramienta. Es un resultado de laboratorio, bajo las condiciones de esa evaluación, presentado en un preprint.
La consecuencia estratégica que extraigo es más interesante que el titular: existe margen de mejora fuera del modelo que ya compraste. Antes de contratar uno más caro, vale la pena examinar las decisiones que tu implementación permite ejecutar.
También miraría el costo de frenar trabajo legítimo. Un control que bloquea todo puede parecer excelente hasta que el equipo empieza a sortearlo para poder trabajar. La evaluación empresarial debe contemplar protección, utilidad y esfuerzo de supervisión. Una cifra de seguridad aislada no alcanza para decidir una inversión.
Seguridad de agentes de IA sin improvisación
Para llevar esto a una conversación de gestión propongo un método sencillo: el Contrato de Autonomía. Es una herramienta de trabajo que planteo para ordenar decisiones, no un estándar certificado. Consiste en dejar por escrito cuatro acuerdos antes de ampliar el alcance del agente.
- Definí la acción permitida.
«Ayudame con ventas» es demasiado amplio. Preparar un borrador, actualizar una oportunidad y enviar una oferta son acciones distintas. Asignales permisos separados. El agente puede necesitar leer el historial comercial sin tener autorización para exportar toda la base.
- Establecé el límite y la excepción.
Decidí qué requiere intervención humana: cambiar precios, ampliar alcance, compartir documentación o confirmar fechas. La excepción debe tener una persona responsable y un canal de resolución. Una alerta que nadie recibe funciona como un control que no existe.
- Pedí evidencia del resultado.
La frase «ya quedó actualizado» no alcanza. El responsable necesita poder comprobar qué cambió, dónde y con qué datos. Para una propuesta, la evidencia puede ser el documento final y su aprobación; para una actualización, el registro efectivamente modificado.
- Diseñá la salida antes del incidente.
Acordá quién puede detener el proceso, revocar accesos y recuperar una versión anterior cuando la herramienta lo permita. Si detenerlo exige esperar a la única persona que entiende cómo funciona, la continuidad sigue dependiendo de una persona, aunque la ejecución esté automatizada.
Este contrato complementa un buen encargo para agentes. El encargo comunica lo que querés conseguir; los controles delimitan lo que el sistema puede hacer para lograrlo. Conviene diseñarlos juntos y revisarlos cada vez que incorporás una herramienta o una responsabilidad nueva.
Una propuesta que todavía no debe salir
Pensemos en un ejemplo hipotético. Una empresa de servicios quiere que un agente prepare propuestas usando notas de reuniones, un catálogo vigente y documentos anteriores como referencia. Parece una tarea administrativa; en realidad, contiene decisiones comerciales de distinto peso.
Una propuesta antigua puede incluir un descuento excepcional o una prestación que la empresa ya no ofrece. Si el agente mezcla esas condiciones con el catálogo actual, el documento puede sonar impecable y comprometer trabajo que nunca se autorizó.
Yo habilitaría primero la preparación del borrador. El catálogo vigente tendría prioridad explícita; los documentos anteriores servirían solamente como referencia de estructura. Las diferencias de precio o alcance quedarían señaladas para revisión, y el envío seguiría sujeto a aprobación.
La prueba incluiría información contradictoria a propósito: una fecha imposible, un servicio discontinuado o un pedido de compartir documentos internos. Querría observar si el proceso detecta el conflicto y lo deriva a quien corresponde, además de comprobar que produce una buena propuesta cuando todo está en orden.
Recién después consideraría ampliar la autonomía. Esa secuencia permite descubrir dónde se concentra el riesgo antes de conectar la herramienta con toda la operación. También vuelve visible un dato comercial útil: cuánto trabajo de revisión queda realmente después de automatizar.
Errores que salen caros
El primero es confundir un mensaje de advertencia con una restricción efectiva. Si el agente puede realizar la acción de todos modos, el aviso depende de que alguien lo vea y actúe a tiempo. Conviene probar el límite, no conformarse con leerlo en una pantalla.
Otro error es medir solamente lo que el agente completa. Una automatización puede terminar muchas tareas y dejar excepciones mal resueltas. Yo registraría también operaciones detenidas, correcciones humanas y tiempo hasta recuperar el servicio. Esos datos explican mejor el costo real que una demostración exitosa.
También evitaría tratar lo abierto como sinónimo de seguro. Poder ejecutar un modelo en infraestructura propia amplía las decisiones disponibles, pero exige capacidad para operar, proteger y mantener ese entorno. La apertura permite ejercer control; no lo ejerce por vos.
Por último, revisaría si el plan de continuidad contempla un proveedor que funciona, pero rechaza una tarea legítima. Pagar por acceso no significa tener asegurada cada capacidad que un proceso necesita. Conviene ensayar las excepciones antes de depender de ellas y acordar una alternativa que mantenga las mismas exigencias de confidencialidad y revisión.
La soberanía empieza por poder cambiar
Para una empresa latinoamericana, la soberanía tecnológica puede parecer una discusión reservada a gobiernos y grandes presupuestos. Prefiero bajarla a una pregunta menos grandilocuente: si mañana cambia tu proveedor, ¿cuánto de tu operación seguís entendiendo y controlando?
Conservar las reglas, las fuentes, los registros y los criterios de aceptación fuera de una conversación aislada permite preparar una alternativa. Cambiar de modelo igualmente requiere pruebas: otro puede interpretar instrucciones de manera diferente o necesitar controles adicionales. La independencia absoluta es una promesa poco seria; la capacidad de reemplazo es un objetivo de gestión concreto.
Hay una consecuencia económica que suele quedar en segundo plano. Cuando tu empresa sabe explicar cómo funciona un proceso y qué exige para aceptarlo, negocia mejor con quien lo implementa. Puede comparar propuestas, detectar dependencias y exigir una entrega que otra persona sea capaz de mantener.
Por eso considero el arnés parte del patrimonio operativo del negocio. No hace falta desarrollar cada componente internamente, pero sí conocer sus límites, conservar la documentación y tener autoridad para modificarlo. Comprar inteligencia es cada vez más accesible. Construir criterio para administrarla sigue requiriendo trabajo propio.
La próxima inversión que sí haría
Si estuviera definiendo hoy el presupuesto de IA de una empresa, reservaría una parte para revisar permisos, evidencia y continuidad antes de ampliar la autonomía. El costo de omitir ese trabajo aparece cuando una tarea aparentemente menor termina afectando clientes, compromisos o información que nadie pensó que estaba en juego.
En Nexo Estelar trabajo la consultoría y automatización desde los procesos: qué conviene delegar, qué necesita supervisión y cómo mantener capacidad de intervención. Si tu negocio ya está incorporando agentes, agendá una conversación sobre tu estrategia de IA. Podemos empezar por un proceso concreto y sus puntos de decisión.
La soberanía tecnológica se construye cuando podés explicar, limitar y reemplazar lo que hace tu sistema. Antes de comprar más inteligencia, asegurate de conservar la autoridad para decidir qué puede hacer con tu negocio.
Recursos para aplicar esto en tu negocio
Consultoría estratégica y automatización con IA: conversemos sobre el proceso que querés delegar, sus conexiones y los criterios de control que necesita.
Para preparar esa conversación, podés leer cómo definir un prompt para agentes. Si preferís formación independiente, también podés ver todos los cursos disponibles.
Es el conjunto de controles que rodea al modelo y regula su interacción con herramientas y datos. Incluye permisos, límites, registros y mecanismos de revisión. Debe adaptarse a las acciones que el agente realiza y a las consecuencias de un error.
No. La seguridad del sistema también depende de sus permisos, conexiones, datos y controles. Un modelo bien entrenado puede equivocarse o interpretar instrucciones externas de manera indebida. La empresa necesita definir qué acciones permite y cómo verifica sus resultados.
Redujo del 45,6 % al 10 % la tasa promedio de éxito de ataques en DecodingTrust-Agent, con una pérdida de utilidad de 3,3 puntos. El resultado corresponde a esa evaluación y no garantiza el mismo desempeño en una empresa.
No necesariamente. Podés establecer controles alrededor de un servicio comercial. Los modelos abiertos amplían las opciones de despliegue y adaptación, pero requieren capacidad operativa. La elección depende del proceso, la confidencialidad, los costos y la continuidad que necesitás.
Elegí un proceso y documentá sus acciones, accesos, aprobaciones y evidencias de finalización. Probá también excepciones y recuperación ante errores. Esa revisión permite decidir qué autonomía conceder y qué puntos requieren acompañamiento especializado.
Deja un comentario