Agentes y automatizaciónPara profundizarConcepto técnico

Autonomía excesiva

Excessive agency · También: exceso de autonomía, agencia excesiva

Qué significa

Riesgo de seguridad que aparece cuando un sistema basado en modelos de lenguaje dispone de más funciones, permisos o capacidad de actuar por su cuenta de los necesarios. Ante una respuesta errónea o una manipulación, el sistema puede ejecutar acciones dañinas que nadie quería autorizar.

Un ejemplo

Ejemplo ilustrativo: un asistente que solo debía leer correos para resumirlos tiene también permiso para enviarlos. Un mensaje malicioso le indica reenviar documentos internos y lo hace sin pedir confirmación.

Por qué importa
Aplicar el principio de mínimo privilegio y exigir aprobación humana en acciones sensibles limita el daño posible.
Distinción útil
La inyección de instrucciones es una forma de manipular al sistema; la autonomía excesiva determina cuánto daño puede causar esa manipulación.
Fuentes

Términos relacionados

Volver al glosario