Lo que es importante saber
Prompt injection es un intento de hacer que un modelo ignore las reglas, revele los datos o realice una acción ilegal. El riesgo aumenta cuando el agente lee contenido externo y al mismo tiempo tiene acceso a correo electrónico, archivos, CRM o pagos.
Utilización práctica en la empresa
El instructivo de ataque puede estar oculto en una página web, un documento o un mensaje del cliente. El agente no debe considerarlo más confiable que sus propias reglas y autorizaciones.
Control de calidad y seguridad
Separar las lecturas de datos de la ejecución de acciones, limitar los instrumentos, filtrar las entradas y requerir la aprobación humana para los pasos sensibles. Mantenga una pista de auditoría y compruebe periódicamente los escenarios de abuso.
Decisión de dirección de la empresa
El agente de seguridad tiene una autorización mínima y una misión claramente definida. Si no se puede determinar el impacto del error, el sistema no está listo para trabajar de forma autónoma.
