0
Ir al contenido

Seguridad de los agentes AI y ataques de inyección rápida

Prompt injection es un intento de hacer que un modelo ignore las reglas, revele los datos o realice una acción no autorizada. El riesgo aumenta cuando el agente lee contenido externo y al mismo tiempo tiene acceso a correo electrónico, archivos, CRM o pagos.

Qué significa en la práctica

La inyección de prompts intenta que el modelo ignore instrucciones, revele datos o ejecute una acción no permitida mediante contenido manipulado.

Cuándo ayuda realmente la solución

La protección es especialmente importante cuando el agente lee contenido externo o usa herramientas que pueden modificar datos o contactar con un cliente. El uso debe responder a un problema concreto, no solo a la disponibilidad de una nueva función.

Cómo preparar la implementación

La seguridad debe probarse con ejemplos difíciles y preparados deliberadamente. El modelo no debe ampliar sus propios permisos y los datos confidenciales deben separarse del contenido externo. En la práctica, conviene separar las instrucciones del sistema del documento, usar una lista de acciones permitidas y exigir aprobación para acciones sensibles.

Un límite que no debe ignorarse

Un texto malicioso en una página o archivo puede intentar tomar el control e inducir al agente a revelar datos. Por eso, antes de empezar hay que definir quién decide, las reglas de escalado y cómo detener la solución de forma segura.

Cómo comprobar el resultado

En este caso hay que medir intentos bloqueados, llamadas no autorizadas, eficacia de las pruebas de equipo rojo y tiempo desde la detección hasta el corte del acceso. El resultado debe compararse con la forma anterior de trabajar, separando los casos habituales de las excepciones difíciles.