Ce que le sujet signifie en pratique
L’injection de prompt cherche, par un contenu manipulé, à pousser le modèle à ignorer ses instructions, révéler des données ou effectuer une action interdite.
Quand la solution aide réellement
La protection est particulièrement importante lorsque l’agent lit des contenus externes ou utilise des outils pouvant modifier des données ou contacter un client. L’usage doit découler d’un problème concret, pas de la seule disponibilité d’une nouvelle fonction.
Comment préparer le déploiement
La sécurité doit être testée sur des exemples difficiles et délibérément construits. Le modèle ne doit pas étendre lui-même ses droits et les données confidentielles doivent être séparées des contenus externes. En pratique, il convient de distinguer les instructions système du document, d’utiliser une liste d’actions autorisées et d’exiger une validation pour les actions sensibles.
Une limite à ne pas négliger
Un texte malveillant sur une page ou dans un fichier peut tenter de prendre le contrôle et d’inciter l’agent à révéler des données. Il faut donc définir avant le lancement le responsable des décisions, les règles d’escalade et la procédure d’arrêt sécurisé.
Comment vérifier le résultat
Il faut ici mesurer les tentatives bloquées, les appels non autorisés, l’efficacité des tests de l’équipe rouge et le délai entre détection et coupure de l’accès. Le résultat doit être comparé à la méthode précédente, séparément pour les cas courants et les exceptions difficiles.
