Qu’est-ce qu’une injection de prompt ?
Une injection de prompt tente d’influencer un modèle par des consignes malveillantes placées dans un message, un document, une page web ou une autre source traitée. L’attaquant cherche à modifier la tâche initiale, à obtenir des données ou à déclencher une action non autorisée. Le risque augmente lorsque le modèle contrôle des outils.
Attaques directes et indirectes
La manipulation directe vient de l’utilisateur dans la conversation. Une attaque indirecte peut être cachée dans un document, un e-mail ou une page consultée comme source. Tout contenu externe est donc traité comme une donnée non fiable, et non comme une règle prioritaire.
Autorisations et séparation des rôles
Le modèle reçoit uniquement les outils nécessaires à la tâche. Le serveur vérifie toujours l’identité, la propriété des ressources et le périmètre autorisé. Consignes, données utilisateur et contenus des sources ont des rôles distincts pour empêcher un document de modifier lui-même la politique de sécurité.
Actions sensibles et confirmations
Envoi de messages, paiement, publication et suppression nécessitent une validation et une confirmation éclairée. Le système indique précisément l’action prévue et les données concernées. Le modèle n’accède pas directement aux clés secrètes et ne peut contourner les limites par une simple demande textuelle.
Suivi et tests
L’audit enregistre les appels d’outils, les opérations refusées et les comportements inhabituels. Les tests comprennent des consignes cachées dans plusieurs formats, des tentatives d’accès aux secrets et des attaques en plusieurs étapes. La protection est vérifiée après chaque changement du modèle ou des intégrations.
L’approche de PAR HOUSE Agency
Nous construisons les agents selon le principe du moindre privilège et avec des paramètres sûrs par défaut. Nous isolons les contenus non fiables, confirmons les étapes sensibles et appliquons les règles métier hors du modèle. Le suivi et les tests réguliers complètent une protection qu’une seule consigne ne peut assurer.
