Che cosa significa in pratica
La prompt injection tenta di indurre il modello a ignorare istruzioni, divulgare dati o eseguire azioni non consentite attraverso contenuti manipolati.
Quando la soluzione aiuta davvero
La protezione è particolarmente importante quando l’agente legge contenuti esterni o usa strumenti che possono modificare dati o contattare un cliente. L’impiego dovrebbe derivare da un problema concreto, non dalla sola disponibilità di una nuova funzionalità.
Come preparare l’implementazione
La sicurezza va testata con esempi difficili e appositamente preparati. Il modello non deve ampliare autonomamente le proprie autorizzazioni e i dati riservati devono essere separati dai contenuti esterni. In pratica è utile separare le istruzioni di sistema dal documento, usare una lista di azioni consentite e richiedere approvazione per le azioni sensibili.
Un limite da non trascurare
Un testo malevolo in una pagina o in un file può tentare di assumere il controllo e indurre l’agente a divulgare dati. Prima dell’avvio occorre quindi definire chi decide, le regole di escalation e il modo di fermare la soluzione in sicurezza.
Come verificare il risultato
In questo caso bisogna misurare tentativi bloccati, chiamate non autorizzate, efficacia dei test del red team e tempo tra rilevamento e revoca dell’accesso. Il risultato va confrontato con il precedente metodo di lavoro, separatamente per i casi ordinari e le eccezioni difficili.
