Che cos’è la prompt injection?
La prompt injection tenta di influenzare un modello con istruzioni dannose inserite in messaggi, documenti, pagine web o altre fonti elaborate. L’attaccante vuole modificare il compito originale, ottenere dati o avviare azioni non autorizzate. Il rischio aumenta quando il modello controlla strumenti.
Attacchi diretti e indiretti
La manipolazione diretta proviene dall’utente nella conversazione. Un attacco indiretto può essere nascosto in documenti, e-mail o pagine consultate come fonti. I contenuti esterni vengono quindi trattati come dati non attendibili, non come istruzioni prioritarie.
Permessi e separazione dei ruoli
Il modello riceve solo gli strumenti necessari al compito. Il server verifica sempre identità, proprietà delle risorse e ambito consentito. Istruzioni, dati dell’utente e contenuti delle fonti hanno ruoli distinti, così un documento non può modificare autonomamente le regole di sicurezza.
Azioni sensibili e conferme
Invio di messaggi, pagamenti, pubblicazioni ed eliminazioni richiedono validazione e conferma consapevole. Il sistema mostra esattamente che cosa farà e con quali dati. Il modello non accede direttamente alle chiavi segrete e non può aggirare i limiti con una semplice richiesta testuale.
Monitoraggio e test
L’audit registra chiamate agli strumenti, operazioni rifiutate e comportamenti insoliti. I test includono istruzioni nascoste in diversi formati, tentativi di ottenere segreti e attacchi composti da più passaggi. La protezione viene verificata dopo ogni modifica al modello o alle integrazioni.
L’approccio di PAR HOUSE Agency
Costruiamo agenti con privilegi minimi e impostazioni sicure predefinite. Isoliamo i contenuti non attendibili, confermiamo i passaggi sensibili e applichiamo le regole aziendali fuori dal modello. Monitoraggio e test periodici completano una protezione che una sola istruzione non può garantire.
