Che cos’è il data poisoning
Il data poisoning è una manipolazione intenzionale dei dati volta a falsare i risultati di un modello o di un sistema automatizzato. Può interessare addestramento, apprendimento continuo, basi di conoscenza, ricerca e analisi. Anche integrazioni difettose o errori umani possono causare contaminazioni accidentali con effetti simili.
Come nasce un attacco o un errore
Record dannosi possono essere inseriti in dati raccolti pubblicamente, importazioni, feedback o documenti usati da RAG. L’attaccante cerca di alterare il comportamento generale o provocare un errore su un tema specifico. Una mappatura errata dei campi può produrre un effetto analogo.
Provenienza e autorizzazioni
Ogni fonte ha un responsabile, una finalità, una data, una versione e regole di accesso. Le scritture nelle raccolte importanti sono limitate e sottoposte ad audit. I contenuti esterni restano separati dalle conoscenze approvate e non ricevono automaticamente lo stesso livello di fiducia.
Validazione e monitoraggio
I controlli cercano valori insoliti, variazioni improvvise della distribuzione, duplicati e conflitti con fonti affidabili. Il sistema segue la qualità delle risposte su un insieme stabile di test. Il solo antivirus non basta: un’informazione dannosa può essere contenuta in un testo tecnicamente valido.
Risposta e ripristino
In caso di sospetto si interrompe l’elaborazione, si identificano le versioni interessate e si conservano le prove. Il team ripristina l’ultimo stato verificato, modifica gli accessi e testa nuovamente il comportamento. L’incidente viene documentato indicando estensione, causa e misure preventive.
L’approccio di PAR HOUSE Agency
Progettiamo flussi con privilegi minimi e provenienza tracciabile. Separiamo gli input degli utenti dalle istruzioni affidabili, gestiamo le versioni delle conoscenze e testiamo regolarmente gli scenari critici. Ogni automazione prevede un arresto sicuro e la possibilità di ripristino.
