Che cos'è il data poisoning
Data poisoning è la distruzione dei dati in modo che un modello o un sistema automatico possa concludere erroneamente. Può interessare la formazione, l'apprendimento continuo, i database di conoscenze, la ricerca o l'analisi, può essere causata da un attacco, da un'integrazione di scarsa qualità o da un errore umano.
Come si verifica un attacco o un errore
I dati dannosi possono essere inseriti in dati raccolti pubblicamente, importati, feedback o documenti utilizzati dal sistema RAG. L'aggressore cerca di cambiare il comportamento generale o di provocare un errore in un tema specifico.
Origine e legittimazione dei dati
Ogni fonte ha un proprietario, una finalità, una data, una versione e regole di accesso. Il contenuto esterno si separa dalla conoscenza approvata e non riceve automaticamente la stessa fiducia.
Validazione e monitoraggio
I controlli cercano valori insoliti, improvvisi cambiamenti di distribuzione, duplicità e conflitti con una fonte di fiducia. Il sistema monitorizza la qualità delle risposte a un set di test stabili.
Riproduzione e riproduzione
In caso di sospetto, si fermano ulteriori trattamenti, si segnalano le versioni in questione e si conservano le prove. Il team ripristina lo stato verificato, modifica gli approcci e riprova il comportamento.
Accesso PAR HOUSE Agency
Progettamo i flussi di dati con le autorizzazioni minime e le origini visibili. Separamo l'accesso dell'utente dalle istruzioni affidabili, versioniamo le conoscenze e testamo periodicamente i scenari critici. Ogni automazione ha la possibilità di fermarsi e tornare indietro.
