Čo je data poisoning
Data poisoning je zámerná manipulácia s údajmi s cieľom ovplyvniť výsledky modelu alebo automatizovaného systému. Môže zasiahnuť tréning, priebežné učenie, znalostnú databázu, vyhľadávanie či analytiku. Podobné znečistenie údajov môže vzniknúť aj neúmyselne pri chybnej integrácii alebo ľudskej chybe.
Ako vzniká útok alebo chyba
Škodlivé záznamy môžu preniknúť do verejne zbieraných údajov, importov, spätnej väzby alebo dokumentov používaných systémom RAG. Útočník sa snaží zmeniť všeobecné správanie alebo vyvolať chybu pri konkrétnej téme. Podobný účinok môže mať nesprávne mapovanie polí.
Pôvod a oprávnenia údajov
Každý zdroj má vlastníka, účel, dátum, verziu a pravidlá prístupu. Zápis do dôležitých kolekcií je obmedzený a auditovaný. Externý obsah sa oddeľuje od schválených znalostí a nezískava automaticky rovnakú dôveru.
Validácia a monitorovanie
Kontroly hľadajú neobvyklé hodnoty, náhle zmeny rozdelenia údajov, duplicity a rozpory s dôveryhodným zdrojom. Systém sleduje kvalitu odpovedí na stabilnej sade testov. Antivírusová kontrola sama nestačí, pretože škodlivá informácia môže byť technicky platným textom.
Reakcia a obnova
Pri podozrení sa zastaví ďalšie spracovanie, označia dotknuté verzie a zachovajú dôkazy. Tím obnoví posledný overený stav, upraví prístupy a opätovne otestuje správanie. Incident sa zdokumentuje vrátane rozsahu, príčiny a preventívnych opatrení.
Prístup PAR HOUSE Agency
Dátové toky navrhujeme s minimálnymi oprávneniami a dohľadateľným pôvodom. Oddeľujeme vstup používateľa od dôveryhodných pokynov, verzujeme znalosti a pravidelne testujeme kritické scenáre. Každá automatizácia umožňuje bezpečné zastavenie a návrat.
