Co je data poisoning
Data poisoning je narušení dat tak, aby model nebo automatizovaný systém učinil chybný závěr. Může zasáhnout trénink, průběžné učení, znalostní databázi, vyhledávání nebo analytiku. Příčinou může být útok, nekvalitní integrace i lidská chyba.
Jak útok nebo chyba vzniká
Škodlivé záznamy mohou být vloženy do veřejně sbíraných dat, importu, zpětné vazby nebo dokumentů používaných systémem RAG. Útočník se snaží změnit obecné chování nebo vyvolat chybu u konkrétního tématu. Stejný efekt může vytvořit špatné mapování polí.
Původ a oprávnění dat
Každý zdroj má vlastníka, účel, datum, verzi a pravidla přístupu. Zápis do důležitých kolekcí je omezený a auditovaný. Externí obsah se odděluje od schválených znalostí a nedostává automaticky stejnou důvěru.
Validace a monitoring
Kontroly hledají neobvyklé hodnoty, náhlé změny distribuce, duplicity a konflikty s důvěryhodným zdrojem. Systém sleduje kvalitu odpovědí na stabilní sadě testů. Samotná antivirová kontrola nestačí, protože škodlivá informace může být technicky platným textem.
Reakce a obnova
Při podezření se zastaví další zpracování, označí dotčené verze a zachovají důkazy. Tým obnoví poslední ověřený stav, změní přístupy a znovu otestuje chování. Incident se dokumentuje včetně rozsahu, příčiny a preventivních opatření.
Přístup PAR HOUSE Agency
Datové toky navrhujeme s minimálními oprávněními a dohledatelným původem. Oddělujeme vstup uživatele od důvěryhodných instrukcí, verzujeme znalosti a pravidelně testujeme kritické scénáře. Každá automatizace má možnost bezpečného zastavení a návratu.
