Mi az adatmérgezés?
Az adatmérgezés az adatok szándékos manipulálása a modell vagy az automatizált rendszer eredményeinek befolyásolására. Érintheti a tanítást, a folyamatos tanulást, a tudásbázist, a keresést vagy az elemzést. Hibás integráció vagy emberi hiba is okozhat hasonló hatású, véletlen adatszennyezést.
Hogyan keletkezik a támadás vagy a hiba?
Káros bejegyzések kerülhetnek a nyilvánosan gyűjtött adatokba, az importokba, a visszajelzésekbe vagy a RAG által használt dokumentumokba. A támadó az általános működést akarja megváltoztatni, vagy egy adott témánál akar hibát kiváltani. A mezők hibás megfeleltetése hasonló következménnyel járhat.
Az adatok eredete és hozzáférési szabályai
Minden forrásnak van felelőse, célja, dátuma, verziója és hozzáférési szabálya. A fontos adatgyűjtemények írását korlátozni és auditálni kell. A külső tartalmak elkülönülnek a jóváhagyott tudástól, és nem kapják automatikusan ugyanazt a bizalmi szintet.
Validálás és megfigyelés
Az ellenőrzések szokatlan értékeket, az adateloszlás hirtelen változásait, ismétlődéseket és megbízható forrással való ellentmondásokat keresnek. A rendszer állandó tesztkészleten követi a válaszok minőségét. A vírusellenőrzés önmagában nem elég: a káros információ technikailag érvényes szöveg is lehet.
Reagálás és helyreállítás
Gyanú esetén le kell állítani a további feldolgozást, meg kell jelölni az érintett verziókat, és meg kell őrizni a bizonyítékokat. A csapat visszaállítja az utolsó ellenőrzött állapotot, módosítja a hozzáféréseket és újrateszteli a működést. Dokumentálja az incidens hatókörét, okát és a megelőző intézkedéseket.
A PAR HOUSE Agency megközelítése
Az adatfolyamokat minimális jogosultságokkal és visszakövethető eredettel tervezzük. Elkülönítjük a felhasználói bemenetet a megbízható utasításoktól, verziókezeljük a tudásbázist, és rendszeresen teszteljük a kritikus eseteket. Minden automatizáció biztonságosan leállítható és visszaállítható.
