Co naprawdę oznacza to pojęcie
Celowe zanieczyszczenie danych uczących, wyszukiwanych lub dostarczanych modelowi w celu wpłynięcia na jego wynik.
Jak wygląda w praktyce
Zatrute dane mogą wprowadzić ukryty wzorzec do treningu, indeksu wyszukiwania albo dokumentów pobieranych przez RAG i zmieniać odpowiedzi tylko w określonych sytuacjach.
Najważniejsza decyzja przed wdrożeniem
Ochrona wymaga znajomości pochodzenia danych, kontroli zmian, separacji źródeł i możliwości cofnięcia wadliwej partii.
Jak sprawdzić, czy rozwiązanie działa
Obserwuj nagłe przesunięcia wyników, nietypowe dokumenty w wyszukiwaniu, anomalie jakości i rozbieżności między zaufanym zbiorem testowym a produkcją. Wynik należy porównać z ustaloną wersją bazową i analizować osobno dla prostych spraw, trudnych wyjątków oraz przypadków wymagających człowieka. Praktyczny test Data Poisoning powinien mieć właściciela, datę przeglądu i zapisany przykład wyniku, którego zespół nie zaakceptuje.
Podejście PAR HOUSE Agency
Pracę z Data Poisoning zaczynamy od procesu, a nie od demonstracji narzędzia. Ochrona wymaga znajomości pochodzenia danych, kontroli zmian, separacji źródeł i możliwości cofnięcia wadliwej partii. Następnie budujemy mały, mierzalny zakres, zapisujemy założenia i dopiero po kontroli jakości rozszerzamy zastosowanie.
