Co naprawdę oznacza to pojęcie
Atak polegający na umieszczeniu instrukcji, która ma zmienić zachowanie modelu, ominąć zasady lub uzyskać niedozwolony dostęp.
Jak wygląda w praktyce
Instrukcja ukryta na stronie lub w dokumencie może nakazać agentowi ujawnienie danych albo użycie narzędzia wbrew intencji użytkownika.
Najważniejsza decyzja przed wdrożeniem
Treści zewnętrzne trzeba traktować jako dane, nie polecenia; potrzebne są separacja instrukcji, ograniczone narzędzia i potwierdzenie ryzykownych akcji.
Jak sprawdzić, czy rozwiązanie działa
Testuj wstrzyknięcia bezpośrednie i pośrednie, wielojęzyczne obejścia, wyciek kontekstu i możliwość wykonania działania mimo blokady odpowiedzi. Wynik należy porównać z ustaloną wersją bazową i analizować osobno dla prostych spraw, trudnych wyjątków oraz przypadków wymagających człowieka. Praktyczny test Prompt Injection powinien mieć właściciela, datę przeglądu i zapisany przykład wyniku, którego zespół nie zaakceptuje.
Podejście PAR HOUSE Agency
Pracę z Prompt Injection zaczynamy od procesu, a nie od demonstracji narzędzia. Treści zewnętrzne trzeba traktować jako dane, nie polecenia; potrzebne są separacja instrukcji, ograniczone narzędzia i potwierdzenie ryzykownych akcji. Następnie budujemy mały, mierzalny zakres, zapisujemy założenia i dopiero po kontroli jakości rozszerzamy zastosowanie.
