Co téma znamená v praxi
Prompt injection se pomocí podvrženého obsahu snaží přimět model, aby ignoroval instrukce, odhalil data nebo provedl nepovolenou akci.
Kdy řešení skutečně pomáhá
Ochrana před prompt injection je zvlášť důležitá, když agent čte externí obsah nebo používá nástroje, které mohou měnit data či kontaktovat zákazníka. Použití má vycházet z konkrétního problému, nikoli jen z dostupnosti nové funkce.
Jak připravit zavedení
Bezpečnost je třeba testovat na obtížných a záměrně upravených příkladech. Model nesmí sám rozšiřovat svá oprávnění a důvěrná data mají být oddělena od externího obsahu. V praxi je vhodné oddělit systémové instrukce od obsahu dokumentu, používat seznam povolených akcí a vyžadovat schválení citlivých činností.
Hranice, kterou nelze přehlédnout
Škodlivý text na stránce nebo v souboru se může pokusit převzít řízení a přimět agenta k odhalení dat. Před spuštěním je proto potřeba určit odpovědnou osobu pro rozhodování, pravidla eskalace a způsob bezpečného zastavení řešení.
Jak ověřit výsledek
V tomto případě je třeba měřit zablokované pokusy, nepovolená volání, účinnost testů red teamu a dobu od zjištění po odpojení přístupu. Výsledek je třeba porovnávat s předchozím způsobem práce, zvlášť pro běžné případy a složité výjimky.
