Čo téma znamená v praxi
Prompt Injection sa prostredníctvom zámerne pripraveného obsahu pokúša prinútiť model, aby obišiel pokyny, odhalil údaje alebo vykonal nepovolenú činnosť.
Kedy riešenie skutočne pomáha
Najväčší zmysel má, keď agent číta externý obsah alebo používa nástroje, ktoré môžu meniť údaje alebo kontaktovať klienta. Použitie má vychádzať z konkrétneho problému, nie iba z dostupnosti novej funkcie.
Ako pripraviť zavedenie
Bezpečnosť treba testovať na náročných a zámerne pripravených príkladoch. Model nesmie samostatne rozširovať svoje oprávnenia a dôverné údaje majú byť oddelené od obsahu pochádzajúceho zvonka. V praxi je vhodné oddeliť systémové pokyny od obsahu dokumentu, používať zoznam povolených akcií a vyžadovať schválenie citlivých činností.
Hranica, ktorú nemožno prehliadnuť
Škodlivý text na stránke alebo v súbore sa môže pokúsiť prevziať riadenie a prinútiť agenta odhaliť údaje. Pred spustením preto treba určiť osobu zodpovednú za rozhodnutie, pravidlá eskalácie a spôsob bezpečného zastavenia riešenia.
Ako overiť výsledok
V tomto prípade treba merať zablokované pokusy, neoprávnené volania, účinnosť testov red teamu a čas od odhalenia po odobratie prístupu. Výsledok treba porovnávať s predchádzajúcim spôsobom práce, osobitne pre bežné prípady a náročné výnimky.
