Co je Prompt Injection
Prompt Injection je pokus ovlivnit model škodlivou instrukcí vloženou do zprávy, dokumentu, webové stránky nebo jiného zpracovávaného zdroje. Útočník se snaží změnit původní úkol, získat data nebo spustit nepovolenou akci.
Riziko roste, když model ovládá nástroje.
Přímý a nepřímý útok
Přímá manipulace přichází od uživatele v konverzaci. Nepřímá může být ukrytá v dokumentu, e-mailu nebo načtené stránce, kterou agent považuje za zdroj informací. Každý externí obsah se proto zpracovává jako nedůvěryhodná data, ne jako nadřazené pravidlo.
Oprávnění a oddělení rolí
Model dostává pouze nástroje nezbytné pro daný úkol. Server vždy kontroluje identitu, vlastnictví a povolený rozsah. Instrukce, uživatelská data a obsah zdrojů mají oddělené role, aby dokument nemohl sám změnit bezpečnostní politiku.
Citlivé akce a potvrzení
Odeslání zprávy, platba, publikace nebo smazání vyžadují validaci a vědomé potvrzení. Systém ukazuje, co přesně provede a s jakými údaji. Model nemá přímý přístup k tajným klíčům ani možnost obejít omezení pouze textovým požadavkem.
Monitoring a testování
Audit zaznamenává volání nástrojů, zamítnuté operace a neobvyklé vzorce. Testy obsahují instrukce ukryté v různých formátech, pokusy o získání tajemství a kombinace více kroků. Obrana se ověřuje po každé změně modelu nebo integrace.
Přístup PAR HOUSE Agency
Agenty AI stavíme podle principu minimálních oprávnění a bezpečného výchozího stavu. Nedůvěryhodný obsah izolujeme, citlivé kroky potvrzujeme a obchodní pravidla vynucujeme mimo model. Monitoring a pravidelné testy doplňují ochranu, kterou nelze vyřešit jednou instrukcí.
