Čo je prompt injection?
Prompt injection je pokus ovplyvniť model škodlivými pokynmi vloženými do správy, dokumentu, webovej stránky či iného spracúvaného zdroja. Útočník sa snaží zmeniť pôvodnú úlohu, získať údaje alebo spustiť nepovolenú akciu. Riziko rastie, keď model ovláda nástroje.
Priame a nepriame útoky
Priama manipulácia pochádza od používateľa v konverzácii. Nepriamy útok môže byť skrytý v dokumente, e-maile alebo načítanej stránke, ktorú agent používa ako zdroj. Externý obsah sa preto spracúva ako nedôveryhodné údaje, nie ako nadradené pokyny.
Oprávnenia a oddelenie rolí
Model dostáva iba nástroje potrebné na danú úlohu. Server vždy overuje identitu, vlastníctvo zdrojov a povolený rozsah. Pokyny, používateľské údaje a obsah zdrojov majú oddelené roly, aby dokument nemohol sám meniť bezpečnostnú politiku.
Citlivé akcie a potvrdenia
Odosielanie správ, platby, publikovanie a mazanie vyžadujú validáciu a vedomé potvrdenie. Systém presne ukazuje, čo vykoná a s akými údajmi. Model nemá priamy prístup k tajným kľúčom a nemôže obísť obmedzenia obyčajnou textovou požiadavkou.
Monitorovanie a testovanie
Audit zaznamenáva volania nástrojov, zamietnuté operácie a neobvyklé vzorce. Testy zahŕňajú skryté pokyny v rôznych formátoch, pokusy o získanie tajných údajov a viacstupňové útoky. Ochrana sa overuje po každej zmene modelu alebo integrácií.
Prístup PAR HOUSE Agency
Agentov tvoríme s minimálnymi oprávneniami a bezpečnými predvolenými nastaveniami. Izolujeme nedôveryhodný obsah, potvrdzujeme citlivé kroky a vynucujeme obchodné pravidlá mimo modelu. Monitorovanie a pravidelné testy dopĺňajú ochranu, ktorú jediný pokyn nedokáže zabezpečiť.
