Čo je dôležité vedieť
Prompt injection je pokus prinútiť model ignorovať pravidlá, odhaliť dáta alebo vykonať neoprávnenú akciu. Riziko sa zvyšuje, keď agent číta externý obsah a zároveň má prístup k e-mailu, súborom, CRM alebo platbám.
Praktické využitie v podniku
Útočné príkazy môžu byť skryté v webovej stránke, dokumente alebo správách zákazníka.
Kvalita a bezpečnosť
Oddelenie čítať údaje od vykonávania akcií, obmedzenie nástrojov, filtrovanie vstupov a vyžadovanie ľudského schválenia pre citlivé kroky.
Rozhodnutie o vedení podniku
Bezpečný agent má minimálne oprávnenia a jasne stanovené úlohy, takže ak nemožno určiť vplyv chyby, systém nie je pripravený na samostatnú prácu.
