Mit jelent a téma a gyakorlatban?
A Prompt Injection manipulált tartalommal próbálja rávenni a modellt az utasítások megkerülésére, adatok felfedésére vagy tiltott művelet elvégzésére.
Mikor segít valóban a megoldás?
Akkor van a legtöbb értelme, amikor az ügynök külső tartalmat olvas, vagy olyan eszközöket használ, amelyek adatokat módosíthatnak vagy ügyfelekkel léphetnek kapcsolatba. Az alkalmazásnak konkrét problémából kell kiindulnia, nem pusztán egy új funkció elérhetőségéből.
Hogyan készítsük elő a bevezetést?
A biztonságot nehéz és szándékosan összeállított példákon kell tesztelni. A modell nem bővítheti önállóan a jogosultságait, a bizalmas adatokat pedig el kell választani a kívülről származó tartalomtól. A gyakorlatban érdemes elkülöníteni a rendszerutasításokat a dokumentum tartalmától, engedélyezett műveletlistát használni, és az érzékeny lépésekhez jóváhagyást kérni.
A korlát, amelyet nem szabad figyelmen kívül hagyni
Egy oldalon vagy fájlban található rosszindulatú szöveg megpróbálhatja átvenni az irányítást és adatfelfedésre késztetni az ügynököt. Ezért indulás előtt meg kell határozni a döntés felelősét, az eszkaláció szabályait és a megoldás biztonságos leállításának módját.
Hogyan ellenőrizzük az eredményt?
Ebben az esetben mérni kell a blokkolt próbálkozásokat, a jogosulatlan hívásokat, a red team tesztek eredményességét és az észleléstől a hozzáférés megszüntetéséig eltelt időt. Az eredményt a korábbi munkamódszerrel kell összevetni, külön a szokásos esetekre és a nehéz kivételekre.
