Mi a prompt injection?
A prompt injection a modell befolyásolására tett kísérlet, amely üzenetbe, dokumentumba, weboldalba vagy más feldolgozott forrásba rejtett rosszindulatú utasításokat használ. A támadó az eredeti feladatot módosítaná, adatokat szerezne meg vagy nem engedélyezett műveletet indítana. A kockázat nő, ha a modell eszközöket vezérel.
Közvetlen és közvetett támadások
A közvetlen manipuláció a beszélgetés felhasználójától érkezik. Közvetett támadás dokumentumban, e-mailben vagy forrásként megnyitott oldalon rejtőzhet. A külső tartalmakat ezért nem megbízható adatként kezeljük, nem magasabb rendű utasításként.
Jogosultságok és szerepek elkülönítése
A modell csak a feladathoz szükséges eszközöket kapja. A szerver mindig ellenőrzi az identitást, az erőforrás tulajdonosát és az engedélyezett hatókört. Az utasításoknak, felhasználói adatoknak és forrástartalmaknak külön szerepük van, hogy egy dokumentum ne módosíthassa a biztonsági szabályokat.
Érzékeny műveletek és megerősítés
Üzenetküldés, fizetés, közzététel és törlés ellenőrzést és tudatos megerősítést igényel. A rendszer pontosan megmutatja, mit és mely adatokkal fog végrehajtani. A modell nem fér hozzá közvetlenül titkos kulcsokhoz, és egyszerű szöveges kéréssel nem kerülheti meg a korlátokat.
Monitorozás és tesztelés
Az audit rögzíti az eszközhívásokat, az elutasított műveleteket és a szokatlan mintázatokat. A tesztek különböző formátumokban rejtett utasításokat, titkok megszerzésére tett kísérleteket és többlépéses támadásokat tartalmaznak. A védelmet minden modell- vagy integrációváltozás után ellenőrizzük.
A PAR HOUSE Agency megközelítése
Az ügynököket minimális jogosultságokkal és biztonságos alapbeállításokkal építjük. Elkülönítjük a nem megbízható tartalmat, megerősítjük az érzékeny lépéseket, és a modellen kívül érvényesítjük az üzleti szabályokat. Monitorozás és rendszeres tesztek egészítik ki a védelmet, amelyet egyetlen utasítás nem garantálhat.
