Čo sú guardrails?
Guardrails sú technické a procesné pravidlá určujúce, aké údaje môže AI systém prijímať, ako môže odpovedať a aké akcie môže vykonať. Nejde len o filter zakázaných slov: kontroly prebiehajú pred spracovaním, počas rozhodovania, pri použití nástroja a pred odovzdaním výsledku. Dobré zabezpečenie obmedzuje škody a zachováva užitočnosť služby.
Ochrana vstupov a znalostí
Vstupy sa kontrolujú na citlivé údaje, pokusy o manipuláciu pokynov a nebezpečné požiadavky. Vyhľadávanie znalostí rešpektuje rolu používateľa, účel relácie a oprávnenia ku konkrétnym dokumentom. Obsah webu, e-mailu či prílohy sa považuje za údaje, nie za nadradený pokyn pre agenta.
Odpovede a odborné hranice
Systém rozpoznáva témy, pri ktorých má odpovedať iba z overených zdrojov, požiadať o doplnenie alebo odovzdať prípad človeku. V klinickom prostredí nesmie poskytovať individuálne zdravotné odporúčania bez oprávneného odborníka. Nesmie si vymýšľať vlastnosti, ceny ani dostupnosť parfumov, šperkov alebo služieb.
Nástroje a záväzné akcie
Každý nástroj dostáva iba potrebné oprávnenia. Čítanie je oddelené od zmien, odosielania, rezervácií, nákupov a mazania. Pred záväznou akciou používateľ vidí cieľ, cenu, menu a následky a vedome ju potvrdí. Opakovanie požiadavky nesmie vytvoriť dvojitú platbu ani dve rezervácie.
Testovanie a prevádzkový dohľad
Testy zahŕňajú priame aj nepriame obchádzanie pravidiel, viacero jazykov, rozporné zdroje, neúplné údaje a reťazce zdanlivo bezpečných krokov vedúcich k rizikovému výsledku. Merajú sa nesprávne povolené škodlivé akcie, neopodstatnené blokovania, rýchlosť eskalácie a vplyv na dokončenie úlohy. Každý incident má zodpovednú osobu a dohľadateľnú históriu.
Prístup PAR HOUSE Agency
Guardrails navrhujeme podľa konkrétnej cesty zákazníka a možných následkov chyby. Agenti pre zdravotníctvo, kliniky alebo e-commerce dostávajú presne vymedzené zdroje, nástroje a hranice. Bezpečnosť priebežne overujeme na reálnych scenároch, aby zákazník získal rýchlu pomoc bez skrytých rizík pre údaje, povesť a podnikanie.
