Čo je halucinácia AI?
Halucinácia AI je dôveryhodne znejúca odpoveď s nepravdivými, vymyslenými alebo nepodloženými tvrdeniami. Môže ísť o neexistujúcu citáciu, nesprávnu cenu, vymyslený stav objednávky alebo sebavedomé vysvetlenie, ktoré zdroj vôbec nepodporuje. Plynulý jazyk modelu nie je dôkazom správnosti.
Prečo halucinácie vznikajú
Jazykový model vytvára pravdepodobné pokračovanie na základe kontextu a naučených vzorcov. Chýbajúce, zastarané alebo nejednoznačné údaje zväčšujú priestor pre domnienky. Problém môže spôsobiť aj nesprávny výber zdrojov, nepresné pokyny, príliš dlhá história komunikácie alebo chybný výsledok externého nástroja.
Riziká pre značku a zákazníka
V e-commerce môže systém odporučiť neexistujúci variant alebo uviesť nesprávne zloženie, termín doručenia či podmienky vrátenia. V klinike alebo stomatológii môže chyba ovplyvniť zdravie, súhlas alebo rozhodnutie o návšteve. Čím závažnejšie sú dôsledky tvrdenia, tým menej priestoru má agent na voľnú odpoveď bez podkladu.
Ako obmedziť riziko
Grounding pripája overené a aktuálne zdroje. Nástroje načítavajú stav z autoritatívnych systémov a guardrails obmedzujú nepovolené oblasti. Kritické hodnoty overujú pravidlá mimo modelu. Ak chýbajú podklady alebo si zdroje odporujú, správnym výsledkom je doplňujúca otázka, priznanie neistoty alebo odovzdanie prípadu človeku.
Ako testovať halucinácie
Testy obsahujú bežné otázky, neúplné otázky, zámerne nepravdivé predpoklady, rozporné údaje a prípady mimo znalostnej základne. Hodnotí sa každé podstatné tvrdenie, závažnosť chýb, schopnosť neodpovedať bez dostatočného podkladu a kvalita eskalácie. Výsledky sa sledujú oddelene podľa jazyka, témy a nástroja.
Prístup PAR HOUSE Agency
AI asistenta tvoríme ako riadenú súčasť služby. Pre kliniky, zdravotníctvo, parfumy, šperky a e-commerce prepájame odpovede s aktuálnymi údajmi a jasnou zodpovednosťou. Pravidelne meriame kvalitu a rozsah rozširujeme až vtedy, keď systém bezpečne zvláda aj nedostatok informácií.
