Co je halucinace AI
Halucinace AI je odpověď, která zní věrohodně, ale obsahuje nepravdivé, smyšlené nebo nepodložené tvrzení. Může jít o neexistující citaci, chybnou cenu, vymyšlený stav objednávky nebo jisté vysvětlení, které zdroj vůbec neobsahuje.
Plynulý jazyk modelu není důkazem správnosti.
Proč halucinace vznikají
Jazykový model vytváří pravděpodobné pokračování na základě kontextu a naučených vzorů. Chybějící, zastaralá nebo nejednoznačná data zvyšují prostor pro domněnku. Problém může způsobit také špatné vyhledání zdroje, nepřesná instrukce, příliš dlouhá historie nebo chybný výsledek externího nástroje.
Riziko pro značku a zákazníka
V e-Commerce může systém doporučit neexistující variantu, nesprávné složení, termín dodání nebo podmínku vrácení. U kliniky či stomatologie může chyba ovlivnit zdraví, souhlas nebo rozhodnutí o návštěvě. Čím větší je důsledek tvrzení, tím méně prostoru má agent pro volnou odpověď.
Jak riziko omezit
Grounding připojuje ověřené a aktuální zdroje, Tool Use načítá stav z autoritativního systému a Guardrails omezují nedovolené oblasti. Kritické hodnoty se validují pravidlem mimo model. Pokud podklad chybí nebo si zdroje odporují, správným výsledkem je doplňující otázka, přiznaná nejistota nebo předání člověku.
Jak halucinace testovat
Testovací sada obsahuje běžné dotazy, neúplné otázky, záměrně nepravdivý předpoklad, konflikt dat a případy mimo znalostní základnu. Hodnotí se každé podstatné tvrzení, závažnost chyby, schopnost odmítnout odpověď a kvalita eskalace. Výsledky se sledují samostatně podle jazyka, tématu a nástroje.
Přístup PAR HOUSE Agency
Asistenta AI nestavíme jako improvizující chat, ale jako řízenou součást služby. Pro kliniky, zdraví, parfémy, bižuterii a e-Commerce premium propojujeme odpovědi s aktuálními daty a jasnou odpovědností. Pravidelně měříme kvalitu a rozšiřujeme rozsah až tehdy, když systém bezpečně zvládá také nedostatek informací.
