Co téma znamená v praxi
Halucinace vzniká, když model vytváří důvěryhodně znějící informaci bez dostatečné opory v datech nebo zdrojích.
Kdy řešení skutečně pomáhá
Omezování halucinací je zvlášť důležité, když se odpověď týká faktů, dokumentů nebo dat, jejichž správnost lze porovnat se zdrojem. Použití má vycházet z konkrétního problému, nikoli jen z dostupnosti nové funkce.
Jak připravit zavedení
Bezpečnost je třeba testovat na obtížných a záměrně upravených příkladech. Model nesmí sám rozšiřovat svá oprávnění a důvěrná data mají být oddělena od externího obsahu. V praxi je vhodné vyžadovat citaci konkrétního úryvku, omezit odpověď na dostupná data a nejisté případy předávat člověku.
Hranice, kterou nelze přehlédnout
Jistější tón neznamená větší pravdivost a model může spojit pravdivé prvky do nepravdivého závěru. Před spuštěním je proto potřeba určit odpovědnou osobu pro rozhodování, pravidla eskalace a způsob bezpečného zastavení řešení.
Jak ověřit výsledek
V tomto případě je třeba měřit podíl tvrzení podložených zdrojem, kritické chyby, správná odmítnutí a čas potřebný k ověření. Výsledek je třeba porovnávat s předchozím způsobem práce, zvlášť pro běžné případy a složité výjimky.
