Čo je embedding
Embedding predstavuje význam textu, obrázka alebo iného objektu pomocou číselného vektora. Objekty s podobným významom sa v tomto priestore nachádzajú blízko seba. Umožňuje to vyhľadávať podľa významu, nielen podľa presnej zhody slov.
Ako funguje v praxi
Vyhľadávanie tmavomodrej nepremokavej bundy môže nájsť produkt opísaný inými slovami, ak model rozpozná podobný význam. Rovnaký princíp slúži na odporúčania, zoskupovanie dokumentov, hľadanie podobných obrázkov a dopĺňanie kontextu pre asistenta AI.
Model a delenie obsahu
Model sa vyberá podľa jazyka, typu údajov, kvality a nákladov. Dlhý dokument sa delí na logické časti, ktoré zachovávajú význam a potrebný kontext. Príliš malé časti strácajú súvislosti; príliš veľké môžu zhoršiť presnosť a zvýšiť náklady.
Index a podobnosť
Vektory sa ukladajú do indexu spolu s metadátami a oprávneniami. Výsledky ovplyvňuje metrika podobnosti, filtre a počet kandidátov. Pred vrátením výsledku sa kontrolujú oprávnenia k dokumentu, aby sémantické vyhľadávanie neodhalilo cudzie údaje.
Testovanie a aktualizácia
Overuje sa relevantnosť prvých výsledkov, pokrytie dôležitých otázok, rýchlosť a nesprávne vyhodnotená podobnosť. Pri zmene modelu je spravidla potrebné znovu vytvoriť index. Testy zahŕňajú bežné otázky, náročné výnimky aj prípady, v ktorých sa výsledok nesmie vrátiť.
Prístup PAR HOUSE Agency
Embedding nasadzujeme po určení konkrétneho procesu a merateľnej kvality. Čistíme zdroje, volíme logické delenie, metadáta a bezpečnostné pravidlá. Výsledok porovnávame s bežným vyhľadávaním a riešenie rozširujeme iba vtedy, keď preukázateľne prináša lepšie odpovede.
