Mi az embedding?
Az embedding egy szöveg, kép vagy más objektum jelentését számvektorként ábrázolja. A hasonló jelentésű objektumok közel helyezkednek el egymáshoz ebben a térben. Ez lehetővé teszi a jelentés szerinti keresést a szavak pontos egyezése helyett.
Hogyan működik a gyakorlatban?
Egy sötétkék esőkabátra irányuló keresés más szavakkal leírt terméket is megtalálhat, ha a modell felismeri a jelentésbeli hasonlóságot. Ugyanez az elv használható ajánlásokhoz, dokumentumok csoportosításához, hasonló képek kereséséhez és az MI-asszisztens kontextusának kiegészítéséhez.
Modellválasztás és a tartalom felosztása
A modellt a nyelv, az adattípus, a minőség és a költség alapján választjuk ki. A hosszú dokumentumot logikus részekre kell bontani, megőrizve a jelentést és a szükséges környezetet. A túl kicsi részletekből elvesznek az összefüggések; a túl nagyok ronthatják a pontosságot és növelhetik a költségeket.
Index és hasonlóság
A vektorokat metaadatokkal és jogosultságokkal együtt tároljuk az indexben. A hasonlósági mérőszám, a szűrők és a jelöltek száma befolyásolja az eredményeket. A dokumentumhoz való jogosultságot az eredmény visszaadása előtt ellenőrizni kell, hogy a szemantikus keresés ne fedjen fel idegen adatokat.
Tesztelés és frissítés
Vizsgáljuk az első találatok relevanciáját, a fontos kérdések lefedettségét, a sebességet és a téves hasonlóságokat. Modellváltáskor általában újra kell építeni az indexet. A tesztkészlet szokásos kérdéseket, nehéz kivételeket és olyan eseteket is tartalmaz, amelyeknél nem szabad találatot visszaadni.
A PAR HOUSE Agency megközelítése
Embeddinget konkrét folyamat és mérhető minőségi célok meghatározása után alkalmazunk. Megtisztítjuk a forrásokat, megválasztjuk a felosztást, a metaadatokat és a biztonsági szabályokat. A hagyományos kereséssel összehasonlítva értékeljük az eredményt, és csak bizonyítható javulás esetén bővítjük a megoldást.
