Che cos’è un embedding
Un embedding rappresenta il significato di un testo, di un’immagine o di un altro oggetto come un vettore di numeri. Gli oggetti con significato simile si trovano vicini in questo spazio. La ricerca può così basarsi sul senso, non soltanto sulla corrispondenza esatta delle parole.
Come funziona in pratica
La ricerca di una giacca impermeabile blu scuro può trovare un prodotto descritto con parole diverse, se il modello riconosce un significato simile. Lo stesso principio viene usato per raccomandazioni, raggruppamento di documenti, ricerca di immagini simili e recupero del contesto per un assistente IA.
Modello e suddivisione dei contenuti
Il modello viene scelto in base a lingua, tipo di dati, qualità e costo. Un documento lungo viene suddiviso in parti logiche che conservano significato e contesto. Frammenti troppo piccoli perdono collegamenti importanti; quelli troppo grandi possono ridurre la precisione e aumentare i costi.
Indice e similarità
I vettori vengono salvati in un indice insieme a metadati e autorizzazioni. Metrica di similarità, filtri e numero di candidati influenzano i risultati. L’accesso al documento viene verificato prima di restituirlo, per evitare che la ricerca semantica riveli dati non autorizzati.
Test e aggiornamento
Si misurano pertinenza dei primi risultati, copertura delle richieste importanti, velocità e false similarità. Quando si cambia modello, in genere occorre ricostruire l’indice. I test includono domande comuni, eccezioni difficili e casi in cui non deve essere restituito alcun risultato.
L’approccio di PAR HOUSE Agency
Adottiamo gli embedding dopo aver definito il processo e obiettivi di qualità misurabili. Puliamo le fonti e scegliamo suddivisione, metadati e regole di sicurezza. Confrontiamo il risultato con la ricerca tradizionale ed estendiamo l’uso soltanto se le risposte migliorano in modo dimostrabile.
