Mi az LLM?
Az LLM egy nagy nyelvi modell, amely nagy mennyiségű szöveges és egyéb adatból tanul mintázatokat. A bemenet alapján előrejelzi a válasz következő részeit, és szöveggel, kóddal vagy strukturált információval dolgozhat. Nem ugyanúgy gondolkodik és ellenőrzi a tényeket, mint az ember.
Tokenek és kontextus
A modell tokenenként dolgozza fel az információt, és korlátozott kontextusablakkal rendelkezik. Ebben kell elférniük az utasításoknak, a beszélgetési előzményeknek, a dokumentumoknak és a várt kimenetnek. A hosszú kontextus növeli a költséget, de nem javítja automatikusan minden információ felhasználását.
Generálás és hallucinációk
A kimenet valószínűségi alapú, és meggyőzően megfogalmazott hibákat tartalmazhat. A tények, számítások és fontos döntések ellenőrzést igényelnek. A rendszernek kitalált válasz helyett jeleznie kell, ha nincs elegendő alapja a válaszadáshoz.
Tudás és eszközök
Az aktuális vállalati adatok kezelt forrásokból biztosíthatók, a modell pedig körülhatárolt függvényeket hívhat meg. Az információkeresés elkülönül a műveletek végrehajtásától. A jogosultságok, az ellenőrzés és az üzleti szabályok a szerveren, a modellen kívül maradnak.
Értékelés, biztonság és költségek
A modell kiválasztása valós feladatokon végzett teszteken, sebességen, költségeken és hibatípusokon alapul. Figyelni kell az adatvédelemre, a prompt injection támadásokra, az eszközökkel való visszaélésre és az érzékeny adatokra. A modell és a prompt verzióját rögzítjük az eredmények összehasonlításához.
A PAR HOUSE Agency megközelítése
Az LLM-et konkrét folyamatok részeként alkalmazzuk. Minőségi kontextust, mérhető értékeléseket, biztonságos funkciókat és emberi ellenőrzést kapcsolunk össze. A vállalat hasznos, ellenőrzött módon továbbfejleszthető ügynököt kap.
