Čo je LLM?
LLM je veľký jazykový model, ktorý sa učí vzorce z rozsiahlych textových aj ďalších údajov. Na základe vstupu predpovedá ďalšie časti odpovede a môže pracovať s textom, kódom alebo štruktúrovanými informáciami. Nemyslí ani neoveruje fakty rovnakým spôsobom ako človek.
Tokeny a kontext
Model spracúva informácie po tokenoch a má obmedzené kontextové okno. Musia sa doň zmestiť pokyny, história komunikácie, dokumenty aj očakávaný výstup. Dlhý kontext zvyšuje náklady a nezaručuje lepšie využitie každej informácie.
Generovanie a halucinácie
Výstup je pravdepodobnostný a môže obsahovať presvedčivo formulované chyby. Fakty, výpočty a dôležité rozhodnutia vyžadujú overenie. Systém musí vedieť priznať nedostatok podkladov namiesto vymýšľania odpovedí.
Znalosti a nástroje
Aktuálne firemné údaje sa môžu poskytovať z riadených zdrojov a model môže volať presne vymedzené funkcie. Vyhľadanie informácií je oddelené od vykonania akcie. Oprávnenia, validácia a obchodné pravidlá zostávajú na serveri mimo samotného modelu.
Hodnotenia, bezpečnosť a náklady
Výber modelu vychádza z testov na reálnych úlohách, rýchlosti, nákladov a typov chýb. Sleduje sa súkromie, prompt injection, zneužitie nástrojov a citlivé údaje. Verzie modelu a promptov sa evidujú na porovnávanie výsledkov.
Prístup PAR HOUSE Agency
LLM nasadzujeme do konkrétnych procesov. Prepájame kvalitný kontext, merateľné hodnotenia, bezpečné funkcie a ľudskú kontrolu. Firma získava užitočného agenta, ktorého možno ďalej riadene rozvíjať.
