Ce qu'est un LLM
Le LLM est un grand modèle linguistique qui apprend des modèles dans de vastes données textuelles et autres. Il prédit les parties suivantes de la réponse à partir de l'entrée et peut travailler avec du texte, du code ou de l'information structurée.
Il ne pense pas et ne vérifie pas les faits de la même façon qu'un humain.
Tokens et contexte
Le modèle traite les informations par jetons et dispose d'une fenêtre contextuelle limitée, qui contient des instructions, des histories, des documents et des résultats attendus. Le long contexte augmente les coûts et n'améliore pas automatiquement l'utilisation de chaque information.
Génération et hallucination
Le résultat est probable et peut contenir une erreur convaincante. Le système doit être capable d'admettre le manque de fondement plutôt que d'avoir une réponse inventée.
Connaissances et outils
Les données actuelles de l'entreprise peuvent être fournies à partir de sources gérées et le modèle peut appeler des fonctions limitées. La recherche d'informations est séparée de l'exécution d'une action, et les autorisations, les validations et les règles commerciales restent sur le serveur en dehors du modèle lui-même.
Évaluation, sécurité et coûts
Le choix du modèle est basé sur des tests sur les tâches réelles, la vitesse, le prix et le type d'erreur. La confidentialité, l'injection rapide, l'utilisation abusive des outils et les données sensibles sont suivis.
Accès à l'accès
Nous utilisons le LLM comme un processus, pas comme un chat auto-interdit, en combinant le contexte, les évaluations mesurables, les fonctions de sécurité et le contrôle humain. L'entreprise obtient un agent qui aide réellement et peut être développée de manière contrôlée.
