Configuration LLM

Guida peut utiliser un LLM local pour l’inférence dans les scripts : classification de contenu, extraction de données structurées, génération de résumés ou réponses à des questions sur le contenu d’une page. Deux fournisseurs sont pris en charge.

Fournisseurs

Ollama (recommandé)

Ollama exécute les modèles comme serveur local. C’est le meilleur choix pour la plupart des utilisateurs : configuration simple, gestion des modèles et prise en charge de la vision.

Configuration :

1. Installez Ollama.
2. Téléchargez un modèle : ollama pull llama3.2.
3. Dans Guida, ouvrez Settings > AI Assistant.
4. Sélectionnez Ollama comme fournisseur.
5. Définissez l’endpoint, par défaut http://127.0.0.1:11434.
6. Choisissez votre modèle par défaut dans la liste.

Ollama prend en charge plusieurs emplacements de modèles :

Emplacement	Utilisé pour
Default	Prompts généraux via g.llm.promptLocalLlm()
Code	Tâches propres au code, facultatif
Vision	Compréhension d’image avec le paramètre image, facultatif
Voice	Traitement des commandes vocales, facultatif

LlamaSharp (hors ligne)

LlamaSharp charge directement les fichiers de modèles GGUF, sans serveur. C’est le meilleur choix pour un usage entièrement hors ligne.

Configuration :

1. Téléchargez un fichier de modèle GGUF, par exemple depuis Hugging Face.
2. Dans Guida, ouvrez Settings > AI Assistant.
3. Sélectionnez LlamaSharp comme fournisseur.
4. Sélectionnez votre fichier GGUF, ou collez une URL de téléchargement ; Guida l’enregistre dans %AppData%/Guida/models/.
5. Configurez la taille de contexte et les couches GPU.

LlamaSharp prend en charge les mêmes emplacements de modèles multiples : default, code et voice. La vision sera ajoutée dans de futures versions.

Le chargement du modèle est différé jusqu’à la première utilisation. Vous pouvez le déclencher manuellement si nécessaire.

Expérience dans l’application

Le panneau LLM Insights suit chaque requête : modèle, source, durée, taux de réussite et usage total de tokens. Sélectionnez une entrée pour voir le prompt et la réponse complets avec compteurs de tokens et débit :

LLM Insights rend les appels aux modèles locaux inspectables, avec prompt, réponse, durée, compteurs de tokens et débit.

API de scripting

g.llm.promptLocalLlm(model, prompt, options?)

Envoie un prompt au LLM configuré :

async function main() {
  try {
    const response = await g.llm.promptLocalLlm(
      "llama3.2",
      "Summarize this text in one sentence: " + pageText
    );
    g.log("Summary: " + response);
  } catch (e) {
    g.log("LLM error: " + e.message);
  }
}

Options :

{
  timeout?: number   // milliseconds
  image?: string     // base64-encoded image (Ollama vision models only)
}

g.llm.abortLocalLlm()

Annule une requête LLM en cours.

g.llm.getLocalLlmModels()

Liste les modèles disponibles : noms et tailles des modèles pour Ollama, ou chemins GGUF configurés pour LlamaSharp.

async function main() {
  const models = await g.llm.getLocalLlmModels();
  for (const m of models) {
    g.log(m.name + " (" + (m.size / 1e9).toFixed(1) + " GB)");
  }
}

Exemple : classification de contenu

async function main() {
  await g.nav.navigateToUrl("https://news.example.com/article/123");
  await g.dom.waitForDomStable();

  const content = await g.dom.extractContent("article");
  const category = await g.llm.promptLocalLlm(
    "llama3.2",
    "Classify this article into exactly one category: Tech, Business, Science, Sports, Other.\n\n" + content
  );

  g.store.put("articles", "article-123", {
    category: category.trim(),
    classifiedAt: new Date().toISOString()
  });
}

Changer de fournisseur

Changez le fournisseur actif dans Settings > AI Assistant à tout moment. Le changement prend effet immédiatement, sans redémarrage.

Étapes suivantes

• Demander au LLM local — exécuter un script pratique de résumé de page avec un modèle local configuré
• Référence API — signatures des méthodes LLM
• Vue d’ensemble du scripting — apprendre l’API g.*
• Processus de travail des files d’attente — utiliser la classification LLM dans des pipelines de traitement par lot