Configurazione LLM

Guida può usare un LLM locale per inferenza all’interno degli script: classificare contenuti, estrarre dati strutturati, generare riepiloghi o rispondere a domande sul contenuto di una pagina. Sono supportati due tipi di servizio.

Tipi di servizio

Ollama (consigliato)

Ollama esegue modelli come server locale. È la scelta migliore per la maggior parte degli utenti: configurazione semplice, gestione dei modelli e supporto per la visione.

Configurazione:

1. Installa Ollama
2. Scarica un modello: ollama pull llama3.2
3. In Guida, vai su Impostazioni > Assistente IA (Settings > AI Assistant)
4. Seleziona Ollama come tipo di servizio
5. Imposta l’endpoint (predefinito: http://127.0.0.1:11434)
6. Scegli il modello predefinito dal menu a discesa

Ollama supporta più slot di modello:

Slot	Usato per
Predefinito (Default)	Prompt generali tramite g.llm.promptLocalLlm()
Codice (Code)	Attività specifiche sul codice (facoltativo)
Visione (Vision)	Comprensione delle immagini con il parametro image (facoltativo)
Voce (Voice)	Elaborazione dei comandi vocali (facoltativo)

LlamaSharp (offline)

LlamaSharp carica direttamente file modello GGUF, senza bisogno di un server. È la scelta migliore per un uso completamente offline.

Configurazione:

1. Scarica un file modello GGUF, per esempio da Hugging Face
2. In Guida, vai su Impostazioni > Assistente IA (Settings > AI Assistant)
3. Seleziona LlamaSharp come tipo di servizio
4. Seleziona il file GGUF oppure incolla un URL di download: Guida salva i modelli in %AppData%/Guida/models/
5. Configura dimensione del contesto e layer GPU

LlamaSharp supporta gli stessi slot multi-modello: predefinito, codice e voce. Il supporto per la visione verrà aggiunto in versioni future.

Il caricamento del modello viene rimandato fino al primo utilizzo. Puoi avviarlo manualmente quando serve.

Esperienza nell’app

Il pannello LLM Insights traccia ogni richiesta: modello, origine, durata, percentuale di successo e uso totale dei token. Seleziona una voce per vedere prompt e risposta completi, con conteggio dei token e velocità di elaborazione:

LLM Insights rende ispezionabili le chiamate ai modelli locali, inclusi prompt, risposta, tempi, conteggi dei token e velocità di elaborazione.

API di scripting

g.llm.promptLocalLlm(model, prompt, options?)

Invia un prompt all’LLM configurato:

async function main() {
  try {
    const response = await g.llm.promptLocalLlm(
      "llama3.2",
      "Riassumi questo testo in una frase: " + pageText
    );
    g.log("Riepilogo: " + response);
  } catch (e) {
    g.log("Errore LLM: " + e.message);
  }
}

Opzioni:

{
  timeout?: number   // millisecondi
  image?: string     // immagine codificata in base64 (solo modelli Ollama con visione)
}

g.llm.abortLocalLlm()

Annulla una richiesta LLM in corso.

g.llm.getLocalLlmModels()

Elenca i modelli disponibili: restituisce nomi e dimensioni dei modelli per Ollama, oppure i percorsi GGUF configurati per LlamaSharp.

async function main() {
  const models = await g.llm.getLocalLlmModels();
  for (const m of models) {
    g.log(m.name + " (" + (m.size / 1e9).toFixed(1) + " GB)");
  }
}

Esempio: classificazione dei contenuti

async function main() {
  await g.nav.navigateToUrl("https://news.example.com/article/123");
  await g.dom.waitForDomStable();

  const content = await g.dom.extractContent("article");
  const category = await g.llm.promptLocalLlm(
    "llama3.2",
    "Classifica questo articolo in una sola categoria: Tecnologia, Economia, Scienza, Sport, Altro.\n\n" + content
  );

  g.store.put("articles", "article-123", {
    category: category.trim(),
    classifiedAt: new Date().toISOString()
  });
}

Cambio tipo di servizio

Cambia il tipo di servizio attivo in Impostazioni > Assistente IA (Settings > AI Assistant) in qualsiasi momento. La modifica ha effetto immediato, senza riavvio.

Passi successivi

• Chiedere direttamente all’IA locale — esegui uno script pratico di riepilogo pagina con un modello locale configurato
• Riferimento API — firme dei metodi LLM
• Scripting: una panoramica — impara l’API g.*
• Processi di lavoro delle code — usa la classificazione LLM in flussi di elaborazione in blocco