Configuração de LLM

O Guida pode usar um LLM local para inferência em scripts: classificar conteúdo, extrair dados estruturados, gerar resumos ou responder perguntas sobre conteúdo da página. Dois provedores são suportados.

Provedores

Ollama (recomendado)

Ollama executa modelos como servidor local. É a melhor opção para a maioria dos usuários: configuração simples, gerenciamento de modelos e suporte a visão.

Configuração:

1. Instale o Ollama
2. Baixe um modelo: ollama pull llama3.2
3. No Guida, acesse Settings > AI Assistant
4. Selecione Ollama como provedor
5. Defina o endpoint (padrão: http://127.0.0.1:11434)
6. Escolha seu modelo padrão no menu suspenso

Ollama oferece suporte a múltiplos slots de modelo:

Slot	Usado para
Default	Prompts gerais via g.llm.promptLocalLlm()
Code	Tarefas específicas de código (opcional)
Vision	Entendimento de imagens com parâmetro image (opcional)
Voice	Processamento de comandos por voz (opcional)

LlamaSharp (offline)

LlamaSharp carrega arquivos de modelo GGUF diretamente, sem servidor. É melhor para uso totalmente offline.

Configuração:

1. Baixe um arquivo de modelo GGUF, por exemplo do Hugging Face
2. No Guida, acesse Settings > AI Assistant
3. Selecione LlamaSharp como provedor
4. Escolha seu arquivo GGUF ou cole uma URL de download; o Guida salva em %AppData%/Guida/models/
5. Configure tamanho de contexto e camadas de GPU

LlamaSharp oferece os mesmos slots de múltiplos modelos (default, code, voice). Suporte a visão será adicionado em versões futuras.

O carregamento de modelo é adiado até o primeiro uso. Você pode dispará-lo manualmente quando necessário.

Experiência no aplicativo

O painel LLM Insights acompanha cada solicitação: modelo, origem, duração, taxa de sucesso e uso total de tokens. Selecione qualquer entrada para ver o prompt e a resposta completos com contagem de tokens e throughput:

LLM Insights torna chamadas a modelos locais inspecionáveis, incluindo prompt, resposta, tempo, contagem de tokens e throughput.

API de scripts

g.llm.promptLocalLlm(model, prompt, options?)

Envia um prompt ao LLM configurado:

async function main() {
  try {
    const response = await g.llm.promptLocalLlm(
      "llama3.2",
      "Resuma este texto em uma frase: " + pageText
    );
    g.log("Resumo: " + response);
  } catch (e) {
    g.log("Erro LLM: " + e.message);
  }
}

Opções:

{
  timeout?: number   // milissegundos
  image?: string     // imagem codificada em base64 (apenas modelos de visão do Ollama)
}

g.llm.abortLocalLlm()

Cancela uma solicitação LLM em andamento.

g.llm.getLocalLlmModels()

Lista modelos disponíveis, retornando nomes e tamanhos para Ollama ou caminhos GGUF configurados para LlamaSharp:

async function main() {
  const models = await g.llm.getLocalLlmModels();
  for (const m of models) {
    g.log(m.name + " (" + (m.size / 1e9).toFixed(1) + " GB)");
  }
}

Exemplo: classificação de conteúdo

async function main() {
  await g.nav.navigateToUrl("https://news.example.com/article/123");
  await g.dom.waitForDomStable();

  const content = await g.dom.extractContent("article");
  const category = await g.llm.promptLocalLlm(
    "llama3.2",
    "Classifique este artigo em exatamente uma categoria: Tech, Business, Science, Sports, Other.\n\n" + content
  );

  g.store.put("articles", "article-123", {
    category: category.trim(),
    classifiedAt: new Date().toISOString()
  });
}

Troca de provedor

Altere o provedor ativo em Settings > AI Assistant a qualquer momento. A alteração entra em vigor imediatamente, sem reiniciar.

Próximos passos

• Perguntar ao LLM local — execute um script prático de resumo de página com um modelo local configurado
• Referência da API — assinaturas dos métodos LLM
• Visão geral da automação por scripts — aprenda a API g.*
• Processos de trabalho das filas — use classificação LLM em fluxos de processamento em lote