Configuración LLM

Guida puede usar un LLM local para inferencia dentro de scripts: clasificar contenido, extraer datos estructurados, generar resúmenes o responder preguntas sobre el contenido de una página. Se admiten dos proveedores.

Proveedores

Ollama (recomendado)

Ollama ejecuta modelos como servidor local. Es la mejor opción para la mayoría de usuarios por su configuración sencilla, gestión de modelos y soporte de visión.

Configuración:

1. Instale Ollama
2. Descargue un modelo: ollama pull llama3.2
3. En Guida, vaya a Settings > AI Assistant
4. Seleccione Ollama como proveedor
5. Configure el endpoint; por defecto http://127.0.0.1:11434
6. Elija el modelo predeterminado desde el desplegable

Ollama admite varios slots de modelo:

Slot	Usado para
Default	Prompts generales mediante g.llm.promptLocalLlm()
Code	Tareas específicas de código, opcional
Vision	Comprensión de imágenes con el parámetro image, opcional
Voice	Procesamiento de comandos de voz, opcional

LlamaSharp (offline)

LlamaSharp carga archivos de modelo GGUF directamente, sin servidor. Es mejor para uso completamente offline.

Configuración:

1. Descargue un archivo de modelo GGUF, por ejemplo desde Hugging Face
2. En Guida, vaya a Settings > AI Assistant
3. Seleccione LlamaSharp como proveedor
4. Busque su archivo GGUF, o pegue una URL de descarga; Guida guarda en %AppData%/Guida/models/
5. Configure tamaño de contexto y capas GPU

LlamaSharp admite los mismos slots multimodelo: default, code y voice. El soporte de visión se añadirá en futuras versiones.

La carga del modelo se difiere hasta el primer uso. Puede dispararla manualmente cuando lo necesite.

Experiencia en la aplicación

El panel LLM Insights sigue cada solicitud: modelo, origen, duración, tasa de éxito y uso total de tokens. Seleccione cualquier entrada para ver el prompt y la respuesta completos con conteos de tokens y rendimiento:

LLM Insights hace inspeccionables las llamadas a modelos locales, incluidos prompt, respuesta, tiempos, conteos de tokens y rendimiento.

API de scripting

g.llm.promptLocalLlm(model, prompt, options?)

Envía un prompt al LLM configurado:

async function main() {
  try {
    const response = await g.llm.promptLocalLlm(
      "llama3.2",
      "Summarize this text in one sentence: " + pageText
    );
    g.log("Summary: " + response);
  } catch (e) {
    g.log("LLM error: " + e.message);
  }
}

Opciones:

{
  timeout?: number   // milliseconds
  image?: string     // base64-encoded image (Ollama vision models only)
}

g.llm.abortLocalLlm()

Cancela una solicitud LLM en curso.

g.llm.getLocalLlmModels()

Lista los modelos disponibles; devuelve nombres y tamaños de modelo para Ollama, o rutas GGUF configuradas para LlamaSharp:

async function main() {
  const models = await g.llm.getLocalLlmModels();
  for (const m of models) {
    g.log(m.name + " (" + (m.size / 1e9).toFixed(1) + " GB)");
  }
}

Ejemplo: clasificación de contenido

async function main() {
  await g.nav.navigateToUrl("https://news.example.com/article/123");
  await g.dom.waitForDomStable();

  const content = await g.dom.extractContent("article");
  const category = await g.llm.promptLocalLlm(
    "llama3.2",
    "Classify this article into exactly one category: Tech, Business, Science, Sports, Other.\n\n" + content
  );

  g.store.put("articles", "article-123", {
    category: category.trim(),
    classifiedAt: new Date().toISOString()
  });
}

Cambiar de proveedor

Cambie el proveedor activo en Settings > AI Assistant en cualquier momento. El cambio tiene efecto inmediato, sin reiniciar.

Siguientes pasos

• Preguntar al LLM local — ejecutar un script práctico de resumen de página con un modelo local configurado
• Referencia de API — firmas de métodos LLM
• Visión general del scripting — aprender la API g.*
• Procesos de trabajo de cola — usar clasificación LLM en canalizaciones de procesamiento por lotes