LLM-Einrichtung

Guida kann lokale LLMs aus Skripten heraus verwenden: zum Klassifizieren von Inhalten, Extrahieren strukturierter Daten, Zusammenfassen oder Beantworten von Fragen zu Seiteninhalten. Zwei Provider werden unterstützt.

Ollama

Ollama läuft als lokaler Modellserver und ist für die meisten Anwender der einfachste Einstieg.

1. Ollama installieren
2. Ein Modell laden, zum Beispiel ollama pull llama3.2
3. In Guida Settings > AI Assistant öffnen
4. Ollama als Provider wählen
5. Endpoint setzen, standardmäßig http://127.0.0.1:11434
6. Standardmodell auswählen

Ollama unterstützt mehrere Modell-Slots:

Slot	Verwendung
Default	Allgemeine Prompts über g.llm.promptLocalLlm()
Code	Code-spezifische Aufgaben
Vision	Bildverständnis über den image-Parameter
Voice	Verarbeitung von Sprachbefehlen

LlamaSharp

LlamaSharp lädt GGUF-Modelldateien direkt, ohne Server. Das eignet sich für vollständig offline laufende Setups.

1. Eine GGUF-Datei laden, zum Beispiel von Hugging Face
2. In Guida Settings > AI Assistant öffnen
3. LlamaSharp als Provider wählen
4. GGUF-Datei auswählen oder eine Download-URL einfügen
5. Kontextgröße und GPU-Layer konfigurieren

Modelle werden erst beim ersten Gebrauch geladen. Sie können den Ladevorgang bei Bedarf manuell anstoßen.

In der App

Das Panel LLM Insights protokolliert lokale Modellaufrufe: Modell, Quelle, Dauer, Erfolgsrate und Tokenverbrauch. Eine ausgewählte Zeile zeigt Prompt und Antwort inklusive Tokenzahlen und Durchsatz.

Scripting-API

g.llm.promptLocalLlm(model, prompt, options?) sendet einen Prompt an das konfigurierte LLM:

async function main() {
  try {
    const response = await g.llm.promptLocalLlm(
      "llama3.2",
      "Fasse diesen Text in einem Satz zusammen: " + pageText
    );
    g.log("Zusammenfassung: " + response);
  } catch (e) {
    g.log("LLM-Fehler: " + e.message);
  }
}

Optionen:

{
  timeout?: number
  image?: string
}

g.llm.abortLocalLlm() bricht einen laufenden Aufruf ab. g.llm.getLocalLlmModels() listet verfügbare Modelle.

Beispiel: Inhaltsklassifikation

async function main() {
  await g.nav.navigateToUrl("https://news.example.com/article/123");
  await g.dom.waitForDomStable();

  const content = await g.dom.extractContent("article");
  const category = await g.llm.promptLocalLlm(
    "llama3.2",
    "Ordne diesen Artikel genau einer Kategorie zu: Technik, Wirtschaft, Wissenschaft, Sport, Sonstiges.\n\n" + content
  );

  g.store.put("articles", "article-123", {
    category: category.trim(),
    classifiedAt: new Date().toISOString()
  });
}

Nächste Schritte

• Das lokale LLM fragen - praktisches Skript für Seitenzusammenfassungen
• KI, HTTP und Werkzeuge - Methodensignaturen für LLM und HTTP
• Scripting-Überblick - Grundlagen der g.*-API
• Warteschlangen-Worker - LLM-Klassifikation in Batch-Pipelines nutzen