Semantische Pipelines

Semantische Pipelines beschreiben, wie vertraglich definierte Daten durch Guida fließen. Sie verbinden eine Quelle oder einen Extraktor mit Validierungsstufen, Mappern und Zielen und machen die geplante Arbeit vor der Ausführung prüfbar.

Eine Pipeline ist weder Workflow-Ordner noch Worker-Pool oder unbeaufsichtigter Scheduler. Workflows aktivieren den betrieblichen Geltungsbereich, Worker verarbeiten Queues und das Workflow-Register bewahrt dauerhafte Lauf- und Elementdaten. Die Pipeline verbindet diese Bereiche mit ausdrücklicher Herkunft.

Stufenmodell

Stufe	Aufgabe
Source	Deklariert Typ oder Schema der Eingabe
Extractor	Führt einen benannten Extraktorvertrag aus
Validator	Wendet Schema und begrenzte Elementregeln an
Mapper	Überführt einen deklarierten Vertrag in einen anderen
Destination	Benennt eine Queue oder ein anderes unterstütztes Ziel

Validierungsstufen, Mapper und Ziele sind wiederverwendbare Kataloge. So bleiben Regeln und Datenformen nicht in einzelnen Skripten verborgen.

{
  "id": "careers.example.discovery-to-fetch",
  "workflowName": "careers-crawl",
  "status": "draft",
  "stages": [
    { "id": "discover", "kind": "extractor", "extractorId": "careers.example.jobs" },
    { "id": "validate", "kind": "validator", "schema": "schemas/career-job-output.schema.json" },
    { "id": "map", "kind": "mapper", "mapperId": "careers.example.jobs.fetchPayload" },
    { "id": "enqueue", "kind": "queue", "destinationId": "careers.fetch.queue" }
  ]
}

Pipelines können direkt, aus Vorlagen oder anhand von Deskriptorregeln erzeugt werden. Erzeugte Varianten binden Werte ausdrücklich, etwa "extractorId": "$extractor.id". Guida errät weder Unternehmen noch Ziel oder Vertrag aus ID, Pfad oder Dateiname.

Sicherer Weg zur Ausführung

1. Draft und diff lösen die wirksame Definition auf und zeigen Dateiveränderungen.
2. Validate prüft Struktur, Referenzen, Verträge und Graphregeln.
3. Preflight prüft den aktuellen Arbeitsbereich und betriebliche Voraussetzungen.
4. Plan zeigt Stufen, Kanten, erwartete Änderungen, Fähigkeiten, Richtlinien, Zugangsdatenbedarf, Herkunft, Wiederherstellung, Sperren und Warnungen.
5. Preview liefert einen Hash des genauen Vorschlags und seine Ausführbarkeit.
6. Start akzeptiert ausdrücklich begrenzte Eingaben und Queuegrößen.

Speichern, Löschen und Starten sind getrennte Vorgänge. Das Öffnen oder Speichern eines Entwurfs startet niemals nebenbei einen Lauf.

Bei der Ausführung wird die Beziehung zu einem Workflow-Lauf ausdrücklich gespeichert. Ein Queueziel legt fest, ob ein isolierter Lauf angelegt oder ein vorhandener verwendet wird. Stufenstatus, Abhängigkeiten, Ausgabeverweise, Deduplizierung und Betriebsergebnisse bleiben nachvollziehbar.

workspace.pipelines.execution.lifecycle.get liefert die von der Pipeline verwalteten Ausführungszustände. Nachgelagerte Vorschau, Start und Steuerung sind getrennte Aufrufe. Queue- und Ledger-Ergebnisse werden ausdrücklich abgeglichen; eine leere Queue beweist noch keinen erfolgreichen Lauf.

Die Remote Ops API bietet Verträge für Lesen, Entwurf, Diff, Validierung, Preflight, Planung, Vorschau, Ausführung, Ergebnisse, Nachweise und nachgelagerte Steuerung. Guida Control nutzt diese Verträge, ohne beim Speichern eines Entwurfs automatisch eine Pipeline zu starten.