Pipelines sémantiques

Les pipelines sémantiques décrivent le parcours, dans Guida, de données régies par un contrat. Elles relient une source ou un extracteur à des validateurs, des mappers et des destinations, et permettent d’examiner le travail proposé avant son exécution.

Une pipeline n’est ni un dossier de flux de travail, ni un groupe de processus, ni un planificateur autonome. Les flux activent un périmètre opérationnel, les processus consomment les files et le registre de traçabilité conserve les données durables des exécutions et des éléments. La pipeline relie ces domaines avec une provenance explicite.

Modèle par étapes

Étape	Responsabilité
Source	Déclare le type ou le schéma d’entrée
Extractor	Exécute le contrat d’un extracteur identifié
Validator	Applique un schéma et des règles bornées par élément
Mapper	Transforme un contrat déclaré en un autre
Destination	Désigne une file ou une autre cible prise en charge

Les validateurs, mappers et destinations forment des catalogues réutilisables. Les règles et les formes de données ne restent donc pas cachées dans des scripts isolés.

{
  "id": "careers.example.discovery-to-fetch",
  "workflowName": "careers-crawl",
  "status": "draft",
  "stages": [
    { "id": "discover", "kind": "extractor", "extractorId": "careers.example.jobs" },
    { "id": "validate", "kind": "validator", "schema": "schemas/career-job-output.schema.json" },
    { "id": "map", "kind": "mapper", "mapperId": "careers.example.jobs.fetchPayload" },
    { "id": "enqueue", "kind": "queue", "destinationId": "careers.fetch.queue" }
  ]
}

Une pipeline peut être écrite directement, partir d’un modèle ou être générée à partir de règles visant les descripteurs. Les variantes générées lient les valeurs explicitement, par exemple "extractorId": "$extractor.id". Guida ne devine ni entreprise, ni destination, ni contrat à partir d’un ID, d’un chemin ou d’un nom de fichier.

Un chemin sûr vers l’exécution

1. Draft et diff résolvent la définition effective et montrent les changements.
2. Validate contrôle structure, références, contrats et graphe.
3. Preflight vérifie l’espace de travail et les prérequis opérationnels.
4. Plan détaille étapes, liens, mutations attendues, capacités, règles, besoins en identifiants, provenance, récupération, blocages et avertissements.
5. Preview renvoie l’empreinte exacte de la proposition et indique si elle est prête.
6. Start accepte des entrées et des limites de file explicites.

Enregistrer, supprimer et exécuter sont trois opérations distinctes. Ouvrir ou enregistrer un brouillon ne démarre jamais une exécution implicitement.

L’exécution crée un lien explicite avec une exécution du flux de travail. La destination de file indique s’il faut créer une exécution isolée ou en utiliser une existante. Guida conserve l’état des étapes, les dépendances, les références de sortie, la déduplication et les résultats opérationnels.

workspace.pipelines.execution.lifecycle.get renvoie les états gérés par la pipeline. L’aperçu, le démarrage et le contrôle du travail en aval sont des appels distincts. Les résultats des files et du registre sont rapprochés explicitement: une file vide ne prouve pas à elle seule la réussite.

La Remote Ops API fournit les contrats de lecture, brouillon, comparaison, validation, preflight, planification, aperçu, exécution, résultats, preuves et contrôle en aval. Guida Control s’appuie sur ces contrats sans lancer une pipeline lors de l’enregistrement d’un brouillon.