추출기

추출기는 특정 종류의 데이터를 수집하도록 안정적인 이름을 부여한 재사용 가능 구성 요소입니다. Guida 0.9에서는 설명자를 워크스페이스에 저장합니다. Guida는 이를 검색 가능한 카탈로그로 불러오며, 운영자는 구현 세부 사항을 비공식 점검표로 관리하지 않고도 검증, 인증, 결과 비교를 수행할 수 있습니다.

추출기를 실행하는 제품은 Guida Complete와 Guida Node입니다. Guida Control은 동일한 계약을 Remote Ops로 표시하지만 별도의 추출기 카탈로그를 보관하지 않습니다.

설명자와 구현

설명자는 공개 계약입니다. 구현, 원본, 워크플로, 큐, 기본 입력, 대상 도메인, 출력 계약, 필요한 근거를 선언합니다. 실제 구현은 워크스페이스의 일반 코드로 유지됩니다.

{
  "$schema": "../../../extractors.schema.json",
  "id": "careers.example.jobs",
  "profile": "web.discovery.browser",
  "label": "Example engineering jobs",
  "domain": "careers",
  "workflowName": "careers-example",
  "queueName": "careers_example",
  "implementation": {
    "module": "lib/careers-example-worker.js",
    "export": "discoverExampleJobs",
    "language": "javascript"
  },
  "source": { "kind": "web", "url": "https://example.com/careers" },
  "targetDomains": ["example.com"],
  "input": {
    "defaultUrl": "https://example.com/careers",
    "defaultCompanyName": "Example",
    "defaultSlug": "example"
  },
  "evidence": {
    "requiresPageLoaded": true,
    "requiresResultEvidence": true,
    "allowQualifiedEmpty": true
  }
}

작은 루트 파일 extractors.json에서 설명자 파일을 포함하고, 공통 프로필을 선택하고, 큰 카탈로그를 결정적인 샤드로 나눌 수 있습니다. 각 항목은 고유한 ID와 원본 경로를 유지합니다.

실행 전 계약 검증

카탈로그 검증은 잘못된 설명자, 중복 ID, 누락된 구현, 확인할 수 없는 프로필, 잘못된 도메인 규칙, 호환되지 않는 입출력 계약을 찾아냅니다. 호환성 검사를 통해 추출기와 소비자 사이의 경계가 명확해집니다.

스크립팅 API에서는 동기식 읽기 전용 메서드인 g.extractors.list(), g.extractors.get(), g.extractors.validate()를 사용할 수 있습니다. 원격 클라이언트는 workspace.extractors.*와 workspace.extractors.contracts.*를 사용합니다.

근거를 포함한 인증

인증은 범위를 제한한 운영 검증이며 영구 보증이 아닙니다.

Quick은 빠른 피드백을 위해 적은 대상을 의도적으로 검사합니다.
Coverage는 명시된 한도 안에서 선택한 카탈로그 전체로 검사를 넓힙니다.
빈 결과를 통과로 처리하려면 페이지가 로드되었다는 근거와 설명자에서 빈 결과를 허용한다는 선언이 모두 필요합니다.
선택자 근거는 선언만으로 충분하지 않으며 실제로 관찰되어야 합니다.
탐색 완료 여부와 잘림을 기록하므로 부분 검사 결과가 전체 범위로 표시되지 않습니다.

먼저 workspace.extractors.certification.plan으로 계획을 만듭니다. 계획에는 실행 가능한 항목, 차단된 항목, 적용되는 한도가 표시됩니다. 인증 시작, 취소, 근거 내보내기에는 Guida의 로컬 정책과 확인 절차가 계속 적용됩니다.

Guida는 최신 검증 결과와 그 결과를 설명하는 이력을 분리해 보관합니다. 실행, 추출기별 결과, 통계, 이상 징후, 계약 변경, 내보낸 근거를 확인할 수 있습니다. 보존 정책은 워크스페이스에서 정의하고 운영 데이터는 operations.db에 저장합니다.

카탈로그와 운영 화면은 단일 호스트의 결정적 테스트에서 5,000개 추출기까지 검증되었습니다. 이는 5,000개 브라우저 세션의 동시 실행이나 Enterprise 플릿의 용량을 보장하는 수치가 아닙니다.

시맨틱 파이프라인은 계약에 맞는 출력을 검증 게이트, 매퍼, 대상으로 연결합니다. 생성된 파이프라인은 $extractor.id 같은 명시적 바인딩을 사용하며, Guida는 파일명이나 폴더명에서 의미를 추측하지 않습니다.