データとストレージ

Guida のデータ API は、抽出した情報をワークスペース内に残す場合にも、外部ストレージへ送る場合にも使えます。

g.store.* - ワークスペースストア

ワークスペースストアは、スクリプトから使えるローカル永続ストアです。

メソッド	説明
g.store.put	キー付きで値を保存します
g.store.get	キーから値を取得します
g.store.search	保存済みデータを検索します
g.store.delete	値を削除します

g.store.put("pages", "example", {
  url: await g.page.getUrl(),
});

g.queue.* - キュー

キューは、URL やレコードを複数タブ・複数ワーカーで処理するための作業リストです。

メソッド	説明
g.queue.enqueue	キューに項目を追加します
g.queue.dequeue	処理用に項目をチェックアウトします
g.queue.commit	チェックアウトした項目を完了にします
g.queue.abort	チェックアウトした項目を失敗または再試行へ戻します
g.queue.count	キュー件数を取得します

commit と abort では、キュー名ではなくチェックアウト ID を渡します。

const item = g.queue.dequeue("urls");
if (item) {
  try {
    await g.nav.navigateToUrl(item.data.url);
    await g.dom.waitForDomStable();
    g.queue.commit(item.id);
  } catch (e) {
    g.queue.abort(item.id, e.message);
  }
}

g.search.* - 全文検索

ワークスペース内の検索インデックスへ、抽出結果やメモを登録できます。

メソッド	説明
g.search.index	ドキュメントをインデックス化します
g.search.query	全文検索を実行します
g.search.delete	インデックスから削除します

外部データベースとストレージ

Guida は、ワークスペース内のローカルデータだけでなく外部ストレージにも書き込めます。

名前空間	用途
g.postgres.*	PostgreSQL クエリと更新
g.mongodb.*	MongoDB コレクション操作
g.s3.*	S3 互換オブジェクトストレージ
g.elasticsearch.*	Elasticsearch の登録と検索

接続情報は認証情報に保存し、必要なときだけスクリプトから取り出すのが基本です。詳しくはデータベース連携を参照してください。