タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

*dataとDataformに関するmichael-unltdのブックマーク (1)

  • Dataformを使ってデータ分析基盤を構築した話 - レバレジーズ データAIブログ

    はじめに こんにちは。レバレジーズ データ戦略室の辰野です。 前回の投稿からいつの間にか1年以上経過していました。引き続きデータマネジメントやデータガバナンスに関連する仕事をしていたのですが、今回は私が昨年度末に取り組んだ、Dataformを利用したデータ分析基盤の構築についてお話させていただきます。 Dataformとは Dataformとは、現在Google Cloudで利用できるデータモデリングツールの一つです。ELT(抽出、読み込み、変換)処理における、T(変換)の部分を管理できます。主な機能として、下記があります。 SQLワークフローを開発、実行できる テーブル同士の依存関係を管理できる テーブルの品質テストができる これらの機能を利用することで、すべてのデータプロセスを管理することが可能です。 (参考:Google Cloud,Dataform の概要) Dataformを導入

    Dataformを使ってデータ分析基盤を構築した話 - レバレジーズ データAIブログ
    michael-unltd
    michael-unltd 2023/10/05
    “今後リポジトリ内で検索する際の利便性も考え、今回はデータセット毎にフォルダを作成し、その中に対象テーブルのファイルを作成することにしました。ファイルパスには必ずその階層までのディレクトリが入るので、
  • 1