公開成果物・技術解説
Stardust Data LLCが公開している知見やオープンソースコードの詳細情報です。
Technical Writeups
Zenn 掲載記事·2024.10
BigQueryコスト削減の実践パターン
データ基盤の運用費用において、BigQueryのスキャンコストは最大の課題となることが多々あります。本記事では、既存システムへの影響を最小限に抑えながら、確実なコスト最適化を実現する設計手法について詳細に解説しています。
本記事の主要アプローチ:
- テーブルの分割設計（パーティショニング）と並び替え基準（クラスタリング）によるスキャン量の削減
- 定額スロット予約（エディション）と従量課金（オンデマンド）の分岐点シミュレーション手法
- 頻出する集計クエリに対するマテリアライズドビューの導入指針
Speaker Deck 登壇資料·2024.07
PoCを本番に持っていくための設計原則
新規事業やAI活用プロジェクトで「検証（PoC）で終わってしまう」あるいは「本番移行時にシステムが破綻する」のを防ぐため、あらかじめ最初期から組み込んでおくべきアーキテクチャ上の原則論をスライド形式で整理しています。
本資料の主要トピック:
- 初期フェーズにおける「捨てるコード」と「コアとなるビジネスロジック」の分離設計
- Terraformを利用した複数環境（dev/stg/prod）の標準テンプレート化
- 可用性を担保するためのセキュリティ境界（IAM）とエラーハンドリングの共通化
Zenn 掲載記事·2024.04
dbtによるデータ変換層の標準化
データクレンジングやモデリングにおける「SQLの乱立問題」を解決するため、dbt（data build tool）を用いたディレクトリ設計ルールと、テスト・CI/CDを用いたコード品質の担保戦略についてまとめています。
本記事の主要アプローチ:
- Source（生データ）➔ Stage（前処理）➔ Mart（ビジネスロジック）の明確な命名規則と役割定義
- GitHub ActionsとBigQueryを連携した、プルリクエスト時の自動スキーマテストとリネージ分析
- データカタログとリネージドキュメントの自動デプロイ設計
Open Source Templates
GitHub OSS·Python / dbt· 42
data-pipeline-template
Google Cloud環境でCloud Composer（Apache Airflow）およびBigQuery、dbtを利用して本番運用のデータウェアハウス（DWH）を即座に立ち上げるためのフルパッケージ・テンプレートです。
主な機能:
- DAGのひな型、dbtの設定ファイル、ローカル開発用のDocker Compose環境を完備
- データインジェストからマート作成、テスト実行までのステップを一元化
- SLAアラート設定とSlack/Teams通知ハンドラの実装例を内包
GitHub OSS·Terraform· 28
iac-gcp-foundation
企業のガバナンスとセキュリティ要件を満たす、スケーラブルなマルチプロジェクト環境を設計・プロビジョニングするためのTerraformテンプレートコード群です。
主な機能:
- GCPプロジェクトの作成、組織レベルのIAM割り当てポリシーテンプレート
- 共有VPC（Shared VPC）、プライベートサブネット、外部との閉域接続（Cloud NAT等）の事前設計
- 各インフラ変更の差分検出と安全な反映を行うCI/CDパイプライン構成例