Dagster Cloud
公式サイト1. サービス概要
「オーケストレーション」分野における Dagster Cloud は、データの依存関係を管理し、パイプラインの実行・監視を自動化するフルマネージド型のプラットフォームです。
- 主な機能:
- Software-Defined Assets (SDA): 従来の「タスク」単位ではなく、最終的に生成される「データ資産(テーブルやファイル)」を中心にワークフローを定義する。
- 統合リネージと観測性: データの出所から加工工程までを可視化し、品質チェックやエラー時の影響範囲特定を容易にする。
- 柔軟なデプロイオプション:
- Serverless: インフラ管理を完全に委託。
- Hybrid: コントロールプレーンはクラウド、実行環境(コンピュート)はユーザー自身のVPC内で行い、セキュリティと管理を両立。
- ブランチデプロイ: Gitのプルリクエストごとに一時的な環境を自動生成し、CI/CDプロセスを強化。
- ユーザー数: 具体的な総ユーザー数は非公開ですが、GitHubスター数は1万を超え、Slackコミュニティには数千人のデータエンジニアが参加しています。DoorDash、Hiscox、VMwareなどの大手企業からスタートアップまで幅広く利用されています。
- 対応プラットフォーム:
- クラウド: AWS, Google Cloud Platform (GCP), Microsoft Azure。
- 統合ツール: Snowflake, BigQuery, dbt, Airbyte, Fivetran, Databricks, Spark, Kubernetesなど主要なモダンデータスタックに対応。
2. 使用している技術スタック
公開されている情報およびエンジニアブログ等から判明している主な技術スタックは以下の通りです。
- 言語: Python (コアロジックおよびユーザー定義用), TypeScript (フロントエンド)。
- フロントエンド: React, GraphQL (Apollo)。
- バックエンド: Python (Dagsterコア), Go (一部のインフラコンポーネント)。
- 通信プロトコル: GraphQL (APIおよびUI通信の基盤)。
- インフラ・デプロイ: Docker, Kubernetes (EKS/GKE), AWS (ECS, Lambda, RDS, S3), Terraform。
- データベース: PostgreSQL (メタデータ管理用)。
3. 会社概要
- 運営会社名: Dagster Labs, Inc. (旧社名: Elementl, Inc.)
- 設立年: 2018年
- 本社所在地: アメリカ合衆国 カリフォルニア州 サンフランシスコ (156 2nd St, San Francisco, CA 94105)
- 従業員数: 約100名〜150名(推定)
4. 沿革、資本構成、国籍、役員情報
- 沿革:
- 2018年:FacebookでGraphQLを共同開発したNick Schrockにより「Elementl」として設立。
- 2020年:オープンソース版「Dagster」を正式リリース。
- 2022年:初の商用版「Dagster Cloud」を一般公開(GA)。同年、Pete HuntがCEOに就任。
- 2023年:シリーズBラウンドで3,300万ドルを調達し、社名を「Dagster Labs」に変更。
- 資本構成:
- 累計調達額:約5,500万ドル(シリーズB)。
- 主な出資元:Georgian (リード投資家), Index Ventures, Sequoia Capital, Amplify Partners, Slow Ventures, 8VC など。
- 国籍: アメリカ合衆国
- 役員の氏名・キャリア・国籍:
- Nick Schrock (Founder & CTO):
- キャリア: 元Facebookのソフトウェアエンジニア。GraphQLの共同開発者として著名。2018年に同社を設立し、当初はCEOを務めた後、製品開発に注力するためCTOへ移行。
- 国籍: アメリカ合衆国
- Pete Hunt (CEO):
- キャリア: 元FacebookエンジニアでReactの初期メンバー。Twitterの広告エンジニアリングマネージャーや、Smyte(Twitterが買収)の共同創業者兼CEOを歴任。2021年に戦略アドバイザーとして参画し、2022年よりCEO。
- 国籍: アメリカ合衆国
- Selina Li (Head of Operations / Chief of Staff):
- キャリア: 以前はBessemer Venture Partners等で投資やオペレーションに従事。
- 国籍: 不明(米国拠点)
