Dagster

Dagster とは

Dagster は、データと AI パイプラインのためのオーケストレーション基盤である。サイトでは、データのオーケストレーション、監視、カタログ、リネージをカバーする一元化されたコントロールプレーンが説明されており、Slack 向けの AI アナリストにも言及している。

ETL や ELT、dbt、Databricks、Python の変換、AI や ML のワークフローに対応している。

できること

• データと AI のパイプラインを調整する
• アセットのリネージとカタログを確認する
• 実行状況と失敗を監視する
• データチーム全体の作業を連携させる

向いている人

• データエンジニアリングチーム
• ML プラットフォームチーム
• 分析エンジニアリングチーム

注意点

• 調整と監視は行うが、データモデルやビジネスロジックの設計は行わない
• 信頼性はタスク設計、データ品質、チームのガバナンスに依存する
• 単発のスクリプトより、継続的なパイプラインを持つチームに向いている
• 自己ホストには運用上の責任が伴う