Metaplane

Metaplane とは

データの監視層。テーブルとパイプラインの品質変化を見守り、列がシステム間でどう繋がるかを表示し、異変があれば知らせる。

壊れたデータはたいてい会議中の数字の間違いとして現れるので存在する。

できること

• パイプライン全体のデータ品質を監視する
• 列レベルのリネージを見る
• 自動異常アラートを受け取る
• CI/CD でデータチェックを動かす
• 障害の原因箇所を特定する
• データの状態を時系列で追う

向いている人

• データとアナリティクスエンジニアのチーム
• BI チーム
• データ基盤の責任者
• データウェアハウスでレポートする組織

注意点

• ウェアハウスと重要なテーブルへの接続が要る
• アラートの閾値が広すぎても狭すぎても信頼を失わせる
• データ監視にも対応の担当者が要る
• ウェアハウスから何のメタデータとサンプル値が出るか確認する