データメッシュ

2025/01/13

データ

データメッシュとは

データメッシュは、データを中央で一元管理するのではなく、各ドメインチームが責任を持って適切に分散管理するためのアプローチ方法。データメッシュの基本原則は以下の4つ。

  • データを業務の視点で分割する
  • データをプロダクトとして扱う
  • 自律性を高めるための基盤を構築する
  • 統一されたエコシステムを構築する
  • データメッシュのアプローチ方法を取り入れることによって、データ量の増加に伴う業務の複雑化、高コストで非効率な運用、スケーリングの困難さに対応することが可能になる。とりわけ、ビジネスが本質的に複雑でドメインが広範囲に及ぶ場合はデータメッシュの恩恵が大きい。

    データを業務の視点で分割する

    データをすべて統合して一元管理するのではなく、ドメイン駆動設計の考え方に基づいて、データのモデルや所有権の境界を定義する。各ドメインチームが自分たちのデータに責任を持つことでデータ品質が向上したり、ドメイン単位でデータを管理することで組織の成長に合わせたスケーリングが容易になったりするという利点がある。

    データをプロダクトとして扱う

    データを公開APIと同じようなプロダクトとして扱う。利用者のニーズを重視し、必要なデータを簡単に見つけて利用できるようにする必要がある。また、データは信頼性が高くて理解しやすい形に整えておくことも重要になる。これによって、データ利用の効率が向上し、迅速な意思決定に役立てることが可能になる。

    自律性を高めるための基盤を構築する

    データプロダクトどうしが連携する仕組みを各ドメインチームがばらばらに構築するのは無駄が多く非効率なため、データプロダクトの作成、利用、保守を簡単にする共通の管理基盤が必要になる。共通基盤の設計、構築は大掛かりな取り組みになるため、専任のチームが担当する。

    統一されたエコシステムを構築する

    各データプロダクトのオーナーと共通基盤チームの代表者から構成される連合チームが、データプロダクト間の統一ルールやポリシーを策定する。連合チームは、エコシステム全体の整合性を保ちつつ、各ドメインが独立して動けるように支援する。

    データメッシュ実現のためステップ

    データメッシュの導入は以下のステップで進める。

  • 連合チームによるガバナンスの策定: ドメインを横断するルールやポリシーを作成する。
  • 共通基盤の構築: 各ドメインで利用可能な共通基盤を整備する。
  • データプロダクトの開発: 各ドメインがポリシーを遵守しながらデータをプロダクトとして提供する。
  • データプロダクトの公開: 共通基盤を通じて、データを発見しやすく利用可能な状態で公開する。
  • 参考資料



    著者画像

    ゆうき

    2018/04からITエンジニアとして活動、2021/11から独立。主な使用言語はPython, TypeScript, SAS, etc.