Back to Blog
Data Mesh 的四大原則
2021/10/12

Data Mesh 現在是在企業數據越來越受到重視的數據架構,以下我們將為您整理關於 Data Mesh 的四大原則以及可以幫助企業怎麼處理數據上的挑戰。

根據 ThoughtWorks 所述:

A data mesh is intended to; “address[es] the common failure modes of the traditional centralized data lake or data platform architecture”, hinging on modern distributed architecture and “self-serve data infrastructure”.

現今的企業數據挑戰

  1. Monolithic 數據平台無法跟上需求:過去我們把所有資料送進資料倉儲或是資料湖中,會造成企業內部的所有部門都需要跟這個中央儲存的部門去取得資料,現在許多企業都遇到數據需求與供給的平衡問題。
  2. 數據渠道遇到瓶頸:在企業當越來越多部門都希望使用數據做為決策的依據,就會照成企業內部數據渠道遇到前所未有維護與管理問題。
  3. 數據是需要 Domain know-how:一般企業的工作流程為各單位去跟 MIS 部門索取資料,而 MIS 部門不知道資料如何儲存,再去跟 DBA 取得,然後跟數據應用端各個 BU 了解使用場景加工完後再給予應用端使用,讓現在的數據建置架構遇到極高的挑戰。

主要 Data Mesh 的應用場景

讓企業能夠快速地得到分散在各個地方的數據做分析與應用,常見的使用場景如下:

  1. 建立虛擬的數據目錄:讓企業內部的分析與應用單位人員能夠直接使用
  2. 開發者與 DevOps 快速整合:讓開發同仁能夠自主整合多種數據來源以及格式
  3. 通用型應用場景:讓不同應用單位以及場景人員能夠都使用
  4. 自動化流程:企業建造完數據後能夠自動化的處理未來新的數據來源
  5. 數據標準化:讓處理多種資料來源與格式還能夠很簡單的整合,變成企業內部的標準數據格式

Data Mesh 四大主要原則支持分散式架構

Data Mesh 為一個新的架構提倡,能夠讓分散的資料快速整合變成分析與應用數據。

1. 情境為導向且分權治理的數據架構 (Domain-oriented)

使用 Data Mesh 比起過去以往的單一數據框架,最大的不一樣為在使用上已情境為導向且讓各個單位能夠分權治理他們所需要使用的數據。過去為了讓不同的部門使用會使用有強相依性的數據架構,也就是從各種資料源數據整合完之後建置不同的 Data Mart 去產生不同單位以及數據分權的架構。

現在使用 Data Mesh 不會像過去一樣有非常強的上下相依性架構,而是平行的數據分權架構予以情境為導向的數據治理架構。

2. Data 當作產品 (Data as a Product)

數據不只是像過去只要能夠拿到數據而已,他是一個需要自動化生產、品質監控、數據安全、數據監控以及分權治理,到最後有資料目錄以及各個企業階層的數據管理架構。

3. Self-serve 的完整數據流程

在這種平行的數據分權與治理,需要有一個完整的數據框架能夠系統自理完成自動化、流程化的系統框架。

4. 聯合的數據運算 (Federated computational governance)

快速把不同雲地以及各種不同資料庫、檔案格式、資料倉儲系統大數據的快速混合運算,且能夠用複雜的邏輯運算快速的產出企業不管規模大小的數據量級。


使用 CannerFlow 快數達成 Data Mesh 數據框架

CannerFlow 是基於資料虛擬化的概念建置,也包含像是數據安全、數據監控、數據分權、以及水平與垂直數據整合。

  1. 資料虛擬化不需搬移數據才能供應數據需求。
  2. 快速連結各種檔案格式與跨組織的資料
  3. 即時標準化與正規化數據
  4. 讓數據管理能夠規模化,從小規模到大規模都適合
  5. 未來企業數據規模增長也能夠適用

No reproduction without permission, please indicate the source if authorized.

Share to your friends!

Follow Us
CannerFlow Platform
Connecting data lakes, databases, files, clouds as one data platform.
Learn More
Contact Us
Want to connect with us and talk to us? Contact us now!
Request Now