Data Mesh 理念與四大原則
2023/01/06

Data Mesh 是一種新興的資料架構設計理念,旨在提高資料團隊的效率和資料使用的價值。它將資料分為不同的領域,每個領域都有自己的資料團隊和責任。這些團隊負責管理其領域內的資料、定義資料的含義和質量標準,以及提供對外的資料服務。

Data Mesh 理念有四大主要原則,原則與說明如下:

原則一:執行團隊擁有資料權責 (Domain Ownership)

資料擁有權應該屬於特定的領域,而不是屬於中央的 IT 團隊。每個領域都需要擁有自己的資料團隊和責任,負責管理其領域內的資料、定義資料的含義和質量標準,並提供對外的資料服務。

每個執行團隊都有自己的資料權責,包括資料的所有權、資料的質量、資料的安全性以及資料的可靠性。這樣可以保證資料的責任歸屬明確,各個執行團隊可以更好地管理和維護自己的資料。

原則二:執行團隊提供自主式資料產品和服務 (Data as a product)

Data Mesh 的核心思想是將資料視為產品,每個資料領域 (Data domain)都是一個小型的資料生產部門,需要擁有自己的資料管理者 (Data Steward)、負責人 (Data Owner)、和資料品質保證。透過這種方式,資料可以更快地流動,並且更容易與用戶進行溝通和交流。

每個執行團隊都可以提供自己的資料產品和服務,並且可以獨立地進行資料管理和資料共享。這樣可以更好地滿足不同業務單位的需求,提高資料的價值和效益。

原則三:建立自助式資料平台 (Self-serve data platform)

每個領域都需要擁有自己的資料平臺,以支持自助式服務的資料開發和使用。這些平臺應該提供統一的資料接口和元資料,以便其他領域和用戶可以輕鬆地調用和使用。

資料共享是非常重要的,這樣可以更好地實現業務的協同,提高資料的價值。因此,需要建立開放式的資料共享機制,讓不同的執行團隊可以自由地進行資料共享,同時也需要建立相應的資料安全和隱私保護措施,保護資料的安全性和隱私性。

原則四:建立資料治理機制 (Federated computational governance)

資料治理需要在領域內進行,但是需要在整個組織中進行協調和管理。這需要使用統一的資料目錄和元資料,以便各領域和用戶可以了解資料的含義、質量和使用方式。

資料治理是非常重要的,這樣可以保證資料的質量、可靠性、可擴展性和安全性。因此,需要建立相應的資料治理機制,包括資料質量檢測、資料安全控制、資料共享協議等,保證資料的高質量、高效益和高價值。

實踐 Data Mesh 的好處

  1. 更好的資料質量和可信度:由於每個資料領域都有自己的資料團隊和責任,因此可以更好地控制資料品質和資料一致性,從而提高資料的可信度。
  2. 更快的資料交付速度:由於資料領域擁有自己的技術堆疊和負責人,可以更快地提供資料服務,並更好地滿足用戶需求。
  3. 更好的資料治理和合規性:Data Mesh 可以幫助企業更好地掌握其資料,並確保其符合法規和標準。
  4. 更高效的資料分析和應用:由於資料已經被分類和標準化,因此可以更快地進行資料分析和應用,從而提高業務效率和創新能力。

透過 Canner 實踐 Data Mesh 理念

傳統的集中式資料架構通常由一個中央團隊負責資料的提取、轉換和加載(ETL),然後將資料存儲在中央資料庫中。

透過 Canner Enterprise 軟體四大功能資料虛擬化、資料授權管理、資料產品化、自助式調用,透過人性化的 UI 設計,能夠協助企業達成 Data Mesh 理念,通過將資料權限分散化下放到各個業務單位容易使用且導入,讓每個資料產品團隊都負責自己的資料治理,包括資料的提取、轉換和加載。這樣可以確保資料質量問題被及時發現和解決,同時也可以加快資料流程的速度。

本公司圖文版權所有,轉載請註明出處。

Share to your friends:
立即開始使用 Canner 吧!
瞭解更多