Back to Blog
為什麼已經有資料倉儲了還需要 Data Mart 呢?
2021/08/10

企業內部除了我們常聽到的資料倉儲外,還會聽到常見的詞就是資料市集 (Data Mart) ,Data Mart 是指通常在企業內部有下多衛星的資料儲存的資料集。那為什麼已經有資料倉儲了還需要 Data Mart 呢?

當我們在大型企業有了資料倉儲後,給不同的應用單位只能取得他們所能夠去使用的資料,且不佔用到集團重要的資料倉儲使用空間的時候,我們會針對不同應用搭建不同的 Data Mart 供這些應用單位使用。

  1. 避免佔用到 Data Warehouse 資源
  2. 資料安全性
  3. 資料使用分離
  4. 使用場域不一

在使用 Data Mart 時通常會依照主題作設計,會依照不同的群體從 Data Warehouse 中分離出群體所需要的數據供他們使用,像是業務、財務或行銷等。讓數據使用單位能夠安心地自理他們所想使用的數據,不擔心影響到所有資料倉儲的使用。

Data Mart vs. Data Warehouse

一般企業的數據架構如下圖,在許多不同的資料集上會建置許多的 ETL 把資料輸入至 Data Warehouse 上,在建置各種不同的使用情境的 Data Mart 讓各種不同的商業應用的使用者透過 Data Mart 使用在不同的應用場景上。

Data Mart 可以讓 Data Warehouse 的數據轉換成 ready 給終端應用端所使用。讓不同的業務單位能夠自由地使用數據不需要被中央的 Data Warehouse 所限制。且由於 Data Warehouse 的價格通常昂貴數據量非常大,僅允許重要的人員被授權進入。

資料市集 資料倉儲
數據大小 < 100 GB 100 GB +
主題 單一主題 多樣主題
範圍 單一業務 整體業務
資料源 較少 各種不同數據源統一
資料整合 單一 多種
建制時間 數天數週 數月數年

使用 Data Mart 的優點

  • 有效率地讓各單位能夠授權
  • 較親民的價格,由於許多終端使用者使用數據並不會採用昂貴的運算資源給各單位
  • 優化資料倉儲的效率(卸載資料倉儲的運算)
  • 資料管理與維護更容易
  • 簡單且快速建置
  • 易追蹤各單位的數據使用情形

虛擬的資料虛擬化平台,快速建置複雜的虛擬 Data Mart

使用 Canner 所開發的 CannerFlow 能夠快速的建置企業的虛擬資料倉儲系統以及虛擬 Data Mart

  • 減少 ETL 以及 Data Warehouse & Data Mart License:不需要建置許多 ETL 把 Data Warehouse 的資料轉換輸入到 Data Mart。
  • 統一數據安全控管:所有從資料輸入到虛擬 Data Mart 中間的數據轉換都會被紀錄。
  • 優化各種不同應用場景:應用單位使用虛擬 Data Mart 使用在 BI, AI, ETL 等應用都可以被加速。
  • 數據快速分割:使用虛擬 Data Mart 不需要花不同 ETL 功夫把資料輸出再輸入。
  • 一致框架:從資料整合到數據分配都使用單一框架,並使用標準的 ANSI SQL

No reproduction without permission, please indicate the source if authorized.

Share to your friends!

Follow Us
CannerFlow Platform
Connecting data lakes, databases, files, clouds as one data platform.
Learn More
Contact Us
Want to connect with us and talk to us? Contact us now!
Request Now