【應用架構】 資料倉儲前哨站
2022/07/11

什麼是資料倉儲?

資料倉儲的設計就像是我們在現實生活中大型的倉庫一樣,為了容納大量的資料而設計的資料儲存方式。讓資料量在非常大量的時候還是能夠快速地找到與使用。

資料倉儲專案建置的挑戰

資料倉儲的建立,首先會把所有不同地方的資料透過 ETL 工具輸入到資料倉儲中,在此同時您需要在資料倉儲中定義 schema 與 Denormalized (反規範化) 資料,讓資料在後續的應用上可以從一個完整的大表中直接快速分析取得結果。為了達到此會需要解決以下挑戰:

  1. 應用單位需求來源盤點:針對此建立對應的資料萃取流程
  2. 需求建立資料倉儲中的 schema:資料表在資料倉儲中要如何建立
  3. 資料取用的場景:針對常見的使用場景為了要優化搜尋速度與降低成本,會特別針對資料做指標 (Dimensions) 以及衡量 (Measures)。

維護資料倉儲才是最大的挑戰

在建置資料倉儲上,最大的挑戰不是建置,而是維護。要如何在未來業務與需求不斷新增與刪減或變化時,同時能夠保持資料倉儲儲存與運算上,能夠反映業務變化的需求。常見問題如下:

  1. 資料輸入流程改變:資料要如何流進,歷史的資料格式如何與新的資料格式合併。
  2. Schema 調整:業務端使用者所需要的表格有更多的需求,這時候就會在既有的 schema 中,新增或修改欄位。要如何確認資料倉儲中,所有相對應的資料集 schema 都有同步更新?
  3. 針對不同應用場景:需要有更多面向的資料集,包含如企業內部有 20 個不同縣市的主管,要如何在資料倉儲中為了這 20 個不同縣市的相關人員給予他們能夠查看的資料集?

資料虛擬化搭配 ETL,完美滿足企業各式資料情境

企業中的資料在不同情境下,最適合的處理解決方案。資料虛擬化可以幫助企業把資料小至大量的資料快速整合。

compare-table

搭配資料虛擬化,降低 80% 以上的時間與人力

透過資料虛擬化技術,在串接資料源以及資料快速的迭代的情況,比起以往使用資料倉儲等服務更彈性且方便,滿足企業在講求資料快速反饋的需求。

roi

Canner Enterprise 作為資料倉儲前哨站:

Canner Enterprise 能夠讓企業同時兼顧彈性整合與大量資料分析能力,主要特點如下:

  1. 資料虛擬化整合資料:資料不需要搬移的情況下,直接連結資料庫或資料倉儲,就能夠跨資料集的做運算。減少建立資料輸入流程以及手動建置 schema。
  2. 定義商務性語意:透過添加資料標籤、描述,讓資料更具貼近業務分析語言,讓業務單位能夠自己找到想要的資料並且使用。
  3. 資料授權管理:透過 Canner Enterprise 企業不需要因應不同的使用者與使用單位,建置不同的資料集在資料倉儲中。透過 Canner Enterprise 進階授權機制,能夠在不需要建立實體的資料集讓不同的企業成員拿到不同的資料集。
  4. 自動優化輸出:針對不同的應用場景,Canner Enterprise 有內建不同的優化方式,在您使用不同的接口方式自動優化。

本公司圖文版權所有,轉載請註明出處。

Share to your friends:
立即開始使用 Canner 吧!
申請試用