Back to list
什麼是數據中台?
2022/05/23

為什麼需要數據中台:數位化後數據爆炸性堆疊

隨著企業數位化系統逐步導入,提供使用者更便利、無距離的應用方式。但企業面臨的不只是系統服務的建置,更包含著多重系統所需要產生的資料紀錄,數據量暴增從 GB 級紀錄升等到 TB 級、 PB 級,也讓企業重視數據分析需求,投入更多使用數據人員,以及導入更多終端應用暴增:除了 BI ,也逐步增加 ML、 Workspace 等等工具。簡單來說,不只是資料量像寒武紀大爆發一樣,連帶帶動整個生態系一併蓬勃發展,產生新的「 現代化資料堆疊 」架構,也讓許多企業思考導入數據中台,加速由數據到挖掘創新想法的需求。

但在數據中台建立之前,我們必須先了解,一般而言 Database 資料源是不允許多人直接取用,其中包含安全、穩定性、授權管理等等因素,因此數據中台成為分析需求的中介者,概念上強調具備以下四大項目,包含:

  1. 資料倉儲:將資料搬運複製至倉儲,脫離資料源,並將資料同質化,滿足下一階段運算需求。
  2. 資料運算:因為有大量資料,所以必須加速運算匯整。
  3. 資料模型:透過彙整的資料進行轉換,產生資料模型,以做為提供分析工具之基礎。
  4. 分析工具:以分析工具作為資料產品進階至可視化、可邏輯化之成果

數據中台 ≠ 資料倉儲 ≠ 無止盡的集中化管理

透過數據中台,讓前端使用者可以更順利取得企業內部資料,並且加速創新分析。現在不少企業已經進入導入資料倉儲的階段,如果就少部分作業來看,流程就會相對簡單,但是,一旦放大規模化到企業級需求,我們可以看到資料調用會變成數千數萬條調用路徑規模化後會變成非常複雜,即使建立數據中台後,管理也會成為一個重大思考面向。尤其現在許多企業都聚焦在資料倉儲上,使得資料倉儲不斷被擴增功能,甚至極端式塞入各種資料,導致維護、調用、管理都非常複雜。如果未能有一個完整管理機制,甚至最終也會讓最終資料消費者產質疑,資料真的可用嗎?

此外,數據分析需求規模化後,單一的管理方式不見得能夠適用所有組織,畢竟單一方針的政策並非適合所有業務單位,少量的數據孤島,或是新系統產生的小孤島都是不可避免的。再加上前端應用工具愈來愈多,管理層面上就更會成為企業尾大不掉的問題。

data platform scale

現代數據中台再思考: 分析需求持續成長 需要納入「使用者」管理方式

面對爆發成長中的企業資料應用,數據中台的概念固然是要打破組織間資料調用問題,所以在功能面上不應完全偏廢資料倉儲,而應該讓整體中台各個功能專精化,「採集」、「儲存」、「互通」、「使用」均衡發展,也不會讓整體建置時間過於冗長,甚至耗費過多的費用。

因此,我們重新思考,「現代資料堆疊」架構下的數據中台應用應該要再加上 資料調用層 (Access Layer) ,作為區分前後端技術與服務需求,並且加入「使用者」權限控管的管理調度站。從企業內部現況來說,後端系統增加異動性頻繁程度並不如使用者高,且隨著企業業務、法規遵行、策略調整,數據隨時都處在備戰狀態,透過在現行架構中,加入資料調用層,將「資料源、應用工具、人員」三者系統化管理,減少人員管控設定時間,並加速調用過程。

資料調用層優點:

  1. 後端資料堆疊方式獨立性:無論企業採分散式、集中式管理,或是新增系統、更改系統,透過調用層,讓資料源保有各自管理方式的獨立性,也可依照資料分析需求,選擇要進入資料倉儲,或是直接經由調用層加工,減輕全部資料倒進資料倉儲龐大的負擔與費用。
  2. 前端服務調用,資料調用層則提供具有商務語意的資料產品,更貼近實際業務情境,調用資料時更可清楚找出需求,不再如過去需要 try and error,提升資料調用可信度。
  3. 調用軌跡系統化紀錄:透過調用層的軌跡紀錄,資料源可清楚追蹤前端調用發起人為何,以及輸出對應的應用工具為何,讓調用過程更具備稽核能力。
  4. 人員、資料源、帳號權限系統化設定:面對規模化組織,資料調用層依然可以綁定企業既有帳號管理系統,並提供UI介面輕鬆資料源使用權限,並可隨人員組織狀態動態調整。

balance

費用考量 ? 可以選擇輕量級虛擬中台 「資料調用層」

數據中台這麼龐大架構,大部分都是具有預算的大型企業積極導入,但如果您屬於中型或小型企業,也想透過中台集成方式讓數據分析工作更上一層樓,其實也可以使用「資料調用層」作為建置數據中台的前期評估, Canner Enterprise 提供異質資料連接器 ,可以讓您無須花費大筆經費建置資料倉儲,就可以將各個數據孤島資料在 Canner 完成資料同質化,進而進行資料匯整與加工,一樣可以完成將不同來源的資料,快速輸出給前端資料分析工具的功能。

  1. 串接異質資料: 透過連結器各別資料庫、檔案、串接並且同質化,無須搬移、複製資料。
  2. 授權管理:針對「資料源」以及「資料使用者」分別安排資料調用授權設定。
  3. 運算資料產出資料產品: 讓資料使用者可以自主在平台進行資料拉取、匯總,完成資料具有商務性意義的資料產品。
  4. 輸出應用工具:針對不同業務單位所使用的應用工具,輸出多元格式 (如 Excel, Tableau, Power BI…) 。

回歸思考最終目的:讓數據快速發揮使用決策成果

其實無論企業再考慮哪種數據中台架構,數據中台終究是圍繞著企業本身核心領域 (Domain) 需求進行設計,金融、製造、零售均有各自的版本,只是都基於數據資料調用的技術為基底,加上領域知識所完成的成果。建議企業評估的思考方向:

  1. 數據分析人員與數據量級規模化程度:人員、應用、資料源多寡左右系統設定複雜度
  2. 企業專門領域是否必須專門客製化需求:特殊客製化開發決定開發時程與預算規模

這些都呼應著最近資料圈常討論的 「Data fabric」 技術以及 「Data mesh 」 架構,這些無非都是希望資料調用在技術上要分工明確,並且在服務上重新納入資料消費者的思考,而不是讓數據中台淪為技術性討論、費用綁架等等議題,失去原始服務目的。

想更瞭解更多數據中台建置建議 ,歡迎與 Canner 聯絡。Canner Enterprise 可為數據中台提升建置速度與建置成本,在數位轉型的浪潮上,從資料調用過程開始轉變,建立更完整的運用基礎。

本公司圖文版權所有,轉載請註明出處。

Share to your friends:
申請試用 Canner
申請試用