
什麼是數據中台,以生活化譬喻出發
在許多企業現在對於數據團隊最常聽到又不太了解的詞莫過於「數據中台」這個詞,今天我們想要用不同的角度透過比喻的方式深入淺出帶大家一步一步了解,什麼是數據中台以及為什麼他這麼重要。希望透過今天的文章,大家可以了解大家想要解決的問題,以及該如何思考。
在企業內部的數據團隊就像是企業的中央廚房,企業內部的資料庫以及資料倉儲的資料儲存的方式有很多像是廚房的食材有很多種儲存方式冷凍、冷藏與常溫倉庫依照不同的食材儲存在不同適合的地方;點餐就像是,企業內部不同的業務單位向數據單位請求資料;清理與加工食材就像是企業中的 MIS 與數據團隊整理與整合資料透過 ETL 與資料運算;最後送餐給客戶,出餐給客戶有很多情境包含是預約、料理包、內用、外送、還是自取等不同的出餐情況處理方式都不一樣,就像是在企業內不同單位使用不同的應用系統如:BI 軟體、資料分析軟體或是 Excel 等。
透過新的資料架構概念來達成這整個流程的自動化並且能夠規模化使用,在資料量級更大、人員更多及應用需更多元的情況下還能夠有效率的使用,這就是數據中台。
數據中台的概念
企業內部的資料儲存以及隨著業務與部門需求的複雜度增加所儲存的資料與量級都會增加,不同的原始資料在清理與加工上處理的方式不一,最後還需因應不同的資料使用者的使用需求去提供給他們要資料。
數據中台一般包含了資料如何「收集」、「儲存」、「整合」、「使用」。在建置符合您企業內部數據中台架構時,需要很清楚地了解到企業內部通常收集的資料為何,使用哪一種儲存的解決方案最符合成本與效益;不同的業務單位的平常性需求為何,以及使用者希望能夠可以使用在那些情境中,並針對這些情境做到優化。
數據中台最大瓶頸:資料權控
數據中台最難解決的關鍵設計之一就是資料權控,企業可能因應不同的情況則不同的資料儲存與應用工具,但是這些儲存與應用工具都有自己的權限控管機制。在資料權控上有很明顯的斷層與不一致問題。例如:使用 BI 與分析工具的資料使用者,通常無法直接進資料庫中取資料,需要透過 MIS 與 IT 輸出到特定的地方或轉換成特定的檔案他們才能夠取得。
在不同的儲存與應用系統間,資料的權控管理如何在同一個平台中?並且具有統一的軌跡紀錄的能力。在沒有安全且可監管的資料權控設計在各個不同系統之間,那就無法達成數據中台的願景。
統一授權機制後,資料流程上的挑戰
企業內部的現代化資料調用的目標:
讓資料使用者能夠找得到資料,使用時同時兼顧安全與取用效率
現在大部分企業拿資料的流程,應用單位想要取用一個資料的流程:
- 需求者需要先找到資料擁有者,可能在 IT 或是 MIS 的哪個人手上有這個資料。
- 跟資料擁有者索取資料集,資料擁有者手上的這張表有部分欄位需要過濾或是遮罩,才能給特定的團體或是個人使用。需要透過某種方式把欄位遮蔽,遮蔽後輸出。
- 如果使用者想要在 Excel, BI 或是 API 的方式取得,就需要在看用什麼方式實作讓使用方得以在工具中取得資料。
- 最後在會依照使用頻率做優化處理,或是自動化(每日、每週或每月)。
當未來資料的取用規模到數十個不同的部門與單位,規模化的調用流程會是企業最大瓶頸。在企業端我們常聽到資料的取用通常會花上數日或數週的時間,最大的挑戰在於如何自動化與流程化整個資料調用的體驗與使用。
統一資料權控平台:資料調用層
Canner Enterprise 資料調用平台,是為了幫助企業解決在跨異質資料集以及資料應用工具間的資料調用挑戰,統一各系統間的資料權控問題 Canner Enterprise 支援超過 20 種不同的資料庫、資料倉儲、資料湖等資料儲存技術,並且針對不同的應用工具做最佳化的輸出優化。
透過 Canner 的資料虛擬化功能得以快速連結,統一的資料授權管理設計讓不同的儲存運算層上能有一致的權控機制,最後在不同的應用工具中能夠把資料的授權機制延伸至應用工具系統中,讓在資料應用工具中的操作使用軌跡能夠完整的紀錄在單一資料調用平台中,解決數據中台最大的資料權控挑戰。
本公司圖文版權所有,轉載請註明出處。