Canner

數據應用是未來企業的競爭力，近幾年台灣在數據創新與轉型上不論在台積電智慧製造，敏捷與智慧生產的供應鏈、IT/OT 整合的智慧工廠、與自動化設備應用；國泰金控金融業，金融業慢慢變成科技公司從技術導向轉向數據導向與生態圈導向；誠品線上，把線上與線下零售智慧化從數據加上人與組織的變革，變革 OMO 的新智慧零售。

數據的邊界逐漸從原本資料庫本身，逐漸延伸至資料應用端，讓人與組織都能夠使用。企業內部複雜的原因有三個主要部份『資料儲存、人員、資料應用工具』；在不同的場景中有最適合的資料儲存方式，企業內部人員有階層性、交互性資料可以從不同人員做授權，資料應用工具有營運層面、分析層面、預測層面。這三個面向造就資料企業數據根本的資料複雜性。

資料調用困難及實踐？

首先我們先來看最基本的目標，資料調用的初衷，就是：

讓資料使用者找得到資料，並且馬上使用。

您可能在想，在公司沒有導入資料調用層，不同的部門需要資料還是都拿得到呀？是的，但我們回想一下過去現在企業拿資料的流程，應用單位想要取用一個資料的流程：

1. 需求者要先找到資料擁有者，在 IT 或是 MIS 的哪個人手上有這個資料。
2. 跟資料擁有者索取資料集，資料擁有者手上的這張表有部分欄位需要過濾或是遮罩，才能給特定的團體或是個人使用。需要透過某種方式把欄位遮蔽，遮蔽後輸出。
3. 如果使用者想要在 Excel, BI 或是 API 的方式取得，就需要在看用什麼方式實作讓使用方得以在工具中取得資料。
4. 最後在會依照使用頻率做優化處理，或是自動化(每日、每週或每月)。

要達成以上這句目標，並不容易，資料到應用中經歷了重重關卡。

首先從左而右，異質資料來源需要先進行同質化；資料授權能夠與應用端組織一致化並針對資料欄、位、表，針對使用者的用戶資料去做遮罩與過濾；讓資料賦予業務意義與定義，透過資料產品化加工；最後針對不同的應用工具優化、追蹤並輸出。

一個完善的資料調用平台，須解決資料異質性、可用性、資料授權、資料應用多元性。

為什麼需要資料調用層 (Universal Semantic Layer)？

當公司內有不同部門與人員調用資料這個需求可能疊加至數百或數千的需求，人力成本與時間瓶頸最終會開始堆加累積，變成未來需求都需要等數週或數月才能取得需要的數據。

這樣的工作流程很明顯的流程挑戰在於『資料調用流程』。過去我們為了要把資料安全並且有效率的方式拿給需求方，最後當資料到他們的手上的時後已經是過時，或是因為溝通上的落差，調出的資料與使用者的認知不一致，到最後資料完全錯誤。

如果有個工具能夠把資料的異質性同質化，支援資料授權機制滿足企業內部組織架構，並且針對不同應用做最佳化。就能解決資料調用的瓶頸。

所以企業需要一個解決『儲存、人員、應用』三個複雜維度的資料調用層。

完善的資料調用層

完善的資料調用層，包含了四大設計：

1. 資料虛擬化

透過資料虛擬化技術，首先系統支援多種異質資料連結器，讓異質資料儲存同質化，不論資料儲存在各種不同的資料儲存技術，包含資料湖、資料倉儲、SQL 引擎或是資料庫等，都可以透過資料連結器同質化在一個一致的資料介面上操作。

最後在資料運算時能在資料『零搬移、零複製』的情況下，把資料在運算記憶體中運算完成後直接輸出到應用端。

2. 資料產品化

在資料做加工變成，可以應用的數據的過程包含賦予他語意上、情境化的數據，叫做資料產品化。數據轉換層將指標 (Data metrics) 加入商業語意 (Semantic)，讓資料集具業務性輪廓，讓資料賦予應用端語言，應用端使用者能夠定義、查找、並且理解資料來源與品質。

3. 資料安全管理

當資料從源頭的資料源權控，對接到企業內部的 Identity and Access Management 身分識別系統 (IAM)，並且針對不同應用軟體中的資料權限管理，需透過一層資料安全管理層做串接，讓資料能夠與組織內部的權限管理進行整合。

4. 自助式調用

透過廣泛支援的資料輸出方式，在各種不同的業務場景所使用的工具，無論是營運性、分析性、整合性工具都能夠過單一平台進行優化，並且讓使用者能夠自助式管理。

成效

透過統一的資料調用層，能夠大幅降低企業內部資料調用的複雜度與人力成本。

1. 資料調用從原本數日到數分鐘，異質資料的透過連結快速同質化，讓資料整合的成本下降 60% ，幫助企業的數據反應力與競爭力大幅提升，決策可從數日到數分鐘。
2. 減少實體搬遷資料，不需要為了資料遮罩以及過濾另外萃取資料集，減少資料儲存與提高安全性，減少 40% 以上的實體搬遷資料需求。
3. 增加資料應用方式，對企業未來要採用 AI, ML 或是進階分析工具像是 Jupyter notebook 可以共享數據，減少超過 80% 以上的資料重工與優化成本。
4. 資料授權動態化，提升資料工程師資料調用效率，透過資料調用層，能夠讓應用端人員對於資料集更透明，提升 4 倍資料工程師對於企業內部工作效率的提升。