Back to Blog
企業數據為什麼這麼複雜?如何解決?
2021/06/03

現在每個企業內部所儲存的資料越來越多,應用端也越來越複雜。在 Canner 我們不斷地協助各行各業的企業把各種各式不同的數據做數據轉換與優化,轉換成數據應用端能夠快速在各種不同的情境以及不同部門的人員能夠使用。此篇我們將分析了解企業數據為什麼這麼複雜。

企業數據為何這麼複雜,『整合數據』與『分配應用』問題

我們這邊下面的圖可以看到,這是企業內部的數據常見的樣貌。最左邊我們有各種的資料源透過不同的輸入或整合的方式,依照使用場景會儲存在不同的數據儲存系統裏面。而應用單位也非常多元通常會有業務、行銷、營運、財務等…。各種不同單位所需要做的數據應用都不一樣,可能是報表、儀表板、監控等。最後才會呈現出來企業最終的智能應用。

數據生態系

在我們所說的各種數據格式轉換成商務應用,現在是一個很大的工程,需要依照不同的應用場景提供不同的應用數據格式。

企業有哪些種數據儲存方式

最常見的數據儲存方式有

  1. 資料倉儲 :資料倉儲是一種資料管理系統類型,其設計是實現並支援商業智慧 (BI),尤其是分析。資料倉儲僅用於執行查詢和分析,且經常包含大量的歷史記錄資料。資料倉儲內的資料通常衍生於各式各樣的來源,例如應用程式記錄檔和交易應用程式。資料倉儲集中管理並整合來自於大量來源的大量資料。其分析功能可讓組織從其資料中推知寶貴的資料見解,以改善決策制定。資料倉儲會隨著時間建置對於資料科學家和商業分析師而言屬於無價之寶的歷史記錄。資料倉儲具備上述功能,因此可以視為是組織的單一資訊來源。
  2. 關連式資料庫: 資料庫是結構化的資訊以電子化的方式井然有序地儲存在電腦系統的集合。資料庫通常由資料庫管理系統 (DBMS) 控制。資料和 DBMS 以及與之關聯的應用程式統稱為資料庫系統,通常簡稱為資料庫。現今操作中最常見的資料庫類型中的資料通常以一系列表中的行和欄建模,以提高處理和資料查詢的效率。然後可以輕鬆地存取、管理、修改、更新、控制和組織資料。大多數資料庫使用結構化查詢語言 (SQL) 來編寫和查詢資料。
  3. NoSQL 資料庫: NoSQL 資料庫使用多種資料模型來存取及管理資料。這些類型的資料庫透過放寬傳統關聯式資料庫的一些資料一致性限制,特別針對需要大量資料、低延遲和彈性資料模型的應用程式進行優化。
  4. Operational Data Store:ODS 是數據倉庫的一個擴展,它也是一個企業級的數據存儲模式,它的構造也是面向主題的。
  5. 檔案: 像是 Excel, CSV, JSON 等等格式。

企業數據應用

企業數據應用,現在已經不再是只有 MIS 以及 IT team 會需要,現在企業希望以數據為中心做各種的決策,所以也會希望不論是各個單位都能夠觸及到數據。

像是業務、銷售、行銷、採購、營運等等,都需要數據導向做決策,但現在要需要做到數據導向做決策就需要先把所有數據做 不同面向的轉換。

企業轉換數據面向做到數據應用

前面提到數據在儲存時,會因為它儲存的方式最佳化,會選用相對應適合的儲存方式做儲存。但是在應用端的應用非常廣而且雜,每個相關部門與單位想要看到的綜合數據報表並不一樣,業務、行銷與財物每個人所需要做數據應用的數據面向不一樣。

所以在企業內部有一個很大的斷層就是如何把數據轉換成應用能量。

『資料虛擬化』如何幫助企業

CannerFlow 資料虛擬化技術

這時候資料虛擬化就能夠解決這個問題,數據轉換成各種數據應用。

  1. 數據標準化與正規化:不論資料在資料庫、資料湖、資料倉儲、ODS 等等…所有的資料儲存方式在連結後就標準與正規化,變成一個標準化的街口。
  2. 數據轉換、加工:CannerFlow 的資料虛擬化在讀取資料後就會做數據轉換與加工、轉換為個單位所需要的數據面向數據
  3. 數據輸出:由於在應用端有很多不同的數據應用,且每個部門所使用的數據工具都不一樣。CannerFlow 資料虛擬化平台可以依照不同的應用做數據輸出。
  4. 自動化:從正規化、轉換、加工、到最後輸出,最後最重要的一個環節就是自動化!可以讓數據從上游到下游的應用完全自動化,可以設定每小時、每半小時自動化做更新。

No reproduction without permission, please indicate the source if authorized.

Share to your friends!

Follow Us
CannerFlow Platform
Connecting data lakes, databases, files, clouds as one data platform.
Learn More
Contact Us
Want to connect with us and talk to us? Contact us now!
Request Now