Back to Blog
資料虛擬化 10 項在企業數據應用的重要性
2021/07/22

許多企業找到 Canner 希望導入 CannerFlow 作為他們資料處理的重要核心,幫助他們能夠快速的把資料孤島數據轉換傳給不同的應用單位,讓數據可以在虛擬的環境中作轉換、應用、分享、與管理。

以下是我們整理的幾個我們在面對客戶常見的一些問題,以及為什麼 CannerFlow 資料虛擬化對於企業數據應用會是相當重要的一環。

1. 我們已經有資料倉儲了,為什麼我們還要虛擬化我們的資料呢?

企業內部的數據每日不斷地快速增長,不論是在資料庫、檔案、資料湖內的數據,企業內部的數據絕對不可能所有都做 ETL 至 Data Warehouse 內,主要原因為資料耦合度加高、資料處理成本過高,一般企業會把企業最重要的數據處理透過 Data Warehouse 儲存與處理,像是營運數據、財務數據,關於各式業務、行銷、各部門的細部資訊都是儲存於單位內部中。

所有各單位的數據要如何整合、管理、與利用,一般都無法在每個單位中有資料倉儲這麼大的系統,這時候資料虛擬化就是最完美的解決方案。

資料虛擬化並不是要取代資料倉儲,而是幫助企業的各單位能夠更有效率的使用數據。

2. 要導入新的數據技術每次都要花費至少半個月以上的時間,太麻煩了

資料虛擬化的導入成本比起其他的數據處理技術少非常多,以我們的經驗,許多企業能夠在 2 ~ 4 週就能夠驗證一個重大的應用場景,使用 CannerFlow 資料虛擬化不需要學習太多額外的資料庫語法,我們是使用 ANSI SQL, 而且連結數十數百個的資料源都不需要做資料搬移,而是利用虛擬化技術去整合數據。

3. 數據虛擬化執行效能跟實體資料庫相比好嗎?

CannerFlow 資料虛擬化架構與其他資料虛擬化軟體最大不一樣的一點,就是會把所有數據運算邏輯都存於 CannerFlow 內部而不是在資料庫內。所以在資料複雜度運算高的情境裡面,CannerFlow 可能會比實體資料庫的運算還來的快,也代表說有些 Query 在原本資料庫中跑不出來現在可能都可以執行完成。

4. 數據虛擬化聽起來要變動的東西很多很複雜

過去的數據整合工具都要費時較長且複雜的整合工作才能夠導入,CannerFlow 可以快速地把數十個數百個資料庫在一鍵設定完成後就變成一個虛擬資料庫。

5. 聽起來資料虛擬化是要來取代資料倉儲?

如第一點所提,資料虛擬化並不是要取代資料倉儲,在中型企業確實在某些情境可以使用資料虛擬化來取代資料倉儲架構,資料虛擬化最大能夠取代會是資料倉儲要建置各種 Data Mart 提供各種不同應用單位想要使用的數據。

6. 資料虛擬化 (Data Virtualization) 跟 Data Federation 是一樣的東西?

Data Federation 只是 Data Virtualization 功能的一小部分,雖然都可以整合數據,不過在運算量及運算層,CannerFlow 的資料虛擬化是可以分散節點以及運算與儲存分離的架構,在資料聚合同時建置虛擬的資料市集、數據欄位權限控管,讓各種應用場景的數據供應與運算分離。

標準化與正規化資料在資料虛擬化中是非常重要的一環,Data Federation 並沒有相關的設計,而是在原始的 Database 中創立 schema 然後連結外部資料庫,把 SQL 直接執行在外部資料庫中。

7. 資料虛擬化資料轉換好像有很多限制?

在 CannerFlow 的資料虛擬化中 SQL 是使用標準的 ANSI SQL,可以用應用的數據轉換非常廣泛,且我們接下來支援 UDF (User Define Function) & UDTF (User Define Table Function), 讓企業能夠在數據處理的前後加上複雜的程式碼做進階的數據轉換,相較過去的 ETL 更能夠處理複雜的數據架構。

8. 資料虛擬化指的是所有資料都是共用儲存嗎?

不是,在 CannerFlow 中的運算層是共用運算,但在數據儲存到各個虛擬 Data Mart 之後數據都是彼此獨立,並不會造成資料外洩問題。在 CannerFlow 有嚴謹的數據權限控管,能夠供使用者分享特定的 Table 給特定的使用單位。

9. 資料虛擬化會比 ETL 快嗎?

其實資料虛擬化會比 ETL 快,原因是過去的 ETL 他是用 batch processing, 而使用資料虛擬化是一次直接把需要的資料拉進 Memory 一次運算完畢,所以會快許多。

10. 資料虛擬化可以提供即時的數據嗎?

首先要定義「即時數據」,若定義為 Streaming 串流數據,CannerFlow 目前無法用串流即時更新數據,但是我們在每次執行 query 的時候能夠『即時』地取得現在的數據樣貌,而不是像是 ETL 的方式僅能提供 snapshot 的數據。

No reproduction without permission, please indicate the source if authorized.

Share to your friends!

Follow Us
CannerFlow Platform
Connecting data lakes, databases, files, clouds as one data platform.
Learn More
Contact Us
Want to connect with us and talk to us? Contact us now!
Request Now