Back to Blog
企業內部數據 PoC 的挑戰 - Data Prototyping 與 Iteration 的重要性
2021/06/17

在業務上,企業常在商業模式、業務、行銷、營運,我們在每次的新想法,我們總是會想要先快速用最少的人力時間成本做 prototyping 也就是我們常說的 Minimum Viable Product/Idea。為了讓商業角度能夠快速的實踐,我們會先用一些最簡單的方式做實驗驗證,確定了再大規模的採用或是漸進式的導入。然而我們看到數據應用上企業內部在這種數據 PoC (Proof of Concept) 驗證的方式並非這麼容易,以下來我們來分析他們的挑戰為何?

企業趨勢『數據導向』做決策 - 業務部門需求變多

現在每間公司都希望能夠用數據做決策,希望各單位都能夠用數據來做更精準的決策,包含業務、行銷、營運,每個部門都希望能夠擁有他們所要的數據做決策或是分析。

所以接下來會有許多不同的挑戰:

1. 企業內數據應用軟體越來越多

現在不只我們有 BI 軟體、還有像是 AI, 數據分析、客製化報表、監控、自動化等等,企業內想要做的數據應用越來越多,每個人要的數據面向不一。

2. 數據來源遠比以前雜

因為業務單位想要數據的單位越來越多,他們想要用的數據來源也越來越多,可能是資料庫、檔案、資料倉儲內的資料。

3. 業務端低估數據處理的成本

由於業務變化可能非常快速,單位也會比較多,所以他們會希望從這些數據單位拿的數據也會有很多不同的期待,但有些期待低估了數據處理上的成本。

現今常見企業內數據流程

現在的資料工程師或是 MIS 單位所使用的數據渠道,現在已經有既有的 ETL, Data Warehouse, 與 Data Mart 等等來供應給各個不同的應用單位他們所需要的數據。

Data prototype 與 Data Iteration 不敷成本

然而這種數據渠道的建置每個應用場景所建置的渠道,成本非常高。會需要建置 ETL, 建置 Schema 在 Data Warehouse 中創一個新的 table 以及再建置 ETL 把資料從 Data Warehouse 到 Data Mart 中,最後才到我們的各單位使用者手上。

如果這個資料並不是業務單位要的話,我們要把 ETL 刪掉、Data Warehouse 的資料刪除或 Data Mart 資料刪除。因為這些建置是需要時間的,所以也常常是建置完成後一兩週後,業務場景改變,資料需要再重新做調整、或已經不需要了。

現在 Data prototyping 的常見解決方法是什麼呢?

現在的解決方法是什麼呢?就是 人工整理資料。 在需求還沒有確認的情況下,MIS 有空的時候在幫業務單位撈資料出來,然後再幫他整理(數據加工後)再給應用單位他們要的實驗數據。

再來數據迭代的問題

AI, ML 的興起,最重要的一環就是資料迭代,在 BI 或是過去的場景,業務可能能有較明確的報表或是數據應用的目標,而在 AI, ML 的應用則不會這麼簡單。

我們會需要做實驗與驗證,這會有一個很大的實驗數據以及迭代數據的收集問題。如果在使用人力加工整合的話,花費的成本會是不容小覷。

除了人工整理資料以外,更有效的數據驗證以及迭代問題

答案是有的就是 『資料虛擬化』,資料虛擬化可以快速的讓企業做到靈活多變的需求報表 。最常見的就是我們前面所講到的 Data prototyping & Data iteration。可以讓企業可快的產生各種不同的實驗以及驗證數據給各個不同應用端使用在不同的業務場景,像是報表、AI、監控、自動化等等。

有興趣的話可以暸解更多我們的產品 CannerFlow 在這

No reproduction without permission, please indicate the source if authorized.

Share to your friends!

Follow Us
CannerFlow Platform
Connecting data lakes, databases, files, clouds as one data platform.
Learn More
Contact Us
Want to connect with us and talk to us? Contact us now!
Request Now