Back to list
【應用架構】 BI 加速器
2022/07/05

"我就讓他一邊跑,一邊做其他的雜事,不然事情怎麼做的完。" - 資料分析人員的內心話

企業數據量大爆發,也讓不少企業投入更多人原想在數據中找到更多有意義的商務決策,隨著業務單位使用數據量級增加、作為第一線的數據分析人員,一定曾經遇過 BI 工具處理工作負載量過高、運行速度太慢、記憶體不足、重整緩慢,等待報表的同時,幾乎佔據所有電腦運算效能,這時候除了轉而去做其他雜事、再開一台電腦、或者放著讓他跑,幾乎沒有其他辦法,類似的 企業案例 屢見不鮮。

資料分析的時間困境

網路上也有各種不同的 BI 優化解決方案 ,連主流 BI 工具 Power BITableau 都為此各自出疑難雜症解答頁,不過大部分是從資料分析師的角度進行建議,最末端開始去除資料雜質、降低圖表複雜度,甚至如格式欄位都要一一調整,非常耗人力工時與溝通成本。尤其對於分析源頭來自於異質資料的業務單位來說,這些都是更加痛苦的事。但在分析師背後的內心台詞,絕大部分都是以下三點:

  1. 分析資料量大,我的電腦跑得動嗎?
  2. 清理資料細節,我的作業時間夠嗎?
  3. 如果做錯,重作時間成本極高,我來的及嗎?

用金錢改善 BI 效能

"Local 跑不動,就改用 Server 來算比較快吧"

面對大量的「使用者數量」以及「運算效能」兩個難題,企業在導入 BI 工具時也會考量不同授權方案,起初大多先使用個人 Desk 版本,而隨著運算所需效能資源快速增加,擴大選擇採購以雲端、地端 Server 版本,透過伺服器加速運算授權方案,確實可解決運算效能,不過連帶所費不貲,但也就只是將所有改善方針全數押在 BI 工具之上,造成 BI 成為企業進行數據分析的一大「預算」關卡。

資料分析的卡關,不應該把所有因素都壓在 BI 工具身上,資料流程具有一定的堆疊架構,從下圖來看,首先從左而右,異質資料來源需要先進行同質化;資料授權能夠與應用端組織一致化並針對資料欄、位、表,針對使用者的用戶資料去做遮罩與過濾;讓資料賦予業務意義與定義,透過資料產品化加工;最後針對不同的應用工具優化、追蹤並輸出,歸根究柢,如果進到 BI 之前就可以完成資料加工,更快速的拉取資料,才是真正大量改善企業 BI 使用狀態

flow before

為什麼 Canner 可以做為 BI 加速器

Canner Enterprise 作為資料調用管理平台,提供進入 BI 之前高品質資料產品,降低雜訊資料,達成複雜資料流程的最佳做法。甚至,原先需要依不同個來源類型建立個別的資料流程,例如內部部署、雲端、 SQL Server 、 Spark 和 Dynamics 365 ,現在都可以在 Canner 先行處理,避開內部限制。

Canner 作為 BI 加速器,以下四功能是最主要推手:

  1. 異質資料連結器: Canner 提供 17 種以上異質資料連結器,讓儲存資料同質化,包含資料湖、資料倉儲、SQL 引擎或是資料庫等,都可以透過 UI 介面上操作。
  2. MPP 平行式加速運算:Canner 運用 MPP 設計架構,將調用任務並行的分散到多個伺服器和節點上,在每個節點上計算完成後,將各自部分的結果彙總在一起得到最終的結果,有效縮短調用時間。
  3. 自助產出資料產品:使用者可先於 Workspace 自主將所需資料欄位匯整為預計分析的內容,甚至先過濾部分隱私資訊,先於 Canner 完成固定作業流程。
  4. 資料推送 (Data Push) :直接輸出 BI 需求資料至固定報表需求。

不只 BI 加速 Canner 讓所有應用工具加速

透過建置完整的資料調用流程,讓架構中各種資料工具回歸各自擅長領域,發揮最佳功能,Canner 作為 BI 加速器,先行進行資料調用與匯整,可大量降低 BI 工具所需高運算量的依賴,降低授權費用以及加速報表出。其實不只是 BI 更多其他分析工具、 ML、 Workspace 工具如也需要大量仰賴 OLAP 情境也都會面臨這些問題,因此從資料調用流程開始,真正從根本改善才是解決之道。

flow after

本公司圖文版權所有,轉載請註明出處。

Share to your friends:
申請試用 Canner
申請試用