Back to Blog
DataOps 人員組織與最佳實務
2021/08/31

DataOps 人員組織與最佳實務

要在企業中執行 DataOps 需要有相應的單位與人員去完成企業內部的數據轉型、數據升級。以下會主要有幾個角色:

  • Data Manager - 數據加工、轉型、供應
    • 數據架構師
    • 數據工程師
    • ETL 工程師
    • 數據管理者
  • Data customers - 實踐企業數據應用端
    • BI 使用者
    • 資料分析師
    • Data scientist
    • Dashboard 工程師
    • AI/ML 工程師
  • DataOps Teams - 軟體開發人員與 IT 營運人員

每個不同的角色幫助企業 end-to-end 的做到資料轉換,從源頭 Raw data 到最後的數據應用單位使用。有了健全的 DataOps 環境,我們可以讓企業更快的速度產生高價值的數據。

DataOps 最佳實踐

在企業的 DataOps 中流程上,我們提供幾個最佳實踐的想法供企業參考

1. 把資料是為程式碼

軟體開發者用 Version control 來管理所以的資要異動,DataOps 也需要用 Code 來管理與監控所有的數據轉換以及所有數據渠道的建立,讓未來再回溯或異動時都可以更快速的解決與追蹤。

2. 建立資料目錄

資料目錄對於資料治理是很重要的一環,讓資料能夠有版本控管以及可回溯的數據分析流程。讓企業可以完整的了解整個 Data lineages 以及資料歷程,讓資料能夠從源頭到最終的結果完整紀錄。

資料目錄讓資料相關人員能夠更快速地找尋以及了解資料,並且降低大量的時間在搜尋以及溝通。

3. 考慮使用 ELT

在 ETL 與 ETL 的差別可以參考我們 Canner 所寫的另一篇文章 “中型科技公司適合採用資料虛擬化而不是資料倉儲呢? (解釋 ETL & ELT & Data Virtualization)“。

ETL 與 ELT 最大的差別就是數據轉換的部分是在哪個階段,在 ETL 的時候資料轉換會是在資料還沒有 Load 進 Data warehouse 之前,ELT 則是資料在 load 進來後在 Data warehouse 內進行數據轉換,在 ELT 的做法中有個好處所有的資料都會在 Data warehouse 中,所以在 schema 以及 Data lineage 上可以借重這些 Data warehouse 內建的功能去實踐。

然而這在 ELT 的做法有幾個點需要考量

  1. 企業低估維護成本
  2. 企業低估建置成本
  3. 認為新創未來數據到很大量數 TB 或更大量級要怎麼辦,過早優化讓成本與資源浪費
  4. 企業低估業務改變時建制 Data Warehouse 跟進的成本
  5. 很多業務很難改變,是因為數據定型,後續單位很難擴充

4. 考慮使用資料虛擬化

CannerFlow 資料虛擬化 - ETL 與 ELT 最大的差異就是『資料必須先儲存進入到 Data Warehouse』,資料虛擬化不需搬移數據才能供應數據需求。

資料虛擬化可以綜合 ELT 以及 ETL 的兩者優勢,在虛擬層完成

  1. 快速連結各種檔案格式與跨組織的資料
  2. 即時標準化與正規化數
  3. 讓數據管理能夠規模化,從小規模到大規模都適合
  4. 未來企業數據規模增長也能夠適用

想瞭解更多資料虛擬化的概念請參考:https://cannerdata.com/tw/blog/posts/2021/05/21/what_is_dv

DataOps 的導入心得

雖然 DataOps 有許多對於企業在數據管理上的優勢,但實際上在大型企業要實踐都不是一個容易的事情。以下幾個 tips 供大家參考

  1. 選擇對的時間與執行單位:大型企業要導入 DataOps 需要由上到下一致的溝通與努力完成,所以需要讓對的決策者買單並且充分溝通在對的施力點完成。
  2. 確定所有人員有相關的概念與能力:需確立所有的相關人員對於 CI/CD 以及 SQL 等基礎了解有初步的認知。
  3. 要有決心與毅力:大型企業不論是做任何的改變都會需要時間與陣痛期,需要有執行單位的決心與毅力共能完成達成目標。

希望大家能對於 DataOps 有更進一步的了解!讓企業內部的數據升級!

No reproduction without permission, please indicate the source if authorized.

Share to your friends!

Follow Us
CannerFlow Platform
Connecting data lakes, databases, files, clouds as one data platform.
Learn More
Contact Us
Want to connect with us and talk to us? Contact us now!
Request Now