Back to Blog
DataOps 是什麼是誰提出的?一開始的概念為何?
2021/08/12

企業在近幾年開始流行一個新的數據流程與組織叫做 DataOps,這篇文章我們來探索 DataOps 是由誰第一次提出的呢?以及這個概念當時的想法是什麼?

從 Wiki 上可以看到 https://en.wikipedia.org/wiki/DataOps,DataOps 第一次是在 InformationWeek 的一篇 IBM Big Data & Analytics Hub 中的一篇文章 “3 reasons why DataOps is essential for big data success”,由當時的 Contributing Editor, Lenny Liebmann 所提出。

後來 Gartner 延伸了此定義 to “a collaborative data management practice focused on improving the communication, integration, and automation of data flows between data managers and data consumers across an organization.” ,泛指一個協作的資料管理方式,幫助企業內部溝通、整合、自動化讓資料流可以完整的橫跨資料管理員以及使用者。

我們來找到原始這篇文章 https://lennyliebmann.com/?p=90 (DataOps: Why big data infrastructure matters) 我們來解析當時這篇原始文章的幾個重點與心得。

當時是大數據這個名詞開始流行之時,許多企業都希望能夠快速地得到企業內部的資訊得到決策資訊,但是許多企業認為導入一個軟體或解決方案就能完成這個任務。而這時 Lenny 提出 DataOps 一個資料的準則幫助企業從資料科學到架構一整個整體的架構造就企業完善的數據升級與生態圈。

不新鮮的結果等於沒有結果

當資料好不容易從這些原始的數據萃取出來,如果無法即時有個完善的流程完成整個數據更新與數據供給,從一個系統架構層面來看,所許取得的數據結果,等於沒有結果。

數據需要自動化、驗證、合理化而且能在需要使用的時候能夠取得,而不是只能夠取得過去的資料。

雲服務是不夠的

雲服務能夠提供可擴充、低初始成本的雲端架構,但是當數據量級不斷增加後要如何有個強健的資料處理流程而且能夠符合企業內部的數據應用需求,讓企業能夠得到及時的數據。

是需要企業內部資料處理的標準與準則,資料淘汰的流程、資料更新的流程、新資料流部署的流程等都是需要流程建置。

未來不是一觸可及

數據運算結果不是單純的只把所有資料都放在同一個資料源以及單一個應用場景,場景會隨著企業增長時不斷加累變得越來越複雜,且數據也會加成的快速增加複雜度。

換句話說,數據架構不是單純的買套軟體開一台開源的解決方案就能夠解決,而是要建置一套 DataOps 的數據流程來維護與更新。

No reproduction without permission, please indicate the source if authorized.

Share to your friends!

Follow Us
CannerFlow Platform
Connecting data lakes, databases, files, clouds as one data platform.
Learn More
Contact Us
Want to connect with us and talk to us? Contact us now!
Request Now