Canner

2024 年快樂！

2023 年終於結束了！我對最近許多網路上的文章談論和提到“語意層 (Semantic Layer)” 感到非常期待與興奮和不知所措... 2023 年對於 Semantic Layer 來說無疑是一個奇妙且重要的一年。

確定的未來

2023 年初，有一則關於 dbt 收購 Transform 的重大新聞。自那時起，數據生態系統就急切地等待dbt進入語意層的下一步動作。在 2023 年 10月的dbt Coalesce 年會期間，dbt 宣布了其下一代 “dbt Semantic Layer” 展望了語意層的未來面貌。最近，Cube的 CMO Jen Grant 在一篇文章中稱 2023 年為語意層之年。她表示 "While Cube and the semantic layer have been around for a long time, it was only in 2023 when the stand-alone semantic layer category turned from a cool idea to a necessary ingredient in any data stack."

讓我們來看看宏觀統計數據，Google 趨勢也顯示從 2022 年開始，“語意層” 一詞開始獲得全球關注。在 2023 年，它達到了高峰。2024 年將對 “語意層” 來說更加期待！

不僅是美國，還有亞洲

許多美國公司分享了客戶對 “語意層 (Semantic Layer)” 的趨勢。

在 Canner，我們也看到同樣的趨勢不僅發生在美國市場，而且還在亞洲。今年，我們很幸運能夠在亞洲地區的銀行、保險公司、製造業、遊戲和零售行業提供和實施我們的解決方案，也有更多合作夥伴與大型企業詢問度持續增加。通過為客戶提供 Canner Enterprise，我們仍然看到 “語意層” 仍處於市場初期階段，並且在未來 2024 有很大的潛力和可能性。

隨著 Canner 仍然有許多新的想法和創新正在進行，今天我想分享我們朝著 2024 年的 “語意層 (Semantic Layer)” 的願景和理念。

我們在 2024 年 Universal Semantic Layer 的 5 個關鍵創新

1. 查詢虛擬化相容性 (Query Virtualization Compatibility)

語意層在所有資料應用程式中以相同的基本邏輯運行，包括 BI、AI 和高級分析工具。 實現這一目標的方法是語意層解決方案將實現查詢虛擬化等技術，這是語意層的重要組成部分； 透過虛擬化，企業資料消費者可以跟任何資料來源與數據應用的方式取得資料； 在幕後，語意層將透過最佳化和自動化自動重寫查詢並下推到特定於來源的 SQL 語言。

隨著語意層逐漸成為主流採用，傳統和最新來源和資料應用程式的兼容性問題必須妥善解決。 在 Canner，我支援了許多可以連接到語意層的來源和資料應用程序，例如 Informix、Sybase、Oracle、BigQuery 等來源，以及 SSIS、SSAS、SAS、Tableau、Power BI、Metabase 等應用程式。

2024年，我們將繼續擴展資料應用和來源的兼容性。

2. 上下文感知指標調用 (Context-aware Metrics Access)

我們相信指標的未來是動態且可組合的，這意味著指標應該了解上下文。 當涉及不同的使用者或查詢時，這將允許自動組合指標，而無需建立 View 和 Table。 為了實現可組合性，需要一個通用的 SQL 和 API 的指標介面。

我們需要一個指標接口，它是指標生產者和資料消費者之間定義明確的共享邊界。 語意建模是使用模型定義語言 (MDL) 定義的，它允許資料團隊公開一致的的和可擴展的介面。 客戶端驅動的架構會搜尋根據使用者需求自訂的數據，而無需了解指標中的任何資料結構，系統會自動生成重組的 SQL ，很好地解耦了計算邏輯和數據服務應用邏輯。這透過減少應用程式工具中大量過度獲取資料來增強資料一致性和快速效能。

3. 數據應用治理 (Governance in Business Collaboration)

治理對於企業客戶使用的任何資料相關工具都至關重要。 語意層透過彌合資料和業務團隊之間的差距，在現代企業資料架構中發揮獨特的作用，這意味著許多複雜的治理問題只能透過這兩個團隊之間的協作來解決。

未來，語意層的治理將與工作流程完全整合。 這將包括資料共享流程、部門之間和跨職能團隊之間的審批工作流程。 此整合將建立在審查追蹤、精細資料存取控制、資料血脈、通知和資料政策等基本功能之上，這些功能也將納入語意層。 因此，團隊和部門可以無縫協作，無需在不同平台之間切換。

4. 在資料分析中啟用人工智慧 (Enable AI in Data Analytics)

根據最近的研究，語意層可以幫助防止人工智慧幻覺。 為了實現這一目標，必須建立語意層來​​為資料提供足夠的上下文和語意，並跨來源定義標準資料和指標定義，這將有助於確保提供必要的資訊。

人工智慧和原始資料之間的直接存取可能會導致安全漏洞。 為了緩解這種情況，透過語意層產生 SQL 可以確保細粒度的存取控制策略到位。

5. 開源語意層 (Open-source Semantic Layer)

我們相信開放性對於生態系統至關重要，並且一些 資料社群的人 正在呼籲語意層擁有開放標準。 我們計劃開源我們的核心——開放語意層。 我們的目標是透過開放定義標準和查詢引擎創建跨 BI、資料科學、人工智慧和高級分析工具的查詢標準化。 這將有助於企業解決不同應用工具中多個資料定義不一致的問題。

我們的計劃包括三個主要設計組件：語意建模、語意定義語言和標準協議。 技術工程師可以透過類似 GraphQL 的語法來定義語意層與定義指標。 此外，我們也為非技術人員提供自助式 UI 介面，以建立跨不同應用工具的語意標準。 我們還將透過 PostgreSQL wire protocol 標準提供標準的 SQL 查詢，讓傳統與新型的資料應用工具都能夠完美連結，並且任何應用程式工具都可以 API 接口取得資料，確保所有應用程式都可以在統一的資料治理框架下進行管理和應用。

2024 年會是個令人興奮的一年

我們將分享更多詳細信息即將發布的部落格文章和分享，我們到時見！你也可以追蹤我們的電子報，就能夠收到我們最即時的消息！