資料網格架構:企業資料架構指南

在傳統設定中,組織擁有一個集中的基礎架構團隊,負責管理跨域的資料所有權。但以產品為主導的公司開始以不同的方式處理這個問題。相反,他們使用資料網格架構直接在生產者(主題專家)之間分配資料所有權。這是Zhamak Dehghani最初在 2019 年提出的概念,並很快被採納為領先方法。

領域驅動的方法使資料生產者負

責闡明語義定義、對元資料進行分類以及建立權利和使用策略。儘管如此,這些公司仍保留了集中的資料治理團隊來執行這些標準和流程。

這是一個雙贏的局面。雖然領 馬來西亞 WhatsApp 號碼數據 域團隊在資料網格設計中負責 ETL 資料管道,但集中式資料工程團隊可以協助為資料產品找到最佳的資料基礎架構解決方案。

但資料網格架構到底是什麼?

在這篇文章中,我們將探索各種用例的資料網格,並深入探討其最具挑戰性的方面。

注意:這是我們深入探討企業資料架構系列的第四部分 – 您可以在這裡找到之前的部分:

線上事務處理
分析數據
資料倉儲與資料湖

WhatsApp數據

資料網格架構到底是什麼?

資料網格是一種去中心化的資料架構,它按業務領域組織數據,使資料生產者能夠更好地控制建立資料治理原則。這使得整個公司的自助服務成為可能。

這種聯合方法可以幫助團隊避

免許多操作限制,這些限制是集中式整體系統的重要組成部分。資料網格絕不排除資料湖或資料倉儲等解決方案。它只是假設隨著 是什麼造就了一家優秀的電子商務網站開發機構? 組織轉向多個分散的資料儲存庫,它們將不再被用作單一的集中式資料平台。

資料網格允許將資料視為整

個組織的使用者可以輕鬆存取的產品。因此,團隊獲得了更靈活的數據整合和互通功能,允許數據使用者使用來自多個領域的 迴聲資料庫 數據來進行業務分析、數據科學實驗和其他目的。

資料網格架構
資料來源:馬丁·福勒

資料網格架構解決了什麼問題?

許多公司投資了集中式資料湖和資料工程團隊,希望利用數據來推動業務成長。但他們很快就意識到這樣一個中央資料團隊會成為多大的瓶頸。

許多這樣的團隊無法足夠快地回應來自管理層或產品負責人的所有分析查詢。

資料團隊無法處理不斷增長的此

類查詢量,因為他們總是忙於執行諸如在操作資料庫更新後糾正故障資料管道之類的事情。為了回答查詢,資料從業者需要定位和理解相關領域資料並研究領域知識。當然,這需要花費很多時間!

如果您已經透過將業務分散到各個領域、將工程分散到自治團隊、將單體分散到微服務以及將營運分

散到 DevOps 團隊來擴大軟

體開發規模,那麼下一步就是資料網格。它透過將資料湖分散到資料網格中,打開了擴展資料分析的大門。

有了資料網格,生產商就可以輕鬆回答以下問題:產品頁面更新如何影響結帳速度和退貨率?

資料網格與領域驅動設計、自治領域團隊和去中心化微服務架構等方法密切相關。這個想法是將一切保留在領域團隊的範圍內,這些團隊應該開發、創建和運行自己的線上應用程式和。

發佈留言

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *

返回頂端