衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

內部部署倉庫架構vs.云計算數據倉庫架構

存儲D1net ? 來源:企業網D1Net ? 作者:企業網D1Net ? 2022-07-28 14:41 ? 次閱讀

如今,越來越多的企業將數據倉庫部署在云中。但是,企業需要考慮內部部署數據倉庫和云計算數據倉庫各自的優點和缺點。

數據倉庫被各種規模的企業廣泛用于為商業智能(BI)和分析應用程序攝取、存儲和處理大量的數據。數據倉庫出現在上世紀90年代,是一種成熟的主流技術。但是如今對于希望部署數據倉庫的企業而言,其中一項重大決策是將其放在內部部署設施還是云平臺中。

與其他類型的IT系統一樣,與內部部署數據倉庫相比,云計算數據倉庫提供了各種好處:例如易于擴展,更具靈活性,數據庫管理員(DBA)的日常管理工作更少。但是每個企業都有自己的一些需求和優先事項,因此在規劃數據倉庫部署之前,需要對云計算和內部部署的選項進行比較。為了幫助解決這個問題,以下介紹了這兩種方法及其優缺點。

內部部署倉庫架構vs.云計算數據倉庫架構

高質量的計算環境(包括服務器、操作系統、存儲和數據庫)對于任何使用大量數據的應用程序的成功都是至關重要的。這無疑適用于數據倉庫:企業為了選擇最佳的數據倉庫平臺,IT和數據管理團隊需要評估完整的系統環境,而不僅僅是其核心的數據庫軟件。

傳統的數據倉庫架構由以下三層組成:

底層具有數據庫服務器,其中包含數據倉庫本身;

中間層處理數據以進行分析,通常由在線分析處理或OLAP引擎進行;

頂層作為商業智能和分析工具的表示層和前端接口

企業數據倉庫將來自企業所有業務運營的數據存儲在一個集中的平臺中;另一方面,數據集市是較小的倉儲系統,其中包含特定部門、業務單位或用戶組的數據子集。兩者通常都包含在數據倉庫架構中,以下是設計一種架構的兩種主要方法,這是一種通常簡稱為Inmon與Kimball的選擇。

自上而下的方法。該方法由計算機科學家和供應商高管Bill Inmon創建,從企業數據倉庫開始,然后使用存儲在其中的數據集來設置各種數據集市。

自下而上的方法。技術顧問Ralph Kimball通過開發這種替代方法實現了徹底的轉變,其中構建了單獨的數據集市,然后將其集成以生成企業數據倉庫。

使用這些傳統概念,云計算使數據倉庫供應商能夠定制其底層硬件和軟件架構,以滿足不同的處理需求。以下是云計算數據倉庫產品的一些典型示例,以下按字母順序列出。

用于分析和數據倉庫的Autonomous Database。Oracle公司用于云中分析數據的旗艦系統構建在Oracle數據庫和Oracle Exadata計算平臺之上。該系統可用于共享或專用基礎設施部署,也可通過Oracle的Cloud@Customer服務安裝在內部部署設施中。Oracle公司的共享基礎設施是一種更傳統的云計算服務,而專用的則為客戶提供一個完全私有的公有云環境,擁有自己的計算、存儲、網絡和數據庫資源。

Azure Synapse分析。微軟公司的云分析服務提供無服務器和專用資源模型,并使用稱為Synapse SQL的分布式SQL處理引擎來運行數據倉庫的查詢。它還包括ApacheSpark作為大數據分析引擎和Azure DataLake Storage Gen 2作為其數據存儲。該平臺基于橫向擴展的大規模并行處理(MPP)架構,可跨多個節點分配工作負載并將計算資源與存儲分開,使客戶能夠獨立擴展每個節點。

BigQuery。Google BigQuery是一個無服務器云數據倉庫,具有基于SQL的分布式MPP分析引擎,可以將其大部分數據存儲在表中。每個表列都是單獨存儲的,這使BigQuery能夠比傳統的基于行的存儲更有效地掃描整個數據集的各個列。BigQuery同時使用分區和集群來提供高性能數據訪問。它還支持多云數據倉庫部署,并包括用于機器學習、預測建模和地理空間分析的引擎。

Redshift。AWS公司的Amazon Redshift使用集群來預置一個或多個計算節點,以便在數據倉庫、操作數據庫和數據湖中運行分析應用程序。AWS提供無服務器選項、機器學習模塊以及與其他各種云服務的原生集成,包括商業智能、數據集成和大數據處理工具。與BigQuery一樣,Redshift將每個表列分開存儲;它還提供自動表優化功能,通過改進數據集的物理布局來提高集群中的查詢速度。

Snowflake。與大多數競爭對手不同,Snowflake的數據倉庫系統旨在跨AWS、Azure和谷歌云平臺運行。Snowflake將其處理環境描述為混合共享磁盤/無共享架構。該產品使用中央存儲庫在整個環境中共享數據,并使用多個大規模并行處理(MPP)計算集群來分離工作負載,集群中的每個節點都在內部部署存儲部分數據集。作為一項完全托管的服務,Snowflake還支持數據湖、數據工程和數據科學工作負載。

內部部署數據倉庫和云計算數據倉庫的優缺點

內部部署數據倉庫面臨的一大挑戰是需要部署滿足企業的數據架構和處理要求的硬件和軟件計算環境。硬件支持團隊、系統管理員和數據庫與數據倉庫軟件供應商一起構建運行環境,這通常很復雜,需要專門的團隊來進行管理和支持。此外,擴展內部部署系統以滿足不斷增加的數據存儲和工作負載增長可能既昂貴又耗時。

但云計算數據倉庫也可能給企業帶來一些挑戰,并需要改變IT流程。以下是有關這兩種方法在某些關鍵領域的優缺點的詳細信息

(1)成本

很明顯,在內部部署數據中心部署和支持數據倉庫系統的成本通常比從云計算提供商那里租用一個基于使用量付費的數據倉庫系統要高得多。對于由供應商完全管理的數據倉庫即服務(DWaaS)環境尤其如此。但對于已經在現有數據中心進行投資的企業而言,云計算與內部部署的成本比較并不那么簡單。

云平臺最初的賣點是能夠降低IT成本。但在云中實施應用程序的企業很快意識到節省成本并不總是其主要優勢之一。企業可能不必為云計算數據倉庫系統購買服務器和軟件,但使用云供應商的計算、內存和硬盤資源的成本可能會增加,尤其是在數據倉庫工作負載意外增加的情況下。

當然,在比較內部部署和云平臺時,系統成本并不是IT團隊需要考慮的唯一成本。支持環境所需的勞動力成本也必須考慮在內。對于內部部署數據中心,這包括對計算硬件、操作系統、磁盤存儲和數據庫的管理支持。云計算數據倉庫并沒有完全消除支持成本,例如在DWaaS環境中,數據倉庫仍然需要處理管理任務。但這種成本在云中通常要低得多。

還有其他一些經常被忽視的成本。在公有云中部署數據倉庫的企業不會產生合規性認證、數據中心環境控制、能源消耗、高可用性和災難恢復配置以及系統改進方面的直接成本。這些成本都包括在云計算服務的成本中,有些可能會導致企業的使用成本更高,但云計算供應商會為它們支付費用。

(2)新特性和功能

云計算數據倉庫市場競爭激烈,這迫使云計算供應商將他們的功能集實現最大化。而不斷創新和集成新功能以使其產品與競爭對手的產品區分開來是絕對必要的。因此,云計算數據倉庫用戶能夠利用源源不斷的新特性和功能。

此外,由于云計算供應商對整個數據倉庫系統負責,他們的客戶可以受益于從底層計算基礎設施到數據倉庫軟件本身的增強。對于自己管理環境的內部部署用戶而言,升級系統和部署新軟件版本更加復雜。新功能在內部部署數據倉庫軟件中的可用速度也可能不如在云計算服務中的可用速度,這些云計算服務可以由供應商持續更新。

云平臺的另一個潛在優勢是:為了補充其核心數據倉庫功能以用于基本商業和報告用途,行業領先的云計算供應商和其他競爭對手都提供了支持數據湖、機器學習、大數據分析、數據管道的附加技術和高級分析應用程序的開發和其他功能。

(3)可擴展性

系統可擴展性幫助IT團隊應對處理工作負載的增長。當性能調整和更新軟件配置不再對系統吞吐量產生積極影響時,就需要添加硬盤、內存和計算容量。可擴展性對于數據倉庫也很重要,以便在添加新的源系統時適應數據增長。

但是擴展內部部署數據倉庫平臺可能是一件非常麻煩的事。如果服務器有能力增加CPU或內存,系統管理員需要打開機箱并更換或添加組件。對于沒有額外可用容量的服務器,硬件需要升級到更大的系統。集群環境提供水平擴展,可以添加更多服務器,但硬件、軟件和管理成本很快就會變得過高。

云平臺的主要賣點之一是易于擴展。例如,Amazon Redshift用戶可以快速將節點添加到他們的運行環境中,以獲得更好的性能和更多的存儲空間。Oracle自治數據庫通過提供自動擴展功能更進一步,該功能可以自動增加計算或存儲資源。AWS和Snowflake提供了類似的并發擴展功能,可以在工作負載增加時自動增加集群容量。

(4)性能監控和調整

為了優化數據倉庫的性能,內部部署平臺通常需要IT團隊使用單獨的工具來監控硬件、操作系統和數據庫。由于云計算供應商能夠為其數據倉庫基礎設施定制其性能監控工具和顧問實用程序,因此這些工具通常提供比內部部署的工具更全面的信息。

然而,除了標準的數據庫性能調優挑戰之外,云平臺還為性能監控和故障排除增加了另一個維度。將數據傳入和傳出云數據倉庫系統可能具有挑戰性,尤其是在數據量大且時間緊迫的情況下。此外,在云平臺上實施數據倉庫的企業并不完全對性能負責。當系統性能受到懷疑并且擴展并不是一種很好的選擇或無法解決問題時,企業將不得不與其云計算提供商合作以確定根本原因。

更糟糕的是,當資源被過度利用時,云計算數據倉庫系統可能會停止企業的工作負載。在任何數據庫環境、內部部署設施或云平臺中,只需要一些調整不當的查詢就可能增加資源消耗。但是云計算資源利用率的持續增加可能會導致企業被迫升級到更高的性能層。

(5)管理控制

在內部部署環境中,IT部門對其計算系統擁有完全的控制權和全部責任。對于云計算數據倉庫,企業將與供應商分擔這些責任。尤其是在完全托管的DWaaS環境中,企業可能放棄管理數據倉庫平臺的部分所有權。

有些IT部門會將此視為一種好處,而另一些則將其視為一種風險,但大多數人可能會將其視為風險和回報的結合。而行業領先的云計算數據倉庫提供商都提供服務水平協議,以保證最低正常運行時間百分比,這將有助于減少對系統失去控制的擔憂。

(6)安全

同樣,部署內部部署數據倉庫的企業負責保護整個環境——從硬件基礎設施到軟件堆棧。但是在云中,安全責任由提供商分擔。重要的是要了解企業不會將100%的安全責任移交給供應商。在云安全的責任共擔模型下,客戶仍然需要處理保護數據倉庫環境的某些方面。

責任的劃分方式可能因供應商而異。它還取決于企業是使用托管DWaaS環境還是IaaS環境,其中供應商通常只負責保護底層IT基礎設施。不過,一般而言,IT團隊仍對數據安全、數據分類、訪問控制和端點設備安全等任務負責。

標準的安全最佳實踐適用于內部部署和云平臺,但使用云計算數據倉庫系統的企業能夠與云計算供應商分擔保護其運營環境的成本。能夠利用云計算供應商的安全功能是另一個優勢,他們有更多的動機來確保云平臺的安全性,他們為此投入了大量資金。

(7)審計和監管合規

如上所述,云計算數據倉庫的好處之一是云計算供應商承擔底層架構的責任。但這可能會給需要遵守行業標準或監管合規性以及內部標準的企業帶來挑戰。

與安全性非常相似,合規性是客戶和云計算供應商之間的共同責任。云計算供應商通常會為HIPAA、GDPR和其他合規框架提供第三方審計師合規報告和證明。但是企業必須與云計算供應商合作,根據企業的特定審計需求收集所需的支持證據,以驗證數據倉庫系統是否符合適用的框架。

盡管使用云計算服務可能會使查找所需證據變得更加耗時,但將一些監管合規成本轉嫁給云計算供應商對于企業來說可能更重要。

審核編輯 :李倩

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 云計算
    +關注

    關注

    39

    文章

    7859

    瀏覽量

    137866
  • 數據庫
    +關注

    關注

    7

    文章

    3846

    瀏覽量

    64685
  • 數據倉庫
    +關注

    關注

    0

    文章

    61

    瀏覽量

    10479

原文標題:內部部署數據倉庫與云計算數據倉庫的優缺點

文章出處:【微信號:D1Net11,微信公眾號:存儲D1net】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    HPC計算的技術架構

    HPC計算結合了HPC的強大計算能力和計算的彈性、可擴展性,為用戶提供了按需獲取高性能計算
    的頭像 發表于 02-05 14:51 ?43次閱讀

    Flexusx 實例與 Harbor 私有鏡像倉庫的完美結合

    前言 華為 828 企業上節,Flexus X 實例攜手 Harbor 私有鏡像倉庫,共創上安全高效新生態!Flexus X 以其卓越性能與穩定性,為 Harbor 提供了理想的
    的頭像 發表于 01-22 18:04 ?101次閱讀
    Flexusx 實例與 Harbor 私有鏡像<b class='flag-5'>倉庫</b>的完美結合

    服務器 Flexus X 實例:部署 Gitea,擁有自己的 Git 倉庫,管理本地代碼

    本篇文章通過部署 Gitea,實現本地 Git 倉庫,真實體驗了“服務器 Flexus X 實例”,深感其卓越性能與靈活性。這款實例以其六倍于常的強勁算力,搭配旗艦級的操作體驗,廣泛適用于高科技
    的頭像 發表于 01-07 16:59 ?127次閱讀
    <b class='flag-5'>云</b>服務器 Flexus X 實例:<b class='flag-5'>部署</b> Gitea,擁有自己的 Git <b class='flag-5'>倉庫</b>,管理本地代碼

    醫藥倉庫溫濕度監控系統應用

    。 醫藥倉庫溫濕度監控系統,結合物聯網、無線通訊等技術,通過傳感器全天候實時采集倉庫內的溫濕度數據,管理平臺對接收到的數據進行深入分析、處
    的頭像 發表于 12-17 16:16 ?223次閱讀

    計算在大數據分析中的應用

    和處理大規模的數據集。通過計算平臺,用戶可以快速構建數據倉庫,將海量數據進行存儲、管理和分析。這種能力使得企業能夠高效地處理PB級別的
    的頭像 發表于 10-24 09:18 ?602次閱讀

    微服務架構與容器的關系與區別

    微服務架構與容器密切相關又有所區別。微服務將大型應用拆分為小型、獨立的服務,而容器基于容器技術,為微服務提供構建、發布和運行的平臺。區別在于,微服務是架構風格,注重服務拆分與
    的頭像 發表于 10-21 17:28 ?282次閱讀

    藥品倉庫溫濕度監控系統

    和有效使用具有重要意義。 藥品倉庫溫濕度監控系統,結合物聯網、無線通訊等技術,主要由傳感器、數據采集器、傳輸設備、管理平臺等組成。針對藥品倉庫的溫濕度進行實時監控,及時發現并調整不利
    的頭像 發表于 07-26 10:12 ?405次閱讀

    恒溫倉庫環境監測解決方案

    在當今日益發展的物流倉儲行業中,恒溫倉庫的環境監測與管理已成為確保產品質量和存儲安全的關鍵環節。隨著物聯網、大數據等技術的不斷發展,恒溫倉庫環境監測解決方案也日趨完善,為倉儲行業帶來了前所未有的便利
    的頭像 發表于 07-23 16:33 ?311次閱讀

    數據倉庫數據庫的主要區別

    數據倉庫數據庫是兩個在信息技術領域中常見的概念,它們在數據管理和分析方面發揮著重要作用。盡管它們在某些方面有相似之處,但它們在設計、目的和功能上存在顯著差異。本文將介紹數據倉庫
    的頭像 發表于 07-05 14:57 ?585次閱讀

    什么是數據湖?數據湖和數據倉庫有什么區別?

    從本質上說,數據湖就是一個信息資源庫。人們常常將數據湖與數據倉庫混為一談,但兩者在架構和滿足的業務需求上都不一樣。尤其是,隨著社交媒體數據
    的頭像 發表于 05-20 12:38 ?678次閱讀
    什么是<b class='flag-5'>數據</b>湖?<b class='flag-5'>數據</b>湖和<b class='flag-5'>數據倉庫</b>有什么區別?

    倉庫環境溫濕度監測系統功能

    倉庫環境溫濕度監測系統在現代物流管理中扮演著至關重要的角色。以其實時監測、精準分析、預警提醒和節能環保等優勢,成為企業保障物資安全、提高倉儲效率的重要工具。 倉庫環境溫濕度監測系統方案,基于
    的頭像 發表于 05-17 17:07 ?577次閱讀

    數據中臺、數據倉庫數據治理與主數據的定位與差異

    在數字化時代,大數據已經成為企業運營和決策的重要資產。為了更好地管理和利用這些數據數據中臺、數據倉庫數據治理和主
    的頭像 發表于 05-08 10:40 ?482次閱讀

    華為制品倉庫 CodeArts Artifact:保障制品質量與安全的最佳選擇

    近期,為降低用戶使用成本、滿足個性化選擇訴求,華為制品倉庫 CodeArts Artifact 從軟件開發生產線 CodeArts 解耦出來,可單獨購買。這是一款打破了傳統制品管理的限制,高效
    的頭像 發表于 04-07 11:52 ?873次閱讀
    華為<b class='flag-5'>云</b>制品<b class='flag-5'>倉庫</b> CodeArts Artifact:保障制品質量與安全的最佳選擇

    倉儲倉庫廣播-倉儲倉庫無線應急廣播對講智能管理系統建設重點解析

    海特偉業倉儲倉庫無線應急對講廣播系統是以當前主流的物聯網傳輸為核心,打造的4G無線傳輸廣播管理應用平臺,是采用計算的模型分布部署實施的廣播系統。
    的頭像 發表于 03-06 15:59 ?629次閱讀
    倉儲<b class='flag-5'>倉庫</b>廣播-倉儲<b class='flag-5'>倉庫</b>無線應急廣播對講智能管理系統建設重點解析

    服務器的maven怎么配置本地倉庫

    服務器上使用Maven時,你可以配置本地倉庫以緩存和管理依賴項,以減少對中央倉庫的依賴和加快構建過程。以下是配置Maven本地倉庫的步驟: 1、選擇本地
    的頭像 發表于 02-22 16:59 ?578次閱讀
    新锦江百家乐赌场娱乐网规则 | 大邑县| 百家乐官网平玩法这样| 澳门百家乐怎么下载| 百家乐官网波音平台导航网| 网上百家乐哪里开户| 丰合国际娱乐网| 适合属虎做生意的名字| 太阳城金旭园| 百家乐官网常用公式| 状元百家乐的玩法技巧和规则| 百家乐官网下载免费软件| 百家乐看点打法| 大发888更名网址6| 天天百家乐官网的玩法技巧和规则| 大发888怎么下载| 百家乐官网平注常赢玩法技巧| 大发888城官方下载| 潘多拉百家乐官网的玩法技巧和规则 | 威尼斯人娱乐代理注册| 至尊百家乐官网娱乐| 云鼎娱乐场| 赌场百家乐的玩法技巧和规则| 百家乐官网规律和方法| 保单百家乐游戏机厂家| 百家乐官网国际娱乐城| 金百家乐的玩法技巧和规则| 澳门百家乐官网的玩法技巧和规则| 必博备用网址| 榆次百家乐的玩法技巧和规则| 成都百家乐官网牌具| 百家乐官网赌术揭秘| 德州扑克算牌器| 喜力百家乐的玩法技巧和规则| 微信百家乐官网群资源| 百家乐官网视频台球游戏| 黄金城百家乐免费下载| 金公主百家乐现金网| 百家乐官网真钱在线| 德州扑克荷官| V博百家乐的玩法技巧和规则|