衡阳派盒市场营销有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

NVIDIA ConnectX智能網卡驅動RDMA通訊技術在分布式存儲的應用

NVIDIA英偉達企業(yè)解決方案 ? 來源:NVIDIA英偉達企業(yè)解決方案 ? 作者:NVIDIA英偉達企業(yè)解 ? 2022-11-03 09:48 ? 次閱讀

NVIDIA ConnectX 智能網卡及開源 UCX 框架幫助網易高性能 RDMA 網絡通訊功能實現(xiàn)更優(yōu)表現(xiàn),助力網易通過 Curve 開源項目為 Apache BRPC 自主實現(xiàn)高性能的 RDMA 網絡通訊。

網易亟需打造一款高吞吐和低延遲的分布式存儲系統(tǒng)

如何為用戶提供性能優(yōu)異、易于部署的分布式存儲系統(tǒng),特別是如何在遠程訪問存儲時提高吞吐和降低延遲是網易面臨的主要挑戰(zhàn)。雖然在自研的 Curve 開源項目下已經支持了 Apache BRPC ,并具備了一定的遠程方位存儲的網絡通訊能力,但是并未實現(xiàn)對 RDMA 網絡通訊的支持,并借助 RDMA 網絡通訊能力來實現(xiàn)高吞吐和低延遲,從而提升整體開源云原生分布式存儲系統(tǒng)的性能。

NVIDIA ConnectX 智能網卡

為網易 Curve 開源項目提供解決方案

網易的 Curve 開源項目下支持 Apache BRPC ,并自研實現(xiàn)了 RDMA 網絡通訊功能,而其采用的 NVIDIA ConnectX 智能網卡及開源 UCX 框架的底層軟硬件基礎設施,幫助其更好地為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 Curve 是云原生計算基金會(CNCF)沙箱(Sandbox)項目,它是網易主導自研和開源的高性能、易運維、云原生的分布式存儲系統(tǒng),由塊存儲 CurveBS 和文件系統(tǒng) CurveFS 兩部分組成,可應用于主流的云原生基礎設施平臺:

對接 OpenStack 平臺為云主機提供高性能塊存儲服務;

對接 Kubernetes 為其提供 RWO 、RWX 等類型的持久化存儲卷;

對接 PolarFS 作為云原生數據庫的高性能存儲底座,完美支持云原生數據庫的存算分離架構。

Curve 亦可作為云存儲中間件,使用與 S3 兼容的對象存儲作為數據存儲引擎,為公有云用戶提供高性價比的共享文件存儲系統(tǒng)。 網易致力于通過 Curve 開源項目自主研發(fā)云原生的分布式存儲系統(tǒng),為不同應用場景下的存儲需求,提供大容量、高性能、易運維、低成本的開源彈性存儲解決方案。而其最新為 BRPC 自研的 RDMA 網絡通訊功能,將會極大的簡化 RDMA 網絡通訊的實現(xiàn)和提升遠程存儲訪問的性能,為 Curve 開源項目提供高性能、低延遲的本地和遠程存儲訪問體驗,同時提供良好的上層 API 兼容性和透明性,使 Curve 成為更為完善的云原生分布式存儲系統(tǒng),從而驅動其在開源的分布式存儲領域得到廣泛的應用。

NVIDIA ConnectX 智能網卡

助力 RDMA 網絡通訊功能發(fā)揮優(yōu)異性能

該 RDMA 網絡通訊功能完美的運行在采用 NVIDIA ConnectX 智能網卡及開源 UCX 框架(NVIDIA 是開源項目 UCX 的核心成員和主要貢獻者)的底層軟硬件基礎設施上,將會發(fā)揮出更優(yōu)異的性能表現(xiàn),滿足用戶對分布式存儲系統(tǒng)高性能、低延遲的需求,并大幅降低主機 CPU 開銷,為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 具體來說,網易在 NVIDIA Connect X 智能網卡的驅動下實現(xiàn) UCX 框架中的 UCP(Unified Communication for Protocols):

極大簡化了 RDMA 網絡通訊在分布式存儲應用場景下的實現(xiàn),且支持的 RDMA 接口具有良好的 API 兼容性

基于高性能的 NVIDIA ConnectX 智能網卡,將實現(xiàn)更為出色的 RDMA 網絡通訊性能,IO 時延得到極大改善

即時將 RDMA 網絡通訊能力體現(xiàn)在 Curve 后續(xù)的開源軟件版本中,驅動云原生分布式存儲系統(tǒng)的廣泛應用

如今,Curve 開源項目的 RDMA 網絡通訊功能已經實現(xiàn),將會在后續(xù)的 Curve 版本中發(fā)布。想要深入了解網易是如何為 BRPC 實現(xiàn) RDMA 網絡通訊功能,請點擊“閱讀全文”

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • NVIDIA
    +關注

    關注

    14

    文章

    5076

    瀏覽量

    103730
  • 分布式存儲
    +關注

    關注

    4

    文章

    172

    瀏覽量

    19577
  • 智能網卡
    +關注

    關注

    1

    文章

    53

    瀏覽量

    12277

原文標題:NVIDIA ConnectX 智能網卡驅動 RDMA 通訊技術在分布式存儲的應用

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    分布式云化數據庫有哪些類型

    分布式云化數據庫有哪些類型?分布式云化數據庫主要類型包括:關系型分布式數據庫、非關系型分布式數據庫、新SQL分布式數據庫、以列方式
    的頭像 發(fā)表于 01-15 09:43 ?111次閱讀

    分布式通信的原理和實現(xiàn)高效分布式通信背后的技術NVLink的演進

    大型模型的大小已經超出了單個 GPU 的范圍。所以就需要實現(xiàn)跨多個 GPU 的模型訓練,這種訓練方式就涉及到了分布式通信和 NVLink。 當談及分布式通信和 NVLink 時,我們進入了一個引人入勝且不斷演進的技術領域,下面我
    的頭像 發(fā)表于 11-18 09:39 ?631次閱讀
    <b class='flag-5'>分布式</b>通信的原理和實現(xiàn)高效<b class='flag-5'>分布式</b>通信背后的<b class='flag-5'>技術</b>NVLink的演進

    淺談屋頂分布式光伏發(fā)電技術的設計與應用

    【摘要】為了緩解城市用電緊張袁降低人們的用電成本,可以工業(yè)園區(qū)、辦公樓屋頂等場所應用屋頂分布式光伏發(fā)電技術進行就近轉換、并網發(fā)電袁充分利用建筑物屋頂的太陽資源。概述屋頂分布式光伏發(fā)電
    的頭像 發(fā)表于 11-11 15:10 ?1119次閱讀
    淺談屋頂<b class='flag-5'>分布式</b>光伏發(fā)電<b class='flag-5'>技術</b>的設計與應用

    WDS分布式存儲系統(tǒng)軟件助力電信工程海量數據存儲項目

    WDS分布式存儲系統(tǒng)軟件助力電信工程海量數據存儲項目
    的頭像 發(fā)表于 11-11 09:59 ?245次閱讀
    WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)軟件助力電信工程海量數據<b class='flag-5'>存儲</b>項目

    分布式光纖聲波傳感技術的工作原理

    分布式光纖聲波傳感技術(Distributed Acoustic Sensing,DAS)是一種利用光纖作為傳感元件,實現(xiàn)對沿光纖路徑上的環(huán)境參數進行連續(xù)分布式測量的技術
    的頭像 發(fā)表于 10-18 14:50 ?1040次閱讀
    <b class='flag-5'>分布式</b>光纖聲波傳感<b class='flag-5'>技術</b>的工作原理

    某證券公司智能云投資交易云集群高性能分布式存儲應用

    某證券公司智能云投資交易云集群高性能分布式存儲應用
    的頭像 發(fā)表于 09-27 09:57 ?316次閱讀
    某證券公司<b class='flag-5'>智能</b>云投資交易云集群高性能<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>應用

    分布式存儲費用高嗎?大概需要多少錢

    分布式存儲的費用是否高,取決于多個因素,包括存儲容量、性能要求、服務提供商、計費模式等。因此,無法簡單地給出一個“高”或“不高”的答案。通常分布式
    的頭像 發(fā)表于 09-24 10:41 ?323次閱讀

    基于分布式存儲系統(tǒng)醫(yī)療影像數據存儲解決方案

    基于分布式存儲系統(tǒng)醫(yī)療影像數據存儲解決方案
    的頭像 發(fā)表于 09-14 09:53 ?383次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)醫(yī)療影像數據<b class='flag-5'>存儲</b>解決方案

    基于分布式對象存儲WDS的信托非結構化數據整合平臺

    基于分布式對象存儲WDS的信托非結構化數據整合平臺
    的頭像 發(fā)表于 08-28 09:56 ?412次閱讀
    基于<b class='flag-5'>分布式</b>對象<b class='flag-5'>存儲</b>WDS的信托非結構化數據整合平臺

    中興通訊KS20000存儲產品中國移動集采中大放異彩

    近日,中國移動正式揭曉了2024年至2025年度分布式存儲(新建部分)集中采購項目的中標結果,中興通訊憑借其自研的分布式存儲產品KS2000
    的頭像 發(fā)表于 08-14 11:27 ?952次閱讀

    基于WDS的保險公司極速分布式存儲建設高速混合云方案

    基于WDS的保險公司極速分布式存儲建設高速混合云方案
    的頭像 發(fā)表于 07-08 09:52 ?365次閱讀
    基于WDS的保險公司極速<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>建設高速混合云方案

    黑龍江電力高性能WDS分布式存儲系統(tǒng)解決方案

    黑龍江電力高性能WDS分布式存儲系統(tǒng)解決方案
    的頭像 發(fā)表于 07-01 09:54 ?431次閱讀
    黑龍江電力高性能WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)解決方案

    大數據時代的存儲革命:理解分布式存儲系統(tǒng)

    數據管理的效率極低。因此,分布式存儲系統(tǒng)應運而生。 分布式存儲就是將數據存儲眾多的服務器或網絡
    的頭像 發(fā)表于 03-07 15:40 ?471次閱讀

    分布式存儲與計算:大數據時代的解決方案

    分布式存儲和計算技術應運而生,并迅速成為處理大數據的首選方案。本文將深入探討分布式存儲和計算的概念、優(yōu)勢及其
    的頭像 發(fā)表于 03-07 14:42 ?864次閱讀

    得瑞領新參編團體標準《高性能計算 分布式存儲系統(tǒng)技術要求》正式發(fā)布

    得瑞領新參編的《高性能計算 分布式存儲系統(tǒng)技術要求》團標由中國電子工業(yè)標準化技術協(xié)會正式發(fā)布,這標志著得瑞高性能計算和
    的頭像 發(fā)表于 03-01 10:00 ?513次閱讀
    得瑞領新參編團體標準《高性能計算 <b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)<b class='flag-5'>技術</b>要求》正式發(fā)布
    优博娱乐网| 百家乐体育宝贝| 从江县| 棋牌小游戏下载| 电子百家乐规则| 如何胜百家乐的玩法技巧和规则| 太阳城百家乐试玩优惠| 属马做生意坐向| 百家乐官网赢一注| 网络百家乐官网打揽| 百家乐官网赌场玩法技巧| 百家乐官网博彩策略论坛| 涂山国际娱乐城| 澳门赌场老板| 博彩娱乐城| 姚记娱乐城官网| 庄浪县| 曼哈顿娱乐城| 女神娱乐城| 松滋市| 百家乐官网赌博出千| 堆龙德庆县| 百家乐官网手机软件| 百家乐官网桩闲落注点| 百家乐官网技巧心得| 缅甸百家乐官网玩家吗| 百家乐官网平台出租家乐平台出租 | 百家乐官网娱乐网佣金| 国际娱百家乐官网的玩法技巧和规则 | 大发888官方网站登陆| 宝都棋牌游戏| 米易县| 银泰百家乐官网龙虎斗| 百家乐官网娱乐平台真钱游戏| 澳门顶级赌场百家乐的玩法技巧和规则| bet365手机版| 凌源市| 怎样玩百家乐官网才能| 百家乐游戏免费| 百家乐真人游戏棋牌| 大发888亚付宝充值|