NVIDIA ConnectX 智能網卡及開源 UCX 框架幫助網易高性能 RDMA 網絡通訊功能實現(xiàn)更優(yōu)表現(xiàn),助力網易通過 Curve 開源項目為 Apache BRPC 自主實現(xiàn)高性能的 RDMA 網絡通訊。
網易亟需打造一款高吞吐和低延遲的分布式存儲系統(tǒng)
如何為用戶提供性能優(yōu)異、易于部署的分布式存儲系統(tǒng),特別是如何在遠程訪問存儲時提高吞吐和降低延遲是網易面臨的主要挑戰(zhàn)。雖然在自研的 Curve 開源項目下已經支持了 Apache BRPC ,并具備了一定的遠程方位存儲的網絡通訊能力,但是并未實現(xiàn)對 RDMA 網絡通訊的支持,并借助 RDMA 網絡通訊能力來實現(xiàn)高吞吐和低延遲,從而提升整體開源云原生分布式存儲系統(tǒng)的性能。
NVIDIA ConnectX 智能網卡
為網易 Curve 開源項目提供解決方案
網易的 Curve 開源項目下支持 Apache BRPC ,并自研實現(xiàn)了 RDMA 網絡通訊功能,而其采用的 NVIDIA ConnectX 智能網卡及開源 UCX 框架的底層軟硬件基礎設施,幫助其更好地為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 Curve 是云原生計算基金會(CNCF)沙箱(Sandbox)項目,它是網易主導自研和開源的高性能、易運維、云原生的分布式存儲系統(tǒng),由塊存儲 CurveBS 和文件系統(tǒng) CurveFS 兩部分組成,可應用于主流的云原生基礎設施平臺:
對接 OpenStack 平臺為云主機提供高性能塊存儲服務;
對接 Kubernetes 為其提供 RWO 、RWX 等類型的持久化存儲卷;
對接 PolarFS 作為云原生數據庫的高性能存儲底座,完美支持云原生數據庫的存算分離架構。
Curve 亦可作為云存儲中間件,使用與 S3 兼容的對象存儲作為數據存儲引擎,為公有云用戶提供高性價比的共享文件存儲系統(tǒng)。 網易致力于通過 Curve 開源項目自主研發(fā)云原生的分布式存儲系統(tǒng),為不同應用場景下的存儲需求,提供大容量、高性能、易運維、低成本的開源彈性存儲解決方案。而其最新為 BRPC 自研的 RDMA 網絡通訊功能,將會極大的簡化 RDMA 網絡通訊的實現(xiàn)和提升遠程存儲訪問的性能,為 Curve 開源項目提供高性能、低延遲的本地和遠程存儲訪問體驗,同時提供良好的上層 API 兼容性和透明性,使 Curve 成為更為完善的云原生分布式存儲系統(tǒng),從而驅動其在開源的分布式存儲領域得到廣泛的應用。
NVIDIA ConnectX 智能網卡
助力 RDMA 網絡通訊功能發(fā)揮優(yōu)異性能
該 RDMA 網絡通訊功能完美的運行在采用 NVIDIA ConnectX 智能網卡及開源 UCX 框架(NVIDIA 是開源項目 UCX 的核心成員和主要貢獻者)的底層軟硬件基礎設施上,將會發(fā)揮出更優(yōu)異的性能表現(xiàn),滿足用戶對分布式存儲系統(tǒng)高性能、低延遲的需求,并大幅降低主機 CPU 開銷,為用戶提供兼顧高性能、易運維、低成本的彈性分布式存儲解決方案。 具體來說,網易在 NVIDIA Connect X 智能網卡的驅動下實現(xiàn) UCX 框架中的 UCP(Unified Communication for Protocols):
極大簡化了 RDMA 網絡通訊在分布式存儲應用場景下的實現(xiàn),且支持的 RDMA 接口具有良好的 API 兼容性
基于高性能的 NVIDIA ConnectX 智能網卡,將實現(xiàn)更為出色的 RDMA 網絡通訊性能,IO 時延得到極大改善
即時將 RDMA 網絡通訊能力體現(xiàn)在 Curve 后續(xù)的開源軟件版本中,驅動云原生分布式存儲系統(tǒng)的廣泛應用
如今,Curve 開源項目的 RDMA 網絡通訊功能已經實現(xiàn),將會在后續(xù)的 Curve 版本中發(fā)布。想要深入了解網易是如何為 BRPC 實現(xiàn) RDMA 網絡通訊功能,請點擊“閱讀全文”。
審核編輯:湯梓紅
-
NVIDIA
+關注
關注
14文章
5076瀏覽量
103730 -
分布式存儲
+關注
關注
4文章
172瀏覽量
19577 -
智能網卡
+關注
關注
1文章
53瀏覽量
12277
原文標題:NVIDIA ConnectX 智能網卡驅動 RDMA 通訊技術在分布式存儲的應用
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業(yè)解決方案】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
分布式云化數據庫有哪些類型
分布式通信的原理和實現(xiàn)高效分布式通信背后的技術NVLink的演進
![<b class='flag-5'>分布式</b>通信的原理和實現(xiàn)高效<b class='flag-5'>分布式</b>通信背后的<b class='flag-5'>技術</b>NVLink的演進](https://file1.elecfans.com/web2/M00/0C/B2/wKgaomc6m2qAX-1eAAAF5ef6CJE040.png)
淺談屋頂分布式光伏發(fā)電技術的設計與應用
![淺談屋頂<b class='flag-5'>分布式</b>光伏發(fā)電<b class='flag-5'>技術</b>的設計與應用](https://file1.elecfans.com//web1/M00/F4/C1/wKgaoWcxreKAXoL9AA5EHiPvfCI003.png)
分布式光纖聲波傳感技術的工作原理
![<b class='flag-5'>分布式</b>光纖聲波傳感<b class='flag-5'>技術</b>的工作原理](https://file1.elecfans.com/web2/M00/0A/A9/wKgaomcSBUWADJQtAADw91ySKXo891.jpg)
分布式存儲費用高嗎?大概需要多少錢
中興通訊KS20000存儲產品在中國移動集采中大放異彩
大數據時代的存儲革命:理解分布式存儲系統(tǒng)
分布式存儲與計算:大數據時代的解決方案
得瑞領新參編團體標準《高性能計算 分布式存儲系統(tǒng)技術要求》正式發(fā)布
![得瑞領新參編團體標準《高性能計算 <b class='flag-5'>分布式</b><b class='flag-5'>存儲</b>系統(tǒng)<b class='flag-5'>技術</b>要求》正式發(fā)布](https://file1.elecfans.com//web2/M00/C2/36/wKgZomXhNtiACyfwAADo81_CK9s860.png)
評論