云原生數據庫 TDSQL-C (原 CynosDB,TDSQL for Cloud Native Database) 是騰訊云自研的新一代高性能高可用的企業級分布式云數據庫, TDSQL-C 使用 NVIDIA UCX RDMA 優化了關鍵路徑系統性能,實現了超百萬級 QPS 的高吞吐,128TB 海量分布式智能存儲,保障了數據安全可靠。
云原生數據庫 TDSQL-C 實現高性能面臨挑戰
TDSQL-C 采用計算存儲分離的架構,可以快速進行節點的擴容,節點的遷移,但其引入的網絡開銷對實現高性能提出了更高的挑戰。因此需要采用軟件優化與新硬件相結合,通過基于 SPDK 和 UCX RDMA 的零拷貝技術,減少了操作系統上下文切換以及數據在用戶態和內核態之間拷貝引起的性能損耗,進一步優化關鍵路徑的系統性能,降低請求延遲。
傳統的 TCP/IP 網絡,存在以下幾個缺點:應用的 buffer 發送到對端,需要經過多次拷貝,對端收到數據到接收到應用的接收 buffer,也需要多次拷貝;應用的 buffer 拷貝到 TCP/IP 的 buffer,需要從用戶態進入到內核態,會有上下文切換;網絡協議棧完全由 CPU 執行,耗費 CPU。
NVIDIA RDMA 網絡方案+ConnectX 系列網卡
“軟硬” 兼施,賦能數據庫業務持續發展
充分利用軟硬件資源做系統級別 Scale Out、Scale Up、 RDMA 等 Kernel ByPass 的低延時網絡基礎。以底層高性能硬件能力作為支柱,給騰訊云數據庫業務發展提供持續不斷的系統源動力。
根據業務部門需求和服務器新產品導入團隊多年來在 RDMA 技術上的沉淀, 推薦使用搭載 NVIDIA ConnectX 系列網卡的服務器,使用 NVIDIA RDMA 網絡方案來對數據庫場景進行專項優化,充分利用 RDMA 天然的性能優勢:
RDMA 技術是用戶空間進程繞過內核直接調用 RDMA 網卡,實現和遠端進程的高效快速通訊。RDMA 伴生于 InfiniBand 網絡技術,由 IBTA 組織對其進行標準化定義和維護。RDMA 技術優勢可以解決 TCP 傳輸方式中的各種缺點:
整個數據傳輸過程內存零拷貝。
網絡傳輸完全卸載到網卡硬件,不占用 CPU 資源。
使用 RDMA 技術可以 100% 利用網絡帶寬。
整個數據傳輸過程由硬件完成,降低了系統延時。
NVIDIA RDMA 網絡方案
助力遠端計算和存儲網絡優化
NVIDIA RDMA 網絡方案搭在硬件上使遠端計算和存儲網絡的優化效果達到最優。
在 RDMA 與 TCP 性能的關鍵指標的對比測試中,RDMA 體現了其優勢。例如從oplog msg 性能數據上看,RDMA 測延遲比 TCP 降低 71.7%,吞吐提高 43.2%;在 page 性能數據方面(page 大小為16KB),RDMA 測延遲比 TCP 降低 70.3%,吞吐提高 52.3%。
“騰訊云數據庫是騰訊服務的基礎架構,網絡的延遲和帶寬對于性能至關重要, RDMA 技術的 Kernel Bypass 和 CPU Offload 可以帶來極低的延遲和極高的帶寬。在 NVIDIA 網絡產品上部署的推薦系統將為騰訊用戶提供業界一流的性能,使用戶充分享受 RDMA 帶來的技術紅利。
—— 騰訊云數據庫TDSQL-C負責人
李志陽
“NVIDIA 作為 RDMA 技術的推動者和領跑者,很高興看到這項技術在騰訊得到越來越廣泛的應用,并正在從傳統的 HPC/AI 業務拓展到高性能存儲和數據庫領域。UCX 的使用大幅度提高了 RDMA 應用的開發效率和吞吐率,并且使得 RoCE 跟客戶應用能迅速整合,從而幫助客戶更快走向市場,并提供差異化的云產品和服務。
——NVIDIA 副總裁Vadim Balahovski
了解更多 NVIDIA RDMA 網絡助力騰訊云數據庫突破性能瓶頸的案例信息,歡迎點擊“閱讀原文”。
NVIDIA DOCA 現已開放接受申請,掃描下方海報二維碼,即可注冊加入,搶先體驗,走在技術前沿!
原文標題:NVIDIA RDMA 網絡助力騰訊云數據庫突破性能瓶頸
文章出處:【微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
審核編輯:湯梓紅
-
NVIDIA
+關注
關注
14文章
5076瀏覽量
103729 -
網絡
+關注
關注
14文章
7600瀏覽量
89257 -
數據庫
+關注
關注
7文章
3848瀏覽量
64689
原文標題:NVIDIA RDMA 網絡助力騰訊云數據庫突破性能瓶頸
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
加速網絡性能:融合以太網 RDMA (RoCE) 的影響
![加速<b class='flag-5'>網絡</b>性能:融合以太網 <b class='flag-5'>RDMA</b> (RoCE) 的影響](https://file1.elecfans.com/web3/M00/05/9C/wKgZPGeB6cOAbS3NAAB7OoVm4zI338.jpg)
Supermicro推出直接液冷優化的NVIDIA Blackwell解決方案
![Supermicro推出直接液冷<b class='flag-5'>優化</b>的<b class='flag-5'>NVIDIA</b> Blackwell解決<b class='flag-5'>方案</b>](https://file1.elecfans.com/web2/M00/0D/34/wKgaomdD4-WALgKBAApe6SDo0T4146.png)
NVIDIA加速計算如何推動醫療健康
如何優化emc存儲性能
NVIDIA助力xAI打造全球最大AI超級計算機
NVIDIA Colossus超級計算機集群突破10萬顆Hopper GPU
NVIDIA 以太網加速 xAI 構建的全球最大 AI 超級計算機
![<b class='flag-5'>NVIDIA</b> 以太網加速 xAI 構建的全球最大 AI 超級<b class='flag-5'>計算</b>機](https://file1.elecfans.com/web2/M00/0A/7A/wKgZomchjR-AfeU7AAHSQG3Nhog495.png)
基于RDMA技術的Mayastor解決方案
![基于<b class='flag-5'>RDMA</b>技術的Mayastor解決<b class='flag-5'>方案</b>](https://file1.elecfans.com/web2/M00/03/8F/wKgZombEcn6AfgkaAAMK-s4QEW4107.png)
神經網絡優化器有哪些
如何訓練和優化神經網絡
降本增效:NVIDIA路徑優化引擎創下多項世界紀錄!
NVIDIA發布專為大規模AI量身訂制的全新網絡交換機-X800系列
NVIDIA 發布全新交換機,全面優化萬億參數級 GPU 計算和 AI 基礎設施
![<b class='flag-5'>NVIDIA</b> 發布全新交換機,全面<b class='flag-5'>優化</b>萬億參數級 GPU <b class='flag-5'>計算</b>和 AI 基礎設施](https://file1.elecfans.com/web2/M00/C4/EC/wKgZomX48yOAARKHAAFsIO99Xwk611.png)
評論