一般來說，有兩種公認(rèn)的擴(kuò)展存儲架構(gòu)的方法：縱向擴(kuò)展和橫向擴(kuò)展。縱向擴(kuò)展主要通過增加單個硬件平臺的容量和功能來工作，而橫向擴(kuò)展通過額外的服務(wù)器或節(jié)點提高功能。從歷史上看，橫向擴(kuò)展實施起來比較復(fù)雜，但隨著NVMe over Fabrics的出現(xiàn)，這可能會發(fā)生變化。

對于橫向擴(kuò)展存儲架構(gòu)所面臨的挑戰(zhàn)，NVMe over Fabrics已被證明是一種有用的解決方案，而存儲供應(yīng)商和用戶都注意到了這一點。

一般來說，有兩種公認(rèn)的擴(kuò)展存儲架構(gòu)的方法：縱向擴(kuò)展和橫向擴(kuò)展。縱向擴(kuò)展主要通過增加單個硬件平臺的容量和功能來工作，而橫向擴(kuò)展通過額外的服務(wù)器或節(jié)點提高功能。從歷史上看，橫向擴(kuò)展實施起來比較復(fù)雜，但隨著NVMe over Fabrics的出現(xiàn)，這可能會發(fā)生變化。

為了降低光纖網(wǎng)絡(luò)的性能開銷，可以使用NVMe over Fabrics來解決某些橫向擴(kuò)展存儲架構(gòu)所面臨的限制。隨著越來越多的組織尋求高可擴(kuò)展性，供應(yīng)商開始將NVMe over Fabrics技術(shù)融入其產(chǎn)品中，以降低橫向擴(kuò)展存儲所涉及的復(fù)雜性。

|| 橫向擴(kuò)展存儲的挑戰(zhàn)

橫向擴(kuò)展存儲往往分為兩類：

(1)緊密耦合：存儲節(jié)點或服務(wù)器彼此緊密結(jié)合，具有共享內(nèi)存和專有高速背板等功能。人們認(rèn)為是單片或向上擴(kuò)展的一些產(chǎn)品實際上是橫向擴(kuò)展架構(gòu)，例如Dell EMC的PowerMax。

(2)松散耦合：在這種情況下，很多節(jié)點沒有緊密綁定在一起，但可以單獨操作。節(jié)點使用一些高速網(wǎng)絡(luò)連接(通常是以太網(wǎng))，不直接內(nèi)置在平臺中。NetApp的SolidFire就是一個很好的例子，它使用多個1U服務(wù)器和標(biāo)準(zhǔn)萬兆以太網(wǎng)(GbE)網(wǎng)絡(luò)。

NVMe開發(fā)的下一個合乎邏輯的步驟是通過結(jié)構(gòu)或網(wǎng)絡(luò)啟用協(xié)議。

緊密耦合的橫向擴(kuò)展產(chǎn)品通常提供更高級別的彈性和更加一致的性能，而松散耦合的體系結(jié)構(gòu)可以擴(kuò)展得更多，但必須處理存儲驅(qū)動器和節(jié)點故障的影響。

實施橫向擴(kuò)展存儲是一項挑戰(zhàn)，因為數(shù)據(jù)需要受到保護(hù)和保持一致。這意味著在平臺中實施技術(shù)以檢測節(jié)點何時發(fā)生故障，并在設(shè)備或節(jié)點發(fā)生故障時通過橫向擴(kuò)展集群重新保護(hù)數(shù)據(jù)。

|| 什么是NVMe over Fabrics?

隨著數(shù)據(jù)中心性能需求的增加，存儲一直是提供快速高效應(yīng)用程序的瓶頸。NVMe是一種旨在通過固態(tài)介質(zhì)降低存儲協(xié)議性能開銷的技術(shù)。基于NVMe的SSD硬盤使用外圍組件互連高速(PCIe)連接到服務(wù)器，在IOPS和吞吐量方面提供更大的帶寬，并且比SAS和SATA SSD硬盤具有更低的延遲。

|| NVMe over Fabrics的工作原理

NVMe開發(fā)的下一個合乎邏輯的步驟是通過結(jié)構(gòu)或網(wǎng)絡(luò)啟用協(xié)議。NVMe over Fabrics描述了一些已經(jīng)開發(fā)的標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)是為通過光纖通道(FC)，以太網(wǎng)或InfiniBand網(wǎng)絡(luò)傳輸NVMe協(xié)議而開發(fā)的。 NVM express傳輸是一個提供NVMe命令和數(shù)據(jù)傳輸抽象協(xié)議層。

如今，NVMe over FC和NVMe over Fabrics的存儲產(chǎn)品通過融合以太網(wǎng)(RoCE),NVMe over InfiniBand和NVMe/TCP使用標(biāo)準(zhǔn)以太網(wǎng)網(wǎng)絡(luò)接口卡進(jìn)行遠(yuǎn)程直接內(nèi)存訪問。

|| NVMe over Fabrics如何為實現(xiàn)橫向擴(kuò)展存儲提供幫助?

人們看到的一種情況是典型存儲設(shè)備中的組件分解。該架構(gòu)支持主機(jī)和存儲介質(zhì)之間更直接的路徑，從而無需通過集中控制器傳輸數(shù)據(jù)。即使是目前的橫向擴(kuò)展存儲產(chǎn)品也存在這種限制，這可能導(dǎo)致不能充分利用SSD硬盤的能力。通過提供更直接的I/O路徑，單個主機(jī)可以與多個驅(qū)動器通信，反之亦然。這減少了延遲并增加了橫向擴(kuò)展能力。

NVMe規(guī)范的一部分提供了使這些工具工作的功能集。使用SAS和SATA驅(qū)動器，I/O堆疊在一個隊列中，在讀取內(nèi)部NAND介質(zhì)時會產(chǎn)生瓶頸。NVMe引入了65,535個隊列的功能，每個隊列最多可容納65,535個隊列元素。這使得在主機(jī)和驅(qū)動器之間實現(xiàn)高度并行的多對多的體系結(jié)構(gòu)成為可能，并為每個主機(jī)/驅(qū)動器關(guān)系提供單獨的隊列。

在實施這種技術(shù)的供應(yīng)商中，E8 Storage公司提供E8 NVMe設(shè)備和基于主機(jī)的軟件驅(qū)動程序。該設(shè)備充當(dāng)元數(shù)據(jù)服務(wù)器和以太網(wǎng)到PCIe橋，將傳統(tǒng)存儲任務(wù)(如快照)加載到每個連接的主機(jī)。

Excelero公司擁有一個基于軟件的產(chǎn)品，可將許多服務(wù)器連接到一個存儲消費者和提供商網(wǎng)絡(luò)中。NVMesh軟件使任何存儲消費者都可以訪問任何服務(wù)器中的任何驅(qū)動器，而無需采用目標(biāo)服務(wù)器CPU。其結(jié)果是一種可以實現(xiàn)額外容量增加的架構(gòu)，而現(xiàn)有應(yīng)用程序的開銷幾乎可以忽略不計。

WekaIO公司使用類似的技術(shù)來提供稱為Matrix的橫向擴(kuò)展文件系統(tǒng)架構(gòu)。NVMe跨網(wǎng)絡(luò)的低延遲以及分布式處理使得Matrix文件系統(tǒng)能夠以比本地驅(qū)動器更快的速度運行。

|| 關(guān)注的硬件重點

供應(yīng)商還專注于構(gòu)建只支持高可擴(kuò)展性的硬件工具。Pavilion Data Systems公司開發(fā)了一個平臺，該平臺使用多達(dá)20個自定義硬件刀片服務(wù)器和72個NVMe驅(qū)動器來創(chuàng)建機(jī)架級架構(gòu)，能夠在100微秒時支持每秒120千兆字節(jié)的帶寬。應(yīng)用程序主機(jī)使用標(biāo)準(zhǔn)的40 GbE或100 GbE RoCE網(wǎng)絡(luò)適配器和NVMe over Fabrics驅(qū)動程序。

Vexata公司開發(fā)了一種架構(gòu)，該架構(gòu)使用商用硬件組件來擴(kuò)展以太網(wǎng)中的容量和性能。后端可擴(kuò)展性通過基于硬件的企業(yè)存儲模塊(ESM)實現(xiàn)，而前端連接提供NVMe over Fabrics功能和帶有I/O模塊(IOM)的直接硬件I/O路徑。現(xiàn)有的實現(xiàn)目前提供多達(dá)16個企業(yè)存儲模塊(ESM)和兩個I/O模塊(IOM)，盡管該體系結(jié)構(gòu)可以擴(kuò)展到更多。

Apeiron Data Systems公司是一家遵循硬件模型的初創(chuàng)公司。Apeiron ADS1000平臺使用NVMe over Ethernet和自定義主機(jī)總線適配器，提供橫向擴(kuò)展架構(gòu)，可在單一配置中增長，支持?jǐn)?shù)千個驅(qū)動器。

NVMe over Fabrics提供了消除傳統(tǒng)架構(gòu)約束的能力，并創(chuàng)建了更具分布性的產(chǎn)品。所有這些供應(yīng)商產(chǎn)品的共同點是減少從主機(jī)到介質(zhì)的I/O路徑的長度和影響。這將成為未來存儲設(shè)計的一個特征，因為延遲仍然是存儲技術(shù)需要克服的最大挑戰(zhàn)。