在網絡江湖上，以太網和IP都有一個夢想，就是統一數據中心網絡，一統網絡江湖。但是，在存儲網絡這塊，它們的進展不是很順利。FCoE曾經風光無限，當時大有統一數據中心網絡的架勢，但由于FC的頑強抵抗，還是敗下陣來，現在基本被網絡界拋棄。現在借助NVMe-oF的發展，IP又找到了一個機會，在18年底，NVMe/TCP終于成為標準，這個標準的主要推動者之一，Lightbits Labs，一個Startup公司，也剛剛拿到了Dell參與投資的50m資金，正式走向公眾面前。

這兩天，不斷有朋友問我對這個公司包括NVMe/TCP的未來的看法，我今天就來聊一聊這個話題。

大家知道，NVMe-oF成為標準已經有幾年時間了，最初它只支持RDMA，后來加入了FC的支持，現在又加入了TCP的支持。

我們知道，NVMe采用PCIe連接，是基于內存映射的協議，而NVMe-oF卻實基于消息的，但也可以支持共享內存。其中RDMA（包括IB，RoCE，iWarp）這兩種方式都支持，但FC和TCP，只支持消息。

RDMA由于支持兩種機制，因此命令和回復封裝都用消息傳輸，但數據采用內存語義進行處理。

但FC和TCP只支持消息，因此，數據也是采用消息來傳輸的。

感覺TCP的功能沒有RDMA強大啊？為啥大家都熱衷發展NVMe/TCP，并且也把這種方式標準化了呢？這就是TCP的魅力了。因為TCP無處不在，大家都了解它，還有就是TCP支持長距離大規模的部署，云環境下是唯一選擇。雖然在時延和性能抖動上有挑戰，但是也不是不可解決的。

NVMe/TCP其實原理也很簡單，就是把NVMe-oF的消息封裝在TCP/IP報文里作為負載進行傳輸。

這是NVMe-oF三種傳輸機制的封裝方式，我們看到，其實NVMe/TCP和NVMe/FC的傳輸機制是最像的。

從時延上，TCP的時延還是大于RDMA的，而且還有一個重要的incast問題，即發生擁塞后大家都停止發送，然后等待一會，大家又同時開始發送。

這是TCP典型的鋸齒模式，因此，NVMe/TCP對網絡的擁塞控制要求非常高。

還好現在新型的數據中心交換機都有優先級控制或者流控功能，可以解決incast的問題。

常用的流控協議就是DCTCP和ECN這些，也就是如果你要用NVMe/TCP，請確認交換機支持這些特性并且做好規劃。

雖然NVMe/TCP需要現代的數據中心交換機，但是在host端，不需要支持RDMA的HCA卡，普通網卡就可以用，因此成本還是比RDMA要好得多，特別是host很多的情況下。因此，Lightbits和Facebook，Dell EMC，Intel等力推NVMe/TCP在2018年11月15日終于成為國際標準。

從時延的測試看，NVMe/TCP的時延是RDMA的兩倍。但是，由于都是微秒級別，大部分場景下都夠用，而且和iSCSI相比，要好太多了。因此，云廠商Facebook和Google等都非常熱衷這項技術。

而Lightbits呢，抓住這個機會，開發了自己的NVMe/TCP存儲操作系統LightOS。

LightOS有傳統存儲豐富的企業特性，包括糾刪碼和數據縮減，QoS等。

為了進行性能加速，Lightsbits還開發了一塊加速卡，做EC和壓縮加速，也做TCP的卸載。剛開始我以為是一塊NVMe/TCP的加速網卡，后來發現沒有網口，因此，這個只做加速，還是需要配合網卡使用的。

目前，這塊加速卡和LightOS配合使用，組成一個高性能的NVMe/TCP的分布式存儲。

目前，Lightbits剛剛拿了50m的投資，除了Dell，還有Cisco和Micron等大牌IT廠商背書。

這是三個創始人，其CTO是半導體行業背景。

個人認為NVMe/TCP雖然有TCP的一些固有問題，但是由于云廠商只能選擇這種機制，因此，不會遭遇FCoE一樣命運。

我們看到Pure Storage的NVMe-oF路標，今年支持RoCE v2，年底打算支持FC，然后明年打算支持NVMe/TCP。這個時間節奏我還是比較認可的。

但是，我個人認為，雖然NVMe/TCP不會死，但是短期也無法統一數據中心網絡。因為傳統的數據中心運維人員，對FC都非常熟悉，因此，NVMe/FC還是很多傳統企業的首選演進路徑。因此，NVMe-oF的三種協議估計在企業數據中心都會存在：

NVMe/FC：傳統存儲，如高端存儲，AFA等關鍵業務場景

NVMe/RDMA：HPC等高性能，低延時場景

NVMe/TCP：云存儲，分布式存儲場景

但是，在公有云上，別無選擇，只能選擇NVMe/TCP。但是，公有云不會購買存儲系統，但是可能會購買某些部件。因此Lightbits在公有云廠商只能賣一賣加速卡，銷售額估計不會太多。其未來真正要成功，必須要在企業數據中心取得成功才有可能。