1 Hadoop發展現狀

　　Apache Nutch 是 Hadoop 的源頭，該項目始于 2002年， 是Apache Lucene的子項目之一。 至 2004年，Google在OSDI上公開發表了題為 “MapReduce： simplified data processing on large clusters”的論文，受到啟發的 Doug C 等人 開 始 實 現 MapReduce 計 算 框 架 并 與 NDFS （Nutch distributed file system） 結合支持 Nutch 的主要算法 。 至2006 年逐漸成為一套完整而獨立的軟件 ，起名為 Hadoop。2008 年初，Hadoop 成為 Apache 的頂級項目，應用到除Yahoo！ 以外的很多互聯網公司。

　　Hadoop 技術已經在互聯網領域得以廣泛的應用 ， 同時也得到研究界的普遍關注。 如 Yahoo！ 使用 4 000 節點的機群運行 Hadoop， 支持廣告系統和 Web 搜索的研究；Facebook 使用 1 000 節點的機群運行 Hadoop，存儲日志數據，支持其上的數據分析和機器學習；IBM 的藍云產品也直接將 Hadoop 軟件集成到自己本身的云計算平臺上；百度用 Hadoop 處理每周 200 TB 的數據，進行搜索日志分析和網頁數據挖掘工作； 中移動研究院基于 Hadoop 開發了“大云 ”（big cloud）系統 ，不但用于相關數據分析，還對外提供服務；淘寶的 Hadoop 系統用于存儲并處理的交易相關數據。 國內的高校和科研院所基于 Hadoop 在數據存儲、資源管理、作業調度、性能優化、系統高可用性和安全性方面進行研究， 相關研究成果多以開源形式貢獻給 Hadoop 社區。Cloudera 公司推出了首個 Hadoop 商業版本，一個能夠存儲千兆位容量信息的服務器產品。公司發言人表示“hadoop 應用于 Google、Yahoo、Facebook 等公司 ， 已經是一個成功的產品，發布該產品的商業版本，幾乎是理所當然的事情 ”。 Cloudera 的 Hadoop 是 免 費 的 ， 并 將 分 配 在Apache 2 軟件許可下 。

　　2 淘寶網-集群存儲架構

　　淘寶網部署了一個1.5PB的華為賽門鐵克Oceanspace N8000 Cluster NAS存儲系統，以及一個包含賽門鐵克FileStore軟件的解決方案，該集群NAS存儲系統方案能夠對備份和恢復、動態存儲分層（DST）和數據快照進行整合管理。第二臺華為賽門鐵克Oceanspace N8000部署在一個“active-active”系統中，從而讓淘寶網的服務器能夠訪問復制的常用數據庫，以便進行故障切換。

　　該團隊還部署了Veritas NetBackup，以進行集中的數據保護。通過將NetBackup與N8000和FileStore相集成，可以實現更快速、更便捷的備份。

　　組合的解決方案具有高度可伸縮性，這是部署過程中的主要考慮因素之一。馮江解釋說：“對于淘寶網來說，很難制定一個超過一年的完善計劃，因為業務發展的速度太快了。因此集中管理和出色的可伸縮性對我們來說至關重要。內置了賽門鐵克FileStore的華為賽門鐵克N8000可以擴展到15PB，完全能夠滿足淘寶網一段時間內的需求。”

　　賽門鐵克FileStore中的一項重要功能是動態存儲分層 （DST），動態存儲分層能夠將數據動態移動到不同的存儲層，以快速響應淘寶網不斷變化的業務需求。經常使用的數據可以存儲在第一層存儲上，而不常用的數據則可以駐留在第二層或第三層存儲上。