云技術是什么

　　云技術是指在廣域網或局域網內將硬件、軟件、網絡等系列資源統一起來，實現數據的計算、儲存、處理和共享的一種托管技術。

　　云技術（Cloudtechnology）基于云計算商業模式應用的網絡技術、信息技術、整合技術、管理平臺技術、應用技術等的總稱，可以組成資源池，按需所用，靈活便利。云計算技術將變成重要支撐。技術網絡系統的后臺服務需要大量的計算、存儲資源，如視頻網站、圖片類網站和更多的門戶網站。伴隨著互聯網行業的高度發展和應用，將來每個物品都有可能存在自己的識別標志，都需要傳輸到后臺系統進行邏輯處理，不同程度級別的數據將會分開處理，各類行業數據皆需要強大的系統后盾支撐，只能通過云計算來實現。

　　云存儲技術的原理與架構解析

　　相對傳統存儲而言，云存儲改變了數據垂直存儲在某一臺物理設備的存放模式，通過寬帶網絡（比如萬兆以太網或Infiniband技術）集合大量的存儲設備，通過存儲虛擬化、分布式文件系統、底層對象化等技術將位于各單一存儲設備上的物理存儲資源進行整合，構成邏輯上統一的存儲資源池對外提供服務，從而在存儲容量上得以從單設備PB級橫向擴展至數十、數百PB，由于云存儲系統中的各節點能夠并行提供讀寫訪問服務，系統整體性能隨著業務節點的增加而獲得同步提升。同時，通過冗余編碼技術、遠程復制技術，進一步為系統提供節點級甚至數據中心級的故障保護能力。容量和性能的按需擴展、極高的系統可用性，是云存儲系統最核心的技術特征。

　　通常，從云存儲的技術實現層次上看，從底層向上，可以分為存儲層、管理調度層、訪問接口層、應用服務層等四個層次，如下圖所示：

　　其中存儲層是云存儲的基礎，一臺云存儲節點設備通常能安裝24個以上的硬盤，通常通過IP接口將大量的存儲設備互連在一起形成存儲設備資源池，在一個云存儲系統中，底層物理存儲設備數量龐大，而且設備形態理論上也允許異構（這樣也可以接入傳統的IPSAN或FCSAN），在物理存儲設備之上是一個統一的存儲設備管理層，實現對物理存儲設備的邏輯虛擬化管理、狀態監控和維護等功能。

　　管理調度層是云存儲最核心的部分，這一層的主要功能是在存儲層提供的存儲資源上部署分布式文件系統或者建立和組織存儲資源對象，并將用戶數據進行分片處理，按照設定的保護策略將分片后的數據以多副本或者冗余糾刪碼的方式分散存儲到具體的存儲資源上去。同時，在本層還會在節點間進行讀寫負載均衡調度以及節點或存儲資源失效后的業務調度與數據重建恢復等任務，以便始終提供高性能、高可用的訪問服務。不過，在具體實現時，該層的功能也可能上移，位于訪問接口層和應用服務層之間，甚至直接嵌入到應用服務層中，和業務應用緊密結合，形成業務專用云存儲。

　　訪問接口層是業務應用和云存儲平臺之間的一個橋梁，提供應用服務所需要調用的函數接口，通常云存儲系統會提供一套專用的API或客戶端軟件，業務應用軟件直接調用API或者使用云存儲系統客戶端軟件對云存儲系統進行讀寫訪問，往往會獲得更優的訪問效率，但由于一個云存儲系統往往需要支持多種不同的業務系統，而很多業務系統只能采用特定的訪問接口，例如塊接口或者POSIX接口，因此一個優秀的云存儲系統，應該同時提供多種訪問接口，例如ISCSI、NFS、CIFS、FTP、REST等，以便在業務適配方面具有更好靈活性。

　　業務應用層通過云存儲系統提供的各種訪問接口，對用戶提供豐富的業務類型，例如高清視頻監控、視頻圖片智能分析、大數據查找等。部分云存儲系統也會在這一層的應用業務平臺上實現管理調度層的功能，將業務數據的冗余編碼、分散存儲、負載均衡、故障保護等功能和各種業務的實現緊密結合，形成具有豐富業務特色的應用云存儲系統，而在存儲節點的選擇方面，則可以采用標準的IPSAN、FCSAN或者NAS設備，例如宇視科技的視頻監控云存儲CDS（CloudDirectStorage）解決方案就是這種應用云存儲的典型代表。

　　CDS解決方案繼承了宇視科技視頻ISCSI塊直存高性能的優點，采用宇視最先進的裸數據存儲技術，可極大程度發揮存儲設備讀寫性能，實現云存儲中的秒級檢索和回放，通過采用標準的IPSAN設備，通過CDV存儲虛擬化組件，并通過CDM云存儲管理服務器集中統一管理底層的存儲資源，構成全局統一的虛擬存儲空間，當前端應用設備要進行讀寫時，首先向CDM請求可以訪問的存儲空間，并將數據離散存儲到各底層標準的存儲節點上去，當某一存儲節點發生故障時，CDM會自動重新分配一個新的空間給前端設備進行訪問，從而實現業務不停頓的讀寫。CDS系統支持海量的云存儲節點管理能力，可管理高達2048個存儲節點，支持動態擴容和縮容，提供不間斷的視頻和圖片存儲服務。同時也能提供視頻實況、視頻點播回放、報警管理、布防撤防、地圖應用等多種視頻業務。

　　應用云存儲和業務深度結合，針對業務特點選擇適合的存儲模式，往往能提供非常優異的業務訪問性能，但通常各廠家實現方式各有不同，難以互通或者供第三方開發新的數據處理業務，因此，應用云存儲系統比較適合業務種類較少，業務模型相對固定的應用場合。而在智慧城市的建設中，一個云存不僅會存儲海量的數據，而且需要對這些數據進行分析和利用，這往往需要集合多個專業廠商來進行各自擅長領域的業務開發，因此，系統的開放性、接口的標準化，則成為云存儲系統建設的重要需求，云存儲的核心功能應直接在存儲之上實現，再通過訪問接口層為業務平臺提供多種通用的訪問接口，如ISCSI塊存儲訪問接口、POSIX文件訪問接口、REST對象訪問接口等，而業務應用開發則無需再考慮數據冗余、分散存儲、負載均衡等存儲專屬特性，而集中在業務應用本身的功能特性方面，例如視頻監控系統中的車型識別、卡口計數、圖像濃縮等，這種云存儲系統與具體的應用耦合程度較低，具有更好的通用性，可以認為是一種通用云存儲。

　　在現在比較流行的云存儲架構中，根據對元數據的管理模型，可以將通用云存儲系統分為三種類型，即集中式元數據、分布式元數據和無元數據三種類型的系統。

　　集中式元數據云存儲系統是一種典型的非對稱式系統，在系統中，通常具有一個中央元數據管理服務器，負責元數據的存儲和處理查詢與修改請求，例如，在HDFS系統中，該元數據管理服務器即為名字節點Namenode，同時，存在大量的數據存儲節點提供客戶I/O數據的并行存儲與訪問。這種架構中，客戶端每次對數據流的I/O操作，都需要先向元數據管理服務器進行元數據查詢，客戶端在獲得需要讀寫的數據塊物理位置等信息后，對于數據的I/O操作則直接在客戶端和數據存儲節點之間進行。相對傳統存儲系統，集中元數據云存儲系統將控制流和數據流進行了分離，系統在擴展性和處理性能方面獲得了較大的提升，同時，由于元數據集中在一臺服務器上進行管理，整個系統架構比較簡單，降低了系統設計的復雜性，目前業界采用這種架構的系統主要有GFS、HDFS、Lustre等。

　　圖3具有集中元數據管理的HDFS系統架構

　　不難看出，雖然集中元數據云存儲系統架構簡單，但會存在兩個主要的問題：

　　性能瓶頸問題。元數據的基本特性要求任何時候對用戶數據的訪問，都需要同步地修改元數據，由于每次I/O訪問都需要首先訪問元數據服務器，隨著系統規模不斷擴大，需要管理的存儲節點、文件數量、I/O操作數量等都會急劇增加，而對元數據進行管理的物理服務器性能有限，從而形成性能瓶頸，這種性能瓶頸在大量小文件訪問時會更為突出。為解決這一問題，人們通常會采用更高性能的CPU，更大的內存，并且采用SSD來加速對元數據的訪問，雖然能夠在一定程度上提升元數據訪問性能，但成本極其高昂，且提升效果有限。

　　元數據服務器單點故障問題。在集中元數據云存儲系統中，整個系統的性能和可靠性完全依賴于元數據服務器，一旦元數據服務器故障，系統將無法提供任何服務，因此，元數據服務器就是整個系統中的潛在單點故障點。為解決這一問題，通常對元數據服務器采用備機形成HA解決方案來提供更高的系統可用性，主用服務器和備用服務器之間的元數據必須隨時同步，否則一旦主用服務器故障，則可能導致數據不一致問題，但元數據同步操作會進一步加重了元數據服務器的性能負擔，導致整個系統的訪問性能受到拖累，而且也無法徹底解決腦裂問題。

　　為了解決集中元數據系統中的性能瓶頸和單點故障問題，一種改進后的分布式元數據云存儲系統得以出現，這種系統采用多臺元數據服務器形成集群工作的方式提供元數據訪問服務，集群中的每一臺設備都可以提供元數據訪問，從而提高整體訪問性能，并且解決了元數據服務器單點故障問題。分布式云存儲系統需要在所有元數據存儲節點之間進行元數據同步操作，這大大增加了系統設計的復雜性，在同步期間往往需要進行各種加鎖，而加鎖機制的存在導致部分任務難以并行運行，從而拖慢了整個系統的性能，此外，如果元數據沒有及時得到同步，或者遭到意外破壞，則會出現同一文件或者對象的元數據不一致，進一步導致上層應用在通過不同物理服務器訪問文件或對象數據時出現數據不一致或者讀寫錯誤的問題，這種風險隨著云存儲系統規模的擴大而大幅增加，同樣，為了保證元數據同步的速度，需要采用高性能、大內存并且配備SSD的服務器，硬件成本非常昂貴。

　　第三種云存儲系統則徹底拋棄元數據，而是采用算法來對文件或對象進行定位，并將該算法集成在每一個存儲節點上，客戶端從任何一個存儲節點進行數據訪問都會獲得同樣的結果，云存儲系統中的每一個存儲節點都可以獨立、并行地對外提供服務，從而真正實現性能隨節點數增加而線性擴展，由于無需在節點間進行元數據的同步操作，極大地提高了系統的穩定性和可靠性，在硬件成本方面，也相對低廉，可以用較低的建設成本獲得較高的讀寫性能。

　　宇視科技的UCS（UnifiedCloudStorage）統一云存儲系統是在視頻應用云存儲CDS解決方案之外提供的更為通用的云存儲解決方案，它是一種采用無元數據設計的全對稱分布式存儲系統，其存儲節點可以提供16到60個3.5英寸硬盤槽位，無需額外添加服務器，底層采用對象存儲機制，自動實現數據分片、冗余校驗計算存儲、節點失效業務接管、存儲資源失效數據高速重建等功能，并且通過部署UniFS分布式文件系統對供標準的POSIX讀寫訪問，對外提供各種標準軟件接口，例如ISCSI、NAS、REST等，現有業務系統可以不經改造即可使用宇視科技UCS云存儲系統。而如果全套業務系統均采用宇視設備，則可以在前端攝像機、管理服務器、智能分析服務器和UCS存儲系統之間直接采用更為優化的CBI（CloudBlockInterface）接口，該接口繼承了宇視科技上一代ISCSI視頻監控直存解決方案的有點，根據云存儲資源池的配置，直接在前端攝像機和訪問服務器自動實現數據切片和離散存儲，將大量的計算工作分布到數量眾多的前端設備上，實現分布式計算，從而大大降低了存儲系統本身的工作負載，顯著提升了整個系統的能夠承載的視頻監控攝像機數量。同時，針對智慧城市建設需要的業務處理分析系統，也可以集成宇視提供的API或者客戶端軟件，實現對數據的并行讀寫，或者極高的性能體驗。UCS統一云存儲解決方案可廣泛用于高清視頻監控系統、公安案件視圖庫、警用執法儀在線存儲、交通管理分析系統等，為智慧城市、平安城市建設提供大數據、云存儲解決方案。

　　圖4宇視全對稱分布式UCS通用云存儲解決方案

　　云計算技術的主要服務形式和典型應用

　　云計算還處于萌芽階段，有龐雜的各類廠商在開發不同的云計算服務。云計算的表現形式多種多樣，簡單的云計算在人們日常網絡應用中隨處可見，比如騰訊QQ空間提供的在線制作Flash圖片，Google的搜索服務，GoogleDoc，GoogleApps等。目前，云計算的主要服務形式有：SaaS（SoftwareasaService），PaaS（PlatformasaService），IaaS（InfrastructureasaService）。

　　（1）軟件即服務（SaaS）

　　SaaS服務提供商將應用軟件統一部署在自己的服務器上，用戶根據需求通過互聯網向廠商訂購應用軟件服務，服務提供商根據客戶所定軟件的數量、時間的長短等因素收費，并且通過瀏覽器向客戶提供軟件的模式。這種服務模式的優勢是，由服務提供商維護和管理軟件、提供軟件運行的硬件設施，用戶只需擁有能夠接入互聯網的終端，即可隨時隨地使用軟件。這種模式下，客戶不再像傳統模式那樣花費大量資金在硬件、軟件、維護人員，只需要支出一定的租賃服務費用，通過互聯網就可以享受到相應的硬件、軟件和維護服務，這是網絡應用最具效益的營運模式。對于小型企業來說，SaaS是采用先進技術的最好途徑。

　　以企業管理軟件來說，SaaS模式的云計算ERP可以讓客戶根據并發用戶數量、所用功能多少、數據存儲容量、使用時間長短等因素不同組合按需支付服務費用，既不用支付軟件許可費用，也不需要支付采購服務器等硬件設備費用，也不需要支付購買操作系統、數據庫等平臺軟件費用，也不用承擔軟件項目定制、開發、實施費用，也不需要承擔IT維護部門開支費用，實際上云計算ERP正是繼承了開源ERP免許可費用只收服務費用的最重要特征，是突出了服務的ERP產品。

　　目前，Salesforce.com是提供這類服務最有名的公司，GoogleDoc，GoogleApps和ZohoOffice也屬于這類服務。

　　（2）平臺即服務（PaaS）

　　把開發環境作為一種服務來提供。這是一種分布式平臺服務，廠商提供開發環境、服務器平臺、硬件資源等服務給客戶，用戶在其平臺基礎上定制開發自己的應用程序并通過其服務器和互聯網傳遞給其他客戶。PaaS能夠給企業或個人提供研發的中間件平臺，提供應用程序開發、數據庫、應用服務器、試驗、托管及應用服務。

　　GoogleAppEngine，Salesforce的force.com平臺，八百客的800APP是PaaS的代表產品。以GoogleAppEngine為例，它是一個由python應用服務器群、BigTable數據庫及GFS組成的平臺，為開發者提供一體化主機服務器及可自動升級的在線應用服務。用戶編寫應用程序并在Google的基礎架構上運行就可以為互聯網用戶提供服務，Google提供應用運行及維護所需要的平臺資源。

　　（3）基礎設施服務（IaaS）

　　IaaS即把廠商的由多臺服務器組成的“云端”基礎設施，作為計量服務提供給客戶。它將內存、I/O設備、存儲和計算能力整合成一個虛擬的資源池為整個業界提供所需要的存儲資源和虛擬化服務器等服務。這是一種托管型硬件方式，用戶付費使用廠商的硬件設施。例如AmazonWeb服務（AWS），IBM的BlueCloud等均是將基礎設施作為服務出租。

　　IaaS的優點是用戶只需低成本硬件，按需租用相應計算能力和存儲能力，大大降低了用戶在硬件上的開銷。

　　目前，以Google云應用最具代表性，例如GoogleDocs、GoogleApps、Googlesites，云計算應用平臺GoogleAppEngine。

　　GoogleDocs是最早推出的云計算應用，是軟件即服務思想的典型應用。它是類似于微軟的Office的在線辦公軟件。它可以處理和搜索文檔、表格、幻燈片，并可以通過網絡和他人分享并設置共享權限。Google文件是基于網絡的文字處理和電子表格程序，可提高協作效率，多名用戶可同時在線更改文件，并可以實時看到其他成員所作的編輯。用戶只需一臺接入互聯網的計算機和可以使用Google文件的標準瀏覽器即可在線創建和管理、實時協作、權限管理、共享、搜索能力、修訂歷史記錄功能，以及隨時隨地訪問的特性，大大提高了文件操作的共享和協同能力。

　　GoogleAPPs是Google企業應用套件，使用戶能夠處理日漸龐大的信息量，隨時隨地保持聯系，并可與其他同事、客戶和合作伙伴進行溝通、共享和協作。它集成了Cmail、GoogleTalk、Google日歷、GoogleDocs、以及最新推出的云應用GoogleSites、API擴展以及一些管理功能，包含了通信、協作與發布、管理服務三方面的應用，并且擁有著云計算的特性，能夠更好的實現隨時隨地協同共享。另外，它還具有低成本的優勢和托管的便捷，用戶無需自己維護和管理搭建的協同共享平臺。

　　云技術發展的驅動力

　　推出更開放“云+端”戰略：IBM認為目前云計算的驅動力中有33%是來自移動與嵌入式領域，未來比例還將進一步加大。為此，IBM提出了非常明確的“云+端”戰略，IBM除了在后端強化云的能力，更加大力度對前端進行整合，包括移動、嵌入式以及眾多的前端需求。與行業相比，IBM的“云+端”戰略更加開放，在擴展性、兼容性、安全性以及分析能力等方面優勢明顯。

　　加強“云”分析實力：在IBMSmartCloudEnterprise企業云計算平臺上運行的IBMInfoSphereBigInsights能夠使客戶機構內部的任何用戶均可訪問大數據分析，幫助企業提高行業洞察，提升業務決策能力。云端的大數據分析使企業不用安裝、運行或維護硬件和軟件，也可以捕捉和分析任何數據。

　　提升“云”部署能力：IBMSmartCloud產品正在幫助全球企業提高云環境及傳統環境的可視化、可控化和自動化程度，使企業安全管理和部署云服務，優化業務流程、提升效率，享受虛擬化帶來的更高價值。

　　利用“云”協作增進企業協作：IBMLotusLive解決方案為企業搭建了一個“云端”的辦公平臺，使企業員工能夠更加高效的與來自世界各地的客戶、合作伙伴和供應商開展溝通與協作，讓企業成功跨入辦公協作的云計算時代。

　　不僅如此，IBM在不斷開發、升級旗下現有產品的同時，也在通過積極的收購策略，擴展云計算產品線，以求通過最全面的云產品線為企業帶來最優秀的云服務。