“大數據”現在可謂越來越火了，不管是什么行業，也不敢是不是搞計算機的，都要趕個集，借著這股熱潮，亦或炒作，亦或大干一番。尤其是從事IT行業的，不跟“大數據”沾點邊，都不好意思出去說自己是干IT的。

“大數據”一詞，已無從考證具體是什么時候興起的，只是隱約記得大概火了三四年了吧。多大的數據算“大數據”哪？麥肯錫研究中心給出的定義是“超過一般計算機處理能力”的數據。好吧，這個概念真是投機取巧，讓人難以攻擊。因為大數據的界限真的難以定義。只能說我們平時自己保存和處理的數據都不是大數據。有些人以為自己電腦里有個特別大的Excel文件就是大數據；還有些人覺得有個數據庫裝了些數據就是大數據；有些悶騷男們說了：我專門買了個盤存了好幾T的片片那，看我有這么大的數據……這些都不是大數據。

按照麥肯錫的定義，既然大數據是一般的計算機都處理不了的數據，那么肯定不是幾個尺寸大點兒的文件就可以被稱之為大數據。筆者斗膽總結一下大數據的幾個特性：

首先，大數據肯定是存儲量很大的數據。

這是前提條件。業界沒有給出明確的數量定義，但肯定不能低于TB級。否則一般的個人電腦就可以輕松處理，就沒有多大的研究價值了。

其次，大數據一定是沒有明確組織規律的。

雖然局部可能有些規律可循，但總體上一定是沒有統一的規律了。否則也沒有多大的研究價值。可能兼顧了表格、圖片、日志等多種類型的數據，甚至可能會有各種格式的視頻和音頻流。

第三，大數據一定是不容易分析的。

接著第二點來說，大數據肯定不會是單純的存儲和組織方式，不會像我們平時自己造的表格那樣簡單明了。而且，我們無法從中分析出一個簡單統一的公式，使得所有數據都可以滿足這個公式。即便是可以分析出某些公式來，也會形成成百上千個公式。所以，大數據的分析一定不是一蹴而就的，而是分布開展的。可能先會得到一些最原始的規律，再從這些原始規律中去分析出更高級的規律……不知會經過多少步才會得到最終有些價值的信息。

第四、大數據一般是動態的。

大數據一般不會是死或一成不變的數據，而是會不斷追加新的數據，從而其尺寸不斷變大。比如常見的就是操作日志、監測數據……等等。常見的大數據包括大型機場的訂票或飛行數據、大型超市的用戶購物記錄、證券公司股民的股票交易記錄、化工廠的設備運行監測數據、城市出租車起止位置數據、煤礦等作業區域的人員定位數據……等等。這些數據除了數據量很大外，還會實時產生海量的新數據。所以進行大數據分析時要充分考慮到數據的變化因素。

第五、大數據一般是用于預測的。

正如上段內容中介紹的，大數據環境一定是海量的數據環境，并且增量都有可能是海量的。大數據分析的價值就是從已有的數據中分析出固有的一些規律，從而能夠與未來新產生的數據相吻合，從而可以提前預測未來會發生的一些事件，或提供一些有價值的信息，提前進行決策和處置。

忽然想起了多年前大學期間學過一門課程，叫《數據挖掘》，里面提到了數據挖掘針對的對象是“數據倉庫”，指的就是數據量很大的數據。為此還提出了鉆取、抽析等多種分析方法和理論。現在看來個人感覺大數據應該就是從數據挖掘的基礎上發展起來的，只不過大數據面對的數據量比數據挖掘理論盛行時還要大很多個數量級吧。

正因為大數據的特殊性，所以已經不能用通常的理論和方法來處理了。

首先是大數據的存儲。前面說了，大數據面對的數據量異常大，不是幾塊幾個TB的硬盤就可以隨隨便便容納得了的。而且個人電腦上的存儲設備一般也無法容納如此大量的數據。為了能夠提供快速、穩定地存取這些數據，至少得依賴于磁盤陣列。同時還得通過分布式存儲的方式將不同區域、類別、級別的數據存放于不同的磁盤陣列中。

以往的關系型數據庫受限于設計模式的限制，一般只考慮到了單機的數據存儲方式，即不管數據量大與小，一定會讓一臺機器存儲和管理所有數據（即便是做集群，集群中的每個節點實際上也是要把所有的數據再存儲一遍）。而每臺機器上可以承載的存儲設備是有限的，一般也不會超過幾個TB。而且一旦某個數據庫的數據量和文件的尺寸暴增到一定程度后，數據的檢索速度就會急劇下降。

為了應對這個問題，很多主流的數據庫紛紛提出了一些解決方案。如MySQL提供了MySQL proxy組件，實現了對請求的攔截，結合分布式存儲技術，從而可以將一張很大的表中的記錄拆分到不同的節點上去進行查詢。對于每個節點來說，數據量不會很大，從而提升了查詢效率。

而Oracle針對大數據公開可查詢的資料是“大數據機X3-2+Hadoop+NoSQL”的解決方案。在這套方案中，Oracle提供了擁有288個CPU、1152G內存、648T硬盤的無比豪華的服務器配置，同時結合Hadoop和NoSQL等技術對其中存儲的大數據進行分析：

怎么說那，個人感覺Oracle完全是土豪策略：有錢你才能玩大數據，而有了錢你就買個特別牛×的機器，這樣你就不怕數據大了。實際上Oracle并沒有從根兒上專門為大數據而動過手術。

而對于像MongoDB、HBase等非關系型數據庫，由于擺脫了表的存儲模式，再加上起步較晚，所以對大數據的響應要比關系型數據庫快的多。

MongoDB和HBase天生都支持分布式存儲，即將一份大的數據分散到不同的機器上進行存儲，從而降低了單個節點的存取壓力。

所以在實際應用中，如果是針對老的系統尤其是老的數據庫進行大數據存儲及分析，那么只能考慮橫向拆分關系型數據庫中的數據了；如果是準備建設新的系統，那么最好采用MongoDB，并使用分片集特性來存儲大數據。HBase也可以，但入門學習成本可能稍微有一些高。