隨著互聯(lián)網(wǎng)的飛速發(fā)展， 特別是近年來社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)和云計算的飛速發(fā)展和大量應(yīng)用， 人們所接觸和關(guān)注的數(shù)據(jù)量出現(xiàn)爆炸式增長， 使得數(shù)據(jù)的極大豐富和復(fù)雜成為當(dāng)今社會的重要特征。對大數(shù)據(jù)分析和處理的技術(shù)也隨之建立完善并豐富起來。主要介紹大數(shù)據(jù)的概念和特點，分析了實現(xiàn)大數(shù)據(jù)處理的關(guān)鍵技術(shù)和大數(shù)據(jù)的應(yīng)用領(lǐng)域，列舉了幾種大數(shù)據(jù)在現(xiàn)實生活中的典型應(yīng)用。

　　首先， 全球數(shù)據(jù)量出現(xiàn)爆炸式增長， 數(shù)據(jù)成了當(dāng)今社會增長最快的資源之一。根據(jù)國際數(shù)據(jù)公司IDC 的監(jiān)測統(tǒng)計，即使在遭遇金融危機的2009 年，全球信息量也比2008年增長了62%，達到80 萬PB（1PB等于10GB），到2011年全球數(shù)據(jù)總量已經(jīng)達到1.8ZB （1ZB 等于1 萬億GB），并且以每兩年翻一番的速度飛速增長，預(yù)計到2020 年全球數(shù)據(jù)量總量將達到40ZB，10 年間增長20 倍以上，到2020 年，地球上人均數(shù)據(jù)預(yù)計將達5247GB。在數(shù)據(jù)規(guī)模急劇增長的同時， 數(shù)據(jù)類型也越來越復(fù)雜， 包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)等多種類，其中采用傳統(tǒng)數(shù)據(jù)處理手段難以處理的非結(jié)構(gòu)化數(shù)據(jù)已接近數(shù)據(jù)總量的75%。

　　如此增長迅速、龐大繁雜的數(shù)據(jù)資源， 給傳統(tǒng)的數(shù)據(jù)分析、處理技術(shù)帶來了巨大的挑戰(zhàn)。為了應(yīng)對這樣的新任務(wù)， 與大數(shù)據(jù)相關(guān)的大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等迅速成為信息科學(xué)領(lǐng)域的熱點問題， 得到了一些國家政府部門、經(jīng)濟領(lǐng)域以及科學(xué)領(lǐng)域有關(guān)專家的廣泛關(guān)注。雖然大數(shù)據(jù)日益升溫，但與大多數(shù)信息學(xué)領(lǐng)域的問題一樣， 大數(shù)據(jù)的基本概念及特點， 大數(shù)據(jù)要解決核心問題，目前尚無統(tǒng)一的認識，大數(shù)據(jù)的獲取、存儲、處理、分析等諸多方面仍存在一定的爭議， 大數(shù)據(jù)概念有過度炒作的嫌疑。歐洲的一些企業(yè)甚至認為大數(shù)據(jù)就是海量數(shù)據(jù)存儲，僅將大數(shù)據(jù)視作是可以獲取更多信息的平臺。本文分析當(dāng)前流行的幾種大數(shù)據(jù)的概念， 討論其異同，從大數(shù)據(jù)據(jù)有的典型特征角度描述大數(shù)據(jù)的概念和特點，從整體上分析大數(shù)據(jù)要解決的相關(guān)性分析、實時處理等核心問題， 在此基礎(chǔ)上， 最后討論大數(shù)據(jù)可能要面臨的多種挑戰(zhàn)。

　　大數(shù)據(jù)的概念和特點

　　大數(shù)據(jù)是個較為抽象的概念，正如信息學(xué)領(lǐng)域但是面對以視頻、圖片、文字等非結(jié)構(gòu)化數(shù)據(jù)為主大多數(shù)新興概念樣，大數(shù)據(jù)至今尚無確切、統(tǒng)的定義。來自維基百科的定義為：大數(shù)據(jù)指數(shù)量巨大、類型復(fù)雜的數(shù)據(jù)集合，現(xiàn)有的數(shù)據(jù)庫管理工具或傳統(tǒng)的數(shù)據(jù)處理應(yīng)用難以對其進行處理。這些挑戰(zhàn)包括如捕獲、手機、存儲、搜索、共享、傳遞、分析與可視化等。IDC 在對大數(shù)據(jù)作出的定義為：大數(shù)據(jù)一般會涉及2 種或2 種以上數(shù)據(jù)形式。它要收集超過100TB的數(shù)據(jù)，并且是高速、實時數(shù)據(jù)流；或者是從小數(shù)據(jù)開始，但數(shù)據(jù)每年會增長60%以上。這個定義給出了量化標準， 但只強調(diào)數(shù)據(jù)量大，種類多，增長快等數(shù)據(jù)本身的特征。研究機構(gòu)Gartner 給出了這樣的定義：大數(shù)據(jù)是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。