01 數(shù)據(jù)

數(shù)據(jù)幾乎滲透到我們生活的每一個角落，從我們在手機中留下的數(shù)字足跡，到健康記錄，再到購物歷史，以及對資源（如能源）的使用情況。在當(dāng)今這個數(shù)字世界里，脫離數(shù)字的生活雖然不是不可接受的，但也需要巨大的犧牲精神和不可思議的毅力才能忍受。

我們不僅是數(shù)據(jù)制造者，同時也是活躍的數(shù)據(jù)消費者，例如我們時常檢查自己的在線消費習(xí)慣，監(jiān)測健身程序，或者查看自己的常旅客積分是否夠去加勒比度假，這些行為都是在消費數(shù)據(jù)。

但數(shù)據(jù)到底是什么？按最通用的形式來理解，數(shù)據(jù)就是被儲存起來以備日后使用的信息。最早記錄信息的方式可能是在動物骨頭上刻蝕符號。到了20世紀(jì)50年代，人們開始在磁帶上記錄數(shù)字信息，然后是打孔卡片，再后來是使用磁盤。現(xiàn)代數(shù)據(jù)處理開始的時間并不長，但已經(jīng)奠定了我們?nèi)绾问占⒋鎯Α⒐芾怼⑹褂眯畔⒌幕A(chǔ)。

直到最近，我們對那些無法計算的信息（例如，視頻和圖像信息）還只能進(jìn)行分類處理。但近幾年來，通過大量的技術(shù)變革，無法存儲的數(shù)據(jù)類型變得越來越少了。事實上，存儲的信息，或者數(shù)據(jù)，就是以一種可用的編碼方式，為了我們可計算的目的而建立的真實世界的模型。

數(shù)據(jù)是真實世界中所發(fā)生事情的持續(xù)記錄或“模型”，這一事實是分析學(xué)的一個重要特征。被公認(rèn)為“20世紀(jì)最偉大的統(tǒng)計學(xué)家之一”的喬治·鮑克斯（George Box）曾經(jīng)說過：“所有的模型都是錯誤的，但有些模型是有用的。”

很多時候，我們在數(shù)據(jù)中發(fā)現(xiàn)一些沒有意義或者完全錯誤的東西。請記住，數(shù)據(jù)是從真實的物理世界轉(zhuǎn)化并抽象為代表真實世界的東西，即喬治所說的“模型”。就像機械速度計是測量速度的標(biāo)準(zhǔn)一樣（也是衡量速率的一個很好的替代物），這個模型（指機械速度計）實際上是測量輪胎的轉(zhuǎn)速，而不是速度。

總之，數(shù)據(jù)是存儲的信息，是所有分析的基礎(chǔ)。例如，在可視化分析中，我們利用可視化技術(shù)和交互界面對數(shù)據(jù)進(jìn)行解析和推理，找出數(shù)據(jù)本身存在的規(guī)律。

02 分析

分析（analytics）可能是商業(yè)中使用得最多但卻最難理解的術(shù)語之一。對一些人來說，它是一種用來“把數(shù)據(jù)屈打成招”（找出數(shù)據(jù)中潛藏規(guī)律）的技術(shù)或技巧，或者僅僅是商業(yè)智能與數(shù)據(jù)倉庫的延伸;而對另外一些人來說，分析則是用于開發(fā)模型的統(tǒng)計、數(shù)學(xué)或定量方法。

Merriam-Webster字典稱分析是“一種邏輯分析的方法”。Dictionary.com字典將分析定義為“邏輯分析的科學(xué)”。不幸的是，兩種定義都直接使用了分析（analysis）這個詞的詞根，似乎存在循環(huán)解釋的邏輯錯誤。

分析（analysis）這個詞的起源可以追溯到16世紀(jì)80年代的中世紀(jì)拉丁語（anal-yticus）和希臘語（anal-ytiks），意思是“分解”（break up）或者“放松”（loosen）。我把分析（analytics）定義為一種解決數(shù)據(jù)驅(qū)動問題的結(jié)構(gòu)化方法：通過對事實（數(shù)據(jù)）的仔細(xì)推敲，幫助我們解決問題的一套方法論。

關(guān)于分析的定義有很多爭論。就當(dāng)前討論的問題而言，我將分析定義為：

一種全面的、基于數(shù)據(jù)驅(qū)動的解決問題的策略與方法。

我有意避免將分析定義為某個“過程”、某種“科學(xué)”或“學(xué)科”。相反，我將分析定義為一種全面的策略，正如讀者將在本書第二部分中看到的那樣，它是包含過程、規(guī)則、可交付物的最佳實踐。

分析通過使用邏輯、歸納推理、演繹推理、批判思維、定量方法（結(jié)合數(shù)據(jù)）等手段，來檢驗和分析現(xiàn)象，從而確定其本質(zhì)特征。分析植根于科學(xué)方法，包括問題的識別和理解、理論生成、假設(shè)檢驗和結(jié)果交流。

歸納推理

當(dāng)積累的證據(jù)被用來支持一個結(jié)論，但結(jié)論仍帶有一些不確定性的時候，就會用到歸納推理方法。也就是說，最終的結(jié)論有可能（存在一定概率）與給定前提不一致。通過歸納推理，我們基于具體的觀測或數(shù)據(jù)能夠做出廣泛的、一般意義上的概括和總結(jié)。

演繹推理

演繹推理基于某些一般案例提出論斷，然后依靠數(shù)據(jù)，使用統(tǒng)計推斷或?qū)嶒炇侄巫C明或證偽提出的論斷。例如，按照演繹推理方法，我們提出一個關(guān)于世界運動方式的基本理論，然后（應(yīng)用數(shù)據(jù)）去檢驗我們提出的假設(shè)的正確性。

分析可以用來解決各種各樣的問題。例如，UPS公司應(yīng)用分析結(jié)果而采取優(yōu)化貨物運輸措施，節(jié)省了150多萬加侖（1加侖=3.785 41立方分米）的燃油，減少了14 000噸的二氧化碳排放量 ;克利夫蘭診所利用分析結(jié)果優(yōu)化了手術(shù)室的運營時間安排。

有了這些成功案例，對于技術(shù)供應(yīng)商（硬件和軟件）和其他不同支持者來說，“分析”毫無疑問都是極具吸引力的。當(dāng)然，“分析”這個詞當(dāng)前存在過度使用危險，這可以從人們把這個術(shù)語與其他詞的各種組合中看出。諸如：

大數(shù)據(jù)分析（big data analytics）

規(guī)范性分析（prescriptive analytics）

業(yè)務(wù)分析（business analytics）

操作分析（operational analytics）

高級分析（advanced analytics）

實時分析（real-time analytics）

邊緣或環(huán)境分析（edge or ambient analytics）

雖然以上這些組合與搭配在分析應(yīng)用的類型和描述上具有獨特性，但也經(jīng)常造成理解上的混亂，特別是對企業(yè)高管（如CXO層次高管）而言，技術(shù)供應(yīng)商總是熱衷于提供最新的分析解決方案，試圖能解決他們的每一個業(yè)務(wù)痛點。

我的觀點（許多志同道合、理性思考的人也有與我相同的觀點）是，分析并不是一種技術(shù)，技術(shù)只是在分析活動中起到了推動和賦能作用的策略和方法。

分析通常也指能夠識別數(shù)據(jù)之間有業(yè)務(wù)意義的模式和關(guān)系的任何解決方案。分析被用于解析不同規(guī)模的、不同復(fù)雜程度的、結(jié)構(gòu)化和非結(jié)構(gòu)化的、定量或定性的數(shù)據(jù)，以便從中實現(xiàn)對特定問題的理解、預(yù)測或優(yōu)化的明確目的。

所謂高級分析也是分析的子集，它使用復(fù)雜的分析技術(shù)來支持基于事實的決策過程，而且這種分析通常是以自動化或半自動化的方式開展的。

高級分析通常包括數(shù)據(jù)挖掘、計量經(jīng)濟建模、預(yù)測、優(yōu)化、預(yù)測建模、模擬、統(tǒng)計和文本挖掘等技術(shù)。

03 商業(yè)智能和報表

關(guān)于分析與商業(yè)智能的區(qū)別，幾乎沒有形成過共識。有些人將分析歸類為商業(yè)智能的一個子集，而另一些人則把它歸為完全不同的類別。我把商業(yè)智能（BI）定義為：

一種管理策略，用來建立一種更有結(jié)構(gòu)性和更有效的決策方法……BI包括報表、查詢、聯(lián)機分析處理（OLAP）、儀表盤、記分卡甚至分析等常見要素。綜合性術(shù)語BI也可以指獲取、清理、集成和存儲數(shù)據(jù)的過程。

有些人會將分析和商業(yè)智能之間的區(qū)別歸納為兩個方面的不同：

所使用量化方法（即算法、數(shù)學(xué)、統(tǒng)計）的復(fù)雜度;

所產(chǎn)生結(jié)果是針對歷史已發(fā)生的還是未來將發(fā)生的。

也就是說，商業(yè)智能的重點是使用相對簡單的數(shù)學(xué)方法來對歷史數(shù)據(jù)進(jìn)行展示和呈現(xiàn)，而分析則被認(rèn)為是采用更復(fù)雜的計算邏輯，并且能夠預(yù)測一些特定問題、識別因果關(guān)系、確定最優(yōu)解決方案的方法，有時也被用于指明需要采取的行動與措施。

大多數(shù)商業(yè)智能應(yīng)用的局限性并不在于技術(shù)的限制，而在于分析的深度和為行動提供依據(jù)的真正洞察力。例如，告訴我已經(jīng)發(fā)生了什么事情并不能幫助我決定如何行動以改變未來，這樣的結(jié)果往往是通過離線分析（offline analysis）得到的。

分析的真正責(zé)任是形成可行動的、可操作的洞察力，從而能夠幫助我們了解已經(jīng)發(fā)生的事情（在什么地點發(fā)生，為什么會發(fā)生，在什么條件下發(fā)生），預(yù)測出未來可能發(fā)生什么，以及我們可以做什么來影響和優(yōu)化未來的結(jié)果。

請注意，圖1-1中描述的BI儀表盤描述了有關(guān)過去的事實，如銷售、呼叫量、產(chǎn)品和賬戶，使你很容易獲得組織當(dāng)前銷售狀態(tài)或活動情況的快照。

▲圖1-1 商業(yè)智能儀表盤

商業(yè)智能和它的近鄰“報表”，都是用來描述有關(guān)現(xiàn)象的信息展示技術(shù)，通常位于數(shù)據(jù)傳遞管道的尾部，在那里可以直觀地訪問數(shù)據(jù)和結(jié)果。而另一方面，分析則超越了對數(shù)據(jù)的描述，它真正理解了這個現(xiàn)象的內(nèi)在規(guī)律，從而來預(yù)測、優(yōu)化和預(yù)判未來應(yīng)采取的適當(dāng)行動。

從傳統(tǒng)上看，商業(yè)智能一直存在兩個缺點，這源于它們與這樣的事實有關(guān)：

BI通常專注于建立對過去已經(jīng)發(fā)生事實的認(rèn)識，因為它側(cè)重于度量和監(jiān)視，而不是預(yù)測和優(yōu)化;

其計量分析往往不夠復(fù)雜，無法建立足以產(chǎn)生精確洞察力的有意義的改變（雖然正確的報表或可視化展現(xiàn)也可以對改變產(chǎn)生影響，但還不夠精確）。

如果把商業(yè)智能與深入的“分析”恰當(dāng)?shù)亟Y(jié)合在一起，而不僅僅停留在對事實的認(rèn)識，它就更接近分析，但它又往往缺乏高級分析解決方案中經(jīng)常用到的復(fù)雜統(tǒng)計、數(shù)學(xué)或者“機器學(xué)習(xí)”方法。

因此，我認(rèn)為分析是商業(yè)智能總體框架內(nèi)所包含的概念的一種自然演變。它更加強調(diào)充分開展必要的各種活動，以形成能促進(jìn)行動的真知灼見。分析遠(yuǎn)遠(yuǎn)不止于在自助操作儀表盤或報表界面中所使用的、預(yù)先定義的可視化元素。

04 大數(shù)據(jù)

大數(shù)據(jù)（big data）是一種描述不和諧信息的方法，在將數(shù)據(jù)轉(zhuǎn)化為洞察力的過程中，組織必須處理這些難以處理的信息。1997年，Michael Cox和David Ellsworth首次使用了大數(shù)據(jù)這一表述，他們當(dāng)時提到的“問題”如下：

可視化為計算機系統(tǒng)提供了一個有趣的挑戰(zhàn)：數(shù)據(jù)集通常相當(dāng)大，占用了大量主內(nèi)存、本地磁盤甚至遠(yuǎn)程磁盤的容量。我們稱之為大數(shù)據(jù)問題。當(dāng)數(shù)據(jù)集大到無法存放在主內(nèi)存（核心存儲器），或者甚至無法存儲在本地磁盤上時，最常見的解決方案是擴充并獲取更多的資源。

將大數(shù)據(jù)視為一個概念，它突出了這樣一種挑戰(zhàn)：數(shù)據(jù)的規(guī)模和復(fù)雜性超出了傳統(tǒng)數(shù)據(jù)分析方法能夠處理的范圍。我們將大數(shù)據(jù)與傳統(tǒng)的“小”數(shù)據(jù)進(jìn)行對比，包括其容量（我們擁有多少數(shù)據(jù)）、速度（產(chǎn)生與獲得數(shù)據(jù)的快慢）和多樣性（包括數(shù)字、文本、圖像、視頻等多種數(shù)據(jù)形態(tài)）。

如果大數(shù)據(jù)是用來描述當(dāng)今信息復(fù)雜性的概念，那么分析就可以幫助我們以主動的方式（預(yù)測性和規(guī)范性）來分析復(fù)雜性，而不是以被動的方式（即商業(yè)智能的范疇）來應(yīng)對。

05 數(shù)據(jù)科學(xué)

與大數(shù)據(jù)相比，定義數(shù)據(jù)科學(xué)顯得不是一件輕而易舉的工作，因為在數(shù)據(jù)科學(xué)的眾多定義中，很少發(fā)現(xiàn)一致的描述。關(guān)于數(shù)據(jù)科學(xué)意味著什么，以及它是否與分析完全不同，目前存在很多爭論。

還有一些人，甚至試圖通過討論數(shù)據(jù)科學(xué)家的工作來定義數(shù)據(jù)科學(xué)：數(shù)據(jù)科學(xué)家所需要的技能，他們所扮演的角色，他們所使用的工具和技術(shù)，他們工作的地方，以及他們的教育背景，等等。但這些并沒有對數(shù)據(jù)科學(xué)給出一個有意義的定義。

與其按照人（數(shù)據(jù)科學(xué)家）或他們所處理的問題來定義數(shù)據(jù)科學(xué)，不如將其定義如下：

數(shù)據(jù)科學(xué)是一門科學(xué)學(xué)科，它利用統(tǒng)計和數(shù)學(xué)等領(lǐng)域的定量方法以及現(xiàn)代技術(shù)，開發(fā)出用于發(fā)現(xiàn)模式、預(yù)測結(jié)果和為復(fù)雜問題找到最佳解決方案的算法。

數(shù)據(jù)科學(xué)和分析的區(qū)別在于，數(shù)據(jù)科學(xué)可以幫助甚至支持自動化實現(xiàn)對數(shù)據(jù)的分析，但是分析是一種以人為中心的策略，它充分利用各種工具，包括那些在數(shù)據(jù)科學(xué)中發(fā)現(xiàn)的工具，來理解事物現(xiàn)象之間的真正本質(zhì)。

數(shù)據(jù)科學(xué)可能是這些概念中涉及面最廣泛的，因為它關(guān)系到處理“數(shù)據(jù)”的整個科學(xué)和實踐。我認(rèn)為數(shù)據(jù)科學(xué)是由計算機科學(xué)家設(shè)計的分析學(xué)，但在實踐中，數(shù)據(jù)科學(xué)往往側(cè)重于對一般性宏觀問題的研究，而分析往往側(cè)重于解決特定行業(yè)或具體問題的挑戰(zhàn)。

06 邊緣（和環(huán)境）分析

在很多現(xiàn)代企業(yè)，分析是它們的一種核心業(yè)務(wù)活動，這些企業(yè)通過數(shù)據(jù)驅(qū)動和以人為中心的業(yè)務(wù)運營與管理流程實現(xiàn)了數(shù)據(jù)的大眾化（democratize data）。

而邊緣分析（edge analytics）一般指的是分布式分析，在這種場景下，分析被內(nèi)置到一些機器或系統(tǒng)中，通過這種內(nèi)置的方式，信息的生成與收集已經(jīng)成為企業(yè)“下意識”的自主活動。

邊緣分析通常與智能設(shè)備相關(guān)，這種情況下，分析計算是在數(shù)據(jù)收集點（例如設(shè)備、傳感器、網(wǎng)絡(luò)交換機或其他設(shè)備）開展的，與傳統(tǒng)的數(shù)據(jù)管道傳輸方式（即采集數(shù)據(jù)、傳輸數(shù)據(jù)、清洗數(shù)據(jù)、集成數(shù)據(jù)、存儲數(shù)據(jù)）不同，邊緣分析把分析嵌入到收集數(shù)據(jù)的設(shè)備中完成或就近實現(xiàn)。

數(shù)據(jù)大眾化

所謂數(shù)據(jù)大眾化，指的是數(shù)據(jù)開放，使每個能夠而且應(yīng)該能夠獲得數(shù)據(jù)的人都有權(quán)通過工具來探索獲取這些數(shù)據(jù)，而不是將數(shù)據(jù)局限于少數(shù)特權(quán)群體。

例如，傳統(tǒng)的信用卡欺詐檢測依賴于機器（例如讀卡器），并通過與授權(quán)“代理”的連接發(fā)送請求來驗證一個交易，算法需要在極短的時間內(nèi)（百分之一毫秒）對此交易完成授權(quán)或打上欺詐標(biāo)簽，最后，讀卡設(shè)備接收授權(quán)指令后完成或拒絕交易操作。在邊緣分析中，算法將運行在儀器本身上（比如帶有嵌入式分析的智能芯片讀卡器）。

邊緣分析通常與物聯(lián)網(wǎng)（IoT）聯(lián)系在一起。最近IDC在針對物聯(lián)網(wǎng)IoT未來視界（FutureScape）的一份報告中提出，到2018年，40%的物聯(lián)網(wǎng)數(shù)據(jù)將在網(wǎng)絡(luò)中產(chǎn)生數(shù)據(jù)的邊緣完成數(shù)據(jù)的存儲、處理、分析和響應(yīng)。

隨著物聯(lián)網(wǎng)的發(fā)展，我們很可能會看到未來對所謂的“萬物分析”（Analytics of Things，AoT）有更多的關(guān)注，它指的是分析將給物聯(lián)網(wǎng)數(shù)據(jù)帶來獨特價值的機會。

環(huán)境分析（ambient analytics）是另一個相關(guān)的術(shù)語，它的名字意味著“分析無處不在”。就像房間的燈光或音響常常不被注意，但卻為舞臺構(gòu)建了氛圍一樣，環(huán)境分析也會影響我們工作和娛樂的環(huán)境。

我們看到環(huán)境智能正在日常生活場景中發(fā)揮作用，比如檢測血糖水平和注射胰島素。同樣，當(dāng)你回到住家附近時，家居自動化設(shè)備檢測到相應(yīng)信息，會自動調(diào)整溫度和打開照明。環(huán)境分析超越了基于簡單規(guī)則的決策，它利用算法來決定合適的行動路線。

毫無疑問，邊緣和環(huán)境分析將繼續(xù)挑戰(zhàn)傳統(tǒng)的以人為中心的管理方式與流程，傳統(tǒng)管理方式下，使用分析結(jié)果（如對分析的理解、決策和采取的行動）以人為主，而在邊緣和環(huán)境分析中會有越來越多的（不需要人工介入的）自主決策與執(zhí)行。

07 信息學(xué)

信息學(xué)（informatics）是信息技術(shù)和信息管理的交叉學(xué)科。在實踐中，信息學(xué)涉及用于數(shù)據(jù)存儲和檢索的處理技術(shù)。從本質(zhì)上講，信息學(xué)討論信息是如何管理的，指的是支持流程化工作流的系統(tǒng)和數(shù)據(jù)生態(tài)系統(tǒng)，而不是對其中發(fā)現(xiàn)的數(shù)據(jù)進(jìn)行分析。

在信息科學(xué)中經(jīng)常談到的健康信息學(xué)，它專門用于保健醫(yī)療研究，是介于健康信息技術(shù)和健康信息管理之間的一種專業(yè)技術(shù)，它將信息技術(shù)、通信和保健融合起來，以提高病人護(hù)理的質(zhì)量和安全性。它位于人、信息和技術(shù)三者交匯處的中心。

保健政策是指在一個社會中為實現(xiàn)特定的保健目標(biāo)而采取的決定、計劃和行動。保健政策制定者希望看到醫(yī)療保健變得更經(jīng)濟、更安全、更高質(zhì)量，信息技術(shù)和健康信息技術(shù)往往是實現(xiàn)這一目標(biāo)的重要手段。

事實上，其中一項最必不可少的工作是正確定位數(shù)據(jù)資源，使之能提供每個患者360度的完整健康狀況信息視圖，只有數(shù)據(jù)共享才能做到這一點（見圖1-2）。

▲圖1-2 健康信息管理、健康信息技術(shù)和信息學(xué)之間的區(qū)別

分析集成了所有這些概念，并依賴于底層數(shù)據(jù)、支持技術(shù)和信息管理過程來實現(xiàn)這一目標(biāo)。

08 人工智能與認(rèn)知計算

人工智能（AI）是一門“讓計算機做需要人類智能才能做的事情的科學(xué)”。

人工智能和機器學(xué)習(xí)的區(qū)別在于，人工智能是指利用計算機完成模式的識別與探索這類“智能”工作的廣義概念，而機器學(xué)習(xí)是人工智能的子集，它主要指利用計算機從數(shù)據(jù)中學(xué)習(xí)的概念。

機器學(xué)習(xí)是人工智能的一個子集，它可以根據(jù)數(shù)據(jù)進(jìn)行學(xué)習(xí)和預(yù)測，不是僅僅根據(jù)特定的一組規(guī)則或指令完成事先規(guī)劃好的操作，而是利用算法訓(xùn)練來自主識別大量數(shù)據(jù)中的模式。

人工智能（和機器學(xué)習(xí)）可以在分析生命周期中使用，以支持發(fā)現(xiàn)和探索（例如，數(shù)據(jù)是如何構(gòu)造的，存在什么模式等）。人工智能在分析中的應(yīng)用通常以機器學(xué)習(xí)（如上文所述）或認(rèn)知計算的形式出現(xiàn)。

認(rèn)知計算是一種獨特的應(yīng)用，它將人工智能和機器學(xué)習(xí)算法結(jié)合在一起，試圖復(fù)制（或模仿）人腦的行為。

認(rèn)知計算系統(tǒng)被設(shè)計為像人一樣通過思考、推理和記憶等方式來解決問題。這種設(shè)計方法使認(rèn)知計算系統(tǒng)具有一個優(yōu)勢，使得它們能夠“隨著新數(shù)據(jù)的到來而學(xué)習(xí)和適應(yīng)”并“探索和發(fā)現(xiàn)那些你永遠(yuǎn)不會知道去問的東西”。