“我們之所以推出Analytics Zoo這樣的大數(shù)據(jù)分析和人工智能平臺，就是希望讓用戶在實際的生產環(huán)境中可以更方便地構建深度學習應用，將不同的模塊、不同的框架統(tǒng)一到端到端流水線上，從而大幅提升客戶開發(fā)部署大數(shù)據(jù)分析和深度學習的能力。”英特爾高級首席工程師、大數(shù)據(jù)技術全球CTO戴金權說。

已供職英特爾近17年的戴金權如今負責領導英特爾全球（硅谷和上海）工程團隊高級大數(shù)據(jù)分析的研發(fā)工作，以及與全球研究機構（如UC Berkeley AMPLab、RISELab等）的技術合作，是BigDL和Analytics Zoo項目的創(chuàng)始人。

為了幫助客戶在數(shù)據(jù)的海洋中抓住商業(yè)價值，并且讓這一過程通過更加智能化的手段變得簡單易用，英特爾在底層架構和軟件堆棧領域一直在持續(xù)投入。在2019全球人工智能技術大會上，戴金權分享了英特爾構建大數(shù)據(jù)分析+AI平臺背后的思考和實踐，而兩大開源項目BigDL、Analytics Zoo可謂是其中的代表。

BigDL是一個建立在大數(shù)據(jù)平臺之上原生的分布式深度學習庫，某種程度上類似Tensorflow、Caffe等DL框架，提供了在Apache Spark上豐富的深度學習功能，以幫助Hadoop/Spark成為統(tǒng)一的數(shù)據(jù)分析平臺，為整個數(shù)據(jù)分析和機器學習過程提供比現(xiàn)有框架更加集成化的支持。Analytics Zoo則是在Apache Spark、BigDL以及TensorFLow、Keras的基礎上構建的大數(shù)據(jù)分析+AI平臺，大幅降低用戶開發(fā)基于大數(shù)據(jù)、端到端深度學習應用的門檻。

生產環(huán)境面臨數(shù)據(jù)難題

《連線》雜志創(chuàng)始主編Kevin Kelly曾說：“大數(shù)據(jù)時代，沒有人能夠成為旁觀者，數(shù)據(jù)將‘橫掃一切’。”隨著萬物互聯(lián)時代的到來，數(shù)據(jù)對于客戶需求的指導性意義愈發(fā)凸顯，如何采集、傳輸、存儲、分析、處理數(shù)據(jù)成為各行各業(yè)攫取數(shù)字經濟紅利的必備技能，可以說“數(shù)據(jù)在哪里，生意就在哪里”。

而英特爾所做的事情，就是讓這一切變得簡單高效。“如今深度學習、人工智能的應用場景更加廣泛，要處理的數(shù)據(jù)也更加復雜，所以要構建端到端的大數(shù)據(jù)處理分析加上機器學習、深度學習的統(tǒng)一流水線。”戴金權說。

不過要做到這些并不容易，當前的生產系統(tǒng)中基于Apache Spark這樣的大數(shù)據(jù)集群仍是生產數(shù)據(jù)和大量硬件資源的聚集地，這樣生產資料和生產工具要通過AI應用串聯(lián)起來。同時，工業(yè)級的分析平臺需要對數(shù)據(jù)收集/導入/處理、特征提取、模型訓練、部署、推理等一系列的復雜工作流做出響應，難度可想而知。

從架構角度來看，很多獨立的深度學習框架與大數(shù)據(jù)平臺的架構存在差異，例如前者對高性能有著格外的要求，后者更注重于橫向擴展，這樣一來就需要在一個通用的大數(shù)據(jù)平臺上將不同的分布式深度學習系統(tǒng)統(tǒng)一兼容起來。此外，無論是利用Spark還是像Flink這樣的流處理框架，都要將數(shù)據(jù)處理的流水線和深度學習相互連接，在數(shù)十甚至是數(shù)千個節(jié)點的集群上提升計算效率和可擴展性。

從生產角度來看，像工業(yè)大數(shù)據(jù)在構建數(shù)據(jù)倉庫時往往會面對高達數(shù)百個KPI的流程處理，而且不同企業(yè)所面臨的數(shù)據(jù)類型和需求也是千差萬別，例如有些偏向對圖像或視頻數(shù)據(jù)的建模、訓練、推理，需要很多的卷積神經網絡優(yōu)化（CNN），而有些則是時序數(shù)據(jù)，要收集設備每秒鐘的振動頻率，并對這些數(shù)據(jù)進行循環(huán)神經網絡（RNN）的分析。

由此引發(fā)出來的兩個挑戰(zhàn)，一是要手動把不同框架整合起來，二是用戶在處理數(shù)據(jù)時不再是單機環(huán)境，而是要在大規(guī)模分布式環(huán)境、甚至是生產環(huán)境中操作。

戴金權談到，無論是阿里云、騰訊云等CSP廠商，還是硬件OEM廠商、軟件提供商，其主要訴求都是希望將深度學習等AI框架和模型應用于數(shù)據(jù)在生產系統(tǒng)上跑起來，這也是客戶使用Analytics Zoo的一個重要原因，“我們可以幫助用戶將大數(shù)據(jù)分析+AI應用在端到端的流水線上輕松構建出來，它可以從PC終端運行到集群、生產環(huán)境當中，這是我們在底層Analytics Zoo所做的工作。”

端到端的一致性體驗

在Analytics Zoo之下，英特爾集成了豐富的深度學習框架和庫，可以隨時調用OpenVINO工具包、MKL-DNN等各種深度學習加速指令。同時，英特爾在上層也提供了高級的流水線API用于構建端到端的應用，以及深度學習模型，對圖片、文本、時間序列數(shù)據(jù)等不同類型的對象提供支持，用戶可以直接將內嵌的模型嵌入到解決方案中。

舉例來說，英特爾可以將TensorFlow和Apache Spark整合到端到端的流水線中，讓TensorFlow無縫接受Apache Spark處理的數(shù)據(jù)，并且對用戶透明，以分布式的方式運行在大數(shù)據(jù)集群上。此外，還提供了像基于標準JAVA 、Python、Web Server、深度學習尤其是視覺方面的神經網絡加速，幫助用戶更方便地部署到網絡服務器上，幫助用戶更好地構建模型和開展服務。

這一過程中，英特爾不僅在性能層面圍繞BigDL、Analytics Zoo做了大量優(yōu)化，還有效解決了可編程性的問題，使得用戶可以在Spark代碼中嵌入TensorFlow代碼，省去了不同框架之間反復調試等復雜的流程。在可擴展性和部署方面，開發(fā)人員可以直接在大規(guī)模數(shù)據(jù)平臺進行作業(yè)，這里就發(fā)揮了Analytics Zoo在大規(guī)模分布式、流式、批處理時的特性。

“我們可以支持各種不同的深度學習框架，比如要是原來有Caffe的模型，可以直接通過BigDL、Analytics Zoo加載到Spark運行，然后對HBase讀取數(shù)據(jù)，這個天然就是Spark可以做的事情。后面深度學習的模型通過BigDL、Analytics Zoo的功能，可以透明、無縫的與大數(shù)據(jù)處理相結合，整個開發(fā)過程是非常簡單的。”戴金權表示，“所有分布式的任務、數(shù)據(jù)的分割、負載均衡，出錯后如何處理，這些事情不再需要開發(fā)人員來擔心，完全可以交給大數(shù)據(jù)平臺來做，效率能夠大幅提升。”

Analytics Zoo支持多種AI框架和庫

即將發(fā)布的0.5.0版Analytics Zoo，英特爾會結合傲騰數(shù)據(jù)中心級持久內存等新的硬件平臺對軟件算法進行支持和優(yōu)化，如Spark RDD的緩存機制在內存中計算訓練數(shù)據(jù)可以實現(xiàn)降本增效、VNNI指令集可以大幅提升AI性能。框架語言多元化方面，英特爾除了會支持PyTorch，還將加入對像RISELab的Ray等最新框架的支持。

智能化改造效果顯著

一直以來，英特爾都在與開源社區(qū)用戶，以及多個合作伙伴和客戶開展廣泛合作，包括京東、UCSF、Mastercard、寶信軟件、世界銀行、Cray等，以構建基于Apache Spark的深度學習 和人工智能應用，而BigDL和Analytics Zoo將端到端的開發(fā)和部署體驗更進一步。例如在京東，雙方基于Spark和BigDL的深度學習技術在搭建大規(guī)模圖片特征提取框架上進行了合作。

京東電商平臺的圖像信息數(shù)以億計，分布在大規(guī)模的HBase集群中，過去要使用Caffe將訓練出來的模型放在GPU集群上，如果想把流水線串聯(lián)起來就要通過人工的方法把數(shù)據(jù)從HBase讀出來后對圖片預處理，再返回給GPU集群進行推理，如此反復數(shù)次后將得到的數(shù)據(jù)再次手動整合起來，開發(fā)運行效率和部署方式都存在問題。

對此，英特爾認為應該將讀取、處理、神經網絡推理、數(shù)據(jù)處理和存儲等全流程統(tǒng)一到一個流水線上進行，并且可以直接運行再大數(shù)據(jù)集群上，進而大幅提升端到端的效率。“京東做過測試，當他們把原來的方案整體遷移到Spark BigDL這樣一個完整的流水線上 （基于CPU）之后，端到端的運行效率提高了3、4倍。”戴金權說。

基于BigDL的圖像特征提取

K40和Xeon在圖片特征提取流水線的吞吐量比較

與寶信軟件的合作，雙方則是在深度學習的基礎上探索出了設備智能維護的新方向。在工業(yè)制造行業(yè)，通常對由設備失效導致的生產中斷問題，所給出的解決方法是定期檢修維護或者提前更換設備零部件，成本居高不下。

在英特爾的幫助下，兩家公司開發(fā)了設備故障自動預測的驗證模型，該模型基于公開的設備全生命周期數(shù)據(jù)，利用RNN和LSTM，實現(xiàn)了時間序列的異常檢測，可以借助無監(jiān)督深度學習和建模對設備下一時刻的運行健康狀況進行預判，降低了額外的設備維護成本。

在和這些行業(yè)客戶聯(lián)合研發(fā)的過程中，英特爾也切實看到了場景應用的痛點所在，那就是盡管企業(yè)在深度學習、機器學習的技術研發(fā)上投入頗多，但怎樣將這些創(chuàng)新融入實踐環(huán)境，尤其是大規(guī)模的大數(shù)據(jù)生產系統(tǒng)，在軟硬件架構的支持和優(yōu)化上存在不小的缺陷，而這一“斷層”就是英特爾致力于去彌合的，方法即是利用開源和軟硬結合的路徑。

Analytics Zoo與底層硬件的優(yōu)化，并且可與CSP的產品無縫協(xié)作

軟件與開源的新高度

就像英特爾首席架構師，英特爾公司高級副總裁兼架構、圖形與軟件部門總經理Raja Koduri所說的：“對于全新硬件架構的每一個數(shù)量級的性能提升潛力，軟件能帶來超過兩個數(shù)量級的性能提升。”這樣的例子比比皆是，戴金權以Cascade Lake上的VNNI深度學習加速指令為例，通過在底層的軟硬件協(xié)同優(yōu)化，可根據(jù)不同DL框架將推理性能加速2-3倍甚至更多。

在英特爾的軟件生態(tài)中，活躍著超過1200萬名開發(fā)者，為了讓開發(fā)者利用通用工具集實現(xiàn)應用性能的指數(shù)級擴展，英特爾推出了“One API”項目，以簡化跨CPU、GPU、FPGA、人工智能和其它加速器的各種計算引擎的編程，該項目包括一個全面、統(tǒng)一的開發(fā)工具組合，可以將軟件匹配到能最大程度加速軟件代碼的硬件上，從而讓英特爾的計算架構釋放出更高的性能和效率。

戴金權表示：“無論是基于至強（可擴展處理器）的服務器，還是像Movidius、FPGA，神經網絡處理器，包括將來的獨立顯卡，都可以通過One API下面的底層生態(tài)系統(tǒng)來給上層的平臺和應用所使用。”

為了讓用戶在x86平臺上獲得更優(yōu)質的體驗，英特爾一直都在致力于軟件的創(chuàng)新，開源更是英特爾軟件生態(tài)策略的重要體現(xiàn)，不僅對TensorflowPyTorch、MXNet、PaddlePaddle等AI框架進行了大量優(yōu)化，自己也開源了BigDL、Analytics Zoo、OpenVINO、MKL-DNN、nGraph等項目，戴金權本人更是Apache Spark項目的創(chuàng)始委員和項目管理委員會委員、Apache MXNet項目導師。

此外，在前不久的英特爾開源技術峰會（Intel Open Source Technical Summit，OSTS）上，筆者看到了高性能集成開源軟件棧Deep Learning Reference Stack與企業(yè)分析、分類、識別和數(shù)據(jù)處理工具Data Analytics Reference Stack的發(fā)布，這些都是英特爾為了融合從框架、庫、OS、VM等軟件到硬件平臺優(yōu)化體驗所做出的努力。

或許是因為英特爾在半導體領域的地位過于強勢，外界常常忽視其在軟件和開源領域的成績。事實上，英特爾擁有超過15000名軟件工程師，軟件布局橫跨數(shù)據(jù)中心基礎設施、操作系統(tǒng)、產品開發(fā)、ISV、工具/SDK、云計算、物聯(lián)網、AI、HPC、邊緣計算等領域。

過去的6個月時間里，英特爾在軟件領域取得了數(shù)百項成果，包括從JDK8到JDK9，將現(xiàn)有硬件的性能提升6倍；結合內存層級架構，加上軟件棧技術，通過傲騰+軟件的方式將工作負載的性能提升8倍；利用DL Boost等架構擴展，使得從Skylake升級到Cascade Lake之后，相比上一代硬件提速28倍……這一系列的表現(xiàn)若是從硬件的角度看都是數(shù)代的硬件性能提升。

這一切的背后都在印證，軟硬結合、開源協(xié)作已經變得越來越重要。正如戴金權在采訪中對筆者所說的：“如果想實現(xiàn)指數(shù)級的增長，必須要硬件和軟件共同創(chuàng)新。軟件社區(qū)和硬件社區(qū)相互交流，并真正去思考彼此的問題，這比以往任何時候都更加關鍵。”