越來越多的企業(yè)關注AI，企業(yè)組織也意識到擁有相關人才和技能非常重要。特別是最近對AI、機器學習（ML）、非ML預測分析和“大數(shù)據(jù)”的應用，使得數(shù)據(jù)科學家的需求有了顯著的增長，未來還將繼續(xù)。事實上，對數(shù)據(jù)科學家的巨大需求導致許多企業(yè)和組織出現(xiàn)了人才短缺，然而，80%的AI項目與數(shù)據(jù)準備和數(shù)據(jù)工程有關，也許企業(yè)組織應該尋找更多的數(shù)據(jù)工程師而不是數(shù)據(jù)科學家？

許多企業(yè)、供應商和初創(chuàng)企業(yè)常常混淆數(shù)據(jù)科學家和數(shù)據(jù)工程師，雖然二者有相似之處，但是其工作內(nèi)容有很大不同，其中包含兩個迥異的技能，魚與熊掌不易兼得。

數(shù)據(jù)科學家vs數(shù)據(jù)工程師

在2000年代中期，數(shù)據(jù)科學家職位開始出現(xiàn)，O’Reilly在文章中提到：“對數(shù)據(jù)科學家需求的增長是由大型互聯(lián)網(wǎng)公司驅動的。谷歌、Facebook、LinkedIn和亞馬遜都以創(chuàng)造性地使用數(shù)據(jù)而聞名：不僅僅是儲存數(shù)據(jù)，還將其轉化為價值。毫無疑問，任何希望從數(shù)據(jù)中獲得價值的企業(yè)組織都在關注數(shù)據(jù)科學和數(shù)據(jù)科學家。

數(shù)據(jù)科學家起源于統(tǒng)計建模和數(shù)據(jù)分析的發(fā)展，具有高級數(shù)學和統(tǒng)計、高級分析以及越來越多的機器學習/人工智能的背景。毫無疑問，數(shù)據(jù)科學家的重點是數(shù)據(jù)科學，也就是說，如何從海量數(shù)據(jù)中提取有用的信息，以及如何將業(yè)務和科學信息需求轉化為信息和數(shù)學語言。為了能從海量信息中獲得見解，數(shù)據(jù)科學家需要掌握統(tǒng)計學、概率、數(shù)學和算法知識。這些數(shù)據(jù)科學家通常只是為了運行程序、對數(shù)據(jù)進行高級分析這類特定需要而學習編程，因此，數(shù)據(jù)科學家通常只寫最少最簡易的代碼，能完成數(shù)據(jù)科學任務以及提供干凈的數(shù)據(jù)進行分析即可。數(shù)據(jù)科學家創(chuàng)建假設，對數(shù)據(jù)進行測試和分析，然后將其結果以便于查看和理解的形式呈現(xiàn)給組織中的其他人。

但是如果沒有大量的干凈數(shù)據(jù)，數(shù)據(jù)科學家就無法完成自身工作。提取、清理和移動數(shù)據(jù)實際上并不是數(shù)據(jù)科學家的職責，而是數(shù)據(jù)工程師的職責。數(shù)據(jù)工程師擁有編程、技術方面的專業(yè)知識，以前曾參與過數(shù)據(jù)集成、中間件、分析、業(yè)務數(shù)據(jù)門戶和ETL操作。數(shù)據(jù)工程師的重心和技能集中在大數(shù)據(jù)和分布式系統(tǒng)上，可以使用Java、Python、Scala等編程語言腳本工具，擁有技術經(jīng)驗。數(shù)據(jù)工程師面臨的挑戰(zhàn)是如何從各種各樣的系統(tǒng)中獲取結構化和非結構化的數(shù)據(jù)，解決不“干凈”的數(shù)據(jù)例如字段缺失、數(shù)據(jù)類型不匹配等與數(shù)據(jù)相關的問題。數(shù)據(jù)工程師要使用編程、集成、體系結構和系統(tǒng)技能來清理所有數(shù)據(jù)，并將其放入一種格式和系統(tǒng)中，然后數(shù)據(jù)科學家就可以使用該格式和系統(tǒng)來分析、建立數(shù)據(jù)模型并為組織提供價值。數(shù)據(jù)工程師的角色就是設計、構建和安排數(shù)據(jù)的工程師。

數(shù)據(jù)科學家和數(shù)據(jù)工程師能合二為一嗎？

雖然數(shù)據(jù)科學家和數(shù)據(jù)工程師的角色似乎截然不同，但數(shù)據(jù)科學家和數(shù)據(jù)工程師有許多共同的特點和共技能。這些重疊的技能包括處理和操作大數(shù)據(jù)集、應用數(shù)據(jù)的編程技能、數(shù)據(jù)分析技能以及對系統(tǒng)操作的總體熟練程度。

盡管有很多共性重疊的部分，但是數(shù)據(jù)科學家和數(shù)據(jù)工程師的工作重點仍有差異，因此不太可能兩個角色合二為一。更重要的是，在招聘數(shù)據(jù)科學家和數(shù)據(jù)工程師時，要確保問對了問題，從候選人身上找到正確的技能。

更重要的是，隨著數(shù)據(jù)科學興起的代碼學院、研討會和培訓班引出了新問題：這些培訓和代碼學院的重點是數(shù)據(jù)科學背后的科學，還是數(shù)據(jù)工程背后的工程、編程，更糟的是，這些活動是否只是泛泛研究了一點囫圇吞棗地教學而混淆了細分的需求，比如應該關注大數(shù)據(jù)和ML分析的哪些領域？

雖然看起來您可以在科學角色中做一點工程工作，或者在工程角色中做一點科學工作，但是混合角色可能會不利于企業(yè)組織在ML或數(shù)據(jù)科學的成功。那些被迫從事數(shù)據(jù)工程工作而沒有相關背景、技能或資質(zhì)的數(shù)據(jù)科學家很容易錯誤配置、誤用技術，或者編寫效率低、成本高、浪費時間的程序。同樣地，要求從根本上具有工程背景的人學習復雜的數(shù)據(jù)科學數(shù)學，可能會導致組織對其信息得出錯誤的結論，產(chǎn)生災難性結果。專業(yè)化是很重要的，好比醫(yī)生要做檢查，抽血師負責抽血。醫(yī)生可以為你抽血，抽血師可以了解化驗結果，但你為什么要拿自己的舒適和健康去冒險呢？

數(shù)據(jù)科學家在企業(yè)組織中處于什么位置？

為了從數(shù)據(jù)中獲得價值，大多數(shù)企業(yè)組織都需要數(shù)據(jù)科學和數(shù)據(jù)工程，由于相關技能有很大差異，二者合體也不太現(xiàn)實。企業(yè)組織可能需要多個數(shù)據(jù)科學家和數(shù)據(jù)工程師，但兩者之間的比例很少是1:1。對于大多數(shù)企業(yè)組織來說，擁有更多的數(shù)據(jù)工程師比數(shù)據(jù)科學家更有意義。因為數(shù)據(jù)科學家已經(jīng)學會處理大量的干凈數(shù)據(jù)，但是從許多不同系統(tǒng)獲得大量的干凈數(shù)據(jù)更難也更具挑戰(zhàn)。與抽象數(shù)據(jù)模型和對數(shù)據(jù)集運行分析相比，移動和清理數(shù)據(jù)的工作量更大。

此外，數(shù)據(jù)科學家在企業(yè)組織應該向誰報告可能是錯的，有的數(shù)據(jù)科學家向技術團隊報告，這是沒有意義的。數(shù)據(jù)科學家通常不會詢問特定技術的實施和數(shù)據(jù)分析，其所面臨的挑戰(zhàn)特定的業(yè)務線。因此，數(shù)據(jù)科學家應該向業(yè)務戰(zhàn)略決策相關人員報告。

有以業(yè)務為中心的工具嗎？

如果數(shù)據(jù)科學和數(shù)據(jù)工程確實是組織中獨立的角色，那么將它們所需的工具應該是分開的。許多進入數(shù)據(jù)科學/機器學習領域的供應商正在混淆視聽，使事情變得更加混亂。他們聲稱工具是為數(shù)據(jù)科學家準備的，但是其一切主要功能和特性都是為數(shù)據(jù)工程師準備的，在上面點綴一些數(shù)據(jù)科學的特性是沒有意義的。對于數(shù)據(jù)科學家來說，需要一個分析的、面向數(shù)據(jù)的、以模型為中心的工具，而不是在數(shù)據(jù)清理、移動數(shù)據(jù)和將數(shù)據(jù)從私有環(huán)境遷移到云環(huán)境等方面的工具。這就像給一個駕駛教練一輛車的零件，然后說：“自己造這輛車，然后教別人如何駕駛它?！?/p>

數(shù)據(jù)科學家需要的是以數(shù)據(jù)科學為中心的工具，而不是以工程和編程為中心的工具?，F(xiàn)在，這些工具越來越多，讓數(shù)據(jù)科學家可以進行數(shù)據(jù)挖掘或預測分析。然而，隨著數(shù)據(jù)科學家越來越深入業(yè)務領域，以業(yè)務為中心的工具是更合適的，例如，幾十年前，如果您希望以類似電子表格的格式操作大量數(shù)據(jù)，這就涉及到編程，但是像Excel這樣的工具引入了數(shù)據(jù)透視表這樣的東西，現(xiàn)在業(yè)務經(jīng)理能夠執(zhí)行各種分析。Excel等工具將數(shù)據(jù)科學功能或以業(yè)務為中心的數(shù)據(jù)挖掘和分析工具嵌入到產(chǎn)品中只是時間問題。

隨著數(shù)據(jù)科學家的人才缺口繼續(xù)擴大，新的工具將會出現(xiàn)，這些工具是為了允許非技術人員（即業(yè)務人員）運行、測試和分析數(shù)據(jù)而創(chuàng)建的，戰(zhàn)略業(yè)務經(jīng)理將開始學習數(shù)據(jù)科學，數(shù)據(jù)科學家仍然需要運行非常復雜的數(shù)據(jù)分析工具。然而，隨著越來越多易用工具的出現(xiàn)，大多數(shù)情況下基本分析將更多地轉移到業(yè)務方。企業(yè)中ML和數(shù)據(jù)科學相關工具和技術也越來越大有可為。