數(shù)據(jù)科學的發(fā)展日新月異，機器學習的角色正從數(shù)據(jù)科學的混合角色過渡到更多的工程或面相分析的角色，主要是以下的因素促成了這種變化。

1.機器學習模型更多地被應用到生產(chǎn)系統(tǒng)中，需要數(shù)據(jù)科學家具有比以前更深入的技術技能。

2.商業(yè)產(chǎn)品和用戶行為的變化步伐加快，對自動化的需求也增加。

3.還有出于數(shù)據(jù)合規(guī)和監(jiān)管的要求，增加了對數(shù)據(jù)的可追溯性和可解釋性的預測和決策的需求。

這些變化的因素也導致了數(shù)據(jù)科學家使用的工具發(fā)生了變化。使得他們更多地利用云，自動化，可解釋性和可重復過程的方向去發(fā)展。

基于云的機器學習。云基礎架構和Kubernetes改變了數(shù)據(jù)科學家進行機器學習的方式。從能夠將預構建的解決方案用作Saas應用程序，到能夠在Kubernetes上運行完整的機器學習堆棧。

AutoML和編排。AutoML簡化了訓練模型，提供了一種自動的方法來進行數(shù)據(jù)準備，特征工程，超參數(shù)優(yōu)化或模型的選擇。

可解釋且可重復的ML。在過去幾年中，出現(xiàn)了一些庫和工具來幫助理解模型預測及其背后的權重并賦予其含義。如whatiftools，Lime，Shap或Manifold之類的工具可以幫助數(shù)據(jù)科學家來實現(xiàn)這一目標。

基于云的機器學習

向云和Kubernetes的遷移是時下的主流方向，這推動了機器學習工程師對更多DevOps或數(shù)據(jù)操作功能的需求。

深度學習的快速發(fā)展推動了機器學習的進步，但深度學習需要更多的計算資源，它的利用率隨工作負載變化很大，這迫使Tensorflow執(zhí)行程序在Kubernetes上運行來支持更彈性和可擴展的基礎架構。

另一個因素是機器學習在生產(chǎn)環(huán)境中的重要性日益提高。這種轉變又增加了在原型堆棧和生產(chǎn)之間緊密結合的需求，并借助各種云的平臺，比如AWS SageMaker、Google Cloud ML Engine。這些工具提供了如模型部署和API配置之類的功能，從而簡化了流程將模型推向生產(chǎn)的過程。

AutoML和機器學習工作流程

具有生產(chǎn)型機器學習系統(tǒng)的重要性的提高反過來加速了從培訓到部署的整個機器學習價值鏈對自動化的需求。自動化允許更快地迭代和改進模型。

AutoML提供了圍繞模型訓練過程的自動化層，可以處理其一些重復的任務。它可以處理如超參數(shù)優(yōu)化，功能和模型選擇之類的任務。現(xiàn)在，像Tpot或AutoKeras之類的庫，以及大多數(shù)云提供商的機器學習即服務都將AutoML作為其解決方案的一部分。

對自動化的需求也增加了對工具進行編排的不同部分的需求。工作流工具如，Airflow，Kubeflow，MLFlow和MetaFlow是用于幫助實現(xiàn)這一目標的一些關鍵工具。他們負責將整個機器學習過程作為一條流水線來處理，幫助協(xié)調(diào)從數(shù)據(jù)采集到模型服務的端到端流程。

可解釋且可重復的ML

合規(guī)和監(jiān)管影響了我們構建機器學習模型的方式。他們推動了可解釋和可復制的模型。

在可解釋的方面，已經(jīng)出現(xiàn)了一系列工具，可以幫助數(shù)據(jù)科學家從其模型中獲得意義。這些工具評估不同的方案，分析變量如何互操作，并提供儀表板以幫助解釋模型預測。whatiftools，Lime，Shap或Manifold是應對這一挑戰(zhàn)的工具。

除了提供可靠的方法來調(diào)試模型的優(yōu)點外，可復制性是受法規(guī)影響的另一個方面。總有可能使用工作流工具創(chuàng)建可重復的機器學習管道，但仍出現(xiàn)了一些特定的工具來簡化這個過程。

DVC，Dolt，Weight and Biases（WANDB）和Dags Hub等是一些專門的工具，使構建模型，可重復的方式更簡單。DVC負責模型和數(shù)據(jù)集的版本控制，而Dolt嚴格限于數(shù)據(jù)集本身。WANDB和Dags Hub則專注于跟蹤模型構建/訓練的權重和結果。

總結

機器學習工具，已經(jīng)不僅僅局限于利用一些預測庫和Jupyter筆記本。現(xiàn)在，進行數(shù)據(jù)科學需要掌握更廣泛的工具集，其中包括云，工作流工具，解釋和版本控制工具。這些增加的現(xiàn)代化工具應有助于數(shù)據(jù)科學開展更多的工程或業(yè)務功能。