讓CPU核心物盡其用！本文介紹了僅需3行代碼，將Python數(shù)據(jù)處理速度提升2~6倍的簡(jiǎn)單方法。這對(duì)大規(guī)模數(shù)據(jù)處理非常有用，一起來看。

Python是所有機(jī)器學(xué)習(xí)的首選編程語(yǔ)言。它易于使用，并擁有許多很棒的庫(kù)，可以輕松地處理數(shù)據(jù)。但是當(dāng)我們需要處理大量數(shù)據(jù)時(shí)，事情就變得棘手了......

“大數(shù)據(jù)”這個(gè)詞通常指的是數(shù)據(jù)集，一個(gè)數(shù)據(jù)集里的數(shù)據(jù)點(diǎn)如果沒有數(shù)百萬個(gè)，也有數(shù)十萬。在這樣的規(guī)模上，每個(gè)小的計(jì)算加起來，而且我們需要在編碼過程的每個(gè)步驟保持效率。在考慮機(jī)器學(xué)習(xí)系統(tǒng)的效率時(shí)，經(jīng)常被忽視的一個(gè)關(guān)鍵步驟就是預(yù)處理階段，我們必須對(duì)所有數(shù)據(jù)點(diǎn)進(jìn)行某種預(yù)處理操作。

默認(rèn)情況下，Python程序使用單個(gè)CPU作為單個(gè)進(jìn)程執(zhí)行。大多數(shù)用于機(jī)器學(xué)習(xí)的計(jì)算機(jī)至少有2個(gè)CPU核心。這意味著，對(duì)于2個(gè)CPU內(nèi)核的示例，在運(yùn)行預(yù)處理時(shí)，50％或更多的計(jì)算機(jī)處理能力在默認(rèn)情況下不會(huì)做任何事情！當(dāng)你使用4核（ Intel i5）或6核（ Intel i7）時(shí)，就更浪費(fèi)了。

但幸運(yùn)的是，內(nèi)置的Python庫(kù)中有一些隱藏的功能，可以讓我們充分利用所有CPU內(nèi)核！感謝Python的concurrent.futures模塊，只需3行代碼就可以將一個(gè)普通程序轉(zhuǎn)換為一個(gè)可以跨CPU核心并行處理數(shù)據(jù)的程序。

標(biāo)準(zhǔn)方法

讓我們舉一個(gè)簡(jiǎn)單的例子，我們?cè)谝粋€(gè)文件夾中有一個(gè)圖像數(shù)據(jù)集; 或者我們甚至有成千上萬的圖像！為了節(jié)省處理時(shí)間，我們?cè)谶@里使用1000張圖像。我們希望在將所有圖像在傳輸?shù)缴疃?a href="http://www.zgszdi.cn/tags/神經(jīng)網(wǎng)絡(luò)/" target="_blank">神經(jīng)網(wǎng)絡(luò)之前將其大小調(diào)整為600x600。下面就是你經(jīng)常在GitHub上看到的一些非常標(biāo)準(zhǔn)的Python代碼。

這個(gè)程序遵循在數(shù)據(jù)處理腳本中經(jīng)常看到的簡(jiǎn)單模式：

首先是要處理的文件（或其他數(shù)據(jù)）列表；

你可以使用for循環(huán)逐個(gè)處理每個(gè)數(shù)據(jù)片段，然后在每個(gè)循環(huán)迭代上運(yùn)行預(yù)處理

讓我們?cè)谝粋€(gè)包含1000個(gè)jpeg文件的文件夾上測(cè)試這個(gè)程序，看看運(yùn)行需要多長(zhǎng)時(shí)間：

在我的具有6個(gè)CPU核心的i7-8700k上，這個(gè)程序的運(yùn)行時(shí)間是7.9864秒！對(duì)于這樣的高端CPU來說，似乎有點(diǎn)慢。讓我們看看我們可以做些什么來加快速度。

快速方式

為了理解我們希望Python如何并行處理事物，直觀地思考并行處理本身是有幫助的。假設(shè)我們必須執(zhí)行相同的任務(wù)，例如將釘子釘入一塊木頭，我們的桶中有1000個(gè)釘子。如果釘每個(gè)釘子需要1秒鐘，那么1個(gè)人的話需要花1000秒完成工作。但是如果有4個(gè)人，我們會(huì)將整桶釘子平均分成4堆，然后每個(gè)人處理自己的一堆釘子。這樣，只需250秒即可完成任務(wù)！

在這個(gè)包含1000張圖像的任務(wù)中，也可以這樣處理：

將jpg文件列表分為4個(gè)較小的組。

運(yùn)行Python解釋器的4個(gè)獨(dú)立實(shí)例。

讓每個(gè)Python實(shí)例處理4個(gè)較小數(shù)據(jù)組中的一個(gè)。

結(jié)合4個(gè)過程的結(jié)果，得到最終的結(jié)果列表。

這里最重要的部分是Python為我們處理了所有艱苦的工作。我們只是告訴它我們想要運(yùn)行哪個(gè)函數(shù)，以及使用多少Python實(shí)例，然后它完成了所有其他操作！我們只需修改3行代碼。

上面的代碼中的：

你有多少CPU核心就啟動(dòng)多少Python進(jìn)程，在我的例子中是6個(gè)。實(shí)際的處理代碼是這樣的：

executor.map（）將你想要運(yùn)行的函數(shù)和一個(gè)列表作為輸入，列表中的每個(gè)元素都是函數(shù)的單個(gè)輸入。由于我們有6個(gè)核心，我們將同時(shí)處理列表中的6個(gè)項(xiàng)！

再次運(yùn)行程序看看：

運(yùn)行時(shí)間是1.14265秒，幾乎加速了6倍！

注意：產(chǎn)生更多Python進(jìn)程并在它們之間移動(dòng)數(shù)據(jù)時(shí)，會(huì)產(chǎn)生一些開銷，因此不會(huì)總是得到這么大的速度提升。 但總的來說，加速相當(dāng)顯著。

是否總能大幅加速？

當(dāng)你有要處理的數(shù)據(jù)列表并且要對(duì)每個(gè)數(shù)據(jù)點(diǎn)執(zhí)行類似的計(jì)算時(shí)，使用Python并行池是一個(gè)很好的解決方案。但是，它并不總是完美的。并行池處理的數(shù)據(jù)不會(huì)以任何可預(yù)測(cè)的順序處理。如果你需要處理的結(jié)果按特定順序排列，那么這種方法可能不適合。

你處理的數(shù)據(jù)還必須是Python知道如何“pickle”的類型。幸運(yùn)的是，這些類型很常見。以下來自Python官方文檔：

None, True, 及 False

整數(shù)，浮點(diǎn)數(shù)，復(fù)數(shù)

字符串，字節(jié)，字節(jié)數(shù)組

僅包含可選對(duì)象的元組，列表，集合和詞典

在模塊的頂層定義的函數(shù)（使用def，而不是lambda）

在模塊頂層定義的內(nèi)置函數(shù)

在模塊頂層定義的類

這些類的實(shí)例，__dict__或調(diào)用__getstate __（）的結(jié)果是可選擇的