對(duì)于機(jī)器學(xué)習(xí)/數(shù)據(jù)科學(xué)的初學(xué)者來(lái)說(shuō)，線(xiàn)性回歸，或者Logistic回歸是許多人在建立預(yù)測(cè)模型時(shí)接觸的第一/第二種方法。由于這兩種算法適用性極廣，有些人甚至在走出校門(mén)當(dāng)上數(shù)據(jù)分析師后還固執(zhí)地認(rèn)為回歸只有這兩種形式，或者換句話(huà)說(shuō)，至少線(xiàn)性回歸和Logistic回歸應(yīng)該是其中最重要兩個(gè)算法。那么事實(shí)真的是這樣嗎？

Sunil Ray是一位在印度保險(xiǎn)行業(yè)擁有豐富經(jīng)驗(yàn)的商業(yè)分析師和人工智能專(zhuān)家，針對(duì)這個(gè)問(wèn)題，他指出其實(shí)回歸有無(wú)數(shù)種形式，每種回歸算法都有自己擅長(zhǎng)的領(lǐng)域和各自的特色。在本文中，他將以最簡(jiǎn)單的形式介紹7種較為常見(jiàn)的回歸形式，希望讀者們?cè)谀托拈喿x完畢后，可以在學(xué)習(xí)、工作中多做嘗試，而不是無(wú)論遇到什么問(wèn)題都直接上“萬(wàn)金油”的線(xiàn)性回歸和Logistic回歸。

目錄

1. 什么是回歸分析？

2. 為什么要用回歸分析？

3. 幾種常見(jiàn)的回歸分析方法

線(xiàn)性回歸

Logistic回歸

多項(xiàng)式回歸

逐步回歸

嶺回歸

Lasso回歸

ElasticNet回歸

4. 如何挑選適合的回歸模型？

什么是回歸分析？

回歸分析是一種預(yù)測(cè)建模技術(shù)，它可以被用來(lái)研究因變量（目標(biāo)）和自變量（預(yù)測(cè)）之間的關(guān)系，常見(jiàn)于預(yù)測(cè)建模、時(shí)間序列建模和查找變量間關(guān)系等應(yīng)用。舉個(gè)例子，通過(guò)回歸分析，我們能得出司機(jī)超速駕駛和發(fā)生交通事故次數(shù)之間的關(guān)系。

它是建模和分析數(shù)據(jù)的重要工具。回歸分析在圖像上表示為一條努力擬合所有數(shù)據(jù)點(diǎn)的曲線(xiàn)/線(xiàn)段，它的目標(biāo)是使數(shù)據(jù)點(diǎn)和曲線(xiàn)間的距離最小化。

為什么要用回歸分析？

如上所述，回歸分析估計(jì)的是兩個(gè)或兩個(gè)以上變量間的關(guān)系。我們可以舉這樣一個(gè)例子來(lái)幫助理解：

假設(shè)A想根據(jù)公司當(dāng)前的經(jīng)濟(jì)狀況估算銷(xiāo)售增長(zhǎng)率，而最近一份數(shù)據(jù)表明，公司的銷(xiāo)售額增長(zhǎng)約為財(cái)務(wù)增長(zhǎng)的2.5倍。在此基礎(chǔ)上，A就能基于各項(xiàng)數(shù)據(jù)信息預(yù)測(cè)公司未來(lái)的銷(xiāo)售情況。

使用回歸分析有許多優(yōu)點(diǎn)，其中最突出的主要是以下兩個(gè)：

它能顯示因變量和自變量之間的顯著關(guān)系；

它能表現(xiàn)多個(gè)獨(dú)立變量對(duì)因變量的不同影響程度。

除此之外，回歸分析還能揭示同一個(gè)變量帶來(lái)的不同影響，如價(jià)格變動(dòng)幅度和促銷(xiāo)活動(dòng)多少。它為市場(chǎng)研究人員/數(shù)據(jù)分析師/數(shù)據(jù)科學(xué)家構(gòu)建預(yù)測(cè)模型提供了評(píng)估所用的各種重要變量。

幾種常見(jiàn)的回歸分析方法

回歸分析的方法有很多，但其中出名的沒(méi)幾個(gè)。綜合來(lái)看，所有方法基本上都由這3個(gè)重要參數(shù)驅(qū)動(dòng)：自變量的數(shù)量、因變量的類(lèi)型和回歸曲線(xiàn)的形狀。

至于為什么是這三點(diǎn)，我們會(huì)在后文作出具體解釋。當(dāng)然，對(duì)于那些有創(chuàng)意、能獨(dú)立設(shè)計(jì)參數(shù)的人，他們的模型大可不必局限于這些參數(shù)。這只是以前大多數(shù)人的做法。

1. 線(xiàn)性回歸

線(xiàn)性回歸是知名度最廣的建模方法之一。每當(dāng)提及建立一個(gè)預(yù)測(cè)模型，它總能占一個(gè)首選項(xiàng)名額。對(duì)于線(xiàn)性回歸，它的因變量是連續(xù)的，自變量則可以是連續(xù)的或是離散的。它的回歸線(xiàn)在本質(zhì)上是線(xiàn)性的。

在一元問(wèn)題中，如果我們要用線(xiàn)性回歸建立因變量Y和和自變量X之間的關(guān)系，這時(shí)它的回歸線(xiàn)是一條直線(xiàn)，如下圖所示。

它的相應(yīng)表達(dá)式為：Y = a + b × X + e。其中a是y軸截距，b是回歸線(xiàn)斜率，e是誤差項(xiàng)。

但有時(shí)我們可能擁有不止一個(gè)自變量X，即多元問(wèn)題，這時(shí)多元線(xiàn)性回歸的回歸方程就是一個(gè)平面或是一個(gè)超平面。

既然有了一條線(xiàn)，那我們?nèi)绾未_定擬合得最好的那條回歸線(xiàn)呢（a和b的值）？對(duì)于這個(gè)問(wèn)題，最常規(guī)的方法是最小二乘法——最小化每個(gè)點(diǎn)到回歸線(xiàn)的歐氏距離平方和。由于做了平方，距離不存在正負(fù)差別影響。

線(xiàn)性回歸重點(diǎn)：

自變量和因變量之間必須存在線(xiàn)性關(guān)系；

多元回歸受多重共線(xiàn)性、自相關(guān)和異方差影響；

線(xiàn)性回歸對(duì)異常值非常敏感。它會(huì)嚴(yán)重影響回歸線(xiàn)，并最終影響預(yù)測(cè)值。

多重共線(xiàn)性會(huì)使參數(shù)估計(jì)值的方差增大，可能會(huì)過(guò)度地影響最小二乘估計(jì)值，從而造成消極影響。

在存在多個(gè)自變量的情況下，我們可以用前進(jìn)法、后退法和逐步法選擇最顯著的自變量。

2. Logistic回歸

Logistic回歸一般用于判斷事件成功/失敗的概率，如果因變量是一個(gè)二分類(lèi)（0/1，真/假，是/否），這時(shí)我們就應(yīng)該用Logistic回歸。它的Y是一個(gè)值域?yàn)閇0, 1]的值，可以用下方等式表示：

odds = p/ (1-p) = 事件發(fā)生概率 / 事件未發(fā)生概率 ln(odds) = ln(p/(1-p)) logit(p) = ln(p/(1-p)) = b0+b1×1+b2×2+b3×3....+bk×k

在上式中，p是目標(biāo)特征的概率。不同于計(jì)算平方和的最小值，這里我們用的是極大似然估計(jì)，即找到一組參數(shù)θ，使得在這組參數(shù)下，樣本數(shù)據(jù)的似然度（概率）最大。考慮到對(duì)數(shù)損失函數(shù)與極大似然估計(jì)的對(duì)數(shù)似然函數(shù)在本質(zhì)上是等價(jià)的，所以L(fǎng)ogistic回歸使用了對(duì)數(shù)函數(shù)求解參數(shù)。

Logistic回歸重點(diǎn)：

Logistic回歸被廣泛用于分類(lèi)問(wèn)題。

Logistic回歸無(wú)需依賴(lài)自變量和因變量之間的線(xiàn)性關(guān)系，而是用非線(xiàn)性對(duì)數(shù)計(jì)算用于預(yù)測(cè)的比值比，因此可以處理各種類(lèi)型的問(wèn)題。

為了避免過(guò)擬合和欠擬合，Logistic回歸需要包含所有重要變量，然后用逐步回歸方法去估計(jì)邏輯回歸。

Logistic回歸對(duì)樣本大小有較高要求，因?yàn)閷?duì)于過(guò)小的數(shù)據(jù)集，最大似然估計(jì)不如普通最小二乘法。

各自變量間不存在多重共線(xiàn)性。

如果因變量的值是序數(shù)，那么它就該被稱(chēng)為序數(shù)Logistic回歸。

如果因變量是多個(gè)類(lèi)別，那么它就該被稱(chēng)為多項(xiàng)Logistic回歸。

3. 多項(xiàng)式回歸

多項(xiàng)式回歸是對(duì)線(xiàn)性回歸的補(bǔ)充。線(xiàn)性回歸假設(shè)自變量和因變量之間存在線(xiàn)性關(guān)系，但這個(gè)假設(shè)并不總是成立的，所以我們需要擴(kuò)展至非線(xiàn)性模型。Logistic回歸采取的方法是用非線(xiàn)性的對(duì)數(shù)函數(shù)，而多項(xiàng)式回歸則是把一次特征轉(zhuǎn)換成高次特征的線(xiàn)性組合多項(xiàng)式。

一元多項(xiàng)式回歸

簡(jiǎn)而言之，如果自變量的冪大于1，那么該回歸方程是多項(xiàng)式回歸方程，即Y = A + B × X2。在這種回歸方法中，它的回歸線(xiàn)不是一條直線(xiàn)，而是一條力爭(zhēng)擬合所有數(shù)據(jù)點(diǎn)的曲線(xiàn)。

多項(xiàng)式回歸重點(diǎn)：

盡管更高階的多項(xiàng)式回歸可以獲得更低的誤差，但它導(dǎo)致過(guò)擬合的可能性也更高。

要注意曲線(xiàn)的方向，觀察它的形狀和趨勢(shì)是否有意義，在此基礎(chǔ)上在逐步提高冪。

過(guò)擬合

4. 逐步回歸

截至目前，上述方法都需要針對(duì)因變量Y選擇一個(gè)目標(biāo)自變量X，再用線(xiàn)性的、非線(xiàn)性的方法建立“最優(yōu)”回歸方程，以便對(duì)因變量進(jìn)行預(yù)測(cè)或分類(lèi)。那么當(dāng)我們?cè)谔幚矶鄠€(gè)自變量時(shí)，有沒(méi)有一種回歸方法能按照對(duì)Y的影響大小，自動(dòng)篩選出那些重要的自變量呢？

這種方法就是本節(jié)要介紹的逐步回歸，它利用觀察統(tǒng)計(jì)值（如R方，t-stats和AIC度量）來(lái)辨別重要變量。作為一種回歸分析方法，它使用的方法是基于給定的水平指標(biāo)F一次一個(gè)地添加/丟棄變量，以下是幾種常用的做法：

標(biāo)準(zhǔn)的逐步回歸只做兩件事：根據(jù)每個(gè)步驟添加/刪除變量。

前進(jìn)法：基于模型中最重要的變量，一次一個(gè)添加剩下的變量中最重要的變量。

后退法：基于模型中所有變量，一次一個(gè)刪除最不重要的變量。

這種建模方法的目的是用盡可能小的變量預(yù)測(cè)次數(shù)來(lái)最大化預(yù)測(cè)能力，它是處理更高維數(shù)據(jù)集的方法之一。

5. 嶺回歸

在談及線(xiàn)性回歸重點(diǎn)時(shí)，我們?cè)岬蕉嘀毓簿€(xiàn)性會(huì)使參數(shù)估計(jì)值的方差增大，并過(guò)度地影響最小二乘估計(jì)值，從而降低預(yù)測(cè)精度。因此方差和偏差是導(dǎo)致輸出值偏離真值的罪魁禍?zhǔn)字弧?/p>

我們先來(lái)回顧一下線(xiàn)性回歸方程：Y = a + b × X + e。

如果涉及多個(gè)自變量，那它是：Y = a + Y = a + b1X1+ b2X2+ … + e

上式表現(xiàn)了偏差和誤差對(duì)最終預(yù)測(cè)值的明顯影響。為了找到方差和偏差的折中，一種可行的做法是在平方誤差的基礎(chǔ)上增加一個(gè)正則項(xiàng)λ，來(lái)解決多重共線(xiàn)性問(wèn)題。請(qǐng)看以下公式：

這個(gè)代價(jià)函數(shù)可以被分為兩部分，第一部分是一個(gè)最小二乘項(xiàng)，第二部分則是系數(shù)β的平方和，再乘以一個(gè)調(diào)節(jié)參數(shù)λ作為懲罰項(xiàng)，它能有效控制方差和偏差的變化：隨著λ的增大，模型方差減小而偏差增大。

嶺回歸重點(diǎn)：

嶺回歸的假設(shè)與最小二乘法回歸的假設(shè)相同，除了假設(shè)正態(tài)性。

嶺回歸可以縮小系數(shù)的值，但因?yàn)棣瞬豢赡転闊o(wú)窮大，所以它不會(huì)等于0。

這實(shí)際上是一種正則化方法，使用了l2范數(shù)。

6. Lasso回歸

同樣是解決多重共線(xiàn)性問(wèn)題，嶺回歸是在平方誤差的基礎(chǔ)上增加一個(gè)正則項(xiàng)λ，那么Lasso回歸則把二次項(xiàng)改成了一次絕對(duì)值。它可以降低異常值對(duì)模型的影響，并提高整體準(zhǔn)確度。

一次項(xiàng)求導(dǎo)可以抹去變量本身，因此Lasso回歸的系數(shù)可以為0。這樣可以起來(lái)真正的特征篩選效果。

Lasso回歸重點(diǎn)：

Lasso回歸的假設(shè)與最小二乘法回歸的假設(shè)相同，除了假設(shè)正態(tài)性。

Lasso回歸的系數(shù)可以為0。

這實(shí)際上是一種正則化方法，使用了l1范數(shù)。

如果一組變量高度相關(guān)，Lasso回歸會(huì)選擇其中的一個(gè)變量，然后把其他的都變?yōu)?。

7. ElasticNet回歸

ElasticNet是Lasso和Ridge回歸技術(shù)的結(jié)合。它使用L1和L2范數(shù)作為懲罰項(xiàng)，既能用于權(quán)重非零的稀疏模型，又保持了正則化屬性。簡(jiǎn)單來(lái)說(shuō)，就是當(dāng)有多個(gè)相關(guān)特征時(shí)，Lasso回歸只會(huì)選擇其中的一個(gè)變量，但ElasticNet回歸會(huì)選擇兩個(gè)。

在Lasso和Ridge之間進(jìn)行權(quán)衡的一個(gè)實(shí)際優(yōu)勢(shì)是，它允許Elastic-Net繼承嶺回歸的一些穩(wěn)定性。

ElasticNet回歸重點(diǎn)：

它鼓勵(lì)在高度相關(guān)變量的情況下的群體效應(yīng)。

在選擇變量的數(shù)量上沒(méi)有限制。

受雙重收縮影響。

除了這7中常用的回歸分析方法外，貝葉斯回歸、生態(tài)學(xué)回歸和魯棒回歸也是出鏡率很高的一些選擇。

如何挑選適合的回歸模型？

當(dāng)你只知道一種或兩種方法時(shí)，生活通常很簡(jiǎn)單。相信不少讀者都聽(tīng)到過(guò)這種論調(diào)：如果結(jié)果是連續(xù)的，用線(xiàn)性回歸；如果是個(gè)二分類(lèi)，就用Logistic回歸。然而隨著現(xiàn)在我們的選擇越來(lái)越多，許多人不免要深受選擇恐懼癥影響，無(wú)法做出滿(mǎn)意的決定。

那么面對(duì)這么多的回歸分析方法，我們?cè)撛趺催x擇呢？以下是一些可以考慮的關(guān)鍵因素：

數(shù)據(jù)探索是構(gòu)建預(yù)測(cè)模型不可或缺的一部，因此在選擇正確的模型前，我們可以先分析數(shù)據(jù)，找到變量間的關(guān)系。

為了比較不同方法的擬合成都，我們可以分析統(tǒng)計(jì)顯著性參數(shù)、R方、調(diào)整R方、最小信息標(biāo)準(zhǔn)、BIC和誤差準(zhǔn)則等統(tǒng)計(jì)值，或者是Mallow‘s Cp準(zhǔn)則。將模型與所有可能的子模型進(jìn)行比較來(lái)檢查模型中可能存在的偏差。

交叉驗(yàn)證是評(píng)估預(yù)測(cè)模型最好的方法沒(méi)有之一。

如果你的數(shù)據(jù)集中有多個(gè)奇怪變量，你最好手動(dòng)添加而不要用自動(dòng)的方法。

殺雞焉用牛刀。根據(jù)你的任務(wù)選擇強(qiáng)大/不強(qiáng)大的模型。

嶺回歸、Lasso回歸和ElasticNet回歸在高維度、多重共線(xiàn)性情況下有較好的表現(xiàn)。