二、神經(jīng)網(wǎng)絡(luò)

第0層是輸入層，最后一層是輸出層，中間是中間層或隱藏層。上圖中的網(wǎng)絡(luò)有3層神經(jīng)元，實質(zhì)只有兩層有權(quán)重，因此稱為兩層網(wǎng)絡(luò)。

1、激活函數(shù)

感知器：y=0(b+w1x1+w2x2<=0)或y=1(b+w1x1+w2x2>0)改寫為

y=h(b+w1x1+w2x2)，h(x)=0(x<=0)或h(x)=1(x>0)

激活函數(shù)h(x)：將輸入信號的總和轉(zhuǎn)換為輸出信號的表達式，決定如何激活輸入信號的總和。

上式中的激活函數(shù)是階躍函數(shù)，只能返回0或1，而神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)常用的是sigmoid函數(shù)和ReLU函數(shù)。

1'sigmoid函數(shù)

h(x)=1/(1+exp(-x))

和階躍函數(shù)的對比：sigmoid是平滑的函數(shù)，輸出隨輸入發(fā)生連續(xù)的變化，因此可以返回0-1之間的實數(shù)。

和階躍函數(shù)的相同點：輸入小時，輸出接近0，輸入增大時輸出向1靠近，即當輸入信號為重要信息時，都會輸出較大值，且兩者輸出都在0-1之間。

2'ReLU函數(shù)

h(x)=x(x>0);h(x)=0(x<=0)

輸入大于0時直接輸出，輸入小于0時輸出0

總結(jié)：激活函數(shù)只能為非線性函數(shù)，因為線性函數(shù)的問題是多個隱藏層可以用一個隱藏層實現(xiàn)。例如h(x)=cx作為激活函數(shù)，y(x)=h(h(h(x)))對應(yīng)的三層神經(jīng)網(wǎng)絡(luò)可以用一層表示y(x)=c^3x。如果要用疊加層則必須使用非線性函數(shù)。