本文目錄一覽：

• 1,、神經(jīng)網(wǎng)絡(luò)原理
• 2,、BP原理(前饋神經(jīng)網(wǎng)絡(luò))
• 3、深度學(xué)習(xí)之損失函數(shù)與激活函數(shù)的選擇
• 4,、cnn的原理圖解

神經(jīng)網(wǎng)絡(luò)原理

1,、原理：隨著網(wǎng)絡(luò)的層數(shù)增加,，每一層對(duì)于前一層次的抽象表示更深入。在神經(jīng)網(wǎng)絡(luò)中,，每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示,。通過(guò)抽取更抽象的特征來(lái)對(duì)事物進(jìn)行區(qū)分，從而獲得更好的區(qū)分與分類能力,。

2,、rbf神經(jīng)網(wǎng)絡(luò)原理是用RBF作為隱單元的“基”構(gòu)成隱含層空間，這樣就可以將輸入矢量直接映射到隱空間,，而不需要通過(guò)權(quán)連接,。當(dāng)RBF的中心點(diǎn)確定以后，這種映射關(guān)系也就確定了。

3,、一共有四種算法及原理,，如下所示：自適應(yīng)諧振理論（ART）網(wǎng)絡(luò) 自適應(yīng)諧振理論（ART）網(wǎng)絡(luò)具有不同的方案。一個(gè)ART-1網(wǎng)絡(luò)含有兩層一個(gè)輸入層和一個(gè)輸出層,。

4,、定義 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks）,，是深度學(xué)習(xí)（deep learning）的代表算法之一 ,。

5、基于神經(jīng)網(wǎng)絡(luò)的控制原理：通過(guò)對(duì)系統(tǒng)的辨識(shí),、運(yùn)算后對(duì)變頻器進(jìn)行控制的一種新技術(shù),。神經(jīng)網(wǎng)絡(luò)控制是20世紀(jì)80年代末期發(fā)展起來(lái)的自動(dòng)控制領(lǐng)域的前沿學(xué)科之一寫(xiě)作貓。

BP原理(前饋神經(jīng)網(wǎng)絡(luò))

BP神經(jīng)網(wǎng)絡(luò)被稱為“深度學(xué)習(xí)之旅的開(kāi)端”,，是神經(jīng)網(wǎng)絡(luò)的入門算法,。各種高大上的神經(jīng)網(wǎng)絡(luò)都是基于BP網(wǎng)絡(luò)出發(fā)的，最基礎(chǔ)的原理都是由BP網(wǎng)絡(luò)而來(lái),，另外由于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單,，算法經(jīng)典， 是神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的一種,。

人工神經(jīng)網(wǎng)絡(luò)有很多模型,，但是日前應(yīng)用最廣、基本思想最直觀,、最容易被理解的是多層前饋神經(jīng)網(wǎng)絡(luò)及誤差逆?zhèn)鞑W(xué)習(xí)算法（Error Back-Prooaeation）,，簡(jiǎn)稱為BP網(wǎng)絡(luò)。

BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò),，其主要的特點(diǎn)是：信號(hào)是前向傳播的,，而誤差是反向傳播的。

bp基本原理是： 利用前向傳播最后輸出的結(jié)果來(lái)計(jì)算誤差的偏導(dǎo)數(shù),，再用這個(gè)偏導(dǎo)數(shù)和前面的隱藏層進(jìn)行加權(quán)求和,，如此一層一層的向后傳下去，直到輸入層（不計(jì)算輸入層）,，最后利用每個(gè)節(jié)點(diǎn)求出的偏導(dǎo)數(shù)來(lái)更新權(quán)重,。

深度學(xué)習(xí)之損失函數(shù)與激活函數(shù)的選擇

1、Sigmoid的函數(shù)特性導(dǎo)致反向傳播算法收斂速度慢的問(wèn)題,，那么如何改進(jìn)呢,？換掉Sigmoid？這當(dāng)然是一種選擇,。另一種常見(jiàn)的選擇是用交叉熵?fù)p失函數(shù)來(lái)代替均方差損失函數(shù),。每個(gè)樣本的交叉熵?fù)p失函數(shù)的形式：其中,，？為向量?jī)?nèi)積,。

2,、深度學(xué)習(xí)之損失函數(shù)與激活函數(shù)的選擇在深度神經(jīng)網(wǎng)絡(luò)（DNN）反向傳播算法（BP）中，我們對(duì)DNN的前向反向傳播算法的使用做了總結(jié),。其中使用的損失函數(shù)是均方差,，而激活函數(shù)是Sigmoid。實(shí)際上DNN可以使用的損失函數(shù)和激活函數(shù)不少,。

3,、深度學(xué)習(xí)損失函數(shù) 在利用深度學(xué)習(xí)模型解決有監(jiān)督問(wèn)題時(shí)，比如分類,、回歸,、去噪等，我們一般的思路如下：信息流forward propagation,，直到輸出端,；定義損失函數(shù)L（x， y | theta）,；誤差信號(hào)back propagation。

cnn的原理圖解

人類的視覺(jué)原理如下：從原始信號(hào)攝入開(kāi)始（瞳孔攝入像素 Pixels）,，接著做初步處理（大腦皮層某些細(xì)胞發(fā)現(xiàn)邊緣和方向）,，然后抽象（大腦判定，眼前的物體的形狀,，是圓形的）,，然后進(jìn)一步抽象（大腦進(jìn)一步判定該物體是只氣球）。

cnn的原理圖解是利用卷積（convolve）和激活函數(shù)（activation function）進(jìn)行特征提取,，得到一種新型的神經(jīng)網(wǎng)絡(luò)模型,。

RCNN 的作者 Ross Girshick 提出了這個(gè)想法，即每張圖像只運(yùn)行一次 CNN,，然后找到一種方法在 2,，000 個(gè)區(qū)域之間共享該計(jì)算。在 Fast RCNN 中,，我們將輸入圖像提供給 CNN,，后者反過(guò)來(lái)生成卷積特征圖。

CRNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖 2-1 所示,，輸入為經(jīng)過(guò)文字檢測(cè)的文本框（小圖）,，輸出為具體的文字內(nèi)容 “state”，從下往上的結(jié)構(gòu)依次為：卷積層,、循環(huán)層和翻譯層,。卷積層：使用深度 CNN 進(jìn)行圖像的局部特征提取,。

在R-CNN中，CNN只被用來(lái)作為特征抽取,，后接SVM和線性回歸模型分別用于分類和box修正回歸,。

定義 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks）,，是深度學(xué)習(xí)（deep learning）的代表算法之一 ,。