本文目錄一覽：

• 1、神經(jīng)網(wǎng)絡(luò)原理
• 2、BP原理(前饋神經(jīng)網(wǎng)絡(luò))
• 3、深度學(xué)習(xí)之損失函數(shù)與激活函數(shù)的選擇
• 4,、cnn的原理圖解

神經(jīng)網(wǎng)絡(luò)原理

1,、原理：隨著網(wǎng)絡(luò)的層數(shù)增加,，每一層對于前一層次的抽象表示更深入。在神經(jīng)網(wǎng)絡(luò)中,，每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示,。通過抽取更抽象的特征來對事物進(jìn)行區(qū)分，從而獲得更好的區(qū)分與分類能力,。

2,、rbf神經(jīng)網(wǎng)絡(luò)原理是用RBF作為隱單元的“基”構(gòu)成隱含層空間，這樣就可以將輸入矢量直接映射到隱空間,，而不需要通過權(quán)連接,。當(dāng)RBF的中心點確定以后，這種映射關(guān)系也就確定了,。

3,、一共有四種算法及原理，如下所示：自適應(yīng)諧振理論（ART）網(wǎng)絡(luò) 自適應(yīng)諧振理論（ART）網(wǎng)絡(luò)具有不同的方案,。一個ART-1網(wǎng)絡(luò)含有兩層一個輸入層和一個輸出層,。

4、定義 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,， CNN）是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks），是深度學(xué)習(xí)（deep learning）的代表算法之一 ,。

5,、基于神經(jīng)網(wǎng)絡(luò)的控制原理：通過對系統(tǒng)的辨識、運(yùn)算后對變頻器進(jìn)行控制的一種新技術(shù),。神經(jīng)網(wǎng)絡(luò)控制是20世紀(jì)80年代末期發(fā)展起來的自動控制領(lǐng)域的前沿學(xué)科之一寫作貓,。

BP原理(前饋神經(jīng)網(wǎng)絡(luò))

BP神經(jīng)網(wǎng)絡(luò)被稱為“深度學(xué)習(xí)之旅的開端”，是神經(jīng)網(wǎng)絡(luò)的入門算法,。各種高大上的神經(jīng)網(wǎng)絡(luò)都是基于BP網(wǎng)絡(luò)出發(fā)的,，最基礎(chǔ)的原理都是由BP網(wǎng)絡(luò)而來，另外由于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單,，算法經(jīng)典,， 是神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的一種。

人工神經(jīng)網(wǎng)絡(luò)有很多模型,，但是日前應(yīng)用最廣,、基本思想最直觀、最容易被理解的是多層前饋神經(jīng)網(wǎng)絡(luò)及誤差逆?zhèn)鞑W(xué)習(xí)算法（Error Back-Prooaeation）,，簡稱為BP網(wǎng)絡(luò),。

BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò),，其主要的特點是：信號是前向傳播的，而誤差是反向傳播的,。

bp基本原理是： 利用前向傳播最后輸出的結(jié)果來計算誤差的偏導(dǎo)數(shù),，再用這個偏導(dǎo)數(shù)和前面的隱藏層進(jìn)行加權(quán)求和，如此一層一層的向后傳下去,，直到輸入層（不計算輸入層）,，最后利用每個節(jié)點求出的偏導(dǎo)數(shù)來更新權(quán)重。

深度學(xué)習(xí)之損失函數(shù)與激活函數(shù)的選擇

1,、Sigmoid的函數(shù)特性導(dǎo)致反向傳播算法收斂速度慢的問題,，那么如何改進(jìn)呢？換掉Sigmoid,？這當(dāng)然是一種選擇,。另一種常見的選擇是用交叉熵?fù)p失函數(shù)來代替均方差損失函數(shù)。每個樣本的交叉熵?fù)p失函數(shù)的形式：其中,，,？為向量內(nèi)積。

2,、深度學(xué)習(xí)之損失函數(shù)與激活函數(shù)的選擇在深度神經(jīng)網(wǎng)絡(luò)（DNN）反向傳播算法（BP）中,，我們對DNN的前向反向傳播算法的使用做了總結(jié)。其中使用的損失函數(shù)是均方差,，而激活函數(shù)是Sigmoid,。實際上DNN可以使用的損失函數(shù)和激活函數(shù)不少。

3,、深度學(xué)習(xí)損失函數(shù) 在利用深度學(xué)習(xí)模型解決有監(jiān)督問題時,，比如分類、回歸,、去噪等,，我們一般的思路如下：信息流forward propagation，直到輸出端,；定義損失函數(shù)L（x,， y | theta）；誤差信號back propagation,。

cnn的原理圖解

人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素 Pixels）,，接著做初步處理（大腦皮層某些細(xì)胞發(fā)現(xiàn)邊緣和方向），然后抽象（大腦判定,，眼前的物體的形狀,，是圓形的），然后進(jìn)一步抽象（大腦進(jìn)一步判定該物體是只氣球）,。

cnn的原理圖解是利用卷積（convolve）和激活函數(shù)（activation function）進(jìn)行特征提取,，得到一種新型的神經(jīng)網(wǎng)絡(luò)模型,。

RCNN 的作者 Ross Girshick 提出了這個想法，即每張圖像只運(yùn)行一次 CNN,，然后找到一種方法在 2,，000 個區(qū)域之間共享該計算。在 Fast RCNN 中,，我們將輸入圖像提供給 CNN,，后者反過來生成卷積特征圖。

CRNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖 2-1 所示,，輸入為經(jīng)過文字檢測的文本框（小圖）,，輸出為具體的文字內(nèi)容 “state”，從下往上的結(jié)構(gòu)依次為：卷積層,、循環(huán)層和翻譯層,。卷積層：使用深度 CNN 進(jìn)行圖像的局部特征提取。

在R-CNN中,，CNN只被用來作為特征抽取,，后接SVM和線性回歸模型分別用于分類和box修正回歸。

定義 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks,， CNN）是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks）,，是深度學(xué)習(xí)（deep learning）的代表算法之一 。