本文目錄一覽：
神經(jīng)網(wǎng)絡(luò)原理
1、原理：隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對于前一層次的抽象表示更深入。在神經(jīng)網(wǎng)絡(luò)中，每一層神經(jīng)元學習到的是前一層神經(jīng)元值的更抽象的表示。通過抽取更抽象的特征來對事物進行區(qū)分，從而獲得更好的區(qū)分與分類能力。
2、rbf神經(jīng)網(wǎng)絡(luò)原理是用RBF作為隱單元的“基”構(gòu)成隱含層空間，這樣就可以將輸入矢量直接映射到隱空間，而不需要通過權(quán)連接。當RBF的中心點確定以后，這種映射關(guān)系也就確定了。
3、一共有四種算法及原理，如下所示：自適應諧振理論（ART）網(wǎng)絡(luò) 自適應諧振理論（ART）網(wǎng)絡(luò)具有不同的方案。一個ART-1網(wǎng)絡(luò)含有兩層一個輸入層和一個輸出層。
4、定義 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks），是深度學習（deep learning）的代表算法之一 。
5、基于神經(jīng)網(wǎng)絡(luò)的控制原理：通過對系統(tǒng)的辨識、運算后對變頻器進行控制的一種新技術(shù)。神經(jīng)網(wǎng)絡(luò)控制是20世紀80年代末期發(fā)展起來的自動控制領(lǐng)域的前沿學科之一寫作貓。
BP原理(前饋神經(jīng)網(wǎng)絡(luò))
BP神經(jīng)網(wǎng)絡(luò)被稱為“深度學習之旅的開端”，是神經(jīng)網(wǎng)絡(luò)的入門算法。各種高大上的神經(jīng)網(wǎng)絡(luò)都是基于BP網(wǎng)絡(luò)出發(fā)的，最基礎(chǔ)的原理都是由BP網(wǎng)絡(luò)而來，另外由于BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，算法經(jīng)典， 是神經(jīng)網(wǎng)絡(luò)中應用最廣泛的一種。
人工神經(jīng)網(wǎng)絡(luò)有很多模型，但是日前應用最廣、基本思想最直觀、最容易被理解的是多層前饋神經(jīng)網(wǎng)絡(luò)及誤差逆?zhèn)鞑W習算法（Error Back-Prooaeation），簡稱為BP網(wǎng)絡(luò)。
BP神經(jīng)網(wǎng)絡(luò)是一種多層的前饋神經(jīng)網(wǎng)絡(luò)，其主要的特點是：信號是前向傳播的，而誤差是反向傳播的。
bp基本原理是： 利用前向傳播最后輸出的結(jié)果來計算誤差的偏導數(shù)，再用這個偏導數(shù)和前面的隱藏層進行加權(quán)求和，如此一層一層的向后傳下去，直到輸入層（不計算輸入層），最后利用每個節(jié)點求出的偏導數(shù)來更新權(quán)重。
深度學習之損失函數(shù)與激活函數(shù)的選擇
1、Sigmoid的函數(shù)特性導致反向傳播算法收斂速度慢的問題，那么如何改進呢？換掉Sigmoid？這當然是一種選擇。另一種常見的選擇是用交叉熵損失函數(shù)來代替均方差損失函數(shù)。每個樣本的交叉熵損失函數(shù)的形式：其中，？為向量內(nèi)積。
2、深度學習之損失函數(shù)與激活函數(shù)的選擇在深度神經(jīng)網(wǎng)絡(luò)（DNN）反向傳播算法（BP）中，我們對DNN的前向反向傳播算法的使用做了總結(jié)。其中使用的損失函數(shù)是均方差，而激活函數(shù)是Sigmoid。實際上DNN可以使用的損失函數(shù)和激活函數(shù)不少。
3、深度學習損失函數(shù) 在利用深度學習模型解決有監(jiān)督問題時，比如分類、回歸、去噪等，我們一般的思路如下：信息流forward propagation，直到輸出端；定義損失函數(shù)L（x， y | theta）；誤差信號back propagation。
cnn的原理圖解
人類的視覺原理如下：從原始信號攝入開始（瞳孔攝入像素 Pixels），接著做初步處理（大腦皮層某些細胞發(fā)現(xiàn)邊緣和方向），然后抽象（大腦判定，眼前的物體的形狀，是圓形的），然后進一步抽象（大腦進一步判定該物體是只氣球）。
cnn的原理圖解是利用卷積（convolve）和激活函數(shù)（activation function）進行特征提取，得到一種新型的神經(jīng)網(wǎng)絡(luò)模型。
RCNN 的作者 Ross Girshick 提出了這個想法，即每張圖像只運行一次 CNN，然后找到一種方法在 2，000 個區(qū)域之間共享該計算。在 Fast RCNN 中，我們將輸入圖像提供給 CNN，后者反過來生成卷積特征圖。
CRNN 網(wǎng)絡(luò)結(jié)構(gòu)如圖 2-1 所示，輸入為經(jīng)過文字檢測的文本框（小圖），輸出為具體的文字內(nèi)容 “state”，從下往上的結(jié)構(gòu)依次為：卷積層、循環(huán)層和翻譯層。卷積層：使用深度 CNN 進行圖像的局部特征提取。
在R-CNN中，CNN只被用來作為特征抽取，后接SVM和線性回歸模型分別用于分類和box修正回歸。
定義 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks），是深度學習（deep learning）的代表算法之一 。
