作者：柏安之 審稿：王鵬 封面：吉江
輸出層權值調整
給定訓練集和模型輸出（這裡沒有上標l是因為這裡在討論輸出層，l是固定的），輸出層的輸出誤差（或稱損失函式吧）定義為：
其實就是所有例項對應的誤差的平方和的一半，訓練的目標就是最小化該誤差。怎麼最小化呢？看損失函式對引數的導數唄。
將E的定義代入該導數：
無關變數拿出來：
將=（輸出層的輸出等於輸入代入Sigmoid函式）這個關係代入有：
對Sigmoid求導有：
由於輸出層第k個節點的輸入等於上一層第j個節點的輸出，而上一層的輸出是與到輸出層的權值變數無關的，所以對求權值變數的偏導數直接等於其本身，也就是說：==。然後將上面用過的=代進去就得到最終的：
為了表述方便將上式記作：
其中：
隱藏層權值調整
依然採用類似的方法求導，只不過求的是關於隱藏層和前一層的權值引數的偏導數：
代入Sigmoid：
把=代進去，並且將導數部分拆開：
輸出層的輸入等於上一層的輸出乘以相應的權值，亦即=，於是得到：
把最後面的導數挪到前面去，
再次利用=，這對j也成立，代進去：
再次利用=，j換成i，k換成j也成立，代進去：
利用剛才定義的，最終得到：
其中：
我們還可以仿照的定義來定義一個，得到：
其中
偏置的調整
∂O/∂θ=O（1–O）
然後再求
，
後面的導數等於，代進去有
其中，
參考文獻：
［1］邱浩，王道波，張煥春。 一種改進的反向傳播神經網路演算法［J］。 應用科學學報，2004，03：384-387。
［2］劉彩紅。 BP神經網路學習演算法的研究［D］。重慶師範大學，2008。
［3］柴紹斌。 基於神經網路的資料分類研究［D］。大連理工大學，2007。
［4］王偉。 人工神經網路原理［M］。 北京航空航天大學出版社， 1995。
［5］王磊。 人工神經網路原理、分類及應用［J］。 科技資訊， 2014（3）：240-241
［6］陳明。 MATLAB神經網路原理與例項精解［M］。 清華大學出版社， 2013。。
［7］https：//www。zhihu。com/question/27239198？rf=24827633
［8］https：//blog。csdn。net/tyhj_sf/article/details/54134210
［9］https：//blog。csdn。net/Tw6cy6uKyDea86Z/article/details/79283446
溫
馨
提==
示
學堂正在招募內容主筆、短影片創作者、課程講師，請在公眾號底部選單欄點選“招聘”瞭解詳情！
