神經網路簡介
神經網路是深度學習系統的基石。為了在深度學習方面取得成功，我們需要從回顧神經網路的基礎知識開始，包括
架構
、
神經
網路
演算法等等
。
什麼是神經網路？
神經網路技術起源於上世紀五、六十年代，當時叫感知機（perceptron），擁有輸入層、輸出層和一個隱含層
許多涉及智慧、模式識別和物體檢測的任務都
極難自動化
，但動物和幼兒
似乎可以輕鬆自然地完成
。例如，小孩子如何學會區
分校車
和
公交車
之間的區別？我們自己的大腦是如何在不知不覺中每天下意識地執行復雜的識別任務的？我們是如何一眼就能區分貓與狗的？
我們每個人都包含一個現實生活中的生物神經網路，它與我們的神經系統相連——這個網路由大量相互連線的
神經元
（神經細胞）組成。
“人工神經網路”
是一種試圖模仿我們神經系統中的神經連線的計算系統。人工神經網路也被稱為
“神經網路”
或
“人工神經系統”。
通常縮寫人工神經網路並將它們稱為
“ANN”
或簡稱為
“NN”
。
對於一個被視為神經網路的系統，它必須包含一個帶標籤的圖結構，圖中的每個節點都執行一些
簡單的計算
。從圖論中，我們知道圖由一組節點（即頂點）和一組將節點對連線在一起的連線（即邊）組成。在下
圖 中，
我們可以看到此類 NN 圖的示例。
一個簡單的神經網路架構。輸入呈現給網路。每個連線透過網路中的兩個隱藏層承載一個訊號。最後一個函式計算輸出類標籤。
每個節點執行一個簡單的計算。然後，每個連線將
訊號
（即計算的輸出）從一個節點傳送到另一個節點，用
權重
標記，指示訊號被放大或減弱的程度。一些連線具有放大訊號的
正權重
，表明訊號在進行分類時非常重要。其他的具有
負權重，
降低了訊號的強度，從而指定節點的輸出在最終分類中不太重要。我們稱這樣的系統為
人工神經網路
人工模型
讓我們首先看看一個基本的神經網路，它對輸入執行簡單的加權求和。值
x
1
、x
2
和 x
3是我們 NN的
輸入
，通常對應於我們設計矩陣中的
單行
（即資料點）。常數值 1 是我們的偏差，假定已嵌入到設計矩陣中。我們可以將這些輸入視為神經網路的輸入特徵向量。
一個簡單的神經網路，它採用輸入
x
和權重
w
的加權和。這個加權和然後透過啟用函式來確定神經元是否啟用。
在實踐中，這些輸入可以是用於以系統的、預定義的方式量化影象內容的向量（例如，顏色直方圖、定向梯度直方圖、區域性二進位制模式等）。在深度學習的背景下，這些輸入是影象本身的原始畫素強度。
每個x透過一個由w 1 ， w 2 ， 。。。， w n組成的權重向量W連線到一個神經元，這意味著對於每個輸入x，我們也有一個關聯的權重w。
最後，右側的輸出節點取加權和，應用啟用函式f（用於確定神經元是否“觸發”），並輸出一個值。以數學方式表達輸出，通常會遇到以下三種形式：
f （ w 1 x 1 + w 2 x 2 + 。。。 + w n x n ）
f （∑ n i =1 w i x i ）
或者簡單地說，f （ net ），其中net = ∑ n i =1 w i x i
不管輸出值如何表達，我們只是對輸入進行加權求和，然後應用啟用函式f
啟用函式
最簡單的啟用函式是感知器演算法使用的“階躍函式”。
從上面的等式我們可以看出，這是一個非常簡單的閾值函式。如果加權和 ∑
n i
=1
w i x i >
0，則輸出 1，否則輸出 0。
沿
x
軸輸入值，沿
y
軸繪製
f
（
net
）的輸出
，
我們可以看到為什麼這個啟用函式由此得名。當
net
小於或等於零時，
f
的輸出始終為零。如果
net
大於零，則
f
將返回 1。
左上角：
階躍函式。
右上角：
Sigmoid 啟用函式。
左中：
雙曲正切。
中右：
ReLU 啟用（深度神經網路最常用的啟用函式）。
左下：
Leaky ReLU，允許負數的 ReLU 變體。
右下：
ELU，ReLU 的另一種變體，其效能通常優於 Leaky ReLU。
然而，雖然直觀且易於使用，但階梯函式不可微，這可能會導致在應用梯度下降和訓練我們的網路時出現問題。
相反，神經網路更常見的啟用函式是 sigmoid 函式它遵循以下等式：
sigmoid 函式是比簡單階躍函式更好的學習選擇，因為它：
處處連續且可微。
圍繞
y
軸對稱。
漸近地接近其飽和值。
這裡的主要優點是 sigmoid 函式的平滑性使得設計學習演算法變得更加容易。但是，sigmoid函式有
兩個大問題
：
sigmoid 的輸出不是以零為中心的。
飽和神經元基本上會殺死梯度，因為梯度的增量非常小。
直到 1990 年代後期，雙曲正切或
tanh
（具有類似 sigmoid 的形狀）也被大量用作啟用函式：
tanh
的方程如下：
f
（
z
） =
tanh
（
z
） = （
e z -e -z
）
/
（
e z
+
e -z
）
所述
的tanh
函式零為中心，但是，當神經元變得飽和梯度仍然殺死。
我們現在知道啟用函式有比 sigmoid 和
tanh
函式更好的選擇。
f （ x ） = max （0 ， x ）
ReLU 也被稱為“斜坡函式”，因為它們在繪製時的外觀。注意函式對於負輸入是如何為零的，但對於正值則線性增加。ReLU 函式是不可飽和的，並且在計算上也非常高效。
根據經驗，在RELU啟用功能趨於超越
sigmoid 和
tanh
在幾乎所有的應用功能。ReLU 啟用函式比之前的啟用函式家族具有更強的生物動機，包括更完整的數學理由。
截至 2015 年，ReLU 是深度學習中最流行的啟用函式。然而，當我們的值為零時會出現一個問題——不能採用梯度。
ReLU 的一種變體，稱為Leaky ReLU允許在單元不活動時使用小的非零梯度：
我們可以看到該函式確實允許採用負值，這與將函式輸出為零的傳統 ReLU 不同。
Parametric ReLUs，或簡稱 PReLUs，建立在 Leaky ReLUs 的基礎上，允許引數α在一個啟用的基礎上學習，這意味著網路中的每個節點都可以學習與其他節點分開的不同“係數”。
最後，我們還有（ELU）激勵函式 。
α
的值是常數，並
在網路架構例項化時設定
——這與學習效率
α 的
PReLU 不同。對於一個典型的值
α
是
α
= 1
。
ELU 通常比 ReLU 獲得更高的分類準確率。
具有 3 個輸入節點、具有 2 個節點的隱藏層、具有 3 個節點的第二個隱藏層以及具有 2 個節點的最終輸出層的前饋神經網路示例。
使用哪個啟用函式？
鑑於最近深度學習的普及，啟用函數出現了相關的爆炸式增長。由於啟用函式的選擇數量眾多，現代（ReLU、Leaky ReLU、ELU 等）和“經典”（step、sigmoid、
tanh
等），它可能看起來令人生畏，如何來選擇合適的啟用函式。
然而，在幾乎所有情況下，建議從 ReLU 開始以獲得基線準確度。從那裡可以嘗試將標準 ReLU 換成 Leaky ReLU 變體。
前饋網路架構
雖然有許多神經網路的前饋架構，最常見的結構是
Feedforward網路
在這種型別的架構中，節點之間的連線
只允許
從第
i
層的節點到第
i
+1層的節點。不允許向後或層間接連線。當前饋網路包括
反饋連線
（
反饋
到輸入的輸出連線）時，它們被稱為
迴圈神經網路
。
我們專注於前饋神經網路，因為它們是應用於計算機視覺的現代深度學習的基石。卷積神經網路只是前饋神經網路的一個特例。
為了描述一個前饋網路，我們通常使用一個整數序列來快速簡潔地表示每一層的節點數。例如，
上圖
中的網路是一個
3-2-3-2
前饋網路：
第 0 層
包含 3 個輸入，即我們的
x i
值。這些可能是影象的原始畫素強度或從影象中提取的特徵向量。
第 1 層和第 2
層
分別是包含 2 個和 3 個節點的
隱藏層
。
第 3 層
是
輸出層或可見層
——在那裡我們可以從網路中獲得整體輸出分類。輸出層通常具有與類標籤一樣多的節點；每個潛在輸出一個節點。例如，如果我們要構建一個神經網路來對手寫數字進行分類，我們的輸出層將包含 10 個節點，每個節點代表
0-9
。
神經網路有什麼用？
當然，如果使用適當的架構，神經網路可用於監督、無監督和半監督學習任務。神經網路的常見應用包括分類、迴歸、聚類、向量量化、模式關聯和函式逼近等等
事實上，對於機器學習的幾乎每個方面，神經網路都以某種形式得到應用。
1、無人駕駛汽車
無人駕駛使用到了很多人工智慧方面的技術，其中一個計算機視覺便是使用CNN卷積神經網路讓無人駕駛能夠看到路面路況等
2、人臉識別
人臉識別的應用就比較廣泛了，手機人臉解鎖，人臉付款，人臉打卡等
3、機器翻譯
隨著人工智慧學習能力的不斷提升，機器翻譯的準確性得到了大幅提高
4、聲紋識別
生物特徵識別技術包括很多種，除了人臉識別，目前用得比較多的還有聲紋識別。聲紋識別是一種生物鑑權技術，也稱為說話人識別，包括說話人辨認和說話人確認。
聲紋識別的工作過程為，系統採集說話人的聲紋資訊並將其錄入 資料庫 ，當說話人再次說話時，系統會採集這段聲紋資訊並自動與資料庫中已有的聲紋資訊做對比，從而識別出說話人的身份。聲紋解鎖APP，控制智慧家居等等
5、AI智慧機器人
機器人的發展經歷了漫長的發展，隨著人工智慧技術的發展，給機器人加上了智慧的翅膀
6、智慧家居
智慧音箱，智慧冰箱，洗衣機，空調，電視等等，隨著人工智慧技術的發展，現在的家庭家居貌似沒有點人工智慧的點綴，便不好意思立足家居行業
7、推薦系統
大量的資料餵給人工智慧，給人帶來了更多的便利推薦，
個性化推薦系統廣泛存在於各類網站和App中，本質上，它會根據使用者的瀏覽資訊、使用者基本資訊和對物品或內容的偏好程度等多因素進行考量，依託推薦引擎演算法進行指標分類，將與使用者目標因素一致的資訊內容進行聚類，經過協同過濾演算法，實現精確的個性化推薦。
8、影象搜尋
大量瀏覽器中的相似圖片搜尋，
該技術的應用與發展，不僅是為了滿足當下使用者利用影象匹配搜尋以順利查詢到相同或相似目標物的需求，更是為了透過分析使用者的需求與行為，如搜尋同款、相似物比對等
9、大健康
未來醫療，大健康行業會越來越多地走入人類的生活，未來隨著智慧AI的加入，相信人類會提前預測自己的疾病，給人類帶來更加美好的明天。
以上等等都會使用到人工智慧的神經網路技術，就像人類一樣，未來的機器會越來越多的有自己的神經網路，也會越來越聰明。
