《模式識別》課件 第七章 人工神經網絡

第七章人工神經網絡7.1人工神經網絡介紹7.2常用神經網絡人工神經網絡7.1人工神經網絡介紹7.2常用神經網絡人工神經網絡什么是人工神經網絡？人工神經網絡的研究在一定程度上受到了生物學的啟發，因為生物的學習系統是由相互連接的神經元組成的異常復雜的網絡。而人工神經網絡與此大體相似，它是由一系列簡單單元相互密集連接構成，其中每一個單元有一定數量的實值輸入，并產生單一的實數值輸出。7.1人工神經網絡介紹為了加深對這種類比的認識，讓我們考慮一些來自生物學的事實。例如，據估計人類的大腦是由大約個神經元相互連接組成的密集網絡，平均每一個神經元與其他個神經元相連。神經元的活性通常被通向其他神經元的連接激活或抑制。目前知道的最快的神經元轉換時間與計算機的轉換時間相比慢很多。然而人類能夠以驚人的速度做出復雜度驚人的決策。7.1人工神經網絡介紹這個事實使很多人推測，生物神經系統的信息處理能力一定得益于對分布在大量神經元上的信息表示的高度并行處理。ANN系統的一個動機就是獲得這種基于分布表示的高度并行算法。由于ANN只是一定程度地受生物神經系統的啟發，所以ANN并未模擬生物神經系統中的很多復雜特征，而且已經知道ANN的很多特征與生物系統也是不一致的。例如，對于我們考慮的ANN，每個單元輸出單一的不變值，然而生物神經元輸出的是復雜的時序脈沖。7.1人工神經網絡介紹人工神經網絡的特點固有的并行結構和并行處理人工神經網絡與人類的大腦類似，不但結構上是并行的，其處理順序也是并行的。在同一層內的處理單元都是同時工作的，即神經網絡的計算功能分布在多個處理單元上，而傳統的計算機通常只有一個處理單元，其處理順序是串行的。目前的神經網絡功能常常用一般計算機的串行工作方式來模擬，所以顯得很慢，真正意義上的神經網絡將會大大提高處理速度，實現快速處理。7.1人工神經網絡介紹人工神經網絡的特點容錯性人類大腦具有很強的容錯能力，這正是由于大腦中知識是存儲在很多處理單元和它們的連接上的。每天大腦的一些細胞都可能會自動死亡，但這并沒有影響人們的記憶和思考能力。人工神經網絡可以從不完善的數據和圖形進行學習和做出決定由于知識存在整個系統中，而不是在一個存儲單元內，因此一定比例的結點不參與運算，對整個系統的性能不會產生重大影響。7.1人工神經網絡介紹人工神經網絡的特點自適應性人工神經網絡也具有學習能力有指導的訓練：將輸入樣本加到網絡輸入并給出相應的輸出，通過多次訓練迭代獲得連接權值。（有監督：感知器神經網絡、徑向基函數網絡）無指導的訓練：網絡通過訓練自行調節連接加權，從而對輸入樣本分類。（無監督：自組織神經網絡）在網絡訓練時，有時只能給出大量的輸入圖形，沒有指定它們的輸出，網絡就自行按輸入圖形的特征對它們進行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。7.1人工神經網絡介紹人工神經網絡的特點自適應性人工神經網絡具有推理能力綜合推理的能力：網絡具有正確響應和分辨從未見過的輸入樣本的能力。進行數字圖形的識別時，對于不完善的數字圖形或失真的數字圖形仍能正確辨認。7.1人工神經網絡介紹人工神經系統（ANS）神經網絡（NN）自適應系統（AdaptiveSystems）、自適應網（AdaptiveNetworks）聯接模型（Connectionism）神經計算機（Neurocomputer）人工神經網絡的別名7.1人工神經網絡介紹ANN與傳統AI技術的比較項目傳統的AI技術

ANN技術

基本實現方式

串行處理；由程序實現控制

并行處理；對樣本數據進行多目標學習；通過人工神經元之間的相互作用實現控制

基本開發方法

設計規則、框架、程序；用樣本數據進行調試（由人根據已知的環境去構造一個模型）

定義人工神經網絡的結構原型，通過樣本數據，依據基本的學習算法完成學習——自動從樣本數據中抽取內涵（自動適應應用環境）

適應領域

精確計算：符號處理，數值計算非精確計算：模擬處理，感覺，大規模數據并行處理模擬對象

左腦（邏輯思維）右腦（形象思維）7.1人工神經網絡介紹13人工神經元生物神經元是以細胞體為主體，由許多向四面延伸的不規則樹枝狀纖維構成的神經細胞。生物神經元由4部分組成：細胞體、軸突、樹突和突觸。7.1人工神經網絡介紹14人工神經元細胞體：是生物神經元的主體。由細胞核、細胞質和細胞膜組成。細胞核進行呼吸和新陳代謝等許多生化過程。軸突：由細胞體向外伸長的最長一條分支。軸突相當于細胞的輸出電纜，其端部的許多神經末梢為信號輸出子，用于傳出細胞體產生的輸出電化學信號，即神經沖動。樹突：由細胞體向外伸出的其他許多較短的分支。它相當于細胞的輸入端，接受來自四面八方的傳入神經沖動。7.1人工神經網絡介紹突觸：神經元之間通過軸突（輸出）和樹突（輸入）相互連接，其接口稱為突觸。多個神經元以突觸相連接即形成了生物神經網絡。突觸有兩種類型：興奮型突觸和抑制型突觸。膜電位：由于細胞膜對細胞液中的不同例子具有不同的通透性，使得細胞膜內外之間存在著電位差，稱為膜電位。7.1人工神經網絡介紹16突觸軸突及突觸與其它許多神經元建立聯系。樹突接收來自不同神經元的信息。神經元之間的這種復雜聯系就形成了相應的神經網絡。7.1人工神經網絡介紹17樹突：輸入端突觸：輸入/輸出的接口；細胞體：微型處理器，它對各種輸入信息進行整合；軸突：輸出信號沿著軸突傳至神經末梢，并通過突觸傳向其他的神經元的樹突。7.1人工神經網絡介紹神經元是構成神經網絡的最基本單元（構件）。人工神經元模型應該具有生物神經元的基本特性。人工神經元是對生物神經元結構和功能的模擬，是對生物神經元的形式化描述，是對生物神經元的信息處理過程的抽象。

7.1人工神經網絡介紹M-P模型M-P模型建立的假設條件每個神經元都是一個多輸入單輸出的信息處理單元；神經元輸入分興奮性輸入和抑制性輸入兩種類型；神經元具有空間整合特性和閾值特性；神經元輸入與輸出間有固定的時滯，主要取決于突觸延擱；忽略時間整合作業和不應期；神經元本身是非時變的，即其突觸時延和突觸強度均為常數。7.1人工神經網絡介紹M-P模型MP神經元模型是1943年，由WarrenMcCulloch和WalterPitts提出的。M-P模型包括了加權、求和和激勵（轉移）三部分功能。神經元接收到來自n個其他神經元傳遞過來的輸入信號x1,x2,…,xn；這些輸入信號通過帶權值的連接進行傳遞w1,w2,…,wn；神經元接收到的總輸入值將與神經元的閾值θ進行比較；通過“激活函數”f(?)處理產生神經元的輸出y。7.1人工神經網絡介紹人工神經元的基本構成人工神經元模擬生物神經元：輸入：X=（x1，x2，…，xn）聯接權：W=（w1，w2，…，wn）T網絡輸入：

net=∑xiwi向量形式：

net=XWxnwn∑x1w1x2w2net=XW…7.1人工神經網絡介紹激活函數——執行對該神經元所獲得的網絡輸入的變換，也可以稱為激勵函數、活化函數，傳遞函數等：

O=f(net)

激活函數(傳遞函數)7.1人工神經網絡介紹單輸入人工神經元神經元輸出傳輸函數偏置(值)輸入權值凈輸入7.1人工神經網絡介紹多輸入神經元簡化符號7.1人工神經網絡介紹25激活函數(1.閾值函數)

階躍函數：符號函數：7.1人工神經網絡介紹激活函數(2.線性傳輸函數)

LinearTransferFunction7.1人工神經網絡介紹27激活函數(3.分段線性函數)

分段線性函數：7.1人工神經網絡介紹激活函數(4.Sigmoid函數)

7.1人工神經網絡介紹Sigmoid函數作為激活函數具有優點：非線性、單調性無限次可微當權值很大時，可近似閾值函數當權值很小時，可近似線性函數Sigmoid函數作為激活函數具有缺點：存在飽和區域，會造成梯度消失：神經網絡使用Sigmoid激活函數進行反向傳播時，輸出接近0或1的神經元其梯度趨近于0。Sigmoid函數輸出是非零對稱的，所有的W都朝著同一符號方向變化會減小訓練速度。激活函數(4.Sigmoid函數)

7.1人工神經網絡介紹激活函數(5.Tanh函數)

優點：Tanh（雙曲正切）

函數的取值范圍在(-1,1)之間，單調連續，異于求導；tanh函數線性區斜率較Sigmoid更大一些，在此區域內訓練速度會更快；tanh函數輸出均值為零（關于圓點對稱），也就不存在Sigmoid函數中

dW恒為正或者恒為負，從而影響訓練速度的問題；缺點：tanh函數與Sigmoid函數一樣，也存在飽和區梯度消失問題。7.1人工神經網絡介紹激活函數(6.修正線性單元ReLU函數)

優點：沒有飽和區，不存在梯度消失問題；沒有復雜的指數運算，計算簡單、效率提高；實際收斂速度較快；缺點：當x<0時，ReLU輸出總為零。該神經元輸出為零，則反向傳播時，權重、參數的梯度橫為零，造成權重、參數永遠不會更新，即造成神經元失效；ReLU的輸出仍然是非零對稱的；7.1人工神經網絡介紹激活函數(7.LeakyReLU函數)

優點：沒有飽和區，不存在梯度消失問題；沒有復雜的指數運算，計算簡單、效率提高；實際收斂速度較快；不會造成神經元失效；變形：LeakyReLU可以得到更多擴展。不讓x乘常數項，而是讓x乘超參數；7.1人工神經網絡介紹激活函數名稱輸入/輸出關系圖標Matlab函數硬極限函數Hardlim對稱極限函數Hardlims線性函數Pureline飽和線性函數Satlin7.1人工神經網絡介紹對稱飽和線性函數Satlins對數S型函數Logsig雙曲正切S型函數Tansig正線性函數Poslin競爭函數Compet7.1人工神經網絡介紹35人工神經網絡的基本要素

神經網絡的設計

神經網絡的學習訓練算法人工神經網絡的數學模型：激活函數人工神經網絡的拓撲結構：網絡分幾層、每層幾個節點、節點之間如何連接等等。神經元的模型確定之后，一個神經網絡的特性及能力主要取決于網絡的結構及學習方法。7.1人工神經網絡介紹單層網絡（只計算處理單元層）最簡單的網絡是把一組結點形成一層。左邊的黑色圓點只起著分配輸入信號的作用，沒有計算作用，不看作是網絡的一層。右邊用圓圈表示的一組結點被看作一層。人工神經網絡的拓撲結構7.1人工神經網絡介紹多層網絡一般來說，大而復雜的網絡能提供更強的計算能力。雖然目前已構成了很多網絡模型，但它們的結點都是按層排列的，這一點正是模仿了大腦皮層中的網絡模塊。多層網絡是由單層網絡進行級聯構成的，即上一層的輸出作為下一層的輸入。人工神經網絡的拓撲結構7.1人工神經網絡介紹多層網絡兩層網絡（前饋全連接網絡）人工神經網絡的拓撲結構7.1人工神經網絡介紹多層網絡三層網絡（前饋全連接網絡）人工神經網絡的拓撲結構7.1人工神經網絡介紹多層網絡注意：在構成多層網絡時，層間的轉移函數應是非線性的，否則多層網絡的計算能力并不比單層網絡強。若干的線性單元層疊加還是線性單元。在線性轉移函數的情況下，兩層網絡輸出的計算是第一層的輸出xW1作為第二層的輸入，通過第二個加權矩陣得到網絡的輸出

y=(xW1)W2=x(W1W2)這表明兩層線性網絡等效于單層網絡，只是后者的加權矩陣為兩個加權矩陣的乘積。人工神經網絡的拓撲結構7.1人工神經網絡介紹回歸型網絡（反饋網絡）一般來說，凡包含反饋連接的網絡均稱為回歸型網絡，或稱反饋網絡。一層反饋網絡人工神經網絡的拓撲結構7.1人工神經網絡介紹回歸型網絡（反饋網絡）二層反饋網絡人工神經網絡的拓撲結構7.1人工神經網絡介紹人工神經網絡的拓撲結構根據神經網絡的結構特點，通常把神經網絡模型分成三種類型：反饋型網絡(feedbacknetwork)前饋型網絡(feedforwardnetwork)競爭學習網絡(competitivelearningnetwork)用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經元的活躍度；用負號（“-”）表示傳送來的信號起抑制作用，它用于降低神經元的活躍度。7.1人工神經網絡介紹前饋型網絡(feedforwardnetwork)

基本特點：結點按照一定的層次排列；網絡是單向的，信號只能按照單一的方向，從下一層結點傳遞到相應的上一層結點；上層結點與下一層所有結點相聯接。層間（Inter-field）聯接

代表網絡：多層感知機徑向基函數網絡7.1人工神經網絡介紹反饋型網絡(feedbacknetwork)

基本特點：輸入信號作用于神經元結點后，各個結點的輸出又作為輸入反饋到各結點，形成一個動態系統，當系統穩定后讀取其輸出；層間（Inter-field）聯接循環聯接

代表網絡：Hopfield網絡7.1人工神經網絡介紹競爭學習網絡(competitivelearningnetwork)基本特點：神經元結點通常排列在同一個層次上；沒有反饋聯接，但是結點之間有橫向的聯接或相互影響；在學習時通過神經元之間的競爭實現特定的映射。層內（Intra-field）聯接代表網絡：自組織映射(SOM)網絡7.1人工神經網絡介紹感知器是一種早期的神經網絡模型，由美國學者F.Rosenblatt于1957年提出。感知器中第一次引入了學習的概念，使人腦所具備的學習功能在基于符號處理的數學到了一定程度的模擬，所以引起了廣泛的關注。簡單感知器：簡單感知器模型實際上仍然是M-P模型的結構。它是一種單層感知器模型，一層為輸入層（只負責接收輸入信號，無信息處理能力），另一層具有計算單元，可以通過采用監督學習來逐步增強模式劃分的能力，達到學習的目的。7.1人工神經網絡介紹感知器模型單輸出的感知器(M-P模型)輸入層神經元輸出層神經元多輸出的感知器輸入層神經元輸出層神經元7.1人工神經網絡介紹49單神經元感知器實例一般來說，感知器的激活函數采用階躍或符號函數。7.1人工神經網絡介紹感知器(perceptron)：單層感知器，通過監督學習建立模式識別能力.多神經元感知器7.1人工神經網絡介紹51單層感知器功能——部分邏輯函數7.1人工神經網絡介紹單層感知器無法解決異或(XOR)問題

g（x,y）y01x001110解決方法：多層感知器7.1人工神經網絡介紹7.1人工神經網絡介紹多層感知器的設計多層感知器可以逼近任意的多元非線性函數輸入層單元數=輸入變量/特征維數輸出層單元數=模式類數/待逼近的函數個數隱層單元數：無有效方法網絡初始化對結果有影響，通常用較小的隨機數學習率η的選擇7.1人工神經網絡介紹在感知器算法中我們實際上是在利用理想輸出與實際輸出之間的誤差作為增量來修正權值，然而在多層感知器中，我們只能計算出輸出層的誤差，中間隱層由于不直接與外界連接，其誤差無法估計。反向傳播算法（BP算法）的思想：從后向前反向逐層傳播輸出層的誤差，以間接計算隱層的誤差。算法可以分為兩個階段：正向過程：從輸入層經隱層逐層正向計算各單元的輸出；反向過程：由輸出誤差逐層反向計算隱層各單元的誤差，并用此誤差修正前層的權值。反向傳播算法（BP）7.1人工神經網絡介紹56學習從一個未訓練的網絡開始；向輸入層提供一個訓練樣本，前饋獲得誤差；誤差或準則函數是權值的某種標量函數（如：最小平方誤差LMS準則），它在網絡輸出與期望輸出匹配時達到最小；學習算法：將權值向著可以減小誤差值的方向調整；BP算法對每個隱單元計算有效誤差，并基于梯度下降法推導出一個從輸出層反向計算到第一個隱層的學習規則。7.1人工神經網絡介紹57（1）選擇一組訓練樣本，每一個樣本由輸入信息和期望的輸出結果兩部分組成。（2）從訓練樣本集中取一樣本，把輸入信息輸入到網絡中。（3）分別計算經神經元處理后的各層結點的輸出。（4）計算網絡的實際輸出和期望輸出的誤差。（5）從輸出層反向計算到第一個隱層，并按照某種能使誤差向減小方向發展的原則，調整網絡中各神經元的連接權值。（6）對訓練樣本集中的每一個樣本重復（3）-（5）的步驟，直到對整個訓練樣本集的誤差達到要求時為止。BP算法的學習過程7.1人工神經網絡介紹反向傳播算法中采用梯度法修正權值，為此要求輸出函數可微。通常采用Sigmoid函數作為輸出函數。下圖中，BP算法如何修正ωijiOiωijjOjkBP算法如何修正權值7.1人工神經網絡介紹iOiωijjOj對于輸出層而言：是實際輸出值是理想輸出值定義最小均方誤差函數：情況一：單層網絡7.1人工神經網絡介紹定義局部梯度：（這層的輸入對誤差的影響）權值ωij的修正量為：權值ωij對誤差E的影響：iOiωijjOj情況一：單層網絡7.1人工神經網絡介紹61情況一：單層網絡計算此時，結點j為輸出結點，則：iOiωijjOj7.1人工神經網絡介紹62情況二：多層網絡iOiωijjOjkωjk對于輸出層而言：是實際輸出值是理想輸出值定義最小均方誤差函數：7.1人工神經網絡介紹63情況二：多層網絡iOiωijjOjkωjk此時，結點j不是輸出結點，則：7.1人工神經網絡介紹對于Sigmoid函數：將其代入可以得到反向傳播算法的步驟如下：7.1人工神經網絡介紹BP算法流程：(1)選定權系數初值(2)重復下述過程直至收斂(對各個樣本依次計算)1)從前向后各層計算各單元2)對輸出層計算3)從后向前計算各隱層7.1人工神經網絡介紹4)計算并保存各個權值修正量：5)修正權值：以上算法是對每個樣本作權值修正（單樣本）也可以對各個樣本計算后求和，按照總誤差修正權值（批處理）7.1人工神經網絡介紹BP算法的優缺點優點：理論基礎牢固，推導過程嚴謹，物理概念清晰，通用性好等。所以，它是目前用來訓練前饋多層網絡較好的算法。缺點：BP算法的收斂速度一般來說比較慢；BP算法只能收斂于局部最優解，不能保證收斂于全局最優解；當隱層元的數量足夠多時，網絡對訓練樣本的識別率很高，但對測試樣本的識別率有可能很差，即網絡的推廣能力有可能較差。7.1人工神經網絡介紹7.1人工神經網絡介紹7.2常用神經網絡人工神經網絡7.2.1SOM網絡SOM是一種自組織（競爭型）神經網絡，除了SOM外，其他常見的自組織（競爭型）神經網絡還有對偶傳播(CounterPropagation)網絡，自適應共振理論（AdaptiveResonanceTheory）網絡等。1981年芬蘭Helsink大學的T.Kohonen教授提出一種自組織特征映射網，簡稱SOM網，又稱Kohonen網。Kohonen認為：一個神經網絡接受外界輸入模式時，將會分為不同的對應區域，各區域對輸入模式具有不同的響應特征，且該過程是自動完成的。自組織特征映射正是根據這一看法提出，其特點與人腦的自組織特性相類似。7.2.1SOM網絡如圖7.10所示。該網絡由輸入層和輸出層組成，其中輸入層的神經元個數的選取按輸入網絡的向量個數而定，輸入神經元為一維矩陣，接收網絡的輸入信號，輸出層則是由神經元按一定的方式排列成一個二維節點矩陣。輸入層的神經元與輸出層的神經元通過權值相互聯結在一起。當網絡接收到外部的輸入信號以后，輸出層的某個神經元便會“興奮”起來。圖7.10SMO神經網絡模型SOM網絡特點：基本思想：網絡的競爭層的各神經元競爭對輸入模式響應的機會，最后僅有一個神經元成為競爭的勝者。這一獲勝神經元則表示對輸入模式的分類。學習算法：模擬生物神經元之間的興奮、協調與抑制、競爭作用的信息處理的動力學原理來指導網絡的學習與工作，而不像多層神經網絡那樣是以網絡的誤差作為算法的準則。網絡結構：一般是由輸入層和競爭層構成的兩層網絡；兩層之間各神經元實現雙向連接，而且網絡沒有隱含層。有時競爭層各神經元之間還存在橫向連接。7.2.1SOM網絡網絡的輸出神經元之間相互競爭以求被激活，每一時刻只有一個輸出神經元被激活，即為獲勝者。競爭學習的步驟：（1）向量歸一化，對當前向量和全部神經元做歸一化（2）尋找獲勝神經元，依據相似度評價（3）網絡輸出與權值調整步驟（3）完成后回到步驟1繼續訓練，直到學習率衰減到0。學習率處于（0，1]，一般隨著學習的進展而減小，神經元（權重）趨于聚類中心。7.2.1SOM網絡徑向基函數網絡（RBF網絡）是一種常用的前饋神經網絡。（拓撲結構比較固定）

特征：只有一個隱層；隱層單元采用徑向基函數作為輸出函數；（非線性映射，將原始空間投影到高維，從而線性可分。）輸入層到隱層單元間的權值固定為1；輸出結點為線性求和單元隱層到輸出結點的權值可調7.2.2RBF網絡徑向基函數的作用往往是局部的，離中心越遠函數值越小。常用的徑向基函數是高斯函數。其中：輸入向量第i個隱結點的中心徑向基函數（RadialBasisFunction）：某種沿徑向對稱的標量函數。通常定義為空間中任意一點到某一中心之間歐氏距離的單調函數。記為：中心和寬度兩個參數可調7.2.2RBF網絡可以從兩個方面理解RBF網絡函數逼近：把網絡看成對未知函數f(x)的逼近器。一般任何函數都可以表示成一組基函數的加權和，這相當于用隱層單元的輸出函數構成一組基函數來逼近f(x)。線性分類：把隱層看做是對輸入的非線性映射（通常將低維線性不可分的樣本映射到高維空間），再用線性分類器（輸出結點的輸出函數是線性函數）分類。7.2.2RBF網絡RBF網絡學習算法RBF網絡中有三組參數可調：隱層基函數的中心、方差，以及隱層結點與輸出結點之間的權值。RBF網絡學習算法的兩個階段確定RBF函數的中心（核函數的參數）：無師學習訓練隱層與輸出結點之間的權值：有師學習7.2.2RBF網絡RBF網絡學習算法Step1：對所有樣本的輸入進行聚類（可以采用k均值聚類算法），求得各隱層結點RBF函數的中心。Step2：當RBF函數的中心ci確定后，訓練隱層與輸出結點之間的權值。這是一個線性優化問題。（利用訓練樣本監督完成，如最小二乘法，梯度下降法）7.2.2RBF網絡RBF網絡的優缺點RBF網絡與BP網絡主要的不同點是：在非線性映射上采用了不同的輸出函數，分別為徑向基函數與Sigmoid函數。前者的作用是局部的，后者的作用是全局的。已經證明，RBF網絡具有唯一最佳逼近的特性，且無局部極小，可以獲得全局最優解。徑向基函數、隱層結點個數難以確定（人工神經網絡的公共問題），目前尚無解決方案。隱層結點RBF函數的中心難以求解，阻礙了RBF網絡的廣泛應用。7.2.2RBF網絡7.2.3BP網絡BP(BackPropagation)神經網絡是1986年由Rumelhart和McClelland為首的科學家提出的概念，是一種按照誤差逆向傳播算法訓練的多層前饋神經網絡，是目前應用最廣泛的神經網絡。BP神經網絡具有任意復雜的模式分類能力和優良的多維函數映射能力，解決了簡單感知器不能解決的異或(ExclusiveOR，XOR)和一些其他問題。從結構上講，BP網絡具有輸入層、隱藏層和輸出層；從本質上講，BP算法就是以網絡誤差平方為目標函數、采用梯度下降法來計算目標函數的最小值。BP神經網絡基本原理：BP神經網絡的基本思想是梯度下降法，利用梯度搜索技術，以期使網絡的實際輸出值和期望輸出值的誤差均方差為最小。正向傳播時，輸入信號通過隱含層作用于輸出節點，經過非線性變換，產生輸出信號，若實際輸出與期望輸出不相符，則轉入誤差的反向傳播過程。反向傳播時，將輸出誤差通過隱含層向輸入層逐層反傳，并將誤差分攤給各層所有單元，以從各層獲得的誤差信號作為調整各單元權值的依據。通過調整輸入節點與隱層節點的聯接強度和隱層節點與輸出節點的聯接強度以及閾值，使誤差沿梯度方向下降，經過反復學習訓練，確定與最小誤差相對應的網絡參數(權值和閾值)，訓練即告停止。7.2.3BP網絡BP神經網絡結構：BP網絡是在輸入層與輸出