人工神經(jīng)網(wǎng)絡(luò)應(yīng)用實(shí)例分析

人工神經(jīng)網(wǎng)絡(luò)的研究方法及應(yīng)用

實(shí)例分析

2008.6.10一、人工神經(jīng)網(wǎng)絡(luò)知識(shí)回顧

1、什么是人工神經(jīng)網(wǎng)絡(luò)？T.Koholen的定義：“人工神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。”2、神經(jīng)網(wǎng)絡(luò)基本模型細(xì)胞體突觸軸突樹突圖1.

生物神經(jīng)元功能模型輸入輸出信息處理電脈沖形成傳輸圖2BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)模型3、人工神經(jīng)網(wǎng)絡(luò)研究的局限性（1）ANN研究受到腦科學(xué)研究成果的限制。（2）ANN缺少一個(gè)完整、成熟的理論體系。（3）ANN研究帶有濃厚的策略和經(jīng)驗(yàn)色彩。（4）ANN與傳統(tǒng)技術(shù)的接口不成熟。

（1）一般而言,ANN與經(jīng)典計(jì)算方法相比并非優(yōu)越,只有當(dāng)常規(guī)方法解決不了或效果不佳時(shí)ANN方法才能顯示出其優(yōu)越性。尤其對(duì)問題的機(jī)理不甚了解或不能用數(shù)學(xué)模型表示的系統(tǒng),如故障診斷、特征提取和預(yù)測(cè)等問題,ANN往往是最有利的工具。（2）另一方面,ANN對(duì)處理大量原始數(shù)據(jù)而不能用規(guī)則或公式描述的問題,表現(xiàn)出極大的靈活性和自適應(yīng)性。黑箱二、神經(jīng)網(wǎng)絡(luò)的應(yīng)用實(shí)例

人工神經(jīng)網(wǎng)絡(luò)以其具有自學(xué)習(xí)、自組織、較好的容錯(cuò)性和優(yōu)良的非線性逼近能力，受到眾多領(lǐng)域?qū)W者的關(guān)注。在實(shí)際應(yīng)用中，80%～90%的人工神經(jīng)網(wǎng)絡(luò)模型是采用誤差反傳算法或其變化形式的網(wǎng)絡(luò)模型（簡稱BP網(wǎng)絡(luò)），目前主要應(yīng)用于函數(shù)逼近、模式識(shí)別、分類和數(shù)據(jù)壓縮或數(shù)據(jù)挖掘。1.樣本數(shù)據(jù)1.1收集和整理分組采用BP神經(jīng)網(wǎng)絡(luò)方法建模的首要和前提條件是有足夠多典型性好和精度高的樣本。為監(jiān)控訓(xùn)練（學(xué)習(xí)）過程使之不發(fā)生“過擬合”和評(píng)價(jià)建立的網(wǎng)絡(luò)模型的性能和泛化能力，必須將收集到的數(shù)據(jù)隨機(jī)分成訓(xùn)練樣本、檢驗(yàn)樣本（10%以上）和測(cè)試樣本（10%以上）3部分。數(shù)據(jù)分組時(shí)還應(yīng)盡可能考慮樣本模式間的平衡。1.2輸入/輸出變量的確定及其數(shù)據(jù)的預(yù)處理一般地，BP網(wǎng)絡(luò)的輸入變量即為待分析系統(tǒng)的內(nèi)生變量（影響因子或自變量）數(shù),一般根據(jù)專業(yè)知識(shí)確定。若輸入變量較多，一般可通過主成份分析方法壓減輸入變量，也可根據(jù)剔除某一變量引起的系統(tǒng)誤差與原系統(tǒng)誤差的比值的大小來壓減輸入變量。輸出變量即為系統(tǒng)待分析的外生變量（系統(tǒng)性能指標(biāo)或因變量），可以是一個(gè)，也可以是多個(gè)。一般將一個(gè)具有多個(gè)輸出的網(wǎng)絡(luò)模型轉(zhuǎn)化為多個(gè)具有一個(gè)輸出的網(wǎng)絡(luò)模型效果會(huì)更好，訓(xùn)練也更方便。1.3數(shù)據(jù)的預(yù)處理要對(duì)輸入數(shù)據(jù)進(jìn)行預(yù)處理。

如果輸出層節(jié)點(diǎn)也采用Sigmoid轉(zhuǎn)換函數(shù)，輸出變量也必須作相應(yīng)的預(yù)處理，否則，輸出變量也可以不做預(yù)處理。預(yù)處理的方法有多種多樣，各文獻(xiàn)采用的公式也不盡相同。但必須注意的是，預(yù)處理的數(shù)據(jù)訓(xùn)練完成后，網(wǎng)絡(luò)輸出的結(jié)果要進(jìn)行反變換才能得到實(shí)際值。再者，為保證建立的模型具有一定的外推能力，最好使數(shù)據(jù)預(yù)處理后的值在0.2~0.8之間。2.神經(jīng)網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的確定2.1隱層數(shù)的選取

一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差（也有文獻(xiàn)認(rèn)為不一定能有效降低），提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過擬合”的傾向。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的MLP網(wǎng)絡(luò)能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。2.2隱層節(jié)點(diǎn)數(shù)在BP網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對(duì)建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。

目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對(duì)訓(xùn)練樣本任意多的情況，而且多數(shù)是針對(duì)最不利的情況，一般工程實(shí)踐中很難滿足，不宜采用。事實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。為盡可能避免訓(xùn)練時(shí)出現(xiàn)“過擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：