人工智能及其應用-機器學習

第七章機器學習7.1機器學習的定義和發展歷史7.2機器學習的主要策略與基本結構7.3歸納學習7.4決策樹學習7.5類比學習7.6解釋學習7.7神經網絡學習7.8知識發現7.1機器學習的定義和發展歷史機器學習的定義機器學習的基本概念：按照人工智能大師西蒙的觀點，學習就是系統在不斷重復的工作中對本身能力的增強或者改進，使得系統在下一次執行同樣任務或類似任務時，會比現在做得更好或效率更高。機器學習的定義:機器學習是研究如何使用機器來模擬人類學習活動的一門學科。稍為嚴格的提法是：機器學習是一門研究機器獲取新知識和新技能，并識別現有知識的學問。機器學習的發展史機器學習是人工智能應用研究較為重要的分支，它的發展過程大體上可分為4個時期：1.第一階段是在50年代中葉到60年代中葉，屬于熱烈時期。2.第二階段在60年代中葉至70年代中葉，被稱為機器學習的冷靜時期。3.第三階段從70年代中葉至80年代中葉，稱為復興時期。4.機器學習的最新階段始于1986年。一方面，由于神經網絡研究的重新興起，另一方面，對實驗研究和應用研究得到前所未有的重視。我國的機器學習研究開始進入穩步發展和逐漸繁榮的新時期。7.1機器學習的定義和發展歷史機器學習進入新階段的表現機器學習已經成為新的邊緣學科并在高校形成課程綜合各種學習方法機器學習與人工智能問題的統一性觀點正在形成各種學習方法的應用范圍不斷擴大數據挖掘和知識發現的研究已經形成熱潮與機器學習有關的學術活動空前活躍7.1機器學習的定義和發展歷史7.2機器學習的主要策略與基本結構四種學習策略機械學習示教學習類比學習示例學習學習系統的基本結構學習系統的基本結構

環境向系統的學習部分提供某些信息，學習部分利用這些信息修改知識庫，以增進系統執行部分完成任務的效能，執行部分根據知識庫完成任務，同時把獲得的信息反饋給學習部分。在具體的應用中，環境，知識庫和執行部分決定了具體的工作內容，學習部分所需要解決的問題完全由上述3部分確定。影響學習系統設計的重要因素

(1)影響學習系統設計的最重要的因素是環境向系統提供的信息。(2)知識庫是影響學習系統設計的第二個因素。知識的表示有多種形式，在選擇表示方式時要兼顧以下4個方面：表達能力強易于推理容易修改知識庫知識表示易于擴展。7.3機械學習1、機械學習的模式

機械學習是最簡單的機器學習方法。機械學習就是記憶，即把新的知識存儲起來，供需要時檢索調用，而不需要計算和推理。

機械學習又是最基本的學習過程。任何學習系統都必須記住它們獲取的知識。在機械學習系統中，知識的獲取是以較為穩定和直接的方式進行的，不需要系統進行過多的加工。2、數據化簡

Lenat,HayesRoth，和Klahr等人于1979年關于機械學習提出一種有趣的觀點。他們指出，可以把機械學習看成是數據化簡分級中的第一級。數據化簡與計算機語言編譯類似；其目的是把原始信息變成可執行的信息。在機械學習中我們只記憶計算的輸入輸出，忽略了計算過程，這樣就把計算問題化簡成存取問題。見下圖數據化簡級別圖2、數據化簡

比方說第一次要我們解一個一元二次方程的時候，我們必須使用很長的一段推導才能得出解方程的求根公式。但是一旦有了求根公式，以后再解一元二次方程時，就不必重復以前的推導過程，可以直接使用求根公式計算出根，這樣就把推導問題簡化成計算問題。同樣地，歸納過程可以簡化成推導過程。

正像計算問題可以簡化成存取問題一樣，其它的推理過程也可以簡化成較為簡單的任務。例如推導可以簡化成計算。3、主要問題

對于機械學習，需要注意3個重要的問題：存儲組織，穩定性和存儲與計算之間的權衡。（1）存儲組織信息：采用適當的存儲方式，使檢索速度盡可能地快，是機械學習中的重要問題。（2）環境的穩定性與存儲信息的適用性問題：機械學習系統必須保證所保存的信息適應于外界環境變化的需要，這也就是所謂的信息適用性問題。（3）存儲與計算之間的權衡：對于機械學習來說很重要的一點是它不能降低系統的效率。考慮一個決定受損汽車修理費用的汽車保險程序

這個程序的輸入是被損壞的汽車的描述，包括制造廠家、生產年代、汽車的種類以及記錄汽車被損壞部位和損壞程度的一個表，程序的輸出是保險公司應付的修理費用。這個系統是個機械記憶系統。為了估算損壞汽車的修理費用，程序系統必須在存儲器中查找同一廠家、同一生產年代、損壞的部位和程度相同的汽車，然后把對應的費用提交給用戶。如果系統沒有發現這樣的汽車，則它使用保險公司公布的賠償規則估算出一個修理費用，然后把廠家、生產日期和損壞情況等特征與估算出的費用保存起來，以便將來查找使用。

7.3歸納學習歸納學習的定義（1）歸納（induction）是人類拓展認識能力的重要方法，是一種從個別到一般的，從部分到整體的推理行為。（2）歸納推理是應用歸納方法，從足夠多的具體事例中歸納出一般性知識，提取事物的一般規律；它是一種從個別到一般的推理。在進行歸納時，一般不可能考慮全部相關實例，因而歸納出的結論不是絕對為真的，只能以某種程度相信它為真。（3）歸納學習（inductionlearning）是應用歸納推理進行學習的一種方法。根據歸納學習有無教師指導，可把它分為示例學習和觀察與發現學習。前者屬于有師學習，后者屬于無師學習。

7.3歸納學習

我們先看一個“公雞歸納法”的故事。

某農婦養小雞十只，公母各半。她預備將母雞養大留著生蛋，公雞則養到一百天就陸續殺以佐餐。天天早晨她拿米喂雞。到第一百天的早晨，其中的一只公雞正在想：“第一天早晨有米吃，第二天早晨有米吃，……第九十九天早晨有米吃，所以今天，第一百天的早晨一定有米吃。”這時，該農婦來了，正好把這只公雞抓去殺了。這只公雞在第一百天的早晨不但沒有吃著米，反而被殺了，雖然它已有九十九天吃米的經驗，但不能證明第一百天一定有米。7.3歸納學習

我們再回顧中學數學就涉及到的“數學歸納法”。用數學歸納法證明一個命題的正確性，必須要求兩條（一）當n=1時，這個命題是正確的；（二）假設n=k時，這個命題是正確的，那么當n=k+1時，這個命題也是正確的。

7.3.1歸納學習的模式和規則歸納學習的一般模式為：給定：(1)觀察陳述（事實）F；(表示有關某些對象、狀態、過程等的特定知識)

(2)假定的初始歸納斷言（可能為空）；

(3)背景知識。(用于定義有關觀察陳述、候選歸納斷言以及任何相關問題領域知識、假設和約束)求：歸納斷言（假設）H，能重言蘊涵或弱蘊涵觀察陳述，并滿足背景知識。假設H永真蘊涵事實F，說明F是H的邏輯推理，則有：H|>F（讀作H特殊化為F）或F|<H（讀作F一般化或消解為H）這里，從H推導F是演繹推理，因此是保真的；而從事實F推導出假設H是歸納推理，因此不是保真的，而是保假的。實例空間規則空間解釋過程規劃過程7.3.1歸納學習的模式和規則歸納學習系統模型

實驗規劃過程通過對實例空間的搜索完成實例選擇，并將這些選中的活躍實例提交給解釋過程，解釋過程對實例加以適當轉換，把活躍實例變換為規劃空間的特定概念，以引導規劃空間的搜索。歸納概括規則選擇性概括規則取消部分條件放松條件沿概念樹上溯形成閉合區域將常量轉化為變量構造性概括規則7.3.1歸納學習的模式和規則7.3.2歸納學習方法1、示例學習

示例學習（learningfromexamples）又稱為實例學習，它是通過環境中若干與某概念有關的例子，經歸納得出一般性概念的一種學習方法。在這種學習方法中，外部環境提供的是一組例子（正例和反例），示例學習就是要從這些特殊知識中歸納出適用于更大范圍的一般性知識，以覆蓋所有的正例并排除所有反例。

例如，如果我們用一批動物作為示例，并且告訴學習系統哪一個動物是“馬”，哪一個動物不是，當示例足夠多時，學習系統就能概括出關于“馬”的概念模型，使自己能識別馬，并且能把馬與其它動物區別開來，這一學習過程就是示例學習。7.3.2歸納學習方法1、示例學習

血沉=正常∧(聽診=干鳴音∨水泡音)->診斷=肺炎血沉=快->診斷=肺結核

7.3.2歸納學習方法2、觀察發現學習

觀察發現學習又稱為描述性概括，其目標是確定一個定律或理論的一般性描述，刻畫觀察集，指定某類對象的性質。觀察發現學習可分為觀察學習與機器發現兩種。前者用于對事例進行聚類，形成概念描述；后者用于發現規律，產生定律或規則。7.5類比學習類比學習（learningbyanalogy）就是通過類比，即通過對相似事物加以比較所進行的一種學習7.5.1類比推理和類比學習形式類比推理是在兩個相似域之間進行的目的是從源域中選出與當前問題最近似的問題及其求解方法以求解決當前的問題，或者建立起目標域中已有命題間的聯系，形成新知識。推理過程 (1)回憶與聯想(2)選擇(3)建立對應映射(4)轉換7.5.2類比學習過程與研究類型類比學習主要包括如下四個過程：

(1)輸入一組已知條件和一組未完全確定的條件(2)對輸入的兩組條件，尋找兩者可類比的對應關系。(3)按相似變換的方法，進行映射(4)對類推得到的新問題的知識進行校驗。類比學習研究可分為兩大類問題求解型的類比學習預測推定型的類比學習傳統的類比法因果關系型的類比7.5.2類比學習過程與研究類型7.6解釋學習解釋學習根據任務所在領域知識和正在學習的概念知識，對當前實例進行分析和求解，得出一個表征求解過程的因果解釋樹，以獲取新的知識。7.6.1解釋學習過程和算法解釋學習一般包括下列3個步驟：

(1)利用基于解釋的方法對訓練例子進行分析與解釋。(2)對例子的結構進行概括性解釋。(3)從解釋結構中識別出訓練例子的特性，獲取一般控制知識。1986年米切爾（Mitchell）等人為基于解釋的學習提出了一個統一的算法EBG，該算法建立了基于解釋的概括過程，并運用知識的邏輯表示和演繹推理進行問題求解。7.6.1解釋學習過程和算法EBG求解問題的形式可描述于下:給定：(1)目標概念描述TC；(2)訓練實例TE；(3)領域知識DT；(4)操作準則OC。求解：訓練實例的一般化概括，使之滿足：(1)目標概念的充分概括描述TC；(2)操作準則OC。7.6.1解釋學習過程和算法解釋學習舉例：

通過解釋學習獲取一個物體（x）可以安全地放置到另一個物體（y）上的概念。

已知：目標概念為一對物體（x，y），使safe-to-stack（x，y），有：訓練例子是描述兩物體的下列事實：

on（a，b）

isa（a，brick）

volumn（a，1）

density（a，1）

weight（brick，5）

times（1，1，1）物體的體積為1，物體密度為1，物體的重量為1.

less（1，5）

…

知識庫中的領域知識是把一個物體放置到另一個物體上的安全性準則：其證明樹如圖所示。7.6.1解釋學習過程和算法7.6.1解釋學習過程和算法“想當國王”規則

If貴族是軟弱的

貴族與女人結婚

女人是貪婪地

Then貴族很可能想當國王7.7神經學習神經網絡通過學習，改善網絡性能7.7.1基于反向傳播網絡的學習

反向傳播算法是一種計算單個權值變化引起網絡性能變化值的較為簡單的方法。由于BP算法過程包含從輸出節點開始，反向地向第一隱含層(即最接近輸入層的隱含層)傳播由總誤差引起的權值修正，所以稱為“反向傳播”。反向傳播特性與所求解問題的性質和所作細節選擇有極為密切的關系。7.7.2基于Hopfield網絡的學習反饋神經網絡，它是一種動態反饋系統，比前饋網絡具有更強的計算能力。Hopfield網絡是一種具有正反相輸出的帶反饋人工神經網絡。Hopfield網絡系統不僅能夠實現聯想記憶，而且能夠執行線性和非線性規劃等優化求解任務。7.8知識發現智能信息處理的瓶頸——知識獲取機器學習能夠通過對數據及其關系的分析，提取出隱含在海量數據中的知識7.8.1知識發現的發展和定義1.知識發現的產生和發展

知識發現最早是于1989年8月在第11屆國際人工智能聯合會議的專題討論會上提出。隨著互聯網的發展，網上已設立了不少研究KDD的網站、論壇和新聞報導。在研究的基礎上，也出現一些KDD產品和應用系統，引起企業界的關注。2.定義：數據庫中的知識發現是從大量數據中辨識出有效的、新穎的、潛在有用的、并可被理解的模式的高級處理過程。數據集：是指一個有關事實F的集合，它是用來描述事物有關方面的信息，是進一步發現知識的原材料。新穎：經過知識發現提取出的模式必須是新穎的。潛在有用：提取出的模式應該是有意義的，這可以通過某些函數的值來衡量。可被人理解：知識發現的一個目標就是將數據庫中隱含的模式以容易被人理解的形式表現出來，從而幫助人們更好地了解數據庫中所包含的信息。模式高級過程7.8.1知識發現的發展和定義7.8.2知識發現的處理過程數據選擇：根據用戶的需求從數據庫中提取與KDD相關的數據。數據預處理：主要是對上述數據進行再加工，檢查數據的完整性及數據的一致性，對丟失的數據利用統計方法進行填補，形成挖掘數據庫。數據變換：即從挖掘數據庫里選擇數據。數據挖掘：根據用戶要求，確定KDD的目標是發現何種類型的知識。知識評價：這一過程主要用于對所獲得的規則進行價值評定，以決定所得的規則是否存入基礎知識庫。可歸納為三個步驟，即數據挖掘預處理、數據挖掘、數據挖掘后處理。7.8.3知識發現的方法統計方法統計方法是從事物的外在數量上的表現去推斷該事物可能的規律性。機器學習方法

(1)規則歸納。規則反映數據項中某些屬性或數據集中某些數據項之間的統計相關性。

(2)決策樹。決策樹的每一個非終葉節點表示所考慮的數據項的測試或決策。

(3)范例推理。范例推理是直接使用過去的經驗或解法來求解給定的問題。

(4)貝葉斯信念網絡。貝葉斯信念網絡是概率分布的圖表示。

(5)科學發現。科學發現是在實驗環境下發現科學定律。

(6)遺傳算法。在求解過程中，通過最好解的選擇和彼此組合，使期望解的集合愈來愈好。神經計算方法可視化方法可視化（vis