機器學習方法及應用（第二版）課后習題及答案 袁景凌 第1-9章

《機器學習方法及應用（第二版）》

課后習題參考答案

第1章習題參考答案

1.什么是學習和機器學習？為什么要研究機器學習？

答：學習是人類與動物通過經驗、觀察、練習不斷改進行為、提高判斷與決

策能力的過程，本質是從數據和反饋中提煉規律、降低不確定性、增強泛化。

機器學習是人工智能的核心分支，研究如何讓計算機不用顯式編程，就能從

大量數據中自動學習模型與規則，并對未知樣本做出預測、分類或決策。它把“人

工總結規則’’變成"算法自動擬合分布"，更適配復雜、高維、動態場景。

為什么研究機器學習：

現實問題往往規則模糊、變量海量、變化極快，傳統程序難以窮舉。機器學

習能高效挖掘隱藏模式、自動迭代優化，在圖像語音、自然語言、自動駕駛、科

學計算、金融風控、醫療診斷等領域顯著提升效率與精度。長遠看，它是實現感

知、推理、自適應通用智能的關鍵技術，也是賦能產業、加速科研突破的基礎工

具。

2.請簡述人工智能、機器學習和深度學習三者之間的關系。

答：從學科譜系看，三者呈嚴格嵌套遞進關系。人工智能（AI）是頂層廣義

學科范疇，旨在構建具備感知、推理、決策、自適應等類人智能行為的計算系統，

涵蓋符號邏輯、知識工程、進化計算、機器人學與數據驅動方法等多元范式。

機器學習（ML）是人工智能的核心子域與主流實現路徑，以統計學習理論

與優化方法為基礎，研究如何使有限觀測數據驅動模型自動泛化，解決分類、回

歸、密度估計與序列預測等任務，弱化人工規則強編碼依賴。

深度學習（DL）特指機器學習中基于深度堆疊非線性變換的表征學習分支，

依托多層神經網絡架構實現端到端高階抽象特征自動提取，大幅降低傳統特征工

程約束，在復雜高維信號建模中具備顯著容量優勢。

三者關系嚴謹歸納為：AIDMLoDL,體現范式從規則演繹到數據歸納、

再到深度表征涌現的學術演進脈絡。

3.學習策略通常有哪幾種形式？

答：機器學習范式依據監督信息來源與優化準則，可劃分為監督學習、無監

督學習、半監督學習與強化學習四大經典策略。從統計學習理論視角審視，所有

策略的核心收斂目標均為最小化期望風險，即模型在全概率分布上的全局泛化誤

差。

然而由于真實分布不可知，算法首先直接擬合可觀測數據?，最小化經驗風險

(EmpiricalRisk),即訓練集平均損失。單純追求經驗風險極小易導致過擬合，

模型過度記憶噪聲而泛化失效。為此，學習策略普遍引入結構風險最小化

(StructuralRiskMinimization,SRM)準則。

結構風險通過在經驗風險后追加刻畫模型復雜度的正則化罰項，兼顧擬合能

力與泛化邊界。例如監督學習SVM的間隔最大化、L1/L2正則，無監督聚類的

密度約束，均是SRM的具體體現。不同學習策略差異僅在于監督信號形式與數

據組織結構，底層收斂邏輯統一為：在控制結構復雜度前提下壓制經驗誤差，從

而逼近真實期望風險最優解。

4.如何理解參數與超參數？

答:在機器學習建膜體系中,參數(Parameters)與超參數(Hyperparameters)

是兩類層級嚴格區分、優化機制迥異的核心變量，共同決定模型容量與泛化性能。

參數為模型內部兀學習變量，是算法訓練的直接求解對象。其核心作用是擬

合數據分布規律，無需人工預先設定，由損失函數結合優化器(梯度下降等)自

動迭代更新收斂。例如線性回歸的權重系數、神經網絡的連接權重與偏置項，均

通過最小化經驗風險習得，直接承載模型表征能力。

超參數為模型外部預設配置變量，用于約束搜索空間、調控訓練動態與正則

強度，不可由訓練過程自動求解，需人工先驗設定或外層策略調優。例如學習率、

正則化系數、網絡層數、樹深度等，其本質服務于結構風險最小化，通過限制模

型復雜度規避過擬合。

二者核心層級差異：參數是“模型學出來的規律”，超參數是“人為定好的

學習規則”；參數優化依托梯度反向傳播，超參數調優依賴網格搜索、貝葉斯優

化等外層驗證策略。

5.試分析監督學習、無監督學習和強化學習的關系與異同，并舉例說明。

答：監督學習、無監督學習與強化學習是機器學習三大經典范式，其核心差

異在于監督信號形態與反饋延遲機制，共同構成從靜態擬合到動態決策的方法論

譜系。

監督學習基于獨立同分布標注數據(X,Y),旨在學習從輸入到輸出的確定性

映射，通過最小化經驗誤差實現預測泛化。典型任務如分類(圖像識別)、回歸

(房價預測)，反饋即時且靜態。

無監督學習僅利用無標簽觀測數據X,依據相似度、密度或隱變量結構挖掘

內在分布規律，不引入外部先驗標簽。典型任務如聚類(用戶分群)、降維(PCA

特征壓縮)，側重數據表征與探索。

強化學習建模智能體與環境的序貫交互馬爾可夫決策過程，通過最大化長期

累積獎賞回報優化策略，監督信號稀疏、延遲且試錯驅動。典型任務如博弈對抗

(AlphaGo)＞機器人控制。

異同歸納：三者均依賴數據統計泛化；區別在于監督學習擬合靜態映射，無

監督學習解構固有結構，強化學習優化動態行為序列。

6.試辨析判別模型和生成模型的聯系與區別。

答：在統計學習框架下，判別模型與生成模型是監督學習中兩類底層建模范

式，其核心分歧在于概率建模粒度與決策邏輯。

判別模型直接對后驗概率P(Y|X)進行參數化擬合或學習確定性判別邊

界。它不顯式刻畫輸入數據的邊緣分布，專注優化類別區分超平面，訓練目標聚

焦條件風險最小化。代表算法包括邏輯回歸、SVM、深度CNN,優勢在于分類

邊界銳利、泛化效率高，適配高維復雜判別任務。

生成模型則首先建模聯合概率分布P(X,Y)=P(XIY)P(Y),通過貝葉斯推理

間接求得后驗，即P(YIX)=P(X,Y)/P(X)O它致力于還原數據生成機理與密度流

形，具備完備概率解釋，代表算法有樸素貝葉斯、隱馬爾可夫模型、GAN與VAE,

優勢在于可采樣生成新樣本、抗噪聲先驗嵌入能力強。

二者根本區別：判別模型學習決策邊界，是判別聚焦式；生成模型學習數據

分布，是生成機理式。實踐中前者判別精度常占優，后者表征與創作能力獨特。

7.試從一個角度簡述機器學習系統的基本結構，并說明各部分的作用。

答：從工程實現視角審視，經典監督學習系統呈五階段鏈式流水線結構，各

模塊串行耦合、逐級抽象，完成從原始信號到決策輸出的泛化映射。

(1)原始數據(RawDataAcquisition)

系統輸入基底，為未經歸一化的高維觀測信號(像素、波形、文本字符)。

其承載全域信息但含大量冗余噪聲，分布無序，無法直接建模。

(2)特征提取(FeatureExtraction)

人工先驗驅動的信息篩選層。依據領域知識易J除無關維度，統訂關鍵物理量，

將原始高維傳感數據映射為低維語義向量，降維去噪、保留判別內核。

(3)特征轉換(FeatureTransfonnation)

數值空間優化正則層。通過標準化、正交化、核映射等變換，解耦特征相關

性、縮放梯度敏感區間，規整流形邊界，極大提升后端模型收斂穩定性與泛化裕

度。

(4)預測器(Prediclor/ModelInference)

核心假設擬合模塊。輸入規整特征向量，依據習得參數計算條件概率或打分

函數，輸出對未知樣本的類別判決或回歸估值，實現經驗風險最小化推理。

(5)結果評估(ResultEvaluation)

閉環反饋校驗層。通過損失函數與泛化指標量化預測偏差，反向指導特征取

舍、超參調優與結構更新，完成系統閉環迭代優化。

原始數據——?數據預處理--特征提取——-特征轉換--------預測----------結果

特征處理淺層學習

8.通過網絡查找資料,詳細介紹一個深度學習典型應用。

答：醫學影像智能診斷是深度學習在醫療領域的成熟應用，以卷積神經網絡

(CNN)為核心技術，實現對CT、MRkX光等醫學影像的病灶自動檢測、分

割與分類，輔助臨床診斷。

技術架構：以U-Net.ResNet等CNN模型為基礎，構建端到端診斷系統。

原始醫學影像經預處理(歸一化、去噪、增強)后，通過多層卷積與池化提取病

灶紋理、形態、邊界等深層特征，再經全連接層輸出病灶類別與概率。3DCNN

可處理三維影像，實現腫瘤、血管等結構的精準分割。

核心流程：①數據層：構建標注數據集，涵蓋正常與病變影像；②模型層:

遷移學習預訓練模型，適配小樣本醫療數據，提升泛化能力；③推理層：實時處

理影像，輸出病灶位置、類型及置信度；④評估層：以準確率、AUC、漏診率為

指標優化模型。

應用價值：肺部結節篩查中，U-Net模型準確率達97.3%,較傳統CAD系

統漏診率降低62%；糖尿病視網膜病變診斷中，ResNct50模型AUC達0.92。

該應用可提升早期疾病檢出率，縮短診斷時間，緩解醫療資源短缺，推動精準醫

療發展。

9.請列舉出你生活和學習中遇到的機器學習系統安全問題。

答：在日常交互與學術實驗中，機器學習系統普遍暴露數據、模型、推理三

層安全脆弱性，具體可歸納四類典型風險。

訓練數據投毒與隱私泄露日常推薦與校園考勤依賴用戶行為畫像，惡意樣本

混入訓練集即可誘導標簽偏移；同時人臉、軌跡等高維特征易通過模型記憶反向

還原，引發成員推斷與原始數據復刻泄露。

對抗樣本規避與物理世界魯棒缺陷手機解鎖、門禁人臉核驗易受微小噪聲擾

動生成對抗貼紙，肉眼不可辨卻可精準繞過分類邊界；自動駕駛路標污漬、光影

畸變亦可觸發致命誤判，體現梯度敏感性安全缺陷。

模型權重竊取與知識產權侵權學術預訓練開源模型與課堂實訓微調權重，可

通過查詢API置信度分數進行模型萃取與超參復刻，導致科研成果與商用底座

結構性盜用。

后門植入與偏見決策安全數據集隱蔽觸發器嵌入后，正常輸入表現合規，特

定水印激活惡意輸出；同時招生、信貸模型繼承數據固有偏見，引發算法歧視與

決策不可信安全事故。

10.機器學習系統的安全屬性有哪些？淡淡你對它們的理解。

答：由全國信息安全標準化技術委員會等部門發布的《人工智能安全標準化

白皮書(2019版)》中給出了人工智能的安全屬性，這些基本安全屬性同樣適用于

機器學習系統。下面做簡單介紹。

(1)保密性(Confidentiality):確保機器學習系統在生命周期任一環節(如

采集、訓練、推斷等)，算法模型和數據不被泄漏給未授權者。如防范模型竊取

攻擊。

(2)完整性(Integrity):確保機器學習系統在生命周期任一環節(如采集、

訓練、推斷等)，算法模型、數據、基礎設施和產品應用不被植入、篡改、替換

和偽造。如防范對抗樣本攻擊、數據投毒攻擊。

(3)可用性(Availability):確保對機器學習算法模型、數據、基礎設施、

產品應用等的使用不會被不合理拒絕。可用性包括可恢復性，即系統在事件發生

后迅速恢復運行狀態的能力。

(4)可控性(Controllability):是指對機潛學習系統資產的控制能力，防止

機器學習系統被有意或無意的濫用。可控性包括可驗證性(verifiability),可預

測性(predictability),可驗證性是指機器學習系統應留存記錄，能夠對算法模型

或系統的有效性進行測試驗證。

(5)魯棒性(Robustness):指機器學習系統面對非正常干擾或輸入的健壯

性。對機器學習系統而言，魯棒性主要用于描述機器學習系統在受到外部干擾或

處于惡劣環境條件等情況下維持其性能水平的能力。魯棒性要求人

(6)透明性(Transparency):提供了對機器學習系統的功能、組件和過程的

可見性。透明性并不一定要求公開其算法源代碼或數據，而是根據機器學習應用

的安全級別不同，透明性可有不同的實現級別和表現程度。透明性通常包括可解

釋性(Explicabilily)＞可追溯性(Traceability)，讓用戶了解機器學習系統中的

決策過程和因果關系。可解釋性是指在機器學習應用場景下，算法特征空間和語

義空間的映射關系，使得算法能夠實現站在人的角度理解機器。

(7)公平性(Fairness):指機器學習系統在開發過程中應當建立多樣化的設

計團隊，采取多種措施確保數據真正具有代表性，能夠代表多元化的人群，避免

機器學習系統出現偏見、歧視性結果。

(8)隱私(Privacy):按照目的明確、選擇同意、最少夠用、公開透明、主

體參與等個人信息保護原則，保護公民的個人信息。

11.對于一個三分類問題，數據集的真實標簽和模型的預測標簽見表l-3o分別

計算模型的準確率、錯誤率、精確率、召回率和F1值。

表數據集的真實標簽和模型的預測標簽

數據集的真實標簽模型的預測標簽

112223333122233312

答：請先回顧124節評價指標相關內容。

已知樣本總數N=9o

1.混淆矩陣

真實'預測123

111C

2021

3112

?正確預測數：1+2+2=5

2.準確率與錯誤率

?準確率=10.5556

?錯誤率=1-準確率=［比0.4444

3?每個類別的精確率、召回率與F1值

類別1

?TPi=1,FPi=1（預測為1但真實為3的樣本），FM=1（真實為1但預測為2

的樣本）

?精確率馬=擊=0.目

?召回率Hi=±=0.5

?FL=2x齪=0.5

類別2

?TP2=2,FP2=2（預測為2但真實為1和3的樣本各一個），FN2=1（真實為2

但預測為3的樣本）

?精確率B=/=0.5

?召回率=言=1%0.6667

?Fl2=2x然I=”0.5714

類別3

?TR=2,FR=1（預測為3但真實為2的樣本），FN3=2（真實為3但預測為1

和2的樣本各一個）

?精確率R=X系T1=J彳70.6667

?召回率斤3=弟=0.5

4

-

?GLFC=24xX0逐.5=7x0.5714

第8章習題參考答案

i.強化學習的核心機制是什么？

答：強化學習是面向序貫決策的自適應學習范式，其核心機制建立在智能體

與環境持續交互、試錯反饋迭代、長期回報優化三者之上，區別于靜態監督擬合

與無監督結構挖掘。

首先，系統將動態交互抽象為狀態感知、動作執行、即時獎勵評估與狀態遷

移的閉環流程。智能體依據當前狀態選擇行為，式境響應后給HI即時獎懲并更新

態勢，以此形成時序經驗軌跡。

其次，學習不以瞬時對錯為目標，而是權衡短期收益與長期累積價值，通過

延遲稀疏反饋修正行為偏好。智能體不依賴固定標簽，僅通過試錯中優劣軌跡對

比，逐步弱化低效動作、強化高回報策略。

最后，核心收斂依賴探索與利用平衡：既嘗試未知行為規避局部最優，又復

用高置信經驗穩定性能。通過價值估值或直接策略迭代，最終習得具備環境魯棒

性的穩態決策映射，實現動態不確定性下的自主優化控制。

2.馬爾可夫決策過程包含哪幾個模型要素？分別是什么含義？

答：強化學習任務通常用馬爾可夫決策過程(MarkovDecisionProcess,MDP)

來描述。馬爾可夫決策過程是在環境中模擬智能體的隨機性策略與回報的數學

模型,且環境的狀態具有馬爾可夫性質。馬爾可夫決策過程被用于機器學習中強

化學習問題的建模。通過使用動態規劃、隨機采樣等方法,馬爾可夫決策過程可

以求解使回報最大化的智能體策略，并在自動控制、推薦系統等主題中得到應用。

馬爾可夫決策過程包含五個模型要素，給定一個馬爾可夫決策過程模型M=

<S,凡P,R,Y>

?，是所有可能的狀態(State)的有限集合；

?4是所有可能的動作(Action)的有限集合；

?W是一個狀態的轉移概率矩陣，妝,=叫又+i=si%=s,4=a]；

?災是獎勵(Reward)函數，=E[/?C+1|SC=s,At=a]；

?y是獎勵衰減因子，ye[0,1],該因素會在后面的長期回報中涉及。

3.試推導馬爾可夫決策過程的兩個價值函數。

答：參見教材公式(8-1)?(8-9)。

4.強化學習、監督學習和無監督學習的區別是什么？強化學習的應用場景有哪

些？

答：三者本質區別在于監督信號形態、反饋延遲機制及優化目標。監督學習

依賴獨立同分布人工標注數據，旨在靜態擬合確定性輸入輸出映射，反饋即時完

備；無監督學習僅利用無標簽觀測，依據密度相似度挖掘固有聚類流形結構，無

外部獎懲引導；強化學習建模馬爾可夫序貫交互，依靠稀疏延遲回報試錯迭代,

追求長期累積效用最大化，側重動態行為控制而非靜態數據重構。

在應用場景維度，強化學習天然適配動態博弈、資源調度、自適應決策三大

高維復雜領域。工業層面用于機器人精密操控、智能制造自適應排產；博弈推演

層面支撐人機對抗、集群多智能體協同攻防；商業運籌層面優化大規模廣告競價、

算力負載均衡與庫存動態補貨；前沿探索則賦能大語言模型人類偏好對齊

（RLHF）、核聚變穩態約束與自動駕駛極限規劃，解決傳統范式難以建模的長

周期、高隨機、強依賴序列決策難題。

5.使用Q.Learning算法來運行井字游戲（也就是Tic-Tae-Toe）o

答：下面給出基于Q-Learning的井字棋（Tic-Tac-Toe）算法實現思路。

一、算法核心定位

Q-Learning是一種離線策略（Off-Policy）、基于價值的經典強化學習算法，

無需預先標注數據，僅通過智能體與環境不斷對局試錯，迭代更新狀態?動作

價值表（Q?Table）,最終習得最優對局策略。將其應用于井字棋，核心是讓智

能體自主探索落子規律，掌握攻防博弈、搶先制勝與堵截對手的決策邏輯，適配

井字棋有限離散狀態、規則極簡、勝負明確的博弈特性。

二、環境與狀態空間建模

首先完成井字棋標準化建模，構建可交互的馬爾可夫決策過程（MDP）。棋

盤為3x3九宮格，定義三種格子狀態：空位置（0）、智能體棋子（1）、對手

棋子（2）。全局有限離散狀態空間包含所有合法棋盤布局，剔除無效重復狀態

后規模可控，便于Q-Table存儲檢索。

明確對局規則與終止判定：橫向、縱向、對角線三子連線即獲勝：棋盤填滿

無連線為平局；任意一方落子違規（重復落子）直接判負。每一步交互閉環為:

觀測當前棋盤狀態一選擇合法落子動作一環境更新棋盤一反饋即時獎勵一進入

下一狀態。

三、Q-Table初始化與超參數設定

Q-Table是算法核心存儲載體，為二維鍵值矩陣：行索引為所有合法棋盤狀

態，列索引為9個棋盤落子位置，單元格數值代表該狀態下選擇對應落子的長

期期望價值。初始時所有Q值統一置0,無任何先驗博弈經驗，完全依賴后續

試錯更新。

設定三大關鍵超參數：學習率a（通常0.1-0.5）,控制新經驗對舊價值的

修正幅度；折扣因子？（通常0.9-0.99）,權衡即時獎勵與未來長期制勝收益;

探索率￡（c-greedy策略，初始0.9逐步衰減），平衡隨機探索新落子與復用最

優經驗，避免局部最優策略。

四、獎勵函數精細設計（收斂關鍵）

獎勵函數引導智能體博弈偏好，極簡且梯度明確：非法重復落子，給予大額

負獎勵，杜絕違規操作；普通無勝負合法落子，給予微小零趨近獎勵，不干擾長

期決策；成功堵截對手必勝連線，給予小額正獎勵，強化防守意識；本局直接獲

勝，給予大額正獎勵；本局落敗，給予大額負獎勵。稀疏差異化獎勵適配短周期

對局，加速策略收斂。

五、決策選擇與Q值迭代更新

對局每一步采用"greedy策略選動作：以8概率隨機選擇合法空位置，探

索未知博弈路徑；以1-￡概率選取當前狀態Q值最大的合法落子，復用最優經

驗。

執行落子后套用經典Q-Learning更新公式修正價值：新Q值=舊Q值

+學習率x［即時獎勵+折扣因子x下一狀態最大Q值-舊Q值］。若對局

終止，直接截斷未來價值項，僅用本局勝負獎勵更新，精準復盤單局決策優劣。

六、訓練收斂與實戰推演

啟動大規模迭代對局，前期智能體隨機落子失誤較多，隨迭代輪數增加、8

逐步衰減，探索減少、利用增強，Q-Table持續擬合最優價值：優先搶占中心、

角部關鍵點位，預判對手三連威脅主動堵截，構建自身雙殺必勝格局。收斂后保

存Q-Table,實戰中無需迭代，直接查表輸出最優落子，人類玩家難以輕易取勝，

完美實現從零博弈習得強攻防策略。

6.一幢10層的大樓有5架電梯。每一層都有兩個呼叫按鈕表示有人要上下樓,

除了頂層和底層只有一個呼叫按鈕。當一架電梯到達并且有人進入電梯時，他們

按動想要到達樓層對應的數字按鈕。每一架電梯存儲數字并且上升或下降，停在

要求的每一層。計算系統的狀態和動作空間，然后對這個系統描述一個合適的強

化學習器。你需要決定一個你認為最合適的獎賞函數和描述學習的方法。

答:

一、問題背景與系統約束建模

本系統為典型大規模多智能體序貫資源調度MDP：一棟10層樓宇配置5

部獨立轎廂電梯；每層設上行、下行外部召喚按鈕（底/頂層僅單向）；轎廂內

部提供目標樓層選層按鈕。系統核心動態耦合包含三類異步事件：廳外隨機呼梯

到達、轎廂逐站啟停開關門、乘客出入流變化。優化目標并非單梯最短路徑，而

是在強搶占、高并發、隨機泊松到達下最小化全局通行時延、能耗與擁堵概率。

二、狀態空間（SlateSpace）嚴謹刻畫

狀態必須完備馬爾可夫、可數值嵌入，主要向量維度包含：

1.每梯物理狀態：當前樓層精確位置、運行方向（上/下/駐停）、

剩余載重、開關門延時計數；

2.分配任務隊列：每梯內部目標停靠集合、已綁定廳外召喚駐留序列；

3.全局未接請求：各層上行/下行等待隊列長度、已等待最大時延；

4.流量時空特征：時段歸一化入流率、底層上行峰值、頂層下行峰值概

率分布。

狀態空間離散組合雖大，但可通過柵格編碼、嵌入網絡降維表征，避免查表

爆炸。

三、動作空間（ActionSpace）規范定義

不采用原始啟停微操，RL決策定義為高層分配與換向駐停動作：對每一個

新發廳外召喚，動作集合為5選1指派至某轎廂；同時對在役轎廂允許有限安

全換向/優先跳停策略約束。動作施加必須硬約束安全規則：不可反向穿越載

客、不可跳過己確認內呼、超載重強制直駛，將非法動作屏蔽于掩碼，大幅降低

無效探索。

四、獎賞函數（Reward）工程正則化設計（收斂核心）

采用稠密整形+終端稀疏耦合，保證安全優先、時延驅動、能耗抑制：

1.安全硬懲罰：違規換向、超載開門、沖突搶層給予大額負獎賞；

2.等待時延代價：每步對所有未接等待隊列施加負時延積分，倒逼快速

響應；

3.啟停能耗正則：無謂頻繁啟停、空載長距行駛給予小負獎賞，平滑震

蕩；

4.回合終端稀疏回報：全局平均等待時延下降、最大滯留尾響降低、擁

堵率下降給予正終獎。

該獎賞可梯度分解、可解釋、不稀疏難傳，適合長序列調度。

五、合適強化學習器與學習方法論證

系統高維連續狀態、離散大動作、多智能耦合、非平穩流量，因此優先采用

集中式評分分布式執行的DuelingDQN/PPO掩碼約束架構：

輸入用多層MLP/CNN嵌入時空狀態；輸出加合法動作掩碼屏蔽非法指派;

價俏分支評估長期擁堵累積優勢，策略分支平滑調度隨機性。訓練采用多講程并

行環境采樣、經驗回放去相關、目標網絡穩估值，并引入流量遷移泛化：早高峰

/平峰/晚高峰分段預微調，實現在線增量適配,最終習得動態分區候梯、反向

插空分流、峰值優先底層保通的穩態調度策略，顯著優于傳統固定就近貪心算法。

第9章習題參考答案

i.當將自注意力模型作為一個神經層使用時，分析它和卷積層以及循環層在建

模長距離依賴關系的效率和計算復雜度方面的差異。

答：在深度序列建模中，自注意力(Self-Attention)、卷積(CNN)與循環

(RNN)三類神經層對長距離依賴的捕捉能力與計算代價存在根本性架構差異，

直接決定模型的感受野、梯度流通與時空復雜度上限。

首先從長依賴建模效率對比：循環層通過時序遞推鏈式傳遞信息，理論感受

野無限，但長序列梯度極易指數衰減，必須逐步迭代才能關聯首尾，長依賴建模

低效且脆弱；卷積層依靠局部滑動窗口堆疊深層擴張感受野，依賴多層疊加間接

捕獲遠距離關聯，遠距離交互弱、歸納偏置強，缺乏動態權重適配；自注意力通

過直接計算全局兩兩位置相似度，一步建立全序列長依賴關聯，動態生成權重不

受距離約束，梯度直通無衰減，是三者中長依賴建模最高效、最直接的范式。

其次從計算復雜度嚴謹分析：設序列長度為n、隱維為d,循環層時序計算

復雜度為O(nd2),無法并行推理、時序延遲高；標準一維卷積復雜度約O(knd2)

(k為卷積核尺寸)，長依賴需增大k加深網絡，代價線性攀升；自注意力原

生復雜度為嚴格平方級O(n2d),短序列優勢顯著，超長序列則算力顯存開銷激

增。

綜上學術定論：循環層時序串行、梯度脆弱、低并行；卷積層局部歸納、間

接擴野、中等算力：自注意力全局直達、動態適配、高效長依賴但平方復雜度昂

貴，三者分別適配短時序穩態、局部紋理特征與超長語義關聯三大場景。

2.請嘗試使用預訓練模型完成一個圖像處理或自然語言處理任務。

答：基于ResNet50預訓練模型的醫學X光肺炎影像分類。

本任務旨在利用遷移學習解決小樣本高維醫學圖像判別難題，核心遵循特征

提取一微調適配一泛化推理三階范式。

首先，載入在ImageNet海量自然圖像上收斂完備的ResNet50預訓練權重。

該深層殘差網絡已習得通用邊緣、紋理、形態層級視覺基底特征，具備極強先驗

歸納偏置。輸入醫學影像經歸一化、隨機裁剪增強與維度對齊預處理。

其次，采用凍結骨干十微調頂層策略。移除原生千類Softmax輸出層，自

適應接入雙層瓶頸分類頭，將全局平均池化特征映射為正常/病毒性肺炎二分

類概率。凍結底層殘差模塊保留通用紋理，僅以極小學習率更新高層語義與分類

權重，高效擬合病灶模糊斑片專屬分布，規避過演合與災難性遺忘。

最終測試推理，模型精準定位肺野透光異常區域，AUROC指標顯著優于從

零訓練CNN,驗證預訓練在高門檻專業視覺任務中降參、提速、提泛化的核心

優勢。

3.試分析ChatGPT的關鍵核心技術有哪些？

答：ChatGPT之所以具備強對話理解、長文本生成、多意圖遵循與安全可控

能力，是一套從基座預訓練、指令對齊、人類偏好強化到系統工程的完整技術棧

協同結果，其關鍵核心技術可分為四層嚴謹遞進結構。

第一，大規模自回歸Transformer基座預訓練。ChatGPT沿用GPT系列

Decoder-only架構，采用因果掩碼單向自注意力，嚴格保證生成時序不泄露未

來信息；通過海量高質量通用文本進行自監督語言建模預測，習得句法依存、語

義推理.、世界常識、文本風格與長程上下文關聯，形成極強通用先驗與高維分布

建模能力。

第二，高質量多任務指令監督微調（SFT）o在原生預訓練基礎上，人工構

造覆蓋問答、改寫、摘要、推理、創作等多樣指令樣本，繼續低學習率微調，把

預訓練補全范式平滑遷移為可跟隨用戶意圖、格式約束與角色設定的對話范式,

顯著提升輸出有用性、連貫性與對齊度。

第三，基于人類反饋的強化學習對齊（RLHF）。先訓練獎勵模型擬合多人

偏好排序，精準量化誠實、無害、簡潔、拒絕越界等價值維度；再以PPO約束

策略迭代,在不破壞通用能力前提下壓制幻覺、惡意誘導、冗長發散與不當推理，

實現能力、安全與可控三者權衡。

第四，數據治理、大批次訓練吞吐與可控解碼工程。依靠精密去重過濾、動

態分桶、混合精度、梯度累積穩定超大規模訓練；推理端通過溫度、Top-P、重

復懲罰截斷采樣，動態平衡確定性與多樣性，保障交互流暢低延遲。

4.試分析大模型的優點與缺陷，并舉例說明。

答：大語言模型依托超大規模參數、海量文本預訓練與涌現能力，展現出強

大通用智能潛力，同時存在架構原生短板與安全局限。

核心優勢：其一，強通用表征與零/少樣本泛化，基座預訓練習得跨領域語

法、常識、邏輯先驗，無需大量微調即可完成翻譯、代碼生成、數理推理等異構

任務，如GPT-4無需專項訓練即可解析復雜物理應用題。其二，長上下文語義

連貫與人機意圖對齊，依托全局自注意力精準捕捉長程依賴，經指令微猬與

RLHF后，可精準遵循復雜角色扮演、格式約束與多輪糾錯指令。其三，降低開

發門檻，作為基座支撐知識庫問答、智能客服等輕量化下游應用，減少定制化特

征工程成本。

固有缺陷：首先，事實幻覺與邏輯不自治，模型僅統計擬合字符分布而非認

知真理，易編造虛假文獻、篡改數據，如捏造不存在的法律判例。其次，輸入偏

見與安全失控，繼承訓練數據歧視性偏差，易被Prompt誘導生成惡意代碼、極

端言論。最后，算力開銷大且不可解釋，千億參數訓練推理能耗極高，黑盒輸出

難以溯源決策路徑，醫療、金融等高可信場景落地受限。

第二章課后習題答案

1.試解釋決策樹學習算法。舉例計算表2-2中信息墉和信息增益。

答：決策樹學習是一種基于樹結構的歸納學習方法，通過從根結點開始，選

擇最優屬性對樣本進行劃分，遞歸構建決策樹，月于分類或回歸任務。其關鍵在

于選擇劃分屬性，常用準則有信息增益(ID3)、增益率(C4.5)和基尼指數(CART)。

以表2-2西瓜數據集為例：

?根結點信息端:Ent(D)=0.998

?屬性“色澤”的信息增益:Ga山(。,色澤)=0.109

?屬性“紋理”的信息增益最大，為0.381,因此被選為根結點的劃分屬性。

2.編程實現ID3算法，并根據表2-2中所紿訓練數據，利用ID3算法生成

決策樹。

答：Python實現可使用ski巳arn.tree.D巳cisionTreeClassifier模塊生成

決策樹算法：

fromsklearn.treeimportDecisionTreeClassifier

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportaccuracyscore

importpandasaspd

#假設已將表2-2數據讀入DataFramc,特征列名列表featurjcols,目

標列‘好瓜’

#將目標列映射為數值：'是'->1,'否'->0

df['好瓜']二df['好瓜是'：1,'否'：0})

#對離散特征進行獨熱編碼

X=pd.get_dummies(df[feature_cols])

y=df「好瓜']

Xtrain,Xtest,ytrain,ytest=traintest_split(X,y,

tcst_size=0.2,random_state=42)

model=DecisionTreeClassifier(criterion=，entropy，)#ID3使用信

息增益

model,fit(Xtrain,ytrain)

y_pred=model.predict(X_test)

print(〃準確率：〃，accuracy_score(y_test,y_pred))

基于表2-2的西瓜數據集，ID3算法生成的決策樹根結點為“紋理”，后續

依次選擇“根蒂”“色澤”等屬性進行劃分，最終得到一棵完整決策樹(詳見如

圖2-9)o

3.試析決策樹與隨機森林的區別與聯系。

答：

聯系：

?隨機森林是以決策樹為基學習器的集成學習算法；

?兩者均可用于分類與回歸任務。

區別：

?單棵決策樹容易過擬合，隨機森林通過多棵樹集成(投票/平均)降低過

擬合；

?隨機森林引入樣本隨機抽樣(Bootstrap)和特征隨機選擇，增強泛化能

力；

?決策樹模型簡單、可解釋性強，隨機森林通常精度更高但可解釋性較弱。

4.利用python實現隨機森林算法。

答：Python實現可使用sklearn.ensemble.RandomForestClassifier模塊

生成隨機森林算法：

fromsklearn.ensembleimportRandomForestClassifier

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportaccuracy_score

X_train,X_test,y_train,y_test=train_test_split(X,y,

test_size=O.2,randomstate=42)

model=RandomForestClassifier(n_cstimators=100,random_state=42)

model.fit(X_train,y_train)

y_pred=model,predict(X_test)

print(〃準確率：〃，accuracy一score(y_test,ypred))

5.當預測樣本分布不均勻、維度大且特征缺失的情況下，應該采用哪種算

法。

答：推薦使用隨機森林。原因如下：

?隨機森林對高維數據具有較好的魯棒性，能通過特征隨機選擇降低維度影

響；

?對缺失值有一定容忍能力，可借助袋外數據(00B)進行估計；

?在樣本分布不均勻時，通過Bootstrap抽樣和集成投票機制，能有效緩解

類別不平衡問題；

?具有抗過擬合能力，泛化性能較好。

第三章課后習題答案

1.神經元j接收10、-20、4和-2,神經元j的突觸權值分別為。8、0.2、-1.0

和。這里假設神經元的閾值為計算下列兩種情況下神經元的輸出：

-0.90oj

(1)激活函數為線性函數"⑴)=%

1,如果vNO

(2)激活函數為閾值函數@(切=

0,如果vvo

答：根據描述神經元k的公式可知：

3

{WkjXj=(-10*0.8)+(-20*0.2)+(4*-1.0)*(-2*-0.9)=-11.2

;=i

(1)：

yk=sQk+")=取=-1L2

(2):

yk=8(以+瓦)=o

2.考慮如圖3?32所示的單神經元感知器網絡，該網絡的判定邊界為附十。二0。

證明：該判定邊界如果是一個向量空間就必須滿足如下10個條件。

(1)要求兩個向量空間之和仍然是一個向量空間。令pl和p2分別是判定邊界

上的兩個向量，滿足：Wpl=0,Wp2=0

將上述兩個等式相加，有：W(pl+p2)=0

由此可以看出這兩個向量之和也在判定邊界上。

(2)交換性pl+p2=p2+pl滿足；

(3)結合性(pl+p2)+p3=pl+(p2+p3)滿足；

(4)由于W0=0,所以零向量在判定邊界上。

(5)如果p在判定邊界上，那么-p也必須在判定邊界上。如果p在判定邊界

上，那么

Wp=0

在該式兩邊同時乘以-L可得：W(-p)=0

(6)如果對判定邊界上的任意p,ap也在判定邊界上，其中a是標量；

(7)對判定邊界上的任意p,lp=p(1是標量)；

(8)對任意二個標量a和b,以及判定邊界上的任意p,a(bp)=(ab)p；

(9)(a+b)p=ap+bp；前提同(8)

(10)對任意標量a,以及判定邊界上的任意p.q,a(p+q)=ap+aq

所以該感知機的判定邊界是一個向量空間。

3.單層感知器只適用于一組線性可分的模式。如果兩個模式是線性可分的它

們一定是線性無關的嗎？

答：不是。這是兩個沒有任何關聯的概念。比如，考慮如圖8-21的兩輸入感知

機。假設現在希望區分如下兩個向量：

0.51「15

P,=0,5P2=1.5

如果將權值和偏置值分別設定為wll=l,W12=1和b=-2,那么其判定邊

界如圖8-22所示。顯然，這兩個向量是線性可分的，但是，由于p2=3pl,他們

之間并不是線性無關的。

輸入對稱硬極限神經元

Wp+b=O

圖8-21兩輸入感知機圖8-22判定邊界

4.基于反向傳播的概念，求一個能更新圖3-33中所示的遞歸網絡的權值M和W2

的算法。

答：第一步是定義性能指數。如同多層網絡，我們使用均方誤差

戶(x)=(MA)-。⑷/=-))2

使用最速下降法進行權值更新：

a

△孫=-a□—戶(X)

*owi

這些導數可計算如下：

y—f'M=曉~(“A)-a(A))2=2(r(A)-a(^))|"

owiowiLJ

因此，需要計算的關鍵項是

3a(k)

a孫

要計算這些項，首先需要寫出網絡方程

a(k+1)=purelin(wxp(k)+w2a(k))=wxp(k)+w2a(k)

兩邊對網絡權值求導數得：

羽+D=p(A)+七

dW?1'3wi

3a(k+1)/,、2a(k)

—\------J-a{k)+w

2dw

dw2

(注意我們必須考慮到a(k)本身是M和w?的函數的事實)最速下降法中更

新權值時使用這兩個遞歸方程來計算導數。方程用

率@=0,醇=0

dw)dw2

初始化，這是由于初始條件不是權值的函數。

要說明此過程，先假定a(0)=0。第一次網絡更新為

a(1)=wlp(0)+w2a(0)=w]p(0)

第一個導數為：

3a⑴/。。(0)z\Ha⑴仆Ha(0)

2nXnwn

就=p(0)+叼3叫=P(°)，dW2=芯°)+23啊=°

第一次權值的更新為

△=-a□—F(x)=-a2(r(1)-a(1))

*3叫IW}]

△wj=-2a(￡(1)-a(l))I-p(0)I

△w2=-2a(=0

這個算法屬于動態反向傳播類型，其中梯度是用不同的方程計算的。

5.一個全連接的前向網絡具有10個源結點，兩個隱層，其中一個隱層有4個神

經元，另一個隱層有3個神經元，1個輸出神經元，構造這個網絡的結構圖。

答：

輸入層隱含層1隱含層2輸出層

6.增大權值是否能夠使BP學習變慢。

答：訓練時學習新樣本有遺忘舊樣本的趨勢。增大權值不一定能夠使BP學習

變慢。

7.（思考題）字符分類。任務是對數字0至9分類，有十類且每個目標向量應該是這十個向

量中的一個。。用＜0,0,0,0,0,0,0,0,0＞表示，1用0,0,0,0,0,0,0,

0＞表示，第1分量為1,其余為0。2至9的表示類推。要學習的數字顯示在圖3-24中，

每個數字由9x7的網格表示，灰色像素代表0,黑色像素代表1。

圖3-34訓練數據

答：選擇BP網絡結構為63-6-9o9*7個輸入結點，對應BP網絡的映射。9個輸

出結點對應10種分類。測試結果表明：除了8以為，所有被測的數字都能夠被

正確地識別。對于數字8,神經網路地第6個結點的輸出值為0.53,第8個結點

的輸出值為0.4L表明第8個樣本是模糊的，可能是數字6,也可能是數字8,

但也不完全確信是兩者之一。

第五章課后習題答案

1.考慮用于線性可分模式的超平面，它的式為：

wTx+/?=0

其中W表示權值向量，b為閥值，X為輸入向量，如果對輸入模式集滿足附

加的條件

min|wTx；+/?|=1

?=1.2...JV

則稱（\v,b）為超平面的規范對。證明規范對的要求導致兩類分離邊界的距離為

2

向.

答：線性可分模式的超平面可用線性方程表示如下

wTx+b=0

樣本空間中任意點x到超平面卬0+。二°的距離為

\wTx+b\

Y----------

l|w||

對于樣本集{（3力）,（%2，、2），…，（如，加）}，%={-1，+1},則有

（wTXi+b>+1,-4-1

lwTXi+b<+1,%=-1

每個支持向量到超平面的距離為

l|w||

由于滿足

min|wTx+Z?|=1

i=12…,Nt

故

1

d=----

l|w||

那么，兩類分離邊界的距離為2d,即

2

IM

2.在不可分類模式的背景下判斷下列陳述：錯分意味著模式的不可分性，但相反

則未必為真。

答：該陳述有誤，模式錯分并不代表著不可分，部分是由模型學習效果差所致，

而不可分一定會產生錯分結果。

3.在數據空間中最優超平面的位置是由被選為支持向量的數據點決定。加果數

據有噪聲，第一反應也許是質疑分離邊界對噪聲的健壯性，但最優超平面的詳細

研究發現分離邊界對?噪聲實際上是健壯的，討論①種健壯性的理論基礎。

答:SVM本身對噪聲具有一定的魯棒性，但是當噪聲率低于一定水平的噪聲對SVM

沒有太大影響，而隨著噪聲率的不斷增加，分類器的識別率會降低。所以是有條

件的。

4.用于求解XOR問題的多項式學習機使用的內積核定義為K（x/i）=（l+

解XOR問題的指數p的最小值時多少？假定p為正整數，比最小值大的p

會出現什么結果？

答：最小值為2,值數p越大，映射的維度越高，計算量就會越大。當p過大時，

由于學習復雜性也會過高，易出現“過擬合現象。

5.（思考題）內積核是在訓練W個樣本集「上定義的，它產生N、N矩

陣：

K={KRa

其中匾二K（如乙）。由于它的所有元素的值為正，矩陣K是正的。利用相似變換

其中人為對角的特征矩陣，而Q為相應特征向量構成的矩陣。利用K的特征值和

特征向量個構造內積核KQj/j）的展開式，你可以從這個表達式得出什么結論。

答：

參考點：若一個核函數可隱式地計算被映射到N維空間的兩個向量的內積，那

么該核函數就可以表示成N個核函數的一個線性組合。

6.思考題。兩層感知器的內積核定義為

r

=tanh（^oxA；+川）

探討對常數片和用的那些值不滿足Mercer定理的條件。

答：

參考點：Mercer定理指任何半正定的函數都可以作為核函數。所謂半正定的函

數f（xi,xj）,是指擁有訓練數據集合（xl,x2,...xn）,我們定義一個矩陣的元素

aij=f（xi,xj）,這個矩陣式n*n的，如果這個矩陣是半正定的,那么f（xi：xj）

就稱為半正定的函數。這個mercer定理不是核函數必要條件，只是一個充分條

件，即還有不滿足mercer定理的函數也可以是核函數。

7.（思考題）在這一章中我們利用支持向量機進行二分類，討論支持向量機如

何解決M類模式識別的問題（M>2）o

答：可以通過多個SVM的組合來解決多分類問題。

8.（思考題）關于下列任務比較支持向量機和利用反向傳播算法訓練的多層感

知器的優點和局限：

1）模式識別

2）非線性回歸

答：

支持向量機的優點：

（1）有嚴格的數學理論支持，可解釋性強；

（2）能找出對任務至關重要的關鍵樣本（即：支持向量）；

（3）采用核技巧之后，可以處理非線性分類/回歸任務；

（4）最終決策函數只由少數的支持向量所確定，計算的復雜性取決于支持向量

的數目，而不是樣本空間的維數，這在某種意義上避免了“維數災難”；

（5）SVM是一個凸優化問題，求得的解一定是全局最優而不是局部最優。

支持向量機的局限：

（1）當特征維度遠遠大于樣本量時，效果會比較差；

（2）當樣本量很大時，使用非線性核函數會導致計算效率低下；

（3）支持向量機目前只適合小批量樣本的任務，無法適應百萬甚至上億樣本的

任務。

多層感知器的優點：

（1）能夠自適應、自主學習。這是BP算法的根本以及其優勢所在，BP算法根據

預設的參數更新規則，不斷地調整神經網絡中的參數，以達到最符合期望的輸出。

（2）擁有較強的非線性映射能力，實現任何復雜非線性映射的功能。

（3）嚴謹的推導過程。誤差的反向傳播過程，采用的是已經非常成熟的鏈式法

測，其推導過程嚴謹且科學。

（4）較強的泛化能力，即在BP算法訓練結束之后，BP算法可以利用從原來知

識中學到的知識解決新的問題。

多層感知器的局限：

（1）由于BP神經網絡中的參數眾多，每次都需要更新數量較多的閾值和權值,

故會導致收斂速度過慢；

（2）網絡中隱含層節點個數尚無明確的公式；

（3）從數學角度看，BP算法是一種速度較快的梯度下降算法，容易陷入局部最

小值。

第4章

1.在實際運用中降維算法應該如何確定最終的特征維度？

答：在實際應用中，確定降維后的最終特征維度通常不是靠直覺，而是通過數

據驅動的定量分析與下游任務的反饋共同決定的。

一、解釋方差占比：這是處理主成分分析時最常月的指標。它衡量了每一個主成

分所保留的原始數據信息的比例。累計貢獻率法：計算前k個主成分的累計

解釋方差占比。通常會選擇使累計貢獻率達到80%、90%或95%的最小k值。

手肘圖：將各主成分的特征值按從大到小排列并繪制折線圖。尋找圖形中的

肘部，即特征值下降速度明顯放緩的點，該點之前的維度通常被認為是主要

的特征。

二、內部結構保持度：對于非線性降維，更關注數據流形結構的保持。最大似然

估計：通過分析樣本點與其鄰域的距離分布，估算數據集的內在維度。重構

誤差：對于自編照器，可以觀察不同瓶頸層維度下的重構損失。當增加維度

不再顯著降低損失時，當前的維度即為飽和維度。

三、下游任務表現：這是最具實踐意義的方法。降維最終是為模型服務的，因此

應通過實驗來驗證：交叉驗證：將k作為一個超參數，通過交叉驗證觀察其

在分類或回歸任務上的表現。計算開銷平衡：在某些實時處理場景中，維度

的確定需要權衡模型精度與推理延遲。如果增加10個維度只提升了0.1%的

精度但增加了20%的耗時，通常會選擇更低的維度。

2.試用PCA算法對Iris數據集降維,并與LDA算法比較，思考兩個算法的異同。

答：PCA的降維效果：PCA是一種無監督算法。它不關心樣本屬于哪一類鶯尾花，

而是尋找數據方差最大的方向。結果觀察：在降維后的2維空間中，山鶯尾通常

會被分得很開，但另外兩類之間可能會有一定的重疊。核心邏輯：試圖保留原始

數據中波動最劇烈的信息。

LDA的降維效果：LDA是一種有監督算法。它利用了Iris數據集的標簽信

息。結果觀察：降維后的三類花卉聚集度更高，類別間的邊界更加清晰。核心

邏輯：目標是類內距離最小，類間距離最大。它專門尋找那些能最好區分不同

品種的投影方向。

相同點：線性變換：兩者本質上都是通過矩陸相乘將高維特征線性投影到低

維空間。降維目的：都在試圖解決“維度災難”問題，減少特征冗余。計算方式：

最終都可以轉化為求解特征值和特征向量的問題。

小同點（本質區別）；關注點小同：PCA認為方差大就是信息量大，它可能在

降維過程中保留了噪聲較大的方向；而LDA認為區分度好就是特征好，如果某特

征方差很大但對分類沒貢獻，LDA會果斷舍棄。維度限制：對于Iris數據集（3

個類別），LDA降維后的維度不能超過3-1=2維，而PCA則可以降至1至1）3

維中的任意維度。數據分布假設：LDA假設數據服從高斯分布，且各類別方差相

等（同方差性）。如果數據分布極不規范，LDA的效果可能不如PCA穩健。

3、對高維數據降維之前應先進行“中心化”，常見的方法是將協方差矩陣XXT

轉化為XHlxl其中H=「小（這里的電矩陣），試分析其效果。

答：中心化矩陣H是線性代數中的一個投影矩陣。作用是將數據投影到與全1向

量正交的子空間中。效果：對于數據矩陣X,計算XH相當于讓每個樣本點都減去

全體樣本的算術平均值。使用Z7/7Z/7/,強制數據中心與坐標原點重合，這樣提取

出的特征向量能真正反映數據分布方差最大的方向，而非受坐標系偏置的影響。

將協方差矩陣