人工智能應(yīng)用通識教程 課件 -第二次課 AI大模型原理與應(yīng)用

1第一章：AI大模型原理與應(yīng)用算法基礎(chǔ)目錄全連接神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)手寫數(shù)字識別實踐第1部分：

全連接神經(jīng)網(wǎng)絡(luò)生物神經(jīng)元生物神經(jīng)元結(jié)構(gòu)人體的神經(jīng)元主要由三部分組成：1.樹突（輸入機制）：通過突觸接受輸入信息2.細胞體（計算機制）：細胞體收集所有樹突的輸入，并基于這些信號決定是否激活輸出（脈沖）3.軸突（輸出機制）：一旦細胞體決定有激活信號輸出，軸突負責(zé)傳輸信號，通過末端的樹狀結(jié)構(gòu)將信號傳遞給下一層神經(jīng)元的樹突。神經(jīng)網(wǎng)絡(luò)是一種人類受生物神經(jīng)元結(jié)構(gòu)的啟發(fā)而研究出的算法體系。生物學(xué)的神經(jīng)元啟發(fā)我們構(gòu)造了最簡單原始的“人工神經(jīng)元”輸入連接

神經(jīng)元接收外部的一組輸入線性計算和激活函數(shù)

將這些輸入“累加”，通過激活函數(shù)決定是否輸出輸出連接

將輸入的信號傳遞至下一個神經(jīng)元人工神經(jīng)元與生物神經(jīng)元有什么關(guān)聯(lián)？人工神經(jīng)元輸入?yún)?shù)神經(jīng)元神經(jīng)元中線性模型神經(jīng)元中非線性模型

線性與非線性在人工智能領(lǐng)域，對于線性模型與非線性模型的判斷標(biāo)準(zhǔn)為：模型輸入到輸出的映射關(guān)系，能不能表示為特征的線性組合（即能否畫直線/超平面分開數(shù)據(jù)）。能→線性不能→非線性人工神經(jīng)元

人工神經(jīng)元實例小王通過一定的算法決定明天是否外出？需要考慮三個因素：天氣、節(jié)假日、溫度天氣：是否下雨（是=0，否=1）節(jié)假日：是否是節(jié)假日（是=1，否=0）溫度：是否適宜（是=1，否=0）小王覺得天氣和溫度因素影響較小，因而我們可以分配權(quán)重1和2；而節(jié)假日的影響較大，可以分配權(quán)重4如果我們計算出來的結(jié)果>=3，那么小王就決定外出。人工神經(jīng)元實例神經(jīng)元與感知器x1（天氣)x2（節(jié)假日）x3（溫度）output權(quán)重w1=1權(quán)重w3=2權(quán)重w2=4x1，x2，x3三個輸入值分別代表三個因素：天氣、節(jié)假日、溫度輸入箭頭->代表了輸入權(quán)重w1=1，w2=4，w3=2圓圈代表了一次神經(jīng)元計算output代表了輸出值（1或者0）如果x1*w1+x2*w2+x3*w3>=3，則輸出output=1，表示外出如果x1*w1+x2*w2+x3*w3<3，則輸出output=0，表示不外出人工神經(jīng)元實例情況1：天氣晴，節(jié)假日，溫度適宜計算結(jié)果：1*1+1*4+1*2=6>=3，則輸出1結(jié)論：小王明天會外出情況2：天氣雨，非節(jié)假日，溫度適宜計算結(jié)果：0*1+0*4+1*2=2<3，則輸出0結(jié)論：小王明天不會外出人工神經(jīng)元實例閾值（threshold）

我們的判定數(shù)字3被稱之為閾值偏置b（bias）

一般用閾值的相反數(shù)表達偏置，即b=-閾值因此，我們例子的決策過程就變成x1*w1+x2*w2+x3*w3+b>=0，則輸出output=1x1*w1+x2*w2+x3*w3+b<0，則輸出output=0神經(jīng)元標(biāo)準(zhǔn)模型當(dāng)我們的輸入變成多個以后，就變成如下的標(biāo)準(zhǔn)的神經(jīng)元模型x1x2xn輸入求和激活……b1w1w2wnoutput神經(jīng)元接收來自n個外界（或其他神經(jīng)元）的輸入信號這些輸入信號通過帶權(quán)重的連接進行傳遞給本神經(jīng)元；通過“激活函數(shù)”處理，產(chǎn)生輸出單層感知機模型弗蘭克﹒羅森布拉特于1957年發(fā)明單層感知機模型多層感知機模型多層感知機可以看成是由多個單層感知機組成，相當(dāng)于在輸入層和輸出層中間加入隱藏層，每個隱藏層會先經(jīng)過線性模型得到結(jié)果，再利用激活函數(shù)對結(jié)果進行非線性化。全連接神經(jīng)網(wǎng)絡(luò)全連接神經(jīng)網(wǎng)絡(luò)包含輸入層、隱藏層、輸出層。同一層的神經(jīng)元之間沒有連接，隱藏層中的神經(jīng)元和輸入層中各個輸入完全連接，輸出層中的神經(jīng)元與隱藏層中各個神經(jīng)元也完全連接，相連接的神經(jīng)元之間都有一個權(quán)重（權(quán)值）。全連接神經(jīng)網(wǎng)絡(luò)層數(shù)=隱藏層數(shù)+

輸出層數(shù)神經(jīng)網(wǎng)絡(luò)是如何運作的？視頻鏈接：/zvideo/1645800559138623488推薦拓展學(xué)習(xí)視頻鏈接：/88461692/lists/1528929?type=series第2部分：

卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）是一種深度學(xué)習(xí)模型，專門用于處理具有類似網(wǎng)格結(jié)構(gòu)的數(shù)據(jù)，如圖像。卷積神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)基本層級構(gòu)造輸入層：數(shù)據(jù)的輸入（通常是圖像）卷積層：使用卷積進行特征提取和映射激活函數(shù)：增加非線性映射池化層：下采樣，對特征圖稀疏處理，減少數(shù)據(jù)運算量全連接層：通常在尾部，對數(shù)據(jù)重新擬合并輸出分類結(jié)果輸入層CNN中圖片的輸入格式與全連接網(wǎng)絡(luò)的輸入格式不同，輸入層保留了本身的結(jié)構(gòu)。對于28*28的灰度圖像，CNN的輸入是28*28的二維矩陣，而全連接網(wǎng)絡(luò)的輸入是28*28=784的一維向量對于RGB格式的28*28的圖片，CNN輸入的是28*28*3的三維矩陣。卷積層卷積層尺寸的計算：（1）輸入矩陣：（樣本數(shù)，圖像通道數(shù)，圖像高度，圖像寬度）（2）卷積核：（輸入通道數(shù)，輸出通道數(shù)，卷積核高度，卷積核寬度），訓(xùn)練時卷積核就是要調(diào)整的參數(shù)（3）輸出矩陣：（樣本數(shù)，圖像通道數(shù)，圖像高度，圖像寬度）輸入單通道卷積層輸入多通道卷積層卷積層的目的就是通過卷積運算提取輸入的不同特征。如第一層卷積可能只能提取到一些低級的特征，如邊緣，線條等等，更深的卷積層能從低級特征中迭代提取更復(fù)雜的特征。卷積層代碼示例參數(shù)共享減少模型中的參數(shù)數(shù)量還提高了模型的泛化能力

nn.Conv2d(1,32,kernel_size=3,stride=1,padding=1)#in_channels=1：輸入圖像的通道數(shù)。灰度圖像，通道數(shù)為1；彩色圖像（RGB）通道數(shù)為3。#out_channels=32：卷積核的數(shù)量，也就是卷積層輸出的通道數(shù)。每個卷積核會生成一個輸出通道。#kernel_size=3：卷積核的大小。這里是一個3x3的卷積核。#stride=1：卷積核在圖像上滑動的步長。步長為1表示每次滑動一個像素。#padding=1：在輸入圖像的邊緣填充的像素數(shù)。

卷積動圖演示卷積輸出滿足公式其中：

O是輸出大小；N是輸入大小；P是填充大小；S是滑動步長；k是卷積核大小；

若結(jié)果是浮點數(shù)，向下取整。如上圖：輸入圖像6*6，卷積核3*3，步長為1，沒有填充，請計算輸出長寬w,h的值是多少？輸出的特征向量的大小是由步長stride和padding決定的。激活函數(shù)在使用卷積核對輸入進行卷積運算得到特征圖之后，往往需要使用激活函數(shù)對特征圖進行激活，其主要目的是引入非線性特性，使網(wǎng)絡(luò)能夠?qū)W習(xí)復(fù)雜的模式和特征。常見的激活函數(shù)有以下幾種：激活函數(shù)推薦卷積神經(jīng)網(wǎng)絡(luò)激活函數(shù)優(yōu)先推薦ReLU。ReLU激活函數(shù)的優(yōu)勢：反向傳播時，可以避免梯度消失Relu會使一部分神經(jīng)元的輸出為0，這樣就造成了網(wǎng)絡(luò)的稀疏性，并且減少了參數(shù)的相互依存關(guān)系，緩解了過擬合問題的發(fā)生相對于sigmoid激活函數(shù)，relu激活函數(shù)，求導(dǎo)簡單。采用sigmoid等函數(shù)，算激活函數(shù)時（指數(shù)運算），計算量大，反向傳播求誤差梯度時，求導(dǎo)涉及除法，計算量相對大，而采用Relu激活函數(shù)，整個過程的計算量節(jié)省很多池化層池化層也叫下采樣層，常用于卷積層之間，跟卷積類似，也有滑動窗口、步長和填充。常見的采樣方式平均池化、最大/最小池化：（1）平均池化：對采樣區(qū)域的數(shù)據(jù)求平均（2）最大/最小池化：對采樣區(qū)域的數(shù)據(jù)取最大/最小值。特性：（1）特征不變性池化的作用類似于resize，壓縮圖像，去除了一些無關(guān)的信息，保留了重要信息。（2）特征降維去除無關(guān)的特征或者重復(fù)的特征。池化層代碼示例參數(shù)共享減少模型中的參數(shù)數(shù)量還提高了模型的泛化能力nn.MaxPool2d(kernel_size=2,stride=2)nn.AvgPool2d(kernel_size=2,stride=2)#kernel_size=2：池化窗口的大小。這里是一個2x2的窗口。#stride=2：池化窗口在圖像上滑動的步長。步長為2表示每次滑動2個像素。

全連接層與輸出層

全連接層中的每個神經(jīng)元與其前一層的所有神經(jīng)元進行全連接。全連接層可以整合卷積層或者池化層中具有類別區(qū)分性的局部信息。最后一層全連接層的輸出值被傳遞給一個輸出層，在通常情況下，輸出層使用softmax激活函數(shù)（把分類結(jié)果，轉(zhuǎn)換成0-1的數(shù)值，表示分類的置信度），因此該層也可稱為softmax層。第3部分：

手寫數(shù)字識別實踐MNIST數(shù)據(jù)集MNIST是一個手寫字體的數(shù)字圖像數(shù)據(jù)集，包含數(shù)字0-9共計70000張圖像，其中訓(xùn)練集60000