GB/T 42382.1-2023信息技術神經網絡表示與模型壓縮第1部分：卷積神經網絡

ICS35040

CCSL.71

中華人民共和國國家標準

GB/T423821—2023

.

信息技術神經網絡表示與模型壓縮

第1部分卷積神經網絡

:

Informationtechnology—Neuralnetworkrepresentationandmodelcompression—

Part1Convolutionalneuralnetwork

:

2023-03-17發布2023-10-01實施

國家市場監督管理總局發布

國家標準化管理委員會

GB/T423821—2023

.

目次

前言

…………………………Ⅲ

引言

…………………………Ⅳ

范圍

1………………………1

規范性引用文件

2…………………………1

術語和定義

3………………1

縮略語

4……………………4

約定

5………………………4

規則

5.1…………………4

算術運算符

5.2…………………………4

邏輯運算符

5.3…………………………5

關系運算符

5.4…………………………5

位運算符

5.5……………5

賦值

5.6…………………5

數學函數

5.7……………6

結構關系符

5.8…………………………7

解析過程和解碼過程的描述方法

5.9…………………7

神經網絡模型的語法和語義

6……………7

數據結構

6.1……………7

語法描述

6.2……………9

語義描述

6.3……………15

壓縮過程

7…………………75

多模型

7.1………………75

量化

7.2…………………80

剪枝

7.3………………102

結構化矩陣

7.4………………………105

解壓過程解碼表示

8()…………………112

多模型

8.1……………112

反量化

8.2……………118

反稀疏化反剪枝操作

8.3/……………128

結構化矩陣

8.4………………………131

數據生成方法

9…………………………138

定義

9.1………………138

訓練數據生成方法

9.2………………139

多模型

9.3……………145

量化

9.4………………150

剪枝

9.5………………169

Ⅰ

GB/T423821—2023

.

結構化矩陣

9.6………………………176

編解碼表示

10……………184

神經網絡模型權重壓縮位流的語法和語義

10.1……………………184

權重壓縮位流的語法描述

10.2………………………189

權重壓縮位流的語義描述

10.3………………………212

權重壓縮位流解析過程

10.4…………222

權重壓縮位流解碼

10.5………………233

模型保護

11………………241

模型保護定義

11.1……………………241

模型加密過程

11.2……………………242

模型解密過程

11.3……………………243

密文模型數據結構定義

11.4…………245

附錄資料性專利列表

A()……………246

參考文獻

……………………247

Ⅱ

GB/T423821—2023

.

前言

本文件按照標準化工作導則第部分標準化文件的結構和起草規則的規定

GB/T1.1—2020《1:》

起草

。

本文件是信息技術神經網絡表示與模型壓縮的第部分已經發

GB/T42382《》1。GB/T42382

布了以下部分

:

第部分卷積神經網絡

———1:。

本文件由全國信息技術標準化技術委員會提出并歸口

(SAC/TC28)。

本文件起草單位北京大學鵬城實驗室深圳市海思半導體有限公司賽靈思電子科技北京有限

:、、、()

公司杭州海康威視數字技術股份有限公司北京百度網訊科技有限公司深圳市騰訊計算機系統有限

、、、

公司華為技術有限公司廈門大學中國電子技術標準化研究院中國科學院自動化研究所浙江大學

、、、、、、

中國科學技術大學上海交通大學清華大學中關村視聽產業技術創新聯盟

、、、。

本文件主要起草人田永鴻楊帆紀榮嶸單弈陳光耀燕肇一鄭俠武浦世亮譚文明李哲暘

:、、、、、、、、、、

彭博鐘剛趙恒銳段文鴻胡浩基李翔駱陽王煒許奕星李慧霞林紹輝王培松趙依胡曉光

、、、、、、、、、、、、、、

鄭輝煌蔣佳軍馬金成程健江帆朱文武汪小娟高文黃鐵軍趙海英馬珊珊

、、、、、、、、、、。

Ⅲ

GB/T423821—2023

.

引言

神經網絡的表示和模型壓縮是人工智能技術體系的重要組成部分是國民經濟各行業應用人工智

,

能的前提然而多源算法平臺不能協同工作模型不可以相互轉換制約了人工智能技術的傳播和應

。,,,

用為了保證人工智能技術的跨平臺可操作性提升模型復用效果本標準將對神經網絡的表示和模型

。,,

壓縮進行規范帶動人工智能產業的健康快速發展旨在確立適用于卷積神經網絡大

,、。GB/T42382、

規模預訓練網絡及圖神經網絡的神經網絡表示與模型壓縮的規范擬由三個部分組成

,:

第部分卷積神經網絡目的在于確立適用于卷積神經網絡的表示與模型壓縮標準

———1:。。

第部分大規模預訓練模型目的在于確立適用于大規模預訓練網絡的模型表示模型壓縮

———2:。、

及模型傳輸標準

。

第部分圖神經網絡目的在于確立圖數據和圖神經網絡表示確定圖神經網絡模型的編碼

———3:。,

格式標準

。

本文件的發布機構提請注意聲明符合本文件時可能涉及到與神經網絡表示標

,,6、7、8、9、10、11《

準框架結構專利號與基于神經網絡差分的量化方法及系統

》(:201810575097.7);7.1.4、8.1.3、9.3.2《》

專利號與一種基于參數范數的神經網絡量化方法專利號

(:201910478617.7);7.2、8.2、9.4《》(:

與一種神經網絡計算方法和裝置專利號

201810387893.8);7.4.2、8.4.2、9.6.2《》(:PCT/CN2018/

與一種神經網絡模型數據處理方法及處理裝置專利號

101598);7.1.3、8.1.2、9.3.1《、》(:PCT/CN2019/

一種神經網絡模型數據處理方法及處理裝置專利號

085885)、《、》(:201810464380.2);、、8.

與

2.3.3、、、《NeuralNetworkQuantizationMethodusingMultipleRefinedQuan-

專利號與圖像

tizedKernelsforConstrainedHardwareDeployment》(:PCT/EP2019/053161);9.2.2《

生成方法神經網絡的壓縮方法及相關裝置設備專利號

、、》(:201910254752.3);、、

與模型訓練方法裝置存儲介質和程序產品專利號與神經網絡

《、、》(:PCT/CN2019/129265);7.2、8.2《

模型和訓練方法和裝置專利號神經網絡模型的量化方法和裝置專利號

》(:CN202010144315.9)、《》(:

神經網絡模型的量化方法和裝置專利號神經網絡模

CN202010143782.X)、《》(:CN202010144339.4)、《

型壓縮方法以及裝置專利號與

》(:CN201610943049.X);6.2、6.3《DEEPLEARNINGPROCESSING

專利號

APPARATUSANDMETHOD,DEVICEANDSTORAGEMEDIUM》(:US17/017,600);7.

與

4、8.4《NEURALNETWORKDATAPROCESSINGAPPARATUS,METHODANDELEC-

專利號與基于多比特神經網絡非線性量化的深度

TRONICDEVICE》(:US16/893,044);7.2、8.2、9.4《

神經網絡壓縮方法專利號與一種基于結構化剪枝的高效圖像分類

》(:201910722230.1);7.3、8.3、9.5《

方法專利號與一種基于增量正則化的神經網絡結構化稀疏方法

》(:201910701012.X);7.3、8.3、9.5《》

專利號與一種模型數據的處理方法裝置及設備專利號

(:201910448309.X);11《、》(:201911230340.2);

與一種應用有界線性整流單元的全整數神經網絡系統專利號

、、《》(:

與基于張量分解的深度卷積神經網絡的加速與壓縮方法專利號

2019104537988);7.4、8.4、9.6《》(:

相關專利的使用

201610387878.4)。

本文件的發布機構對于該專利的真實性有效性和范圍無任何立場

、。

該專利持有人已向本文件的發布機構承諾他愿意同任何申請人在合理且無歧視的條款和條件下

,,

就專利授權許可進行談判該專利持有人的聲明已在本文件的發布機構備案相關信息可以通過以下

。,

聯系方式獲得

:

專利持有人北京大學華為技術有限公司北京百度網訊科技有限公司廈門大學浙江大學趙恒

:、、、、、

銳中科院自動化研究所

、

Ⅳ

GB/T423821—2023

.

地址北京市海淀區頤和園路號理科號樓室郵編北京市上地信息路號華為

:522604:100871;3

大廈郵編北京市海淀區上地十街號百度大廈郵編福建省廈門市思明區廈門大學

:100085;10:100085;

信息學院郵編浙江省杭州市西湖區浙大路號浙江大學玉泉校區郵編安徽省合肥

:361005;38:310000;

市蜀山區中國科學技術大學西區郵編北京市海淀區中關村東路號郵編

:230027;95:100190

聯系人黃鐵軍

:

通訊地址北京大學理科號樓室

:22641

電子郵件

:tjhuang@

電話

:+8610-62756172

請注意除上述專利外本文件的某些內容仍可能涉及專利本文件的發布機構不承擔識別專利的

,。

責任

。

Ⅴ

GB/T423821—2023

.

信息技術神經網絡表示與模型壓縮

第1部分卷積神經網絡

:

1范圍

本文件規定了卷積神經網絡離線模型的表示與壓縮過程

。

本文件適用于各種卷積神經網絡模型的研制開發測試評估過程以及在端云領域的高效應用

、、,。

注對于本文件規定的表示與模型壓縮方法不要求機器學習框架原生支持可以通過轉換工具包等形式支持

: