PPT信息論與編碼-第1章緒論

課程概述

信息論與編碼以概率論與隨機過程為主要數學工具，用一系列具體的符號(碼)來表示抽象的信息，研究信息在存儲和傳遞過程中具有高效性和可靠性這兩大核心問題。本課程包括信息論基礎和編碼兩大部分。 2/3/20231第一次課學習方法 學習時把注意力集中到概念的理解上，不過分追求數學細節的推導。 注意理解各個概念的“用處”，結合其他課程理解它的意義，而不要把它當作數學課來學習，提倡獨立思考，注重思考在學習中的重要性。2/3/20232第一次課第一章緒論1.1信息的概念、性質及度量1.2信息論研究的對象、目的和內容1.3信息論的形成與發展2/3/20233第一次課1.1.1信息的重要性人類的生存與發展離不開信息結繩記事,契(qì)刻記事：最初期烽火告警、狼煙、擂鼓傳信、飛鴿傳書最早、快速、遠距離語言和文字：最根本的工具造紙術和印刷術使文字成為信息傳遞有效工具郵政通信電報、電話和電視快速、便利、遠距離網絡、手機

什么是信息？消息？2/3/20234第一次課1.1.2信息的定義（一）不同學科,從不同角度對信息這個概念有不同解釋新聞界,信息被普遍認為是對事物運動狀態的陳述,是物與物、物與人、人與人之間的特征傳輸.而新聞則是信息的一種,是具有新聞價值的信息，如東航“返航事件”.哲學家從產生信息的客體來定義,認為信息是事物本質、特征、運動規律的反映.不同事物有不同本質、特征、運動規律,人們就是通過事物發出的信息來認識該事物,或區別于其它事物.圖書館學和情報學領域,信息定義為事物或記錄.美國學者巴克蘭德(Buckland)認為,許多事物都可以是信息,如文本、圖片、錄音磁帶、博物館陳列品、自然物體、實驗、事件等。但這一定義過于寬泛,未能將信息、信息載體和信息資源區分開來.2/3/20235第一次課1.1.2信息的定義（二）控制論專家維納(Wiener,右圖)的信息概念是從信息傳遞過程中,客體和接收主體之間相互作用定義的.他說,”信息既不是物質,又不是能量,信息就是信息.”根據維納的說法,信息和物質、能量既有聯系又有區別物質世界三大基礎：世界由物質組成,能量是物質運動的動力,信息是人類了解自然及人類社會的憑據;獨立性：信息不遵循質量守恒定律,其性質和內容與物質載體的變換無關;信息也不服從能量守恒定律,信息可以共享而能量不能共享.依存關系：能量和信息源于物質;信息要以物質為基礎,也離不開能量;物質運動的狀態和方式需要信息來表現和描述,能量的轉換與駕馭也同樣離不開信息.2/3/20236第一次課1.1.2信息的定義（三）1988年,鐘義信在《信息科學原理》中認為,信息是事物運動的狀態與方式，是物質的一種屬性。“事物”泛指一切可能的研究對象,包括外部世界的物質客體,也包括主觀世界的精神現象;“運動”泛指一切意義上的變化,包括機械運動、化學運動、思維運動和社會運動;“運動方式”是指事物運動在時間上所呈現的過程和規律;“運動狀態”則是事物運動在空間上所展示的形狀與態勢.2/3/20237第一次課1.1.2香農信息的定義克勞德·艾爾伍德·香農是美國數學家、信息論的創始人。密西根大學學士，麻省理工學院博士。香農在1948年發表了一篇著名的論文，《通信的數學理論》。他從研究通信系統傳輸的實質出發，對信息做了科學的定義，并進行了定性和定量的分析。

克勞德·艾爾伍德·香農(ClaudeElwoodShannon,1916-2001)2/3/20238第一次課1.1.2香農信息的定義香農將各種通信系統概括成如下框圖：2/3/20239第一次課1.1.2香農信息的定義消息傳遞過程的特點：收信者在收到消息以前是不知道消息的具體內容的。1)收信者存在著“不知”、“不確定”或“疑問”；收到消息以前，收信者在是不知道消息的具體內容。即使收到消息，由于干擾的存在，收信者也不能判定所得到的消息是否正確和可靠。2)通過消息的傳遞，收信者知道了消息的具體內容，消除或部分消除了原先的“不知”、“不確定”和“疑問”。2/3/202310第一次課1.1.2香農信息的定義2/3/202311第一次課1.1.2香農信息的定義因此，對收信者來說，消息的傳遞過程是從不知到知的過程；或是從知之甚少到知之甚多的過程；或是從不確定到部分確定或全部確定的過程。如果不具備這樣一個特點，那就根本不需要通信系統了。2/3/202312第一次課1.1.2香農信息的定義所以，通信過程是一種消除不確定性的過程。不確定性的消除，就獲得了一部分信息。不確定性消除得越多，獲得的信息就越多。不確定性全部消除了，就獲得了全部的信息；若消除了部分不確定性，就獲得了部分信息；若不確定性沒有任何消除，就沒有獲得任何信息。由此可見，信息是事物運動狀態或存在方式的不確定性的描述。這就是香農信息的定義。2/3/202313第一次課1.1.3信息與消息的關系1、消息：表達客觀物質運動和主觀思維活動的狀態,如文字、語言、圖像等.2、信息與消息的關系：形式上傳輸消息，實質上傳輸信息。消息具體，信息抽象。消息是表達信息的工具，信息載荷在消息中，同一信息可用不同形式的消息來載荷。消息可能包含豐富的信息，也可能包含很少的信息。2/3/202314第一次課1.1.4信息與信號的關系1、信號：把消息變換成適合信道傳輸的物理量，如光信號、電信號、聲信號和生物信號等。2、信息與信號的關系：信號攜帶著消息，它是消息的運載工具。信號是消息的表現形式，消息是信號的具體內容。2/3/202315第一次課1.1.5香農信息的度量根據香農的有關信息的定義，信息如何度量？當人們收到一封電報，或聽了廣播，或看了電視，到底得到了多少信息量呢？信息能否度量？信息量與不確定性消除的程度有關。那么，不確定性的大小能度量嗎？數學工具：數學上，不確定性就是隨機性，具有不確定性的事件就是隨機事件。因此可用概率論和隨機過程來測度不確定性的大小。從直觀概念來講，不確定性的大小可以直觀地看成是事先猜測某隨機事件是否發生的難易程度。2/3/202316第一次課1.1.5香農信息的度量

而乙袋中取出紅球的概率小，不確定性大，故信息量大。從這個例子可以得出：不確定性的大小與可能發生的消息數目及各消息發生的概率有關。舉例說明不確定性的大小，如右圖甲袋中取出紅球的概率大，不確定性小，因此信息量小；2/3/202317第一次課1.1.5香農信息的度量信息能否度量？信息量與不確定性消除的程度有關。那么，不確定性的大小能度量嗎？回答：某一事物狀態的不確定性的大小，與該事物可能出現的不同狀態數目以及各種狀態出現的概率大小有關。因此，不確定性的大小能夠度量。可見，信息也是可以測度的。2/3/202318第一次課1.1.3信息的基本性質1、信息是無形的不同于物質與能量，看不見、摸不著，不具有實體性2、信息是可共享的2.1信息共享是無限的，甲—〉乙—〉丙2.2信息共享的積極作用，加速人類社會的文明進程2.3信息共享的安全性3、信息是無限的3.1資源,取之不盡、用之不竭的3.2時空上的可擴展性，如天氣預報信息4、信息是可量度的，質量和數量2/3/202319第一次課1.1.6香農信息的度量（一）1、樣本空間X某事物所有可能出現的不同狀態(或不同消息)的集合。2、概率測度P對于每個可能選擇的消息指定一個概率。3、消息概率空間[X,P]：消息的樣本空間X和它的概率測度P。離散情況下概率空間為2/3/202320第一次課1.1.6信息的度量（二）4、自信息：接收端對發送端是否發送消息ai的不確定性,即5、條件自信息：接收端收到bj后,對發送端是否發送消息ai尚存在的不確定性,即6、互信息：收信者獲得的信息量,接收端收到消息bj后,已經消除的不確定性,即2/3/202321第一次課1.1.7香農概率信息定義的優劣優點：定義科學，有明確的數學模型；與日常用語中信息的含意是一致的；排除了日常用語中對信息的主觀含意。局限性：實際存在的某些事物運動狀態很難找到一個合適的概率模型(以經典集合論為基礎)；沒有考慮收信者的主觀特性和主觀意義；撇開了事物本身的具體含意、具體用途、重要程度和引起的后果等因素。2/3/202322第一次課第一章緒論1.1信息的概念、性質及度量1.2信息論研究的對象、目的和內容1.3信息論的形成與發展2/3/202323第一次課1.2.1研究對象：通信系統各種通信系統盡管形式和用途不同都是信息傳輸系統；為便于研究信息傳輸和處理的共同規律，將各種通信系統抽象成一個統一的理論模型，如圖1.1.2/3/202324第一次課1.2.1研究對象：通信系統通信系統模型主要分成以下五部分：1、信源：產生消息和消息序列的源。它可以是人、生物、機器或其他事物，人的大腦思維活動也是一種信源；信源發出的消息有語音、圖像、文字等；信源的輸出是消息，消息是具體的，但它不是信息本身。它是事物各種運動狀態或存在狀態的集合，可能出現的狀態(即信源輸出的消息)是隨機的、不確定的，但又有一定的規律性。2/3/202325第一次課1.2.1研究對象：通信系統2、編碼器：將信源發出的消息變換成適合信道傳送的信號的設備，包括以下三個部分：信源編碼，為了提高信息傳輸的效率對信源輸出的消息進行適當的變換和處理，把信息變換成信號，又稱信源壓縮編碼；信道編碼，是為了提高信息傳輸的可靠性而對消息進行的變換和處理，又稱信道糾錯編碼，如奇偶監督碼、重復碼、線性分組碼等；保密編碼，是為保證信息的安全性和證實性。2/3/202326第一次課編碼的應用的幾個例子：電報常用的莫爾斯碼就是按信息論的基本編碼原則設計出來的；在一些商品上面有一張由粗細條紋組成的標簽，從這張標簽可以得知該商品的生產廠家、生產日期和價格等信息，這些標簽是利用條形碼設計出來的，非常方便，非常有用，應用越來越普遍；計算機的運算速度很高，要保證它幾乎不出差錯，相當于要求有100年的時間內不得有一秒鐘的誤差，這就需要利用糾錯碼來自動地及時地糾正所發生的錯誤；每出版一本書，都給定一個國際標準書號(ISBN)，大大方便圖書的銷售、編目和收藏工作。2/3/202327第一次課1.2.1研究對象：通信系統3、信道：通信系統中把載荷消息的信號從甲地傳輸到乙地的媒介或通道。實際信道有明線、電纜、波導、光纖、無線電波傳播空間等傳輸電磁波能量的信道；信道除傳送信號以外，還有存儲信號的作用，如磁帶、光盤或書寫通信方式；在信道中還存在噪聲和干擾。為分析方便，把干擾和噪聲都等效地折合成信道干擾，看成是由噪聲源產生。由于干擾或噪聲往往具有隨機性，所以信道特性可用概率空間描述。2/3/202328第一次課1.2.1研究對象：通信系統4、譯碼：就是把信道輸出的編碼信號（已迭加了干擾）進行反變換，一般認為這種變換是可逆的。從受干擾的信號中最大限度地提取出信源輸出消息的信息，并盡可能地復現信源的輸出。譯碼器也分成三種：信源譯碼器；信道譯碼器；解密譯碼器。2/3/202329第一次課1.2.1研究對象：通信系統5、信宿：是消息傳送過程中的接收者，即接收消息的人或機器。2/3/202330第一次課1.2.2研究目的研究概括性強的通信系統，其目的：要找到信息傳輸過程的共同規律，以提高信息傳輸的可靠性、有效性、保密性和認證性，使達到信息傳輸系統最優化。可靠性：盡可能不失真地再現信源發出的消息；有效性：用更短的時間和更少的設備來傳送信息，與可靠性易發生矛盾，需要統籌兼顧；保密性：傳送的消息只被預定的接收者獲取；認證性：正確判斷所接收消息是預定發送者發送的。2/3/202331第一次課1.2.2研究目的根據信息傳輸的要求不同，信息傳輸系統模型不是不變的。研究可靠性，把信源、信源編碼和加密編碼等效成一個信源，而將信宿、信源譯碼和解密譯碼等效成一信宿；研究有效性，只考慮信源與信宿之間的信源編(譯)碼，將其他部分看成無干擾信源；研究保密性和認證性，將信源和信源編碼等效成一信源；將信道編碼、信道、噪聲源和信道譯碼等效成一無干擾信道；而將信源譯碼和信宿等效為一信宿。2/3/202332第一次課1.2.3研究內容信息論研究的是關于這個通信系統的最根本、最本質的問題。例如：①什么是信息？如何度量信息？②怎樣確定信源中含有多少信息量？③對于一個信道，它傳輸信息量的最高極限(信道容量)是多少？2/3/202333第一次課1.2.3研究內容④為了能夠無失真的傳輸信源信息，對信源編碼時所需的最少的碼符號數是多少？(無失真信源編碼即香農第一定理)⑤在有噪信道中有沒有可能以接近信道容量的信息傳輸率傳輸信息而錯誤概率幾乎為零？(有噪信道編碼即香農第二定理)⑥如果對信源編碼時允許一定量的失真，所需的最少的碼符號數又是多少？(限失真信源編碼即香農第三定理)2/3/202334第一次課1.2.3研究內容信息論研究內容的三種理解：1、狹義信息論A.信息的測度 B.信道容量C.信源和信道編碼理論2、一般信息論。主要也是研究信息傳輸和處理問題。A.香農理論 B.噪聲理論C.信號濾波和預測 D.統計檢測與估計理論E.調制理論 F.信息處理理論3、廣義信息論。除了上述兩個方面內容，還包括所有與信息有關的領域，如A.模式識別 B.計算機翻譯 C.心理學D.遺傳學 E.神經生理學 F.語言學G.語義學2/3/202335第一次課1.2.3研究內容綜上所述，信息論是一門應用概率論、隨機過程、數理統計和近代代數的方法，來研究廣義的信息傳輸、提取和處理系統中一般規律的科學；它的主要目的是提高信息系統的可靠性和有效性，以便達到系統最優化；它的主要內容(或分支)包括香農理論、編碼理論、維納理論、檢測和估計理論、信號設計和處理理論、調制理論、隨機噪聲理論和密碼學理論等。2/3/202336第一次課狹義信息論體系結構Shannon信息論壓縮理論有失真編碼無失真編碼等長編碼定理Shannon1948McMillan1953變長編碼定理Shannon1948McMillan1956Huffman碼(1952)、Fano碼算術碼(1976,1982)LZ碼(1977,1978)率失真理論ShannonGallagerBerger壓縮編碼JPEGMPEG傳輸理論信道編碼定理網絡信息理論糾錯碼編碼調制理論網絡最佳碼2/3/202337第一次課1.2.3研究內容除了香農理論以外，后一部分內容是以美國科學家維納(N.Wiener)為代表，其中最有貢獻的是維納和蘇聯科學家柯爾莫哥洛夫(А.Колмого?ров?)。維納(1894-1964)柯爾莫哥洛夫(1903-1987)2/3/202338第一次課1.2.3研究內容雖然維納和香農等人都是運用概率和統計數學的方法來研究準確地或近視地再現消息的問題，都是為了使消息傳送和接收最優化，但他們之間卻有一個重要的區別，見下表。2/3/202339第一次課1.2.3研究內容維納理論香農理論研究重點接收端編碼、收發聯合最優化研究對象研究信號在傳輸過程中被那些因素干擾研究信號從信源到信宿之間傳輸的全過程研究內容在接收端怎樣在干擾中提取、恢復、再現信號在傳輸前、后對消息進行適當的編(譯)碼，就能保證干擾下最佳地傳送和再現消息提出理論最佳線性濾波理論(維納濾波器)、統計檢測與估計理論、噪聲理論信息測度理論、信道容量理論和編碼理論等2/3/202340第一次課第一章緒論1.1信息的概念、性質及度量1.2信息論研究的對象、目的和內容1.3信息論的形成與發展2/3/202341第一次課1.3.1電信系統的形成與發展一、有線通信系統 1831年英國法拉第(Faraday)發現電磁感應的基本規律。1844年美國莫爾斯(Morse)建立起了電報系統(數據)。1875年蘇格蘭青年亞歷山大.貝爾(Bell)發明了世界上第一臺電話機(語音)。2/3/202342第一次課二、無線電通信系統1864年英國麥克斯韋(Maxwell)預言了電磁波的存在.1888年德國赫茲(Hertz)用實驗證明了電磁波存在這一預言.1895年意大利的馬可尼(Marconi)發明了無線電通信,通信距離近百米.1901年馬可尼成功地進行了跨越大西洋的遠距離無線電通信.1904年英國工程師弗萊明(Fleming)發明了真空二極管.具有更高的性能和靈敏度，大大提高了無線電通信的功能.1906年美國福雷斯特(Forest)制成了世界上第一只真空三極管.起到放大電信號的作用,大大提高了無線電通信的距離和可靠性.1925-1927,大功率超高頻電子管發明以后,電視系統(圖像)建立起來了.1925年蘇格蘭人貝爾德(Baird)和美國人斯福羅金(Zworykin)發明了電視系統（圖像）。前者稱做機械式，后者稱為電子式電視。2/3/202343第一次課三、微波通信系統（波長在0.1mm---1m）微波電子管是隨著微波波段的開發利用而發展起來的,它的應用領域已擴展到微波中繼通信、衛星通信、地面電視廣播、衛星電視廣播、導航、能量傳輸、工業和民用加熱、科學研究等方面.五十年代后期發明了量子放大器,微波放大的裝置,這種放大器是噪聲最低的一種微波放大器,而且工作穩定、線性度好.2/3/202344第一次課四、光纖通信系統（波長在0.8μm---1.8μm）世界上第一臺激光器誕生于1960年,我國于1961年研制出第一臺激光器,使人類進入了光纖通信的時代.1966年,英籍華人高錕最先提出用玻璃纖維進行遠距離激光通信的設想.1973年,美國康寧公司制成每千米傳輸損耗只有20分貝的光纖.同年,美國貝爾實驗室研制出能在常溫下連續工作的半導體激光器.這兩項技術突破為光纖通信的實現鋪平了道路.1976年,美國在芝加哥兩個相距7千米的電話局間首次進行了光纖通信試驗,實現了一根光纖能夠同時容納8000對人通話.2/3/202345第一次課1.3.2通信理論的發展一、信息理論1885年凱爾文(Kelvin)曾經研究過一條電纜的極限傳信率問題。 1922年卡遜(Carson)研究了調幅信號頻譜結構，提出了邊帶概念。 1924年奈奎斯特(Nyquist)和屈夫繆勒(Küpfmüller)解釋了信號帶寬和信息率之間的關系。 1928年哈特萊(Hartley)提出信息量等于可能消息數的對數。1936年阿姆斯特朗(Armstrong)提出在傳輸過程中增大帶寬可以增強抑制干擾的能力。1939年，瑞弗(Reeve)提出了具有強干擾能力的脈沖調制。上述理論工作的一個主要弱點：是把消息看成是一個確定性的過程，這與許多實際情況不相符合。所依靠的數學工具主要是經典的傅里葉分析方法，這是有局限性的。

2/3/202346第一次課1945年萊斯(Rice)對噪聲進行了全面研究總結,抗干擾取代了抗失真。1948年香農在貝爾系統技術雜志上發表了兩篇有關“通信的數學理論”的文章。香農第一定理：變長無失真信源編碼定理香農第二定理：有噪信道編碼定理195l年美國IRE成立了信息論組，1955年出版了匯刊。此間，范恩斯坦(Foinstein)等科學家論證和推廣了香農理論。1959年香農發表了“保真度準則下的離散信源編碼定理(香農第三定理)”，系統地提出了信息率失真理論。1961年香農論文“雙路通信信道”開拓了多用戶信息論研究。2/3/202347第一次課二、信號檢測與估計理論1942年維納(Wiener)建立了最少均方誤差準則的維納濾波理論；1943年諾思(North)提出了最大輸出信噪比準則的匹配濾波器理論。1946年科捷利尼科夫(Kotelnikov)提出了最大后驗概率準則(或稱最小錯誤概率)的理想接收機。1950年伍德沃德(Woodword)將信息量的概念用于雷達信號檢測，提出一系列綜合最優雷達系統的新概