信息論與編碼第四章課后習題答案

第四章課后習題

[4.1]設有一連續隨機變量，其概率密度函數為

p“)二Acosxk|

0其他值

又有￡p(x)d.i=l,試求這隨機變量的嫡。

解:

h(X)=-jp(x)logp(x)clx

=—JACOSxlogAdx—JACOSXlogcosxdx

=-AlogAsinA三一JAcosxlogcosxdx

"T

=-2AlogA-JAcosxlogcosxdx

而

jcosxlogcosxdx=logejInJl-sintrdsinx

=；logejln(l+sinx)+ln(l-sinx)dsinx

=；logfjln(1+sinx)dsinx+：logejln(l-sinx)dsinx

.x..x-f1+sinx..

jln(1+sinx)dsinx=(Zl14-sinx)ln(Zl1+sinx)%-------dsinx

-yJ1+sinx

=21n2-2

Jln(1-sinx)dsinx=-jln(l-sinx)J(l-sinx)

i一爐匕dsinx

=-(l-sinx)ln(l-sinx)

--JI-sinx

21n2-2

因此有

A

h(X)=-2AlogA-yluge(21ii2-2+21ii2-2)

=-2AlogA+2Aloge,-2j41oge,ln2

=-2AlogA+2Alog-2A

而,p(x)dx=l,即4=因此

/?(%)=-log^+loge-l=1+loge-1=loge

[4.2]計算連續隨機變量X的差靖

(1)指數概率密度函數，(幻=婕隊，x>0,X>0

(2)拉普拉斯概率密度函數，p(x)=；履叫"，-oo<X<oo,X>0

解：

(1)

h(X)=-jp(x)logp(x)d.x

=-logdx

*

=-Jilog入dx-Jibge'k'dx

=-log入+logeJIne~kxde"

=-logX+loge/ln/|i'-logeJdt

--logX+loge

log不

A

⑵

h(X)=-Jp(x)logp(x)dv

=_￡l^^l10gl^-Wr

=入Hogg展“

=-Jke~/xlog—J.v-Jke~k'log)^e~^xdx

.-.e

=Iog2+log—

A

?2e

=bgb

K

注：(2)題直接借用了(1)的結論。

[43]設有一連續隨機變量，其概率密度函數為:

bx20<x<a

〃(1)=?

0其他值

試求這隨機變量的嫡。又若X=X+K(K>0),Y2=2X,試分別求出匕和X的

尷〃(工)和6億)。

解：

MX)=-Jp(x)logP(x)dx

=-jbx2log/?.x2tZv

=-\ogb-2bloge.x2Inxdx

22

=§a'b\oge--a-bloga-logh

由于jp(x)dx=l,因此。?=3,因此

2

/?(X)=—loge+log?-log3

當匕=X+K(K>0)時，器=1，因此

"i

2

/z(yi)=/i(X)-^|logl]=/?(X)=—logf+log?-log3

當X=2X時，=因此

123

h(Y)=A(X)-E[log—]=/?(X)=—loge+logalog—

[232

[4.4]設給定兩隨機變量X1和它們的聯合概率密度為

I邛

-8<XX,<8

一p

求隨機變量匕二X|十X2的概率密度函數，并計算變量Y的淄〃(丫)o

解：

11-K1

P(X與)=丁e2=-i=e2~i=e2=P(xJP(&)

2nJ27tJ2兀

肉此匕=X1+X,也是一個高斯分布的隨機變量.其均值為0.方差為2.即

P(V2)=^=^

因此其差熠為

h(Y)=log2neo:=^log4ne

[45]設一連續消息通過某放大器，該放大器輸出的最大瞬時電壓b,最小瞬時

電壓為4。若消息從放大器中輸出，問放大器輸出消息在每個自由度上的最大病

是多少？又放大器的帶寬為尸，間單位時間內輸出最大信息量是多少？

解：

該問題等價于取值受限的隨機變量的最大病，根據差熠的極值性，當等概率

分布時其差熠最大，即

h（y）=log（b-a）

如果放大器的帶寬為尸，則取樣率為2F,單位時間內輸出的最大信息量為

2Flog（/?-a）比特/秒

[4.6]有一信源發出恒定寬度，但不同幅度的脈沖，幅度值處在4和。2之間，

此信源連至某信道，信道接收端接收脈沖的幅度y處在々和么之間。巳知隨機變

量x和丫的聯合概率密度函數

/、1

〃⑸）=7-----5―F7

（生一《）血-4）

試計算八（x）,A（r）,〃（xy）和/（x；y）。

解：

p（x）=jp（x,y）力

=f------!------dy

J（%一處）電-“）

同理，p(y)=-~z-o

因此

力(X)=-Jp(x)logp(x)dx=log(〃2-6)

〃(丫)=-jP(y)logP(y)dy=log("-々)

//(xr)=-jp(x,y)logp(x,y)dxdy=k)g(&-6)+log(/?2-b)

/(X；r)=/j(X)+h(Y)-h(XY)=0

[4.7]在連續信源中，根據差熠、條件差熠和聯合差堵的定義，證明

(I)h(X\Y)<h(X)9當且僅當X和丫統計獨立時等號成立；

(2)h(X,X2LXQW力(X。十萬(X?)+L+6(XN),當且僅當X】X?LX.彼此統計

獨立時等式成立。

證明：

(1)

力(XV)=-]P(y)dy\p(x\y)logp(xly)dx

q-Jp(y)d)[p(xIy)logp(x)dx

=-JP(x,y)logp(x)dxdy

=h(X)

等號成立當且僅當P(*y)=Mx),即p(x,y)=〃(x)p(y),因此僅當x和y統計

獨立時等號成立。

(2)根據條件概率密度的相關公式，有

/I(X,X2X/V)=/J(X1)+/?(X2IX,)+//(%JX,X2)+L+h(XN\XiX2XN_l)

根據(1)的結論，條件差靖小于差靖，因此有

A(X,X2LXN)~(XJ+/KXJ+L+h(XN)

等號成立當且僅當

P(X2IA,)=/7(A2)

p(x3lx,x2)=p(x3)

p(%l—L-)=〃(/)

即

pC“2)=P(Xi)P(X2)

p(xxx2xy)=p(xx)p(x2)p(xi)

p(』0LxN)=p(x1)p(x2)Lp(xN)

[4.8]設連續隨機變量X,巳知XNO,其平均值受限，即數學期望為4,試求

在此條件下獲得的最大熠的最佳分布，并求出最大熠。

解:

給定條件如下:

JpMdx=1

^xp(x)dx=A

目標：求-]p(x)logp(K)dx的最大值。

構造函數

F(p(x))=p(x)logp(x)dx十入[p(x)dx+pJxp(x)dx

二J(一P(X)bgP(X)+入P(x)+|XVp(A)Xv

欲使鏘=°,只需d(-p(x)log/?(%)+即(x)+g-vp(x))

二0即可，因此有

dp(x)

-logp(x)-loge+X+|iv=0

p(x)=21+

根據Jp(x)d.x-1,JAP(A)C/A-A,可得

j2入小=l=>g=-2山"

[.印(x)dx=An=一]0°g"

1/-A(logr)2

因此P(x)=E)-2',此時

MX)=-Jp(x)logp(x)dx

二一"g(；Q°g"卜"g"

[4.9]N維連續型隨機序列X.,有概率密度p（XH?LXQ以及

E[（X（=^）]=G;O證明：當隨機序列的分量各自達到正態分布并彼此統計獨立

時熠最大。最大炳為

?og2”(o定Loj)"'

證明:

h(XtX2LXJW/7(XJ十〃(X?)+L+h(XN)

等號成立當且僅當各分量統計獨立。

而對于任何一個分量而言，當用（X,=町）]=o；時，高斯分布的差嫡最大，為

/?(X)=ylog

因此原序列差炳的最大值為:

MX&LXG=|log2Jtec；+1log27^0；+L十;log2廢oj

=ylog2U(G；O；L

[4.10]N維連續型隨機序列X|X?LXN，其各分量幅度分別受限為口也」。證

明：當隨機序列的分量各自達到均勻分布并彼此統計獨立時熠最大。最大摘為

證明：

A（X,X2LX、）W/|（XJ+/KXJ+L+h（XN）

等號成立當且僅當各分量統計獨立。

而對于任何一個分量而言，當幅度分別受限為”也〕時，均勻分布的差炳最大，

為

h（Xi）=\og（bi-ai）

因此原序列差炳的最大值為：

hiX1X2LX、）=log色一q）+log（a-〃J+L±\og（bN-aN）

=iogn（4-q）

1=1

[4.11]設X、都是互相獨立的正態分布的隨機變量，其方差分別為。；，

o；,…，均值分別為口，叫,L,乙。試證明Y=XI+X,+L+X.仍是正態

隨機變量，其均值為m=￡皿，方差。

證明：

設％和x?是相互獨立的正態分布的隨機變量，其均值為風，方差為設

r2=x,+x2.根據巳知條件，有

xf

Y2=X^X2

因此有

axi叫|

/、,、麻端

P(M，%)=pQ，z)ax

叱

ax7調

ii

=P*"2)0]

=P（M，X2）=P（%）P（X2）

=P（xJp（為一七）

因此有

p(y?)

xdx

p(a)p(y2-\)i

而

(x-叫『(乃一M-〃J

2o：2G;

2

](Z一叫f(y2-x,-w2)

21-0?—V

行占卜；（七一叫）二十o；（為一演一〃％F｝

呂7T｛（o；+o；卜;+2*（o：叫-o；%-呵。；）十K/十。；相十。:乂-2o%啊）｝

犯％

\(11Yf?-〃9：Y1.

5片r+?-「人，一__-(y2-zw,

。[+。；)29;+。;)

所以

2兀6。二

m.-m

2710)0：2(。:+a

2o,~o

2(0；+G

因此，Y?=Xi+X2是均值為呵+叫，方差為。：十0；的高斯分布，同理,

匕二XI+X?+X"……,y=X1+x?+L+X'均為高斯分布，因此

丫二'|十乂2+1+乂八是正態隨機變量，其均值為〃=￡犯，方差。2=￡62

[4.12]設某連續信道，其特性如下：

1-(V-x//3a:

而且輸入變量X的概率密度函數為

P(x)=

試計算:

(I)信源的炳MX)；

(2)平均互信息/(x；y)。

J2兀?2a:

可見，X為均值為0,方差為2W的正態分布，其差脩為

/i(X)=—log2ne2a2=：log47tea2

p(.工y)=p(x)p(y\x)

14r+4y--4.\y

—r=~7exp〈-------------

2yf3na~12a~

而

2

1j

----j=e4a

2aJTI

因此y是均值為o,方差為2旌的高妍分布，其差病為

//（y）=^log27^x2a2=^log47U?a2

而條件熠為

h(Y\X)二一jp(x)p(yIx)logp(yIx)dxdy

//,y、

1

=-Jp(xy)i°gl.xdy

a6兀

「1fMi

-Jp(x,y)log力―dxdy-Jp(x,y)loge3a.dxdy

=logV3na+logejp(x,y)H4-dxdy

3a2

而

而

=3辰［尸/力

=^->/37ta5

因此

?2a而

4a標

2

h(YIX)=logV3na+logejp(x,y)繪

=logV3na+[loge

--log37U?a2

因此平均互信息為：

l(X\Y)=H(Y)-H(Y\X)

=glog4nea2-log3nea2

1.4

二-log—

2&3

=0.21

注：該題推導過程中引用的相關積分公式：

(1)「e寸力=

⑵"力=與

[4.13]試證明兩連續隨機變量之間的平均互信息/(X;V)是輸入隨機變量X的

概率密度函數P(X)的I型凸函數。

證明:

/(X;y)=jp(x)p(yIx)log，；；；：)dxdy

=fp(x)p(yIx)logT——P0")----dxdy

Jp(x)p(y\x)dx

設存在X的兩個概率密度p(r)和〃2(x),參數04641,目標證明:

/(步(x)+0>2(x))>e/(P1(A))++e/(p2(x))

過程如下：

0/(Pi(x))+曲(p?(x))-/您pi(x)+即2(x))

=ejp,(x)p(ylx)logp(yIx)dxdy+町p?(x)p(yLv)logdxdy

p.(y)

P(yix)

-Jp(x)p(yix)iog」dxdy

p(y)

P(y)P(y)

d.idy十5J〃式人)X>'Li)logdxdy

/Xy)

而

[Pl(X)P(yIx)logdxdy=Jp,(x,y)logdxdy

喘dxdy

,

=logJ/?l(xly)P(>W-vJv

=0

同理，Jp2Mp(yIx)logdxdy<0,因此有

/(加(x)+弧(幻)Ne/(p(0)+而(p式x))

[4.14]試證明多維連續無記憶信道的充要條件為

N

p(yix)=np(y/w)

1=1

證明:

(1)充分性。

P(《%LyNlxrv2LxN)

=p(yt\xlx2Lx^)p(y3IX,X2L%yJLp(yNlx,x,LxNyty2LyN,)

而

i、p(*t,Lxyy.Ly.y)

p(ylx,xL/yjJy_)二/茨Nt一?N"}N

jV2NtKR

P(LXNy.y2LyN_t)

_P&%L-U-L/)

P(y為Ll3&LXN)

f]p(y,MJ

_j=l

L

\p(y,y2yN-iyN^^x2LxN)dyN

flp(yJz)tlp(y,Jz)

—j=l_________________

一『N-

jnpu/zM*I]p(yJxJ

1=1f=l

=P(ZJXN)

同理

(

PbggLxNy{y2LyN_2)=PyN.^XNJ

p(y2lx,x2LxNyJ=p(y2\x2)

p(yflxrr2LxAf)=p(y1lxl)

因此該信道是無記信道。

(2)必要性。

根據無記信道的性質，有

1

P(yN-i-LxNy.y2LyN_2)=

piy2\xtx2LxNy1)=p(y2\x2)

p{yx\XXX2L/)=p(yjxj

而

P(M%LyNlx,x,LxN)

=p(yt\xtx2LxN)p(y2\x{x2LxNyt)Lp(yN\xtx2LxNyty2LyN_t)

因此有

p(yix)=Ilp(y/x)

i=l

(4.151試證明連續信源X的相對炳人(X)是概率密度p(x)的I型凸函數。

證明：

設存在x的兩個概率密度化(幻和P2(x),參數owevi,目標證明：

h啊(K)+-2⑶).昉(P](x))++0)h(p2(x))

過程如下：

e/z(P](x))++o/j(p2(x))-〃(即](x)+0p2(x))

=-OJPI(X)logPiMdx-BJp2(x)logp式x)△+j(0/7,(x)+而式x))logp(x)dx

二。JPi(x)logdx+叮p2(x)log上魯dx

Pl\^)P2O

而

j/?,(.v)logdx<logjp,(x)dx

P\\^)P](X)

=logl

=0

同理，b,(x)log-^-J.v<0

-

JP2(x)

因此

8h(〃[(/))+而(Pz(x))-h(8pi(.v)+0p2(x))<0

[4.16]設信道輸入是連續型隨機序列X|X?LXN，輸出也是連續型隨機序列

Y{Y2Lyv,信道傳遞概率密度為p()“x)。試證明:

(1)當信源是無記憶時，有

/(X/LX,v；kLRR￡/(X")

(2)當信道是無記憶時，有

/(X.X.LXv：KKLrv)<￡/(X.：y：)

證明:

l(X.X2LXN^Y2LYN)

p(MSL/lyjzL%)

=jp(x,x2L4，X%L%)bg

p(x「jLxN)

P(yj：Ly3*RL/)

二1P(XRLxA,,yj,L%)log

P(H%LyN)

￡/(4消)

=JpC")logp（七?匕）

dxxdx2Ldxsdy{dy2LdyN

P（x.）

Jp(—LXMLyjogP(*畿虢懸皿曲LdX'dyMLdyN

二Jp（卬JLL%）log嗎鬻器償與血L風小血LdyN

（1）當信源無記憶時，即pCViZL/）=p（X1）p（#2）Lp（》N）

￡/(x,；x)—/(X|XJXN；Y,Y2Lrv)

=j"(卬J赤,M%Ly/logP(xJX)/華I：)L；(.￡、Iy,v),L4%力JdyN

JP($&L/IM為L%)J

Gogjpa匕L)")」(*>)/；&I：)L；(.底IJ)d&LdvNdy,LdyN

=logJp(x,Lp(x?M)LP(/?XJPUJJye

%)'JyN)d%LdxNdyxLdyN

P(X|LyN)

=k)gjp(WLp(xN\yN)p(yly2LyN)dx.LdxNdy,LdyN

等號成立當且僅當〃(xlyjp*2l%)LP(xN\yN)=p(xtx2LxNlyty2LyN).

當P(yLlx,L.vv)=p(y,lx,)L時，根據信源的無記憶性，即

p(yjyN\xtLxN)p(xxLxN)=p(ylIx^Lp(yN\xN)p(xl)Lp(xN)

即

pQLXN?L>\,)=p(x1,v1)Lp(xN1yN)(1)

兩邊對各自由度積分得

p(y,LvA,)=p(y,)Lp(yN}(2)

(1)式兩邊除以(2)式兩邊得

P(XIX)P(x?I%)LP(xNIyN)=P(XRLIy,y2LyN)

因此等號成立當且僅當連續信道無記憶。

(2)當信道無記憶時，即p(yLIx,LxN)=p(ytIx^Lp(%l4)時，

/(X,X2LX/XtL%)—￡/(Xj；匕)

/?()|)/?()LZ?(Vv)

=JP(M&LxN,yty2LyN)log^dxxLdxNdyxLdyN

L

Jpiy\y2”)

<logfp(x,x2L^,y,y2L