信息論
發(fā)布時間:2020-11-23 來源: 演講稿 點擊： 
信號論考試溫習題 一、填空題。
1. 香農(nóng)信息論中定義的信息是“ 事物運動狀態(tài)和存在方式不確定性的描述”。
2. 消息是信息的 載體。構(gòu)成消息的兩個條件是能被通信雙方所理解和可以在通信中 傳遞和交換。
3. 信源編碼的作用是根據(jù) 失真度準則對信源的輸出消息進行編碼,用 碼字表示消息。
4. 信息論研究的主要問題是如何提高信息傳輸系統(tǒng)的 有效性和 可靠性。
5. 如果信源輸出的消息的隨機變量,可以在某一離散集合內(nèi)取值,也可以在某一連續(xù)區(qū)間內(nèi)取值,相應的信源就分別稱為
和
。——[ 答案：1. 連續(xù)信源
離散信源] 6. 當條件概率分布 p（y∣x）給定時,平均互信息量 I（X;Y）是輸入概率分布 p(x)的
。
——【上凸函數(shù)】
7. 八進制脈沖的平均信息量為
,八進制脈沖所含信息量是二進制脈沖信息量的
倍。
——【3
3】
8. 熵函數(shù)的數(shù)學特性有
、
、
、確定性、可加性、極值性、上凸性。——【對稱性
非負性
擴展性】
9. 平均互信息量 I（X;Y）與信源熵和條件熵之間的關系是
。
【I（X;Y）=H（X）—H(X/Y)】
10. 設信源 X 包含 4 個不同的離散信息,當且僅當 X 中各個信息出現(xiàn)的概率為
時,信源熵達到最大值為
,此時各個信息的自信息量為
。
【1/4
2
2】
11. 自信息量表征信源中各個符號的不確定度,信源符號的概率越大,其自信息量越
。【小】
12. 信源的冗余度來自兩個方面,一是信源符號之間的
,二是信源符號分布的
�！鞠嚓P性
不均勻性】
13. 離散信道是 輸入和輸出的隨機變量的取值都是離散的信道。
14. 信道可依據(jù)輸入輸出的隨機變量類型分成離 離 散信道 、 連續(xù)信道 、 半離散或 半連續(xù)信道。
15. 單符號離散信道的輸入符號是 X,取之于｛a1、a2…… an｝;輸出符號為 Y,取值為｛b1、b2、……bn｝,并有條件概率 P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m),這一組條件概率稱為信道的 傳遞概率或 轉(zhuǎn)移概率。
16. 由香農(nóng)公式 可知：提高信噪比 S/N 能提高 信道容量 C 17. 若輸入概率為 P(X=ai)=P(ai)稱為輸入符號的先驗概率,此時,對應地把 P(ai/bj)稱為輸入符號的 后驗概率。
18. 若離散信道對任意長為 N 上的輸入和輸出符號序列有 則稱它為 離散無記憶信道簡記 DMC。
19. 準對稱信道的性質(zhì)：
每一行都是第一行的置換, 每一列都是第一列的置換。
20. 實現(xiàn)準對稱離散無記憶信道的信道容量的輸入分布為 等概率分布。
21. 信道剩余度定義為：
信道剩余度=C-I(x,y)。
22. 信道容量又稱為 最大的信息傳輸率。
23. 信道組合有兩大基本方式：
級聯(lián)信道和 并聯(lián)信道 24. 信源編碼是研究在不失真或允許一定失真的條件下,如何用盡可能 少的符號來傳送信源信息,以便提高 信息傳輸率。
25. 碼字含有的碼符號個數(shù)都相同的碼叫
等長碼, 碼中含有的所有碼字都不相同的碼叫
非奇異碼。
26. 對于二進制等長唯一可譯碼,共有 q 個符號需要被編碼,每個信源符號至少需要用 log q 個碼符號來變換。
27. 等長編碼定理表述了,只要碼字傳輸?shù)男畔⒘?大于信源序列攜帶的的信息量,總能實現(xiàn)幾乎無失真編碼。
28. 香農(nóng)第一定理的物理意義：對離散信源進行適當?shù)淖儞Q,使變換后新的碼符號信源盡可能 等概率分布,使新信源的每個碼符號平均所含的信息量達到最 大,從而使信息傳輸速率達到信道容量。
29. 信息傳輸?shù)男嗜Q于 平均碼長。
30. 在譯碼時無需參考后續(xù)的碼符號就能立即做出判斷的碼稱為 即時碼。
31. 信源編碼解決的是通信系統(tǒng)的 有效性。
32. 編碼定理,又稱___ 香農(nóng)第二定律__,主要研究怎樣使消息通過__ 有噪信道___傳輸后發(fā)生的錯誤最少,即研究通信的____ 可靠性__問題。
33.
信道的統(tǒng)計特征可由__ 信道的傳遞矩陣___來描述。
34. 在有噪信道中,傳輸?shù)钠骄e誤概率與各種編、譯碼方法有關。在___ 最大似然譯碼準則__下,使錯誤概率減小的編碼方法就是使___ 碼間的最小距離_____增大。
35. 在確定譯碼規(guī)則 F(bj)=ai 后,若信道輸出端接受的符號為 bj,發(fā)送的不是 ai,就認為有錯誤,那么錯誤概率 P（e| bj）稱為____ 條件錯誤 概率______。
36. 已知信道矩陣
b1
b2
b3
a1
0.5
0.3
0.2
a2 1
0.2
0.3
0.5
a3
0.3
0.3
0.4 37. 根據(jù)最大似然譯碼準則可得信道平均錯誤概率最小為：__0.567____。
38. 費諾不等式解釋了 PE 與信道疑義度 H(X|Y)是有一定關系的,其關系是：_____________ H(X|Y) ≦H(PE)+ PElog(r-1)_________
39. 長度為 n 的兩個二進制序列（碼字）ai 和 bj 之間的距離是 ai 和 bj 之間對應位置上碼元取值不同的個數(shù)用符號 D(ai, bj)表示,這種碼間距離通常稱為__ 漢明距離_________。
40. Dmin 越大,PE 越__ 小__,Dmin 越__ 小__,PE 越__ 大__。
41. 由信道逆定理可得：
要使信息傳輸率大于信道容量而又無錯誤地傳輸消息是不可能的_____ 。
42. 對于組合 000、001、010、011、100、101、110、111。選用 000、001、010、011 為許用碼,其它碼為__ 禁用碼組______。
43. 信道編碼的目的是為減少差錯,提高可靠性,信道編碼根據(jù)其不同效用,可分為____ 檢錯碼、糾錯碼______________。
44. 在信道編碼中,定義碼組中_ 非零____碼元的數(shù)目為碼組的重量,簡稱碼重。
45. 一種編碼的最小碼距直接關系到這種碼的___ 檢錯和糾錯能力____________。
46. 奇偶校驗只能發(fā)現(xiàn)_ 單個或奇數(shù)個_________錯誤,而不能檢測出_ 偶數(shù)____個錯誤。
47. 碼字能糾、檢錯的充要條件：
是碼字的一些碼元發(fā)生錯誤后, 這個錯的碼字還碼元變成其他碼字____ 。
48. 無論是無噪信道還是有噪信道,只要信息速率 R（
�。┬诺廊萘� C,總能找到 一種編碼,使在信道上能以任意小的概率,以任意接近 C 的傳輸率來傳送信息,-- （ 小于)
49. 無論是無噪信道還是有噪信道,無失真的離散信源編碼和有噪信道編碼傳輸率 R 大于信道容量 C,總不能實現(xiàn)（
）的傳輸,----（ 無失真). 50. 在允許一定失真 D 的情況下,信源輸出信道傳輸率可壓縮到（
�。�。－－ Ｒ（Ｄ); 51. 當信源給定后,無失真信源壓縮的極限值是（
）；而失真信源壓縮的極限值是（
�。�-［ 信源熵Ｈ（Ｕ);; 失真函數(shù)Ｒ（Ｄ)］ 52. （
）是用來測量信號發(fā)出符號Ｕｉ而在接收端再現(xiàn)成接收符號集中的符號ＶＪ所引起的失真或誤差；－－（ 失真函數(shù)／失真度）； 53. 允許失真Ｄ是否能達到其下線值零,則只有當失真矩陣中（
�。┯幸粋�零元素是信源的平均失真才能達到下線值；－（ 至少）
54. 當Ｄｍｉｎ＝０時,表示心愿不允許任何失真存在,則只有當時真矩陣每行至少有一個零,并且每列（
）只有一個零,才能使Ｒ（０）＝Ｈ（ｎ）成立。－－（最 最多）
55. 當Ｄ＝０時,Ｒ(Ｄ) ,這點說明在連續(xù)信源情況下,要（
�。┑妮敵鍪遣荒軌虻�；－ －（無失真的傳送信源）
56. 根據(jù)率失真函數(shù)Ｒ(Ｄ),的性質(zhì),我們可以知道Ｒ(Ｄ）函數(shù)具有單調(diào)遞減性和連續(xù)性,Ｒ（Ｄ）是Ｄ的（
�。�；－－（ 下凸函數(shù)）
57. 在噪聲信道中,對于同一失真Ｄ,Ｒ越大,Ｒ(Ｄ)就（
�。�,信源壓縮特性越小,分層越多；－－（ 越大）
58. 設Ｒ(Ｄ)為一離散無記憶信源的率失真函數(shù),如果編碼后平均每個信源符號的信息傳輸Ｒ">Ｒ(Ｄ),則一定存在一種（
）Ｃ,使編碼后的平均失真度ｄ(Ｃ) Ｄ。－－（ 信源編碼）
59. 當編碼后平均每個信源符號的信息傳輸率Ｒ"小于率失真函數(shù)Ｒ(Ｄ)時,無論采用什么編碼方式,一定有（
�。�；－－（ 平均失真度 （ｃ）＞Ｄ ）
60. 在允許失真Ｄ確定后,總存在一種編碼方式,使編碼后的信息傳輸率Ｒ"大于Ｒ(Ｄ)且可任意接近于Ｒ(Ｄ),而（
�。┬∮谠试S失真Ｄ。－－（ 平均失真）
61. 比較香農(nóng)第一定理和第三定理可知,當信源給定后,信源的（
�。┖瘮�(shù)可以作為衡量各種壓縮編碼方法性能優(yōu)劣的一種尺度。－－（ ( Ｄ) ) 62. 根據(jù)香農(nóng)第二定理,由存在一種信道編碼,使壓縮后的信源通過信道傳輸后,錯誤概率趨于零。因此在接收端再現(xiàn)信源的消息時,總的失真或錯誤不會超過（
�。�。－－（ 允許失真）
選擇題 單項選擇題 1.下面表達式中正確的是（A
�。�
A.
B.
C.
D.
2.彩色電視顯像管的屏幕上有 5×10 5
個像元,設每個像元有 64 種彩色度,每種彩度又有 16 種不同的亮度層次,如果所有的彩色品種和亮度層次的組合均以等概率出現(xiàn),并且各個組合之間相互獨立。每秒傳送 25 幀圖像所需要的信道容量（C
�。�
A. 50?10 6
B. 75?10 6
C. 125?10 6
D. 250?10 6
3.已知某無記憶三符號信源 a,b,c 等概分布,接收端為二符號集,其失真矩陣為 d= ,則信源的最大平均失真度 為（ D ）。
A. 1/3
B. 2/3
C. 3/3
D. 4/3
4.線性分組碼不具有的性質(zhì)是（ C
）。
A.任意多個碼字的線性組合仍是碼字 B.最小漢明距離等于最小非 0 重量 C.最小漢明距離為 3 D.任一碼字和其校驗矩陣的乘積 c m H T =0 5.率失真函數(shù)的下限為（ B）。
A .H(U)
B.0
C.I(U; V)
D.沒有下限 6.糾錯編碼中,下列哪種措施不能減小差錯概率（ D ）。
A. 增大信道容量
B. 增大碼長
C. 減小碼率
D. 減小帶寬 7.一珍珠養(yǎng)殖場收獲 240 顆外觀及重量完全相同的特大珍珠,但不幸被人用外觀相同但重量僅有微小差異的假珠換掉 1 顆。一人隨手取出 3 顆,經(jīng)測量恰好找出了假珠,不巧假珠又滑落進去,那人找了許久卻未找到,但另一人說他用天平最多 6 次能找出,結(jié)果確是如此,這一事件給出的信息量（ A ）。
A. 0bit
B. log6bit
C. 6bit
D. log240bit 8.下列陳述中,不正確的是（ D
）。
A.離散無記憶信道中,H（Y）是輸入概率向量的凸函數(shù) B.滿足格拉夫特不等式的碼字為惟一可譯碼 C.一般地說,線性碼的最小距離越大,意味著任意碼字間的差別越大,則碼的檢錯、
糾錯能力越強 D.滿足格拉夫特不等式的信源是惟一可譯碼 9.一個隨即變量 x 的概率密度函數(shù) P(x)= x /2, ,則信源的相對熵為（ C ）。
A . 0.5bit
B. 0.72bit
C. 1bit
D. 1.44bit 10.下列離散信源,熵最大的是（ D ）。
A. H（1/3,1/3,1/3）；
B. H（1/2,1/2）；
C. H（0.9,0.1）；
D. H（1/2,1/4,1/8,1/8) 11.下列不屬于消息的是（ B ）。
A.文字
B.信號
C.圖像
D.語言 12.為提高通信系統(tǒng)傳輸消息有效性,信源編碼采用的方法是（ A ）。
A.壓縮信源的冗余度
B.在信息比特中適當加入冗余比特 C.研究碼的生成矩陣
D.對多組信息進行交織處理 13.最大似然譯碼等價于最大后驗概率譯碼的條件是（ D ）。
A.離散無記憶信道
B.無錯編碼
C.無擾信道
D.消息先驗等概 14.下列說法正確的是（
C
�。�。
A.等重碼是線性碼
B.碼的生成矩陣唯一 C.碼的最小漢明距離等于碼的最小非 0 重量
D.線性分組碼中包含一個全 0 碼字 15.二進制通信系統(tǒng)使用符號 0 和 1,由于存在失真,傳輸時會產(chǎn)生誤碼,用符號表示下列事件,u0:一個 0 發(fā)出
u1:一個 1 發(fā)出
v0 :一個 0 收到
v1:一個 1 收到
則已知收到的符號,被告知發(fā)出的符號能得到的信息量是（
A
�。�。
A. H(U/V)
B. H(V/U)
C. H(U,V)
D. H(UV) 16. 同時扔兩個正常的骰子,即各面呈現(xiàn)的概率都是 1/6,若點數(shù)之和為 12,則得到的自信息為（ B ）。
A. －log36bit
B. log36bit
C. －log (11/36)bit
D. log (11/36)bit 17.下列組合中不屬于即時碼的是（ A
�。�。
A. { 0,01,011}
B. {0,10,110}
C. {00,10,11}
D. {1,01,00} 18.已知某（6,3）線性分組碼的生成矩陣 ,則不用計算就可判斷出下列碼中不是該碼集里的碼是（
D
�。�。
A. 000000
B. 110001
C. 011101
D. 111111 19.一個隨即變量 x 的概率密度函數(shù) P(x)= x /2, ,則信源的相對熵為（
C
�。�。
A. 0.5bit/符號
B. 0.72bit/符號
C. 1bit/符號
D. 1.44bit/符號 20.設有一個無記憶信源發(fā)出符號 A 和 B,已知 ,發(fā)出二重符號序列消息的信源,無記憶信源熵
為（
A
）。
A.0.81bit/二重符號
B.1.62bit/二重符號
C.0.93 bit/二重符號
D .1.86 bit/二重符號 21.下列哪一項不屬于最簡單的通信系統(tǒng)模型（ ）
A.信源 B.加密 C.信道 D.信宿 22.同時擲一對均勻的骰子,骰子的各面呈現(xiàn)的概率都是 1/6,則“3 和 5 同時出現(xiàn)”這個事 件的自信息量是 （
B
�。�
A 4.17 tet
B 4.17 bit
C 4.17 tet
D 5.17 bit 23.信道剩余度與下列哪個變量無關 （
C
�。�
A 信道容量 C
B 信源通過信道實際傳輸?shù)钠骄畔⒘?I(x;y) C 信源的熵 H(X)
D 以上都不對 24.下列說法錯誤的是 (
A
) A 條件熵 隨著 N 的增加是遞增的 B
C 隨著 N 的增加是非遞增的
D 存在,且
25.在傳輸圖片時,每幀有 2.25 個像素,每個像素有 12 個等概率出現(xiàn)的亮度等級,信噪比為 30dB,若每 3min 傳送一張圖片,則所需的信道帶寬為 （
A
�。�
A
4.5kHz
B
5.5kHz C
8.96kHz
D
44.81kHz 26.輸入和輸出存確定的在一一對應關系的信道稱為 （
D
�。�
A 有噪有損信道
B 無噪有損信道 C 有噪無損信道
D 無噪無損信道 27.設信源 S={ },碼符號集為 X={ },又設碼字為 ,其分別對應的碼長為 ,則下列說法正確的是 （
A
�。�
A 唯一可譯碼一定滿足不等式
B 滿足不等式 的碼一定是唯一可譯碼 C 如果滿足不等式 ,則不一定能構(gòu)成唯一可譯碼 D 以上說法都不對 28.下列編碼方法中,不屬于變長編碼的是 （
C
�。�
A 莫爾斯電報碼
B 費諾碼 C BCD 碼
D 霍夫曼碼 29.設信源 ,則其信源剩余度為 （
B
�。�
A 0
B 1/4
C 1/2
D 3/4 30.下列說法中,正確的是 （
B
�。�
A 在任一碼中,碼的最小距離 與該碼的譯碼錯誤概率無關 B 在任一碼中,碼的最小距離 與該碼的譯碼錯誤概率有關 C 在有噪信道中,傳輸?shù)钠骄e誤概率 與編碼方法有關而與譯碼方法無關 D 在有噪信道中,傳輸?shù)钠骄e誤概率 與編碼方法無關而與譯碼方法有關 判斷題 1.信息就是一種消息。（
�。�
2.互信息量可正可負,也可為零。（
�。�
3.當隨機變量相互獨立時,條件熵等于信源熵。（
�。�
4.信源熵具有嚴格的下凸性。（
�。�
5.連續(xù)信源和離散信源的平均互信息量都具有非負性。（
�。�
6.一維高斯分布的連續(xù)信源,其信源熵只與其均值和方差有關。（
�。�
7.所謂信道容量就是信道中能夠傳送的最大信息量。（
�。�
8.信道的信息傳輸速率就是平均互信息量,即
bit/符號。（
）
9.信道容量 C 不僅與信道統(tǒng)計特性有關,還與輸入信源的概率分布有關（
�。�
10.求信道容量是互信息量 求極大值的問題。（
�。�
11.對于無損信道,其信道容量為 。（
�。�
12.高斯白噪聲信道是平均功率受限條件下的最差信道。（
�。�
13、唯一可譯碼是一個碼的任意一串有限長的碼符號序列只能被唯一地譯成所對應的信源符號序列,等長非奇異碼一定是唯一可譯碼。（
�。�
14、一個熵為 H（S）的離散無記憶信源。若對信源長為 N 的符號序列進行等長編碼,設碼字是從 r 個符號組成的碼符號集中選取 L 個碼符號組成的,若對于任意 ＞0,只要滿足 ≥ ,幾乎可實現(xiàn)無失真編碼。（
�。�
15、信源編碼的目是提高傳輸有效性,即用盡可能短的碼符號序列代表信源符號。（
�。�
16、無失真信源編碼定理證明,如果對信源序列進行編碼,當序列長度足夠長時 ,存在無失真編碼使得傳送每個信源符號所需的比特數(shù)接近信源的熵。（
）
17、對于定長碼, 只要非奇異就唯一可譯。這就要求碼字的數(shù)目不少于被編碼的信源序列的個數(shù)。（
�。�
18、滿足 Kraft 不等式并不一定唯一可譯,因為奇異碼可能滿足 kraft 不等式。（
）
19.信源的熵為無限大,而信道容量總是有限的,所以不可能實現(xiàn)無失真?zhèn)鬏�。�?/p>
�。�
20.在一定失真度 D 的條件下,盡可能用最少的碼符號來傳送信源消息,使信源的消息盡快地傳送出去,以提高通信的可靠性。（
�。�
21.只有當失真矩陣中至少有一個零,并且每列最少有一個零時 R(0)=H(u)才成立。（
�。�
22.對連續(xù)平穩(wěn)信源,無法進行無失真信源編碼,因而必然是限失真信源編碼。（
�。�
23.率失真函數(shù) R(D)表示當失真不超過 D 時傳輸所需要的平均互信息量。（
�。�
24.平均失真度對信源和信道都做了統(tǒng)計平均,是一個描述總體特性的參量。（
�。�
25.奇偶校驗碼是一種常見的檢錯碼,它不僅可以發(fā)現(xiàn)單個或奇數(shù)個錯誤,還可以檢測出偶數(shù)個錯誤。（
�。�
26.線性分組碼能糾、檢錯誤的充要條件是碼子的某些碼元發(fā)生錯誤后,錯誤的碼子還沒有變成其他碼字。（
�。�
27.對信道進行編碼時,可使錯誤概率降低的同時又增大信息傳輸速度。
28.碼的最小漢明距離與該碼的譯碼錯誤概率有關。（
）
29.香農(nóng)第二定理的內(nèi)容是：在信息傳輸率 R 不大于信道容量 C 時,可以找到一種編碼,可使信道輸出端的錯誤概率任意小,而 R 仍可以無限地接近 C。（
�。�
30.最小漢明距離為 Dmin 的線性分組碼可以檢測的最大錯誤個數(shù)為 Dmin-1 （
�。�
答案:1.錯 2.對 3.對 4.錯 5.對 6.錯 7.對 8.對 9.錯 10.對 11.錯 12.對 13.對 14.錯 15.對 16.對 17.對 18.對 19.對 20.錯 21.錯 22.對 23.錯 24.對 25.錯 26.對 27.錯 28.對 29.對 30.對 簡答題 1. 根據(jù)信息論的各種編碼定理和通信 系統(tǒng)指標, , 編碼問題可分解為幾類, , 分別是什么？
答：3 類,分別是：信源編碼,信道編碼,和加密編碼。
2. 對于一個一般的通信系統(tǒng), 試給出其系統(tǒng)模型框圖, 并結(jié)合此圖, 解釋數(shù)據(jù)處理定理。
答：通信系統(tǒng)模型如下：
數(shù)據(jù)處理定理為：串聯(lián)信道的輸入輸出 X、Y、Z 組成一個馬爾可夫鏈,且有 , 。說明經(jīng)數(shù)據(jù)處理后,一般只會增加信息的損失。
3 3. . 什么是平均自信息量與平均互信息, , 比較一下這兩個概念的異同？
答：平均自信息為: 表示信源的平均不確定度,也表示平均每個信源消息所提供的信息量。
平均互信息: 表示從 Y 獲得的關于每個 X 的平均信息量,也表示發(fā) X 前后 Y 的平均不確定性減少的量,還表示通信前后整個系統(tǒng)不確定性減少的量。
4. 簡述最大離散熵定理。對于一個有 m m 個符號的離散信源, , 其最大熵是多少？
答：最大離散熵定理為：離散無記憶信源,等概率分布時熵最大。
最大熵值為 。
5. 熵的性質(zhì)什么？
答：非負性,對稱性,確定性,香農(nóng)輔助定理,最大熵定理。
6. 解釋信息傳輸率、信道容量、最佳輸入分布的概念, , 說明平均互信息與信源的概率分布、信道的傳遞概率間分別是什么關系？
答：信息傳輸率 R 指信道中平均每個符號所能傳送的信息量。信道容量是一個信道所能達到的最大信息傳輸率。信息傳輸率達到信道容量時所對應的輸入概率分布稱為最佳輸入概率分布。
平均互信息是信源概率分布的∩型凸函數(shù),是信道傳遞概率的 U 型凸函數(shù)。
7. 信道疑義度的概念和物理含義？
答：概念：
物理含義：輸出端收到全部輸出符號 Y 以后,對輸入 X 尚存在的平均不確定程度。
8. 寫出香農(nóng)公式, , 并說明其物理意義。當信道帶寬為 5000Hz, 信噪比為 B 30dB 時求信道容量。
答：香農(nóng)公式為
,它是高斯加性白噪聲信道在單位時 間內(nèi)的信道容量,其值取決于信噪比和帶寬。
由 得 ,則
9. 解釋無失真變長信源編碼定理? ?
答：只要 ,當 N 足夠長時,一定存在一種無失真編碼。
10. 解釋有噪信道編碼定理？
答：當 R＜C 時,只要碼長足夠長,一定能找到一種編碼方法和譯碼規(guī)則,使譯碼錯誤概率無窮小。
11. 最佳變長編碼有哪些？ 答：香農(nóng)編碼方法,費諾編碼方法和哈夫曼編碼方法。
12. 解釋等長信源編碼定理和無失真變長信源編碼定理, , 說明對于等長碼和變長碼, , 最佳碼的每符號平均碼長最小為多少？編碼效率最高可達多少？
答：等長信源編碼定理：對于任意 ,只要 ,則當 L 足夠長時必可使譯碼差錯 。
變長信源編碼定理：只要 ,一定存在一種無失真編碼。
等長碼和變長碼的最小平均碼長均為 ,編碼效率最高可達 100%。
13. 解釋最小錯誤概率譯碼準則, , 最大似然譯碼準則和最小距離譯碼準則, , 說明三者的關系。
答：最小錯誤概率譯碼準則下,將接收序列譯為后驗概率最大時所對應的碼字。
最大似然譯碼準則下,將接收序列譯為信道傳遞概率最大時所對應的碼字。
最小距離譯碼準則下,將接收序列譯為與其距離最小的碼字。
三者關系為：輸入為等概率分布時,最大似然譯碼準則等效于最小錯誤概率譯碼準則。在二元對稱無記憶信道中,最小距離譯碼準則等效于最大似然譯碼準則。
14. 什么是保真度準則？對二元信源 , , 其失真矩陣 , ,求 求 0 a>0 時率失真函數(shù)的 和 ？
答：1）保真度準則為：平均失真度不大于允許的失真度。
2）因為失真矩陣中每行都有一個 0,所以有 ,而 。
15. 差錯控制系統(tǒng)分類有哪些？ 答：前向糾錯,反饋重發(fā),混合糾錯。
16. 分別說明信源的概率分布和信道轉(zhuǎn)移概率對平均互信息的影響, , 說明平均互
均互信息的最大值為信道容量 17. 香農(nóng)第二定理的內(nèi)容和含義？
答：內(nèi)容：設有一離散無記憶平穩(wěn)信道,其信道容量為 C ,只要待傳送的信息傳輸率 R ＜ C ,則存在一種編碼,當輸入序列長度 n 足夠大,使譯碼錯誤概率任意小. 含義：只要 R ＜ C ,就可以在有噪信道中以任意小的錯誤概率( ＜ ? )傳輸信息. 信息與信道容量的關系。
答：平均互信息相對于信源概率分布為上凸函數(shù),相對于信道傳遞概率分布為下凹函數(shù)。平
當輸入序列長度 n 足夠大時,可以以任意接近信道容量 C 的信息傳輸率傳遞信息。
計算題 1． 假設集合 ,其中 ,求集合 的熵
2.已知二維隨機變量 的聯(lián)合概率分布 為
求
解：
由 XY 的聯(lián)合概率可以知道 X 的概率為
（2）由 得
,
又由 可得
,
,
所以
.試畫出三元對稱信道在理想（無噪聲）和強噪聲（輸出不依賴輸入）情況下的信道模型,設信道輸入等概率分布
轉(zhuǎn)移概率全部為
在傳輸圖片時,每幀有 個像素,每個像素有 12 個等概率出現(xiàn)的亮度等級,信噪比為 30dB。
⑴ 每 3 分鐘傳送一張圖片,求所需的信道帶寬。
�、� 若信道帶寬為 4kHz,問傳送一張圖片需多少時間。
答案：書 p89 有一離散無記憶信源
現(xiàn)在用二進制符號 來構(gòu)造一個即時碼
求這個信息傳輸率
解：
這時平均碼長
信息傳輸率
一個二進制對稱信道如圖所示
現(xiàn)有一個信道編碼為{000,111},來傳遞{0,1}的信息 求他的信息傳輸速率 ,錯誤概率
解：
信道矩陣為
根據(jù)最大似然規(guī)則,算出譯碼后的錯誤概率為
科教興國
相關熱詞搜索：信息論
熱點文章閱讀