信息熵與二進(jìn)制-- 信息論系列 為什么信息技術(shù)中要用二進(jìn)制處理數(shù)據(jù)，難道僅僅是由于晶體管易于實現(xiàn)二進(jìn)制嗎？其實很多人都知道，在晶體管出現(xiàn)前很長時間，電報就是用的二進(jìn)制，其實即使那不是真正的二進(jìn)制，因為電報的二進(jìn)制沒有定義運算，即便如此，人們還是傾向于用兩個符號來對大量的字符進(jìn)行編碼，這個意義上說，二進(jìn)制只不過是這種雙符號的電報（.和_）定義了運算的高級形式而已，不考慮運算只考慮編碼，電報的雙符號和現(xiàn)在二進(jìn)制編碼十分相似，這時就要問了，人們?yōu)楹尾挥酶�多的符號進(jìn)行編碼，而只用兩個符號，這就是信息熵的問題了。

　用兩個符號進(jìn)行編碼使得識別更加容易，如果把每一個數(shù)據(jù)位的可能值作為一種狀態(tài)，那么十進(jìn)制數(shù)的每一位就有十種狀態(tài)，而二進(jìn)制數(shù)據(jù)的每一位只有兩種狀態(tài)，初看起來，十進(jìn)制的數(shù)據(jù)記載的信息量更大，可是正式由于這種很大的信息量導(dǎo)致十進(jìn)制的數(shù)據(jù)更加不易識別，不易識別就是說需要我們付出更大的努力才能識別，用熱力學(xué)的術(shù)語說就是信息的熵過大，舉個例子說明為何信息量大的數(shù)據(jù)更加不易識別，如果是二進(jìn)制的數(shù)，如果有一位丟失了或者寫得不清，那么我們有百分之五十的幾率可以猜中，但是如果一個十進(jìn)制的數(shù)據(jù)位丟失了，那么我們只有百分之十的幾率猜中它，這就是實質(zhì)。信息熵代表的是一種無序度，無序度越大，它承載的信息越多，我們想理解它就需要更多的努力，這該作何理解呢？我們面對一個未知的事物時，我們說它是無序的，混亂的，你對它完全未知它就是完全混亂完全無序，你對它部分未知，那么它就是部分混亂部分無序，你理解它的過程就是你得到信息的過程，就是你將該事物一個個無序的狀態(tài)變成有序的過程，最終一切都成了有序的，那么你對該事物就完全理解了，因此你就得到了信息，因此信息量是相對于你對該信息的無知而言的，你對它越無知，那么它就越無序，它對你來講信息量越大，引用一句話“熵，是物理名字，在信息論里則叫信息量。從控制論的角度來看，應(yīng)叫不確定性。當(dāng)我們不知道某事物具體狀態(tài)，卻知道它有幾種可能性時，顯然，可能性種類愈多，不確定性愈大。不確定性愈大的事物，我們最后確定了、知道了，這就是說我們從中得到了愈多的信息，也就是信息量大。”其實這也是和熱力學(xué)有關(guān)系的，因為在你理解信息的時候，你的大腦要耗氧，這時產(chǎn)生的熱量還是增加了熱力學(xué)的熵，你理解的信息越多也就是信息量越大信息熵越大，那么你的大腦耗氧將越多，產(chǎn)生的熱量將越多，其實信息熵只是熱力學(xué)熵的一個抽象投影而已。我們知道，理解二進(jìn)制信息時我們付出的努力沒有理解十進(jìn)制時的多（我們猜對的幾率大），因此二進(jìn)制就成了信息系統(tǒng)的首選，但是這只是選用二進(jìn)制的原因之一，這里還要說明的是，以上僅僅是理解的一種方式，其實不要忘了，雖然十進(jìn)制數(shù)據(jù)誤碼率高，但是它確實可以承載更多的信息，比如一個數(shù)字 9，用十進(jìn)制一個位就可以，用二進(jìn)制需要 4 個位，誤碼率乘以四不一定更低，幸運的是，信息論的主體不是人，而是機(jī)器，機(jī)器是善于按位運算的，而且，信息熵也是理解一位的信息熵，因此二進(jìn)制在這個意義上是首選。況且二進(jìn)制的數(shù)字更容易被分辨，分辨系統(tǒng)設(shè)計更加容易，只需要識別兩種狀態(tài)足矣，沒有第三種狀態(tài)來攪局。

　信息量大即信息熵高難道不是好事嗎？其實對于結(jié)果來說是好事，畢竟我們的世界現(xiàn)在已經(jīng)嚴(yán)重依賴于信息，但是對于我們理解信息來說，我們需要付出的會更多，但是如果對于信息熵少的系統(tǒng)，想擁有同樣的信息量的話，必然需要更多次的仲裁才可以，因此總體上二進(jìn)制信息的熵值低并不是它被選中的理由，但是僅憑一次仲裁中，二進(jìn)制信息更容易被識別，更不易出錯，得到正確結(jié)果更容易這些原因，它就應(yīng)該被選中，畢竟誰不是一步一步處理信息的呢？雖然處理信息的主體是機(jī)器，它也是一步一步處理信息的，單步的性能更加有意義，它直接關(guān)系到處理器的發(fā)熱，因為，信息的獲得將最終統(tǒng)一到熱力學(xué)的熱熵。

　選用二進(jìn)制的另一個原因就是，它確實占用了最少的狀態(tài)，從而節(jié)省了硬件，因為機(jī)器要為每一個狀態(tài)準(zhǔn)備一個空間。如果我們將一個 R 進(jìn)制數(shù)據(jù)的一個位上的所有的可能值設(shè)為一個狀態(tài)，那么一個 n 位的 R 進(jìn)制數(shù)一共需要 n*R 個狀態(tài)，我們設(shè) S=n*R，現(xiàn)在我們就要求 S 的最小值，我們這個計算中僅憑這些量根本不夠，這個方程中，我們有 S 為值，而 n 和 R 為自變量，我們必須限定一個值，在這個值上比較誰的 S 更小，因為我們將二進(jìn)制的 1000 和十進(jìn)制的 10 比較是沒有意義的，因此，我們再設(shè)一個值 M，這個值是 n 位 R 進(jìn)制數(shù)所能表示的最大值，我們就在這個值上比較，在這個最小值求解的過程中，我們可以認(rèn)為 M 是恒定的，由上述定義可以導(dǎo)出下面的等式：M=R^n（其中^為乘方），那么進(jìn)一步就有 n=logRM，帶入 S=n*R 就有 S=RlogRM，利用對數(shù)的換底公式有：S=RlnM/lnR，因此我們最終得到了一個基于自然對數(shù) e 的方程，前面說過我們可以將 M 了看做常數(shù)，下面我們求 S 的極值，初看起來它并沒有單調(diào)特征，那么我們可以通過導(dǎo)數(shù)來求極值，(R/lnR)"=lnR-1,從這個導(dǎo)數(shù)可以看出，當(dāng) Re 時，S">0，S 單調(diào)遞增，因此當(dāng) R=e時，S 取得最小值，因此，理論上，e 進(jìn)制數(shù)對于節(jié)省狀態(tài)是最優(yōu)的，但是理論終究不是實際，自然狀態(tài)下無理數(shù)沒有什么不好，但是在涉及工程學(xué)時，就更加青睞整數(shù)了，整數(shù)是離散的，適合處理，記住，不管用幾進(jìn)制數(shù)，計算機(jī)處理都是基于編碼的，前面說過，編碼都是離散的，某種意義上，計算機(jī)處理就是用離散的編碼來用自己的方式重現(xiàn)連續(xù)的真實世界，計算機(jī)的最強(qiáng)大之處在處理而不是存儲，因此它沒有必要記住整個世界，但是它需要迅速的處理這個世界，離散的方式就是計算機(jī)的方式。在 e 的兩邊有 2 和 3，我們沒有必要比較 2 和 3 下哪個 S 更小，這時結(jié)果已經(jīng)很明了了，剛才是理論推算，它推算出了一個 e，現(xiàn)在該讓工程學(xué)的方式給出一個具體的整數(shù)了，這時就要遵循一個原則，就是以理論為指導(dǎo)，就是最終的結(jié)果不要偏離 e 太遠(yuǎn)就可以，那么只有到了這時晶體管的意義才凸顯，晶體管的特性最終采用了二進(jìn)制。

相關(guān)熱詞搜索：信息論 系列 信息