Savoir | 克勞德‧向農發現未來

克勞德‧向農發現未來

2021/01/19 10:00

克勞德‧向農（Claude Shannon）。

　　科學追尋自然的基本定理，數學在舊定理的基礎上尋找新的定理，工程學建立系統解決人類需求，這三個領域相互依賴，但又截然不同。很少人同時對三個領域都做出重大貢獻——但克勞德‧向農（Claude Shannon）正是這個少見的人。

　　向農並非人人皆知的人物，他從未獲得諾貝爾獎，也不像愛因斯坦（Albert Einstein）或理查‧費曼（Richard Feynman）在去世前或後變成家喻戶曉的名人。但在70多年前，向農在開創性的論文中為現代資訊與通訊設備奠定了基礎。

　　1916年，向農出生於密西根州蓋洛德，他的父親是當地商人，母親是曾擔任地方中學校長的語言學教師。在密西根大學拿到電氣工程與數學學位後，向農在麻省理工學院撰寫了一篇碩士論文，將名為「布林代數」的數學科目應用在開關電路的分析與合成。這是一項變革性的研究，將電路設計從工藝變成一門科學，它被認為是數位電路設計的起點。

　　接下來，向農將目光投向了一個更大的目標：通訊。

　　通訊是人類最基本的需求之一。從古老的狼煙到信鴿，再到電話和電視，人類不斷尋找能夠交流得更遠、更快且更可靠的方法。但通訊系統的工程總是與特定的來源與物理介質相關，向農好奇：「通訊是否存在一個統一的理論呢？」1939年他在寫給指導教授萬尼瓦爾‧布希（Vannevar Bush）的信件裡，概述了他對「一般智慧傳輸系統的基本特性」的初步想法。向農對這個問題研究了十年後，終於在1948年發表了經典理論：《通訊的數學理論》（A Mathematical Theory of Communication）。

　　理論核心是一個單純但非常普遍的通訊模型：發射機將資訊編碼成信號，信號被雜訊干擾，然後由接收器解碼。儘管向農提出的模型很簡單，但它包含了兩個關鍵點：從設計的通訊系統中分離資訊源與雜訊源，並對兩個來源建立概率性地模型。他想像資訊源產生許多可能的資訊來進行交流，每一種資訊都有一定的概率，將雜訊概率化進一步增加接收器解碼的隨機性。

向農在開創性的論文中為現代資訊與通訊設備奠定了基礎。

　　在向農提出理論以前，通訊問題通常被視為一種「確定」的信號還原問題：如何對接收到、被物理介質扭曲的信號進行轉換，盡可能準確地還原原始信號。向農的天才之處是他觀察到通訊的關鍵在於不確定性。通訊問題從物理問題轉變為抽象問題，使向農能夠利用概率對不確定性建立模型，這讓當時的通訊工程師大為震驚。

　　基於不確定性與概率的框架，向農在論文中有系統地確立了通訊的基本限制。他的解答分為三個部分，在這三者扮演核心角色是資訊「位元」（bit）的概念，向農將其作為不確定性的基本單位。位元是二進位數位（binary digit）的混成詞，可以是1也可以是0。儘管數學家約翰‧杜基（John Tukey）是第一個在備忘錄中提到這個術語的人，但向農是第一個正式在論文中使用這個術語的人。

　　首先，向農提出了一個表示資訊的每秒最小位元數公式，他將這個數字稱為熵率「H」。這個數字量化了決定資訊源將產生的不確定性。當熵率越低，不確定性就越小，因此越容易把資訊壓縮成更短的內容。

　　其次，他給出了面對雜訊時能夠可靠通訊的每秒最大位元數公式，他稱之為系統容量「C」。這是接收方能夠解決資訊不確定性的最大速率，使其成為有效地通訊的速度限制。

　　最後，他證明在面對雜訊的情況下，只有當H小於C時，資訊源的可靠通訊才有可能。因此，資訊就像是水：如果水的流量小於管道的容量，那麼水流就能可靠地通過管道。

　　雖然這是一種通訊理論，但它同時是關於資訊如何產生與傳遞的資訊理論，他的定理也帶來一些違反直覺的結論。假設你在非常嘈雜的地方說話，要確保資訊傳達的最好方法是什麼？是重複很多次嗎？在嘈雜的餐廳裡，這可能是每個人的第一反應，但事實證明這麼做並不是很有效。當然，只要重複的次數越多，交流就變得越可靠，但這樣就為了可靠性犧牲掉速度。向農告訴世人還有更好的方法，將訊息以不同且複雜的方式編碼傳輸，能夠更快速地進行通訊（直到達到限制C），同時維持給定的可靠性。

　　向農理論的另一個驚人結論是，無論資訊的性質是什麼——是莎士比亞的詩、貝多芬的樂曲，或是黑澤明的電影——在傳輸以前，將其編碼為位元總是最有效的方法，這個結論也是現代數位資訊時代的根基。例如在無線電系統中，儘管最初的聲音與透過空氣發送的電磁信號都是類比波形，但向農的定理表明，最好先將聲波數位化為位元，然後再把這些位元映射到電磁波中。

向農在「資訊科學」乃至「資訊工程」剛萌芽的時代扮演了關鍵角色。