奠定現代通信基礎的「克勞德．香農」👨‍💻｜通信大解密📱｜第二部 通信科學家的故事

#克勞德香農 從小對「DIY」感興趣，他曾在家自己組裝一台遙控飛機，還從家裡架設了到朋友家的無線電報，連打工都是去百貨公司修理收音機。大學生涯中，香農接觸喬治布爾的理論，以數學和電子工程雙主修畢業，而後進麻省理工學院讀研究所，在萬尼瓦爾．布希帶領下做研究，布希是曼哈頓計畫的負責人，當時的布希正在研究微分分析機，是現代電腦的原型。香農使用布爾的理論設計電路，大幅提高機器的運算效率。香農撰寫了論文《繼電器和開關電路中的符號分析》（A Symbolic Analysis of Relay and Switching Circuits），論文引起學術界轟動，不只獲得美國工程師獎，還被哈佛教授譽為「很可能是本世紀最重要、最為人所知的論文」。此時，香農年僅22歲，天才正要開始展露頭角。2年後，他碩士畢業，進入普林斯頓高等研究院擔任研究員，但他無法在當時已經赫赫有名的人身上找到共鳴，整個人變得寡言，不太跟人分享研究，獨自構思著通訊相關的理論。最終，香農離開高等研究院，不久二戰開打，香農進到貝爾的實驗室，為了幫助國家，開始研究火力控制系統及密碼學，這段期間，香農獲得和圖靈交流的機會，兩位天才的切磋激盪出香農的想像力，也讓他在接下來的生涯中不僅為密碼學做出貢獻，更奠定通信理論的基礎，開創資訊理論領域。
香農在推導理論付出非常多的心血，不過他從小的DIY精神並沒有因此熄滅。工作之餘，香農也是一位才華洋溢的發明家。其中最著名的發明超有趣，竟然是最沒實質功用的發明「#終極機器」（Ultimate Machine），後來也被人稱為沒用機器（Useless machine），有多沒用呢？使用者打開開關後，盒子裡會伸出一隻手把開關撥回去，然後手收回來，恢復原狀。據說，香農把這個機器放在自己的辦公桌上，時不時就會給他按個幾下。此外，香農還發明了可以自己學習迷宮路徑的機器老鼠，可説是世界上第一個具有AI學習能力的機器。香農將自己的想像力結合嗜好，他熱愛雜耍，做了一個能夠同時丟好幾顆球的雜甩表演機器人；他對魔術方塊有興趣，做了可以自動解開魔方的機器。甚至，他研究西洋棋中所有棋步的可能性，做出可以完成最後6步的西洋棋終結者。香農的發明不勝枚舉，他用嶄新的觀點以及實作，帶給世人全新的思維模式，也展現出他源源不絕的創造力。很遺憾的香農只在學術界被認識，而且多半是學術成就。如果想了解更多香農的故事，有一部傳記電影很值得看「The bit player」，命名因為他的很多發明都跟 #位元 有關。
我們傳送的訊息，其實不見得每個字都有資訊，比方這串英文字母「I lov mth vry mch」，乍看之下是些奇怪的字母組合，但其實你看得出來是「I love math very much」，文字訊息不像抽撲克牌無法預測。反而，很多部分是不必要的存在，既然不需要知道所有字母就能看懂句子，那麼這句話的資訊量，其實就比字面上更少一點。通訊過程中，有負責發出訊息的「來源」，而它需要經過轉換成某種訊號或是特定格式後才能經由「通道」送出，最後，接受者將這些訊號轉換回訊息本身的樣貌，達到通訊的「目的地」。由於技術限制，訊息在通道中必然遇到「噪音」干擾，隨機破壞部分的資訊。I love math，不小心可能變成I hate math，意思完全不一樣了。如何應付噪音的影響？訊息的隨機性又該如何測量？就是香農的資訊理論中最關鍵的部分了。香農的作法是，把所有訊息轉換成一個個位元（bit），0和1後再量化、傳送。我們現在所講的硬碟容量、網路流量的GB、MB等，都從bit開始，轉換成0或1的二進制數字的好處在於，無論訊息的形式是文字、圖片、聲音或影像，都可以採用一樣的格式。它統一了所有訊息的格式，讓各種類型的通訊都是同一件事。從這邊出發，香農提出「#香農熵」（Shannon Entropy），用來量化資訊，也可以說是量化資訊的「不確定性」。Entropy源自熱力學的概念，有了entropy概念後，香農更進一步推導出傳輸資訊的速度上限，稱為「#香農極限」（Shannon Limit），現實生活中有許多非理想的效應，傳輸速率不可能超過香農極限，因此香農極限被通信工程師們視為重要的依歸。至此，香農完成了偉大的資訊理論，為之後我們所見的任何通訊設備打下無可撼動的基礎。
#通信大解密 #通信科學家 #克勞德香農 #終極機器 #位元 #香農熵 #香農極限

[@Lumpy970253]

用 "I lov mth vry mch" 的例子來解釋資訊量，讓我覺得滿有趣的，
也隱約感覺這個資訊量可能會取決於每個人的知識背景XD，比如至少需要學過一點英語才會知道。
我個人學過一點波斯語，其實這種寫法讓我覺得很像是波斯語、阿拉伯語等這些使用阿拉伯字母系統的語言，
他們的語言寫成文字，只有長母音和單獨母音會把母音寫出來，其他時候母音都不會寫出來，
例如波斯語的彈手指 "beshkan zadan" (بشکن زدن) （相當於英文to snap）這個詞直接轉寫會變成 "bshkn zdn"。
雖然可能對當地人來說很方便，但老實說作為外國人（指非波斯語母語者），看到陌生的詞還要猜讀音還滿痛苦的XDDD
也許阿拉伯、希伯來、腓尼基這些文字最初的使用者，搞不好就有那種節省字母來讓資訊量最大化的概念呢XD

[@jeffkevin3]

其實 Shannon entropy 是不是可以說跟某些語言學的原理有關呢？光是每個字母在特定語言出現機率不等值就可以透露很多資訊了
不過語言學作為非自然科學似乎是很沒有用的領域 😢 即便我超級喜歡
但這種文科本身就沒有任何價值吧？畢竟語言就那樣，就像很多人覺得語言在 AI 就是文本拿來硬 train 一發沒什麼了不起的，人類的語言學知識毫無意義更不要說有經濟或實用價值了……