Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
真的是講得很好，很直觀易懂，非常精彩
这两期视频终于让我学明白了熵！讲得真好
當年只在大學學了霍夫曼編碼，倒是沒學到更基礎的信息熵原理，算是補到課了😂
我也是来补课的啊哈哈哈哈哈
我學霍夫曼編碼時甚至沒聽過信息熵😂
最近讀論文才知道，熵也能應用在資訊領域
謝謝老師 講得很好
喔屋 這不就是jpg的huffman encoding嗎?:D 上課教授沒細講的這邊直接就聽完整了
感謝~台灣缺少這樣的影片
我這就把香農的照片定義成桌布去
课程非常精彩，对数的底数写出来就更规范了，
如果我們允許一個編碼代表2個以上的字母(甚至是單字)，有沒有可能再進一步壓縮？那個新的極限又會是什麼？
自然对数e吧...这个好像是极限
越靠近自然數e所需的數量約少，但3進位制因為技術問題而非主流
我用一個例子解釋清楚一點：假設我們知道the這個字大量出現，所以我允許用一種編碼來直接代表the這個字(而不需要使用t,h,e三個編碼的組合)，透過這種思路能不能進一步減少所需的編碼符號數
聽起來像是rar壓縮檔的字典壓縮法
@@432v01 这个想的是针对某种我们可阅读的文本来考虑的压缩，但是这个牵扯到一个问题，就是这个组合集需要多大的编码来表达，当大部分的编码超过了组合长度，这个压缩就木有意义了；现实中还有大量的二进制数据，如果按照这个方法来做的话，基本就很难实现了。
这是建立在半导体的状态只能二分表示（通电不通电）的情况下的，试想如果某种量子能有10种状态（2个量子就是100种组合），那就是以10为底的对数了。因此限制我们的其实是硬件
二进制是为了更好的传播信号而采用的，但如果量子有10种状态还能传播的话，会大大提高传播效率，如果按照你所说2个量子的100种组合，那么传输100个信息量用2个量子就行了
得要執行觀察，其信息熵才會出現意義，並且要知道總信息量才知道其傳遞的信息熵log值，否則就像月球一樣，起初不知道有背面。所以也有可能像前一集高斯板一樣，我們目前所處的熵過於巨大，觀察的物理質量與常數，只是最中間機率最高的值，其他的可能性出現概率極低，低到觀察不到。隨著時間推演幾百億年，中間那條曲線已近似直線。
8:46 第一行应该是写错了吧
写错了，应该没有1/
厉害👍
我以為是薛丁格的貓
1:48 前面如果發送1是高電位，在這個時候要如何發送0?必須要"發送"低電位，這麼說電線大多只能出現負電壓了?這種情況下電線狀態其實就有3種：高電為、常態、低電位。🧐
简单地理解：通常用0v，也就是接地电压表示0。电信号是连续的，设备通常以固定频率读取电压，那个时刻读到高电压是1，读到接地是0。图中只有一根线，这时需要双方都接地。如果是两根线，则可以用两个电压差来表示，正是1，负是0，双方无需接地了。
@@liuculiu8366 好吧，是我想的不夠遠，你說的滿對的。只是對於一些講解的邏輯連結、用詞解釋上比較容易出現誤解（像我這小丑）。
@@飛天柴犬 感兴趣的话可以参考数字电子/通信原理/单片机 相关的资料。以我自己的经验看，买个小开发版自己把玩一下是最好的学习方式：）
@@liuculiu8366 既然這部影片講的是訊息，那同步訊息是不是也要列入呢？像是啟始訊號
@@飛天柴犬 影片里更多是从宏观概念来讲信息熵。实际通信过程中，双方要事先约定好去遵守一个规则，也就是通信协议。不同的协议对初始信号有不同的约定。
您好 08:40 上面應該是 *P1* ‧log(1/P1) + *P2* ‧log (1/P2) 對嗎？
回味了以前學的 數位邏輯 電子電路學 高等工數 xD
8:45处上方的公式是否有错误，应为p1 · log (1/p1) + p2 · log (1/p2)？
我也发现了，应该是作者打错了
一開始懂，中間不懂，後面又懂了，算正常嗎？
很正常吧！對於某些物理概念，第一次聽絕對不懂，聽N次就懂了～剛好突破臨界點～
谢谢 谢谢😯
log的部分 是以log取2為底數的 沒標示底數會以為是10為底
聲音回音感小一點會更清楚
如果機率是複數而且不影響對本質理解的問題
居然看懂了😅
可惜我的信息论与编码的书给卖了。没有抵抗住学校的歪风邪气。
執行可能？
👍👍👍
b站和这里的视频顺序和数量都不一样，请问哪边更全？
管子这边不会运营，随意发发~
@@ele870为什么不运营呀，收益很高诶
@@hanktoska7474 因為b站粉絲更多投幣更多
为啥不直接叫信息量，而叫信息熵了。
因為兩者的本質不一樣，信息量是從未知到已知所需要的信息總含量，信息熵是這種信息量的期望值。
超狂
我數學不好，為什麼8:40的不是 sum (1/pi) log(1/pi) ?
他上面寫錯了，把機率換成了事件數量，這個sigma裡寫的才是對的，
@@忘狐 好像是的，我卡了很久一直想不明白...
牛头不对马嘴
錯了，那是以2進位制的訊號傳遞信息時才取2的對數，只是單純其他進位制沒人使用，所以沒人在乎而已
三進位的機器可能嗎
他是在解釋為什麼機器使用二進位
那這樣的話1bit就可以有3個狀態
@@ck-dl4to舉個例子，gddr6x用的1bit有4個電位，當然他們實際上不是這麼稱呼的
哈 不是沒人使用 而是電路是以高電位與低電位來代表1與0 你用太多電位代表 機器容易出錯
神级文明突破信息熵的限制，直接把宇宙所有数据压缩到一个公式里😀
他有不破壞訊息本身的前提 MD5過得去回不來
知識帶著走，電影MIB星際戰警，就有演過了，一個項鍊珍珠，實際上是一整的銀河系一整個宇宙。多麼驚人的事實，說不定我也是活在一粒塵埃之上的生物，還以為宇宙就是極限了【事實上宇宙比我們想的都還要大很多】。
😱，我不知道你的想像力是如何想出來的，但是這種想法我看過，我是看了學霸的黑科技系統小說，裡面有一個猜想紀錄了整個文明的興衰。
没意义，“1代表硬币正面，0代表硬币反面”，是必须大家约定好这个“代表”才能用1和0传递信息。同理，只要我们说好“1代表《远大前程》的全部内容”，那么整本《远大前程》的内容用1bit来传递就足够了。关键在于大家约定了什么，而不是信息要传递多少东西。客观全面的信息总是无穷大的，必须抽象之后才能被人类所理解。需要传递多少信息，取决于你如何抽象这些信息。
如果你得出這樣的結論說明你還沒看懂
@@saharasahara814 是你没看懂。我说的不是结论，而是原本就存在的事实。信息本身就是抽象的产物，如何抽象是由人类相互约定的。本视频的理论都是基于已经按照约定俗成的习惯抽象好的信息，而没有考虑该如何去抽象信息。这本身就是愚蠢的。
@@BeatriceCastilioni 這個問題不是這次節目的討論內容 歡迎你出一期節目討論這個問題
@@saharasahara814 这个问题是否定这期节目的基础。所以这期节目的的讨论内容和眼界是无法达到这个高度的。
@@BeatriceCastilioni 如果你有更好的理論，寫成論文發表出來一定會對學術界有莫大的幫助。如果寫論文對於你來說有困難，你也可以在頻道內po出來討論。如果你實在太懶，可以像費馬那樣以書角空間不夠為理由留下一些懸念。如果你只是想要吵架，你可以用更卑鄙的手段去那些政治頻道引戰。
真的是講得很好，很直觀易懂，非常精彩
这两期视频终于让我学明白了熵！讲得真好
當年只在大學學了霍夫曼編碼，倒是沒學到更基礎的信息熵原理，算是補到課了😂
我也是来补课的啊哈哈哈哈哈
我學霍夫曼編碼時甚至沒聽過信息熵😂
最近讀論文才知道，熵也能應用在資訊領域
謝謝老師 講得很好
喔屋 這不就是jpg的huffman encoding嗎?:D 上課教授沒細講的這邊直接就聽完整了
感謝~台灣缺少這樣的影片
我這就把香農的照片定義成桌布去
课程非常精彩，对数的底数写出来就更规范了，
如果我們允許一個編碼代表2個以上的字母(甚至是單字)，有沒有可能再進一步壓縮？那個新的極限又會是什麼？
自然对数e吧...这个好像是极限
越靠近自然數e所需的數量約少，但3進位制因為技術問題而非主流
我用一個例子解釋清楚一點：假設我們知道the這個字大量出現，所以我允許用一種編碼來直接代表the這個字(而不需要使用t,h,e三個編碼的組合)，透過這種思路能不能進一步減少所需的編碼符號數
聽起來像是rar壓縮檔的字典壓縮法
@@432v01 这个想的是针对某种我们可阅读的文本来考虑的压缩，但是这个牵扯到一个问题，就是这个组合集需要多大的编码来表达，当大部分的编码超过了组合长度，这个压缩就木有意义了；现实中还有大量的二进制数据，如果按照这个方法来做的话，基本就很难实现了。
这是建立在半导体的状态只能二分表示（通电不通电）的情况下的，试想如果某种量子能有10种状态（2个量子就是100种组合），那就是以10为底的对数了。
因此限制我们的其实是硬件
二进制是为了更好的传播信号而采用的，但如果量子有10种状态还能传播的话，会大大提高传播效率，如果按照你所说2个量子的100种组合，那么传输100个信息量用2个量子就行了
得要執行觀察，其信息熵才會出現意義，並且要知道總信息量才知道其傳遞的信息熵log值，否則就像月球一樣，起初不知道有背面。
所以也有可能像前一集高斯板一樣，我們目前所處的熵過於巨大，觀察的物理質量與常數，只是最中間機率最高的值，其他的可能性出現概率極低，低到觀察不到。
隨著時間推演幾百億年，中間那條曲線已近似直線。
8:46 第一行应该是写错了吧
写错了，应该没有1/
厉害👍
我以為是薛丁格的貓
1:48 前面如果發送1是高電位，在這個時候要如何發送0?
必須要"發送"低電位，這麼說電線大多只能出現負電壓了?
這種情況下電線狀態其實就有3種：高電為、常態、低電位。🧐
简单地理解：通常用0v，也就是接地电压表示0。电信号是连续的，设备通常以固定频率读取电压，那个时刻读到高电压是1，读到接地是0。图中只有一根线，这时需要双方都接地。如果是两根线，则可以用两个电压差来表示，正是1，负是0，双方无需接地了。
@@liuculiu8366 好吧，是我想的不夠遠，你說的滿對的。只是對於一些講解的邏輯連結、用詞解釋上比較容易出現誤解（像我這小丑）。
@@飛天柴犬 感兴趣的话可以参考数字电子/通信原理/单片机 相关的资料。以我自己的经验看，买个小开发版自己把玩一下是最好的学习方式：）
@@liuculiu8366 既然這部影片講的是訊息，那同步訊息是不是也要列入呢？像是啟始訊號
@@飛天柴犬 影片里更多是从宏观概念来讲信息熵。实际通信过程中，双方要事先约定好去遵守一个规则，也就是通信协议。不同的协议对初始信号有不同的约定。
您好 08:40 上面應該是 *P1* ‧log(1/P1) + *P2* ‧log (1/P2) 對嗎？
回味了以前學的 數位邏輯 電子電路學 高等工數 xD
8:45处上方的公式是否有错误，应为p1 · log (1/p1) + p2 · log (1/p2)？
我也发现了，应该是作者打错了
一開始懂，中間不懂，後面又懂了，算正常嗎？
很正常吧！對於某些物理概念，第一次聽絕對不懂，聽N次就懂了～
剛好突破臨界點～
谢谢 谢谢😯
log的部分 是以log取2為底數的 沒標示底數會以為是10為底
聲音回音感小一點會更清楚
如果機率是複數而且不影響對本質理解的問題
居然看懂了😅
可惜我的信息论与编码的书给卖了。没有抵抗住学校的歪风邪气。
執行可能？
👍👍👍
b站和这里的视频顺序和数量都不一样，请问哪边更全？
管子这边不会运营，随意发发~
@@ele870为什么不运营呀，收益很高诶
@@hanktoska7474 因為b站粉絲更多投幣更多
为啥不直接叫信息量，而叫信息熵了。
因為兩者的本質不一樣，信息量是從未知到已知所需要的信息總含量，信息熵是這種信息量的期望值。
超狂
我數學不好，為什麼8:40的不是 sum (1/pi) log(1/pi) ?
他上面寫錯了，把機率換成了事件數量，這個sigma裡寫的才是對的，
@@忘狐 好像是的，我卡了很久一直想不明白...
牛头不对马嘴
錯了，那是以2進位制的訊號傳遞信息時才取2的對數，只是單純其他進位制沒人使用，所以沒人在乎而已
三進位的機器可能嗎
他是在解釋為什麼機器使用二進位
那這樣的話1bit就可以有3個狀態
@@ck-dl4to舉個例子，gddr6x用的1bit有4個電位，當然他們實際上不是這麼稱呼的
哈 不是沒人使用 而是電路是以高電位與低電位來代表1與0 你用太多電位代表 機器容易出錯
神级文明突破信息熵的限制，直接把宇宙所有数据压缩到一个公式里😀
他有不破壞訊息本身的前提 MD5過得去回不來
知識帶著走，電影MIB星際戰警，就有演過了，一個項鍊珍珠，實際上是一整的銀河系一整個宇宙。
多麼驚人的事實，說不定我也是活在一粒塵埃之上的生物，還以為宇宙就是極限了【事實上宇宙比我們想的都還要大很多】。
😱，我不知道你的想像力是如何想出來的，但是這種想法我看過，我是看了學霸的黑科技系統小說，裡面有一個猜想紀錄了整個文明的興衰。
没意义，“1代表硬币正面，0代表硬币反面”，是必须大家约定好这个“代表”才能用1和0传递信息。同理，只要我们说好“1代表《远大前程》的全部内容”，那么整本《远大前程》的内容用1bit来传递就足够了。关键在于大家约定了什么，而不是信息要传递多少东西。客观全面的信息总是无穷大的，必须抽象之后才能被人类所理解。需要传递多少信息，取决于你如何抽象这些信息。
如果你得出這樣的結論說明你還沒看懂
@@saharasahara814 是你没看懂。我说的不是结论，而是原本就存在的事实。信息本身就是抽象的产物，如何抽象是由人类相互约定的。本视频的理论都是基于已经按照约定俗成的习惯抽象好的信息，而没有考虑该如何去抽象信息。这本身就是愚蠢的。
@@BeatriceCastilioni 這個問題不是這次節目的討論內容 歡迎你出一期節目討論這個問題
@@saharasahara814 这个问题是否定这期节目的基础。所以这期节目的的讨论内容和眼界是无法达到这个高度的。
@@BeatriceCastilioni 如果你有更好的理論，寫成論文發表出來一定會對學術界有莫大的幫助。如果寫論文對於你來說有困難，你也可以在頻道內po出來討論。如果你實在太懶，可以像費馬那樣以書角空間不夠為理由留下一些懸念。如果你只是想要吵架，你可以用更卑鄙的手段去那些政治頻道引戰。