Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
當年只在大學學了霍夫曼編碼,倒是沒學到更基礎的信息熵原理,算是補到課了😂
我也是来补课的啊哈哈哈哈哈
我學霍夫曼編碼時甚至沒聽過信息熵😂
最近讀論文才知道,熵也能應用在資訊領域
真的是講得很好,很直觀易懂,非常精彩
这两期视频终于让我学明白了熵!讲得真好
感謝~台灣缺少這樣的影片
8:46 第一行应该是写错了吧
謝謝老師 講得很好
喔屋 這不就是jpg的huffman encoding嗎?:D 上課教授沒細講的這邊直接就聽完整了
课程非常精彩,对数的底数写出来就更规范了,
我這就把香農的照片定義成桌布去
这是建立在半导体的状态只能二分表示(通电不通电)的情况下的,试想如果某种量子能有10种状态(2个量子就是100种组合),那就是以10为底的对数了。因此限制我们的其实是硬件
二进制是为了更好的传播信号而采用的,但如果量子有10种状态还能传播的话,会大大提高传播效率,如果按照你所说2个量子的100种组合,那么传输100个信息量用2个量子就行了
厉害👍
得要執行觀察,其信息熵才會出現意義,並且要知道總信息量才知道其傳遞的信息熵log值,否則就像月球一樣,起初不知道有背面。所以也有可能像前一集高斯板一樣,我們目前所處的熵過於巨大,觀察的物理質量與常數,只是最中間機率最高的值,其他的可能性出現概率極低,低到觀察不到。隨著時間推演幾百億年,中間那條曲線已近似直線。
如果我們允許一個編碼代表2個以上的字母(甚至是單字),有沒有可能再進一步壓縮?那個新的極限又會是什麼?
自然对数e吧...这个好像是极限
越靠近自然數e所需的數量約少,但3進位制因為技術問題而非主流
我用一個例子解釋清楚一點:假設我們知道the這個字大量出現,所以我允許用一種編碼來直接代表the這個字(而不需要使用t,h,e三個編碼的組合),透過這種思路能不能進一步減少所需的編碼符號數
聽起來像是rar壓縮檔的字典壓縮法
@@432v01 这个想的是针对某种我们可阅读的文本来考虑的压缩,但是这个牵扯到一个问题,就是这个组合集需要多大的编码来表达,当大部分的编码超过了组合长度,这个压缩就木有意义了;现实中还有大量的二进制数据,如果按照这个方法来做的话,基本就很难实现了。
谢谢 谢谢😯
1:48 前面如果發送1是高電位,在這個時候要如何發送0?必須要"發送"低電位,這麼說電線大多只能出現負電壓了?這種情況下電線狀態其實就有3種:高電為、常態、低電位。🧐
简单地理解:通常用0v,也就是接地电压表示0。电信号是连续的,设备通常以固定频率读取电压,那个时刻读到高电压是1,读到接地是0。图中只有一根线,这时需要双方都接地。如果是两根线,则可以用两个电压差来表示,正是1,负是0,双方无需接地了。
@@liuculiu8366 好吧,是我想的不夠遠,你說的滿對的。只是對於一些講解的邏輯連結、用詞解釋上比較容易出現誤解(像我這小丑)。
@@飛天柴犬 感兴趣的话可以参考数字电子/通信原理/单片机 相关的资料。以我自己的经验看,买个小开发版自己把玩一下是最好的学习方式:)
@@liuculiu8366 既然這部影片講的是訊息,那同步訊息是不是也要列入呢?像是啟始訊號
@@飛天柴犬 影片里更多是从宏观概念来讲信息熵。实际通信过程中,双方要事先约定好去遵守一个规则,也就是通信协议。不同的协议对初始信号有不同的约定。
聲音回音感小一點會更清楚
一開始懂,中間不懂,後面又懂了,算正常嗎?
很正常吧!對於某些物理概念,第一次聽絕對不懂,聽N次就懂了~剛好突破臨界點~
我以為是薛丁格的貓
回味了以前學的 數位邏輯 電子電路學 高等工數 xD
log的部分 是以log取2為底數的 沒標示底數會以為是10為底
👍👍👍
居然看懂了😅
如果機率是複數而且不影響對本質理解的問題
可惜我的信息论与编码的书给卖了。没有抵抗住学校的歪风邪气。
为啥不直接叫信息量,而叫信息熵了。
因為兩者的本質不一樣,信息量是從未知到已知所需要的信息總含量,信息熵是這種信息量的期望值。
b站和这里的视频顺序和数量都不一样,请问哪边更全?
管子这边不会运营,随意发发~
@@ele870为什么不运营呀,收益很高诶
@@hanktoska7474 因為b站粉絲更多投幣更多
執行可能?
超狂
我數學不好,為什麼8:40的不是 sum (1/pi) log(1/pi) ?
他上面寫錯了,把機率換成了事件數量,這個sigma裡寫的才是對的,
@@user-gk6uh8di6u 好像是的,我卡了很久一直想不明白...
牛头不对马嘴
神级文明突破信息熵的限制,直接把宇宙所有数据压缩到一个公式里😀
md5,crc32这种算法不就是
他有不破壞訊息本身的前提 MD5過得去回不來
知識帶著走,電影MIB星際戰警,就有演過了,一個項鍊珍珠,實際上是一整的銀河系一整個宇宙。多麼驚人的事實,說不定我也是活在一粒塵埃之上的生物,還以為宇宙就是極限了【事實上宇宙比我們想的都還要大很多】。
😱,我不知道你的想像力是如何想出來的,但是這種想法我看過,我是看了學霸的黑科技系統小說,裡面有一個猜想紀錄了整個文明的興衰。
錯了,那是以2進位制的訊號傳遞信息時才取2的對數,只是單純其他進位制沒人使用,所以沒人在乎而已
三進位的機器可能嗎
他是在解釋為什麼機器使用二進位
那這樣的話1bit就可以有3個狀態
@@ck-dl4to舉個例子,gddr6x用的1bit有4個電位,當然他們實際上不是這麼稱呼的
哈 不是沒人使用 而是電路是以高電位與低電位來代表1與0 你用太多電位代表 機器容易出錯
没意义,“1代表硬币正面,0代表硬币反面”,是必须大家约定好这个“代表”才能用1和0传递信息。同理,只要我们说好“1代表《远大前程》的全部内容”,那么整本《远大前程》的内容用1bit来传递就足够了。关键在于大家约定了什么,而不是信息要传递多少东西。客观全面的信息总是无穷大的,必须抽象之后才能被人类所理解。需要传递多少信息,取决于你如何抽象这些信息。
如果你得出這樣的結論說明你還沒看懂
@@saharasahara814 是你没看懂。我说的不是结论,而是原本就存在的事实。信息本身就是抽象的产物,如何抽象是由人类相互约定的。本视频的理论都是基于已经按照约定俗成的习惯抽象好的信息,而没有考虑该如何去抽象信息。这本身就是愚蠢的。
@@BeatriceCastilioni 這個問題不是這次節目的討論內容 歡迎你出一期節目討論這個問題
@@saharasahara814 这个问题是否定这期节目的基础。所以这期节目的的讨论内容和眼界是无法达到这个高度的。
@@BeatriceCastilioni 如果你有更好的理論,寫成論文發表出來一定會對學術界有莫大的幫助。如果寫論文對於你來說有困難,你也可以在頻道內po出來討論。如果你實在太懶,可以像費馬那樣以書角空間不夠為理由留下一些懸念。如果你只是想要吵架,你可以用更卑鄙的手段去那些政治頻道引戰。
當年只在大學學了霍夫曼編碼,倒是沒學到更基礎的信息熵原理,算是補到課了😂
我也是来补课的啊哈哈哈哈哈
我學霍夫曼編碼時甚至沒聽過信息熵😂
最近讀論文才知道,熵也能應用在資訊領域
真的是講得很好,很直觀易懂,非常精彩
这两期视频终于让我学明白了熵!讲得真好
感謝~台灣缺少這樣的影片
8:46 第一行应该是写错了吧
謝謝老師 講得很好
喔屋 這不就是jpg的huffman encoding嗎?:D 上課教授沒細講的這邊直接就聽完整了
课程非常精彩,对数的底数写出来就更规范了,
我這就把香農的照片定義成桌布去
这是建立在半导体的状态只能二分表示(通电不通电)的情况下的,试想如果某种量子能有10种状态(2个量子就是100种组合),那就是以10为底的对数了。
因此限制我们的其实是硬件
二进制是为了更好的传播信号而采用的,但如果量子有10种状态还能传播的话,会大大提高传播效率,如果按照你所说2个量子的100种组合,那么传输100个信息量用2个量子就行了
厉害👍
得要執行觀察,其信息熵才會出現意義,並且要知道總信息量才知道其傳遞的信息熵log值,否則就像月球一樣,起初不知道有背面。
所以也有可能像前一集高斯板一樣,我們目前所處的熵過於巨大,觀察的物理質量與常數,只是最中間機率最高的值,其他的可能性出現概率極低,低到觀察不到。
隨著時間推演幾百億年,中間那條曲線已近似直線。
如果我們允許一個編碼代表2個以上的字母(甚至是單字),有沒有可能再進一步壓縮?那個新的極限又會是什麼?
自然对数e吧...这个好像是极限
越靠近自然數e所需的數量約少,但3進位制因為技術問題而非主流
我用一個例子解釋清楚一點:假設我們知道the這個字大量出現,所以我允許用一種編碼來直接代表the這個字(而不需要使用t,h,e三個編碼的組合),透過這種思路能不能進一步減少所需的編碼符號數
聽起來像是rar壓縮檔的字典壓縮法
@@432v01 这个想的是针对某种我们可阅读的文本来考虑的压缩,但是这个牵扯到一个问题,就是这个组合集需要多大的编码来表达,当大部分的编码超过了组合长度,这个压缩就木有意义了;现实中还有大量的二进制数据,如果按照这个方法来做的话,基本就很难实现了。
谢谢 谢谢😯
1:48 前面如果發送1是高電位,在這個時候要如何發送0?
必須要"發送"低電位,這麼說電線大多只能出現負電壓了?
這種情況下電線狀態其實就有3種:高電為、常態、低電位。🧐
简单地理解:通常用0v,也就是接地电压表示0。电信号是连续的,设备通常以固定频率读取电压,那个时刻读到高电压是1,读到接地是0。图中只有一根线,这时需要双方都接地。如果是两根线,则可以用两个电压差来表示,正是1,负是0,双方无需接地了。
@@liuculiu8366 好吧,是我想的不夠遠,你說的滿對的。只是對於一些講解的邏輯連結、用詞解釋上比較容易出現誤解(像我這小丑)。
@@飛天柴犬 感兴趣的话可以参考数字电子/通信原理/单片机 相关的资料。以我自己的经验看,买个小开发版自己把玩一下是最好的学习方式:)
@@liuculiu8366 既然這部影片講的是訊息,那同步訊息是不是也要列入呢?像是啟始訊號
@@飛天柴犬 影片里更多是从宏观概念来讲信息熵。实际通信过程中,双方要事先约定好去遵守一个规则,也就是通信协议。不同的协议对初始信号有不同的约定。
聲音回音感小一點會更清楚
一開始懂,中間不懂,後面又懂了,算正常嗎?
很正常吧!對於某些物理概念,第一次聽絕對不懂,聽N次就懂了~
剛好突破臨界點~
我以為是薛丁格的貓
回味了以前學的 數位邏輯 電子電路學 高等工數 xD
log的部分 是以log取2為底數的 沒標示底數會以為是10為底
👍👍👍
居然看懂了😅
如果機率是複數而且不影響對本質理解的問題
可惜我的信息论与编码的书给卖了。没有抵抗住学校的歪风邪气。
为啥不直接叫信息量,而叫信息熵了。
因為兩者的本質不一樣,信息量是從未知到已知所需要的信息總含量,信息熵是這種信息量的期望值。
b站和这里的视频顺序和数量都不一样,请问哪边更全?
管子这边不会运营,随意发发~
@@ele870为什么不运营呀,收益很高诶
@@hanktoska7474 因為b站粉絲更多投幣更多
執行可能?
超狂
我數學不好,為什麼8:40的不是 sum (1/pi) log(1/pi) ?
他上面寫錯了,把機率換成了事件數量,這個sigma裡寫的才是對的,
@@user-gk6uh8di6u 好像是的,我卡了很久一直想不明白...
牛头不对马嘴
神级文明突破信息熵的限制,直接把宇宙所有数据压缩到一个公式里😀
md5,crc32这种算法不就是
他有不破壞訊息本身的前提 MD5過得去回不來
知識帶著走,電影MIB星際戰警,就有演過了,一個項鍊珍珠,實際上是一整的銀河系一整個宇宙。
多麼驚人的事實,說不定我也是活在一粒塵埃之上的生物,還以為宇宙就是極限了【事實上宇宙比我們想的都還要大很多】。
😱,我不知道你的想像力是如何想出來的,但是這種想法我看過,我是看了學霸的黑科技系統小說,裡面有一個猜想紀錄了整個文明的興衰。
錯了,那是以2進位制的訊號傳遞信息時才取2的對數,只是單純其他進位制沒人使用,所以沒人在乎而已
三進位的機器可能嗎
他是在解釋為什麼機器使用二進位
那這樣的話1bit就可以有3個狀態
@@ck-dl4to舉個例子,gddr6x用的1bit有4個電位,當然他們實際上不是這麼稱呼的
哈 不是沒人使用 而是電路是以高電位與低電位來代表1與0 你用太多電位代表 機器容易出錯
没意义,“1代表硬币正面,0代表硬币反面”,是必须大家约定好这个“代表”才能用1和0传递信息。同理,只要我们说好“1代表《远大前程》的全部内容”,那么整本《远大前程》的内容用1bit来传递就足够了。关键在于大家约定了什么,而不是信息要传递多少东西。客观全面的信息总是无穷大的,必须抽象之后才能被人类所理解。需要传递多少信息,取决于你如何抽象这些信息。
如果你得出這樣的結論說明你還沒看懂
@@saharasahara814 是你没看懂。我说的不是结论,而是原本就存在的事实。信息本身就是抽象的产物,如何抽象是由人类相互约定的。本视频的理论都是基于已经按照约定俗成的习惯抽象好的信息,而没有考虑该如何去抽象信息。这本身就是愚蠢的。
@@BeatriceCastilioni 這個問題不是這次節目的討論內容 歡迎你出一期節目討論這個問題
@@saharasahara814 这个问题是否定这期节目的基础。所以这期节目的的讨论内容和眼界是无法达到这个高度的。
@@BeatriceCastilioni 如果你有更好的理論,寫成論文發表出來一定會對學術界有莫大的幫助。如果寫論文對於你來說有困難,你也可以在頻道內po出來討論。如果你實在太懶,可以像費馬那樣以書角空間不夠為理由留下一些懸念。如果你只是想要吵架,你可以用更卑鄙的手段去那些政治頻道引戰。