“交叉熵”如何做损失函数？打包理解“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”

设计损失函数是的3个常见方法，其中交叉熵是设计概念最多的。
一个视频把“信息量”、“比特”、“熵”、“KL散度”、“交叉熵”，这些概念彻底搞明白。

[@JJjon13]

一开始偶然看到兄关于卷积的视频还觉得解说的有些繁琐，后来又看了几集越看越精彩直到这集，兄的解说思路是从一个认真思考学习者的角度去展开，里面涉及的很多问题如果你是一个爱思考的读者的话肯定会碰到，这里面也解答了我的很多疑惑，给了很大启发，做这种水准的视频一定很费时间，希望木头兄能够坚持下去，加油！！！

[@Rosie-lh5ge]

我非常喜欢你的思维方式，问为什么及解答为什么远比给出公式更重要！ 你是迄今为止把neural network 说得最透彻的一个人，没有之一！❤❤❤

[@chiangmj9442]

講得真好！王老師不只知其然，還知其所以然。如同物理大師費曼一樣，不只懂表面運用，還懂其真髓，能把一個抽象的概念，介紹給像我這樣的外行人聽懂，真了不起，感謝！

[@mingyangge5425]

讲力的定义那段真是醍醐灌顶❤

[@smocare7659]

博主太牛了， 而且讲课的思维方式和愿意和观众分享自己的学习过程的讲课方式让人耳目一新，让人知其然，也知其所以然，我愿意做你铁粉，而且把你当做我的榜样和目标！

[@yhj2580]

这个博主真的是太牛了，不光是讲了知识，更是讲了问题以及解决问题方法的来龙去脉。中国的中小学和大学如果都是这样培养学生的，那我相信培养出来的学生更能够具有探索未知的能力，而这正是科技进步的源动力。

[@chriskong7418]

王老师讲的太好了，不是在“灌输”知识，而是真的在让人学到知识。

[@madcauchyren6209]

根据我的记忆，极大似然法的log是因为假设随机变量遵守正态分布而来的，不是单纯的连加连乘的喜好问题。如果假设随机变量遵守另外的分布，表达式也应该有不同。

[@ralphchien184]

交叉熵這個數值實在很難用一般直觀的物理量才解釋,但是能夠把他解釋得清楚的人,肯定非常理解該數值的定義還有應用,木頭哥視頻的高智商解說確實令人印象深刻,小弟徹徹底底佩服了!

[@michelletan4249]

老师讲的课太深入浅出了， 把深奥的公式剖析地浅显易懂！ 辛苦了。 在您的视频里我真的学到了很多！ 谢谢谢谢！

[@zhangzq71]

从具体精确的知识到泛泛的人生哲学都讲得这么通透确实让人佩服。

[@xzl20212]

同感，从自发的问题中学习让知识长出来，并且自洽是种享受。但有时侯总是有着对知识本身的着迷然后学到一半发现暂时不能联系甚至不能自洽。为了避免这部分知识给自己脑子熵增，要不断清理整合。您的视频就对此贡献很大，感谢🌹

[@Most-qn4fc]

你的视频讲的太好了，很多过去似懂非懂的地方听了之后，都能很清晰很通透的理解了。比如定义和等号的那部分以及熵的那部分讲解。很难找到其他人讲的如此通透，大多是应用角度的介绍，这样很难知其所以然。理解一个概念时遇到另一个不懂的概念，是很难做到通透的，更难在未来面对问题时灵活应用。感谢你的视频！

[@ztc106]

這個視頻的解說重視「why」，更勝於重視「how」。比大學教授的講解更精彩！

[@hbj418]

从知识体系中生长出来的，而不是移植过来的，说的太棒了，我可以用来教育我的小孩！

[@liman8622]

讲的太好了，如果将一个知识体系比作一个宇宙，博主给了我们视角来看宇宙是怎么形成的，之后在让我们来观测宇宙内部的星系，大赞

[@qilingzhang-ys7bc]

🎉🎉真的给王老师点赞，获益匪浅

[@guestg4556]

享受思考的过程。
你是独一无二的播主。多谢。

[@davismao]

套一句李鴻毅教授說過的話 most likelihood完全等價於least cross entropy

[@zyhuang9056]

这个视频最后的总结十分精彩！通过对学习和知识的理解再一次展现出信息量的重要性，同时又启发我们去思考什么学习才是真的学习，赞！

[@user-zn6ck3yi8d]

up主讲得真好，第一次如此深入的了解了交叉熵的概念。

[@shaoyinguo415]

王老师这完全是从第一性原理思考啊，最后一段太谦虚了，敬佩

[@linHsinHsiang]

謝謝王老師！能在廣大網路找到你的影片真是無比幸運的一件事 最喜歡老師您會解釋公式的思想，讓我能跟了解大學所學的內容 而且背起來也比較舒適！

[@michelyupeng]

重心在于学习，下周一应聘，你这视频对我太重要了，看书看了好多遍不如看视频一遍

[@jackwang7425]

很少评论，但是对于你这样的学习方法特别认同，点赞了

[@heartsun7301]

木头老师，分享心中的自洽圆满的过程，不要在乎是否小众还是大众，本来世间在有限的时间发现激活函数的概率就不高，所以不要在乎别人的看法。

[@robinsonting4486]

完全赞同王老师的观点，每期都是一开头就点赞了，因为听到了王老师解惑的过程中的思考

[@robinwang1129]

本家木头一点不木， 头脑灵活， 口齿清楚！ 加油❤

[@Hanna_Emma]

最后的总结太棒了！之前一直困惑中外教育的本质差别，身有体会，带也讲不清楚。突然感觉悟到了。感谢分享。希望能在学习的视频后面加上更多类似的“哲学”探讨。非常吸粉！

[@Hanna_Emma]

能加个LinkedIn吗？

[@c_kevin9736]

(正确的知识,可能比不上真问题)
谢谢王老师,您的视频对我受益良多,我选择也是学习。

[@fanliu9233]

讲的太好了！看完感觉都通透了，把很多知识点融会贯通了

[@zhengjiang9375]

讲的太好了！This video deserves one million views.

[@tigerwang8302]

最后的一段话也是一个人获取信息的规律，先抽象再具象。

[@gausseking]

讲得很好。概念非常清晰。感谢。

[@liangzhou-hk2cm]

太牛了，一口气看完，加油💪🏻

[@puwenjun]

太牛了，很多概念能串起来，说明up对概念理解的深入

[@jminwu587]

感谢up主。涨了知识，更涨了思维方式

[@joetsai4676]

最后一段话说得太好了！

[@dja6677]

真的太好了

[@woodywan4010]

講得太好了！問題才是學習的源頭！不帶著疑問去學習效率真的很低

[@user-jk9md5jn2t]

讲得很好，学习探索的心态值得我学习。

[@bangbangbang673]

加油加油，，，感觉是看过最好的视频了

[@azurewang]

非常清晰，严谨！

[@plusdesigner5509]

给博主点赞，希望多发视频

[@user-cy7rg5ed3u]

哇，作者太厉害了，我有收获，谢谢你

[@yunliangli8068]

非常感谢，如此精彩的视频

[@yunliangli8068]

厉害👍👍 多谢这么精彩的视频

[@sanko9967]

👍👍👍讲得太好了，佩服。

[@chc1006]

木头哥把神经网路中的重点概念的直觉説得很清楚，我是中英文双声道，这是RUclips 中最有效吸收NN 理论和直觉的频道。

[@michaelchien6680]

受益良多，真是非常感謝.

[@tigerwang8302]

给up主点赞。

[@nikkilin4396]

好喜欢你的思维方式。

[@user-nr1qm8ie3h]

讲的真不错，点赞

[@PistachioAlgorithm]

谢谢王老师，这个课太棒了！！！！！！！！

[@lar4853]

淺顯易懂的解釋，謝謝你。不過要小心乳滑😆😆

[@xueyingcheng7614]

講的太好了！！！謝謝您！

[@kevinlou8374]

講得很好呀兄弟!!

[@leonlau3897]

讲得太好了，厉害👍🏻

[@user-gu7qs9sq7q]

又教知识，又教哲学，太屌了

[@lawrenceho7731]

您好，很喜欢您的解说，方便给我您这些课件么？可以更好的对照学习~

[@michelyupeng]

多谢，终于通透了

[@LichengBao-to6eb]

必须要点赞

[@jp4815]

excellent teacher!!!

[@user-pd2ly3bk2t]

思考:
自己想要解决的问题，就是有价值的，因为信息量非常大。
熵在变小的过程中，会针对这个问题搜集到的信息量，产生新的问题。
那就会产生更多的信息量。
所以，要去提问，更要去解决。
不提问，就没有信息量。
不解决，就不会有更多信息量。
最后的良性循环是，成指数倍的信息量，能增加自信、专业度，再去促使自己研究和进步(◍•ᴗ•◍)......

[@yingjiaguo8319]

最后那一段讲的太好了！

[@yingjiaguo8319]

信息量是学习的一个特别好的视角

[@jx5534]

信息量这个讲的真好

[@user-eh1jb7zi3k]

很棒!讚讚讚!!!

[@howgreatmars]

讲的太好了

[@user-nr8oi6nv3r]

超棒的~

[@haoyulin3153]

太精彩了

[@dextersherloconan2522]

19:55 一个问题：到底哪个概率测度是“基准”？同样的表达式，视频里说的是前者P，维基百科（及很多其它资料）说的是后者Q是基准。另外，KL散度的计算式是基于概率测度（离散：概率质量函数PMF； 连续：概率密度函数PDF），因此后面举的机器学习的例子在统计学里，应该是不严谨的，即KL散度是无法直接在样本数据上计算的。

[@chiangmj9442]

謝謝！

[@yichi-xuan]

感恩

[@jatosalo5055]

天啊 這教學太棒了

[@YingleiZhang]

·赞一个！

[@dawndusk4962]

感同身受

[@yeelignyee3767]

赞赞赞！

[@plusdesigner5509]

博主有没有考虑过e=mc2的问题，这个是定义还是定理，如何自洽的

[@kfwai1248]

支持😀

[@yoyooversea]

高高手！仰慕！

[@yixuan9213]

聪明啊

[@kaik7859]

讲的太好了，不过还是适合有点基础的人

[@minglee5164]

后面的话更加精彩

[@jasonto5869]

受教了

[@joedavid1809]

牛🐮

[@JK-sy4ym]

太棒了五体投地

[@sophiez7952]

学习！+ then knowledge

[@enchang2957]

阿根廷真的奪冠了...

[@xsr1551]

阿根廷夺冠都被你猜到了 厉害

[@user-TweetyBird]

原来如此

[@lokk8301]

我透了吧。我透了，學錯了，也會學對的！謝謝！謝謝！

[@user-no3et7cy5o]

感觉信息量更像是震惊值

[@michellet5795]

激活函数是学习 +1

[@pikaiaguo8579]

看来up主不是狐狸，因为：“高斯象一只狐狸，用尾巴扫砂子来掩盖自己的足迹。”

[@gzbin365]

1/1024 哈哈哈哈 XD

[@cczhu3623]

你说的我感觉三个字：
你懂我

[@KennethKamhw]

F的定義不是ma， 是d(mv)/dt吧。。。

[@sophiez7952]

知识1

[@rc_youtubeaccount1331]

👍👍👏

[@hsintong177]

哥 請受我一拜

[@chenning1799]

你说的连加的n或m的解释有点问题。你说的交叉熵中的n或m指的是随机变量的取值的数目，但在解释机器学习时候，这个n和m你换成了样本数目，如果按照交叉熵来说，这个n或m应该是2或别的（如猫狗兔之类的分类数目）。这样，你没觉得这里还没说清楚么？

[@bohuang5586]

木头老师这里有个跳跃：讲KL散度时用了P和Q两个概率分布。这时是你说的分类数目：如是猫和不是猫。在说到神经网络的时候，是n个图片有k个猫和n-k个不是猫一起发生的概率分布（或者likelihood)。这个概率分布和预测的概率分布比较。