【機器學習2021】神經網路壓縮 (Network Compression) (一) - 類神經網路剪枝 (Pruning) 與大樂透假說 (Lottery Ticket Hypothesis)

[@albertwang5974]

穷人家的小孩靠数量取胜，希望其中一个会有出息。这就是大乐透假说！
富人家的小孩靠拼资源，只要资质不太差，就会有出息。这就是精英教育！

[@warm_ice0x00]

穷人家孩子概率不独立，数量多也未必取胜

[@feiwei65]

会不同用不同的init 会train 出不同的network, 对应不同shape 的compression network. 所以这个形状的compression network 只能有这组init train 出来。

[@WaterRainting]

那个关于优化的视频显示没有了唉...特别喜欢看老师的课尤其是网络和优化方面的原理推导和幻灯演示，可惜可能有被删掉

[@ken4600]

喔 講到了一個我想了很久的問題，謝謝老師

[@Eaway]

22:20 老師是不是講反了? 應該是訓練前後絕對值差距愈大的wedight 是重要的要"保留"，而不是要被 "pruned"

[@weisun6302]

最后rethinking这个太搞了，得去看看原文和相关工作。真就epoch不够导致的吗。。。

[@kyooli6284]

等更新....

[@founder-13th]

老师讲课太有意思了

[@bohaowang8441]

Scratch-E的效果大多就比finetune的还好，原视频里是不是讲错了？

[@ericwang601]

老师您好，请问在哪里可以看到助教讲课的视频？谢谢

[@陈先生-e2y]

请教下，判断权重或者节点重要性用什么方法计算吗？

[@陈先生-e2y]

谢谢分享，非常好

[@Ruhgtfo]

4:41 童真消失了

[@shitephen]

Sign-ificant~