ViT论文逐段精读【论文精读】

更多论文：github.com/mli/paper-reading

[@louisyuliu7200]

感谢老师精彩的讲解和清楚的分析！

[@xuzhang2431]

讲得太棒了！非常感谢！！

[@pantan4206]

感谢老师！B站看完了来这里再来点赞

[@user-wv5dc3ut9o]

感謝大神細心講解

[@twyunghui]

謝謝 講解得非常清楚

[@chrischen6]

謝謝老師講解 非常清楚 很受用

[@user-wm1yb3zi9x]

这个哥们讲的内容很喜欢！👍

[@morningstar618z8]

讲得太好了，清晰明了，幽默风趣，全程无尿点！

[@Rocky-px8jg]

谢谢作者分享！

[@geesehoward8838]

讲得太仔细了，非常感谢！！

[@zeweichu550]

讲得非常好👍学习了

[@lionhuang9209]

谢谢讲解！

[@lionhuang9209]

Great presentation!

[@huangjames8130]

所以長話短說
先用CNN(或其他方法）得到足夠小的feature map，再用transformer跑

[@Zhichaodeng2023]

讲的很清透！点赞

[@yifanbai3072]

Zhu老师讲的很棒，感谢

[@nicolezhao9597]

请问老师叫什么名字？

[@yafengyang1099]

讲的太好了

[@muyuanliu3175]

讲的真的好

[@zhanlucas935]

感谢感谢！！！

[@xyh6552]

cnn和transformer基本上是同一件事情，只不过cnn更先进在特征就是tags，trasformer先进在不用一个单位一个单位滑动，但是实际上特征层和tags是一件事情的话特征层比tags的attention内积更高效，这类似于用所有basis和前几个特征函数近似，trasformer低效在要标注和attention本身，高效在不需要一个单位一个单位摞

[@mingzhaochina]

真棒！

[@alphaprofold5707]

来龙去脉，前因后果， 讲的太好了

[@tedmsxu]

这个人的水平至少是国内优青水平～！

[@baijiu_yaya]

44:15处，应该是√d而不是d/2

[@user-dv4su5jw8n]

哈哈

[@user-dq1en7zd8r]

怎么找不到 老师的 VITS 解读了呢？

[@xufenghu3063]

嘿嘿 来了

[@incameet]

What is the name of the speaker?

[@liqiushui2427]

44分30秒不应该是根号D嘛

[@grhaonan]

Transformer base 的head 数目好像是8吧

[@xyh6552]

消融实验结果差不多是因为加是完全不对的，加所带来的特征在动力系统里面全都平均掉了

[@xyh6552]

位置信息如何加进去是个编码问题，要尽可能的保证信息无损的同时占用空间小，f（attention（x），position）应该比直接把位置信息加在x里面好

[@x7lwavuj976]

老師整容了？

[@albertwang5974]

这是另外一个人！

[@nicolezhao9597]

请问老师叫什么名字？

[@dayeye2011]

这位帅哥是谁？

[@jinhuizhang702]

沐神呢

[@user-lp2lu2ms8o]

為什麼是224/16=14
然後input = 14*14
為何不是input = 16*16
input 是一個一個patch 的意思嗎?

[@huachengli1786]

我的理解和你一样。一张图类比一句话。所以一个patch类比于一个词。如果word embedding 是512， 那ViT里对应的就是16x16。

[@huachengli1786]

你理解的是对的，所以文章标题是 An Image is Worth 16x16 words🤣

[@user-lp2lu2ms8o]

@@huachengli1786 哈哈我還沒有發現

[@hailuyin9915]

大神

[@jeffreyhao1343]

-------------------------------
Pretty good, done.
-------------------------------

[@jeffreyhao1343]

ViT-FRCNN and SETR

[@jeffreyhao1343]

Transformer论文逐段精读: ruclips.net/video/nzqlFIcCSWQ/видео.html