【機器學習2021】自督導式學習 (Self-supervised Learning) (三) - BERT的奇聞軼事

[@陳翰儒-d5m]

謝謝老師精彩的教學，最後的實驗是真的精彩，非常感謝老師激起我對BERT的興趣。

[@zeyuyang2053]

最后五分钟的实验是真的mind blowing...

[@qingdong801]

Thank you for your video professor! I'll keep watching your videos

[@RayYan-o9g]

如果一句话是：苹果电脑的LOGO灵感来源于图灵的苹果。BERT会如何识别它

[@hsiajui-kai1580]

這真是太神奇了 傑克

[@ChiEnChiang]

2:24處，想請問老師在訓練時，因為是分類問題，所以不論是蘋果電腦的果或是蘋果汁的果應該都是同一類吧。那為何cosine similarity會那麼小啊？

[@Eaway]

我的理解是這樣, word embedding 向量是在 linear transform 之前的向量, 雖然 linear transform 後都對應到同一個字, 但 linear transform 可以看做是多對一的 mapping, 所以原始 word embedded 向量是有差異的, 可以再看一下前一個影片 How to use BERT - Case 1 那邊有提到 linear transform 後經過 softmax 後才會對應到一個中文字

[@simonyue3986]

我觉得bert之所以好，是因为训练了一种从低维度到高纬度的规则。在高纬度下，可能他们的差异更加明显。

[@fiifolf]

受益匪浅，谢谢，李老师分享！

[@linjianzhang6273]

居然有小朋友你是否有很多问号。。。

[@reikolinne9846]

很可惜老师给的扩展资料， youtube 链接都显示视频无法播放😭

[@williechen1876]

想請問一下李教授，作業的部分會在課程網頁公布解答或是做的比較好的同學程式碼嗎? 在做作業時有一部分卡關(我是外校的)

[@bravianzhao3989]

会公布助教的答案 baseline 的答案，speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html

[@5477haha]

老师什么时候能讲讲byol

[@HungyiLeeNTU]

在這裡喔: ruclips.net/video/lMIN1iKYNmA/видео.html

[@5477haha]

@@HungyiLeeNTU 李老师好神奇哦

[@wangpeter1153]

請問那個 EM 是什麼？ 我只有找到 F1 score 的定義說明

[@moye123]

最后一部分有点不理解。训练集中全是英文，为什么这么模型可以回答中文问题？没有用中文训练，那这个模型是这么读懂中文问题的意思？

[@Mumiao-j2w]

可能是fine-tuning也没有完全删去pretrained的“知识”吧

[@沈豪-d8o]

为什么感觉少了一点内容，少了pdf后面的内容

[@PNWDIYer]

1000k不应该是1m吗？

[@miku3920]

既然語言能這樣轉換，那圖片風格呢？

[@williechen1876]

圖片風格轉換很早之前就有了，可以Google Fast Style Transfer，沒記錯的話是李飛飛的學生做的。

[@fuitfuit1]

這樣說的話，機器似乎不能判斷諧音笑話

[@sam1111165]

下巴都掉下來了

[@nwxxzchen3105]

只学了英文的问答，然后就无师自通了中文的问答🤣🤣