【機器學習2021】自編碼器 (Auto-encoder) (上) - 基本概念

[@Ahwu_AIClass]

🎯 Key points for quick navigation:
00:02 *🤖 自我監督學習的框架與應用介紹*
- 自我監督學習（Self-Supervised Learning）利用無標籤數據進行模型訓練，常用於預訓練（Pre-Training）。
- 示例任務包括填空和下一個 Token 預測，這些模型可進一步應用於下游任務。
- Auto-Encoder 是早期的無標籤學習技術之一，可視為自我監督學習的一部分。
02:30 *🎨 Auto-Encoder 的基本運作與重建概念*
- Auto-Encoder 由 Encoder 和 Decoder 組成，前者將高維數據壓縮為向量，後者根據向量重建原數據。
- 目標是最小化輸入與輸出之間的距離，即重建誤差。
- 重建的概念與 Cycle GAN 中的雙向生成器非常類似。
06:00 *📉 Auto-Encoder 的降維應用與瓶頸設計*
- Encoder 的輸出常被設計為低維度向量，便於處理與儲存（如壓縮至 10 或 100 維）。
- 中間的低維部分稱為 Bottleneck，用於實現降維（Dimension Reduction）。
- 常見的降維技術還包括 PCA、T-SNE 等。
09:00 *🥋 武俠故事引申的壓縮與還原原理*
- Auto-Encoder 將高維數據壓縮為低維度向量，再進行還原，挑戰在於如何用少量數據重建完整信息。
- 通過類比金庸小說中的情節，強調壓縮中關鍵數據的選擇與應用效率的重要性。
11:26 *📷 圖片簡化與 Auto-Encoder 基本概念*
- Auto-Encoder 透過壓縮維度來簡化圖片表示，降低複雜性。
- Encoder 負責將圖片由多維數據壓縮為有限的簡單結構，描述變化類型。
- 減少圖片表示的維度可以降低下游任務所需的訓練資料量。
12:24 *📜 Auto-Encoder 的歷史與 Hinton 的研究*
- Auto-Encoder 早在 2006 年由 Hinton 提出，使用 Restricted Boltzmann Machine（RBM）進行分層訓練。
- 2006 年的技術認為深層網絡無法直接訓練，需採用分層訓練法（Pretraining）。
- RBM 曾被廣泛使用，但後來逐漸被棄用，因為其實際應用有限。
15:53 *🌟 De-Noising Auto-Encoder 與應用*
- De-Noising Auto-Encoder 可去除輸入數據中的雜訊，恢復原始數據。
- 訓練過程加入雜訊，Encoder 處理帶有雜訊的數據，Decoder 還原未加雜訊的圖片。
- 與 BERT 的 Masking 技術類似，De-Noising Auto-Encoder 的概念延伸至自然語言處理模型中。
Made with HARPA AI

[@kencheligeer3448]

杨过的例子太有意思了 李老师可以兼职talk show 了 LOL

[@xiaoyewang8915]

一翁同学还是输在头发太少了，只有脸“两边”。

[@博士维尼]

👍

[@mitddxia4799]

小学博士，您好

[@小丁同学-y7w]

老师讲的很不错！

[@Li-oy2bo]

有字幕就更完美了

[@kuanpohuang3103]

有字幕了喔

[@Li-oy2bo]

@@kuanpohuang3103 感谢十分钟，虽然我已经看过了。

[@angelachiemela8719]

Your lectures are not in English Sir, how can non Taiwanese benefit from it

[@qiaolinghe3003]

Time to learn Chinese 😝

[@ericapple2408]

there is englinsh version with PPT and video speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.php#%E3%84%9E

[@許承晏]

Teacher's channel has an english version , you can try to find it

[@Jack-u2m9f]

It is time to learn Chinese appropriately😋

[@邱婕雅-r4b]

無法開啟課程簡報