Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
因為本週我沒有講課，所以本週不會有錄影更新，下週課程更精采，敬請期待
老師我一定這周把芙莉蓮看完然後繼續追番
謝謝老師，期待老師下週精彩的課程
# 1. 不訓練模型就強化語言模型能力的方法1. 使用神奇咒語（例如Chain of Thought） - 要求模型逐步解釋思考過程，有助於提高回答問題的正確性 - Chain of Thought的原理等同於把問題拆解成多個步驟2. 提供額外知識 - 將相關背景資訊輸入給模型，增加模型擁有的知識量# 2. 拆解複雜問題1. 將大型任務拆解為較小、簡單的子任務 - 例如：撰寫長篇報告時，先列大綱、逐章節撰寫 - 模型較易完成每個子任務，從而解決整體問題2. 在任務結尾加入自我檢查步驟 - 讓模型檢查自己的輸出是否正確 - 利用模型的自我反省能力修正錯誤3. 對同一問題生成多個答案，取最常見者作為正確答案 (Self Consistency)# 3. 使用外部工具1. 透過呼叫搜尋引擎獲取額外資訊 (Retrieval Augmented Generation, RAG) - 使用搜尋結果作為輸入，模型較易產生正確答案2. 寫程式並執行程式 - 例如解聯立方程式，寫程式呼叫solver比直接文字接龍更準確 (Program of Thought)3. 呼叫文字生成圖像AI (DALL-E) - 將模型的文字描述轉換為對應圖像4. 使用GPT Plugin呼叫其他外部工具 - Plugin收集上千種工具，模型可選擇適合的工具使用5. 操作流程：模型以特殊符號標記呼叫工具的開始與結束，中間輸出指令操控工具# 4. 重點補充：- 本講次中模型參數皆未被訓練，模型能力透過上述技巧獲得強化- GPT-4示範了更強的自我檢查及工具使用能力
在不训练语言模型的情况下，增强语言模型能力的方法：00:36 方法一：拆解任务07:23 方法二：自我反省17:12 方法三：self consistency(同一个问题，不同答案)24:59 方法四：使用额外工具 26:13 使用额外工具之搜索引擎（Retrieval Augmented Generation） 31:51 使用额外工具之写程序（Program of Thought） 36:00 使用额外工具之文字生图AI（DALL-E） 41:22 语言模型是怎么使用工具的（文字接龙）
半夜睡不著就該看這個
看这个，会慢慢睡着嘛？我也睡不着
半夜睡不著看這個，結果越開越精神
我是AnyTool的作者，看到老师放了我们paper的截图，非常开心！
不訓練模型的情況下，強化語言模型的方法：方法三：拆解任務方法四：使用工具--------------------------------------------00:37 3.1 拆解任務07:24 3.2 語言模型檢查自己的錯誤14:25 3.3 考考大家的觀念17:12 3.4 為什麼同一個問題，每次答案都不同？(Self-Consistency)22:02 3.5 組合拳 Tree of Thoughts (ToT)--------------------------------------------24:51 4.0 使用工具26:14 4.1 使用工具-搜尋引擎 Retrieval Augmented Generation (RAG)31:52 4.2 使用工具-寫程式 Program of Thought (PoT)36:00 4.3 使用工具-文字生圖 AI(DALL-E)40:42 4.4 使用工具-GPT Plug-in41:23 4.5 語言模型如何使用工具？46:35 4.6 使用工具-組合拳
謝謝老師的分享，講得太好了! 真的淺顯易懂，收穫很多!
我一個中文系的女生都能看得懂，老師講解真的很厲害👍🏻 幽默有趣讓人一集接著一集觀看😊
看完教學，好想知道作業三是什麼！
本季必追之深夜番!!
更新:function call(上網、生圖等等)現在只要在prompt中明確指出，甚至不需要偽代碼，就可以進行分段搜尋、多來源搜尋等複雜功能的執行方式~
老师太勤奋， Claude3都跟新了
還是從前那個少年，沒有一絲絲改變XDDD老師埋的梗都蠻好笑的🤣
1.CoT,CoT-SC,tree of thought (ToT),algorithm of thought,graph of thought …2.tools/agent . RAG(web search,your own database),program of thought (PoT),text to image (DALL-E…),gpt plugin. [Function of tools]
感謝老師的分享，讓我們使用語言模型同時也了解後面的運作原理
各位深夜的同學大家好啊
拉椅子坐好
老师以后可以把3/29 Nvidia讲RAG的视频也放出来吗？
我也想聽
好想听
老師你好 3/29RAG的課程在網路上也能看到嗎
太爽了~幸好我都超晚睡的~
深夜的課堂最棒
謝謝老師的教學 請問3.29的RAG課程也會有影片嗎 謝謝
老師好，請問您也可以把作業的部分放上來嗎？讓我們也可以一起練習，非常感謝。
老師官網有 大家都可以找得到XD
@@willy7703 謝謝
请问下，老师的官网在哪里？@@willy7703
謝謝老師提供的遊戲 prompt請開始一個文字冒險遊戲。由你來描述遊戲場景，由玩家來決定要採取的動作，每次你描述完的場 景之後,請根據你的描述產生一張圖。請詳細描述場景中所有的物品、生物，如果場景中的人物在 對話或跟主角對話,請把對話內容完整輸出來，如果主角和場景中的任何生物互動，請把互動過程詳細描述出來，不要出現重複的場景或對話，故事要曲折離奇、高潮迭起。現在遊戲開始。
在同一个对话框再次提问同一个问题，模型是会纠正答案的，上下文会有影响
聽到 24:33 時我的腦中開始出現旋律： 'O Sole Mio
還是當初的少年，沒有一絲絲改變^^
它還是當初那個少年,沒有自我反省,哈哈
想問一下使用poe代替chatgpt除了不能使用api之外分別大嗎?
跟我想的一樣，一定是拆解會比較順利，結果主管不相信我😂
老师，作业我们也可以做做看嘛？感觉都听懂了，想动手试一下
所有的作業都可以在公開的課程網頁上找到speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php
15:58 這個哽應該是 夢然-少年很好奇大學生真的知道嗎😂
笑死我了
愛您
Lee 老师，为啥作业部分 被cut off了？ 我也想写作业 😆
沙发
作业在哪？
謝謝老師
好好學AI，以後死前可以看AI幫我生出獵人的結局。
各位同学大家好
倘若說呼叫工具的特殊字符是提前預置好的，那是不是每次有新的插件都要重新訓練一輪呢？
請問老師那麼在玩角色扮演的遊戲時系統的setting為何
請問老師，如何訓練自己的embedding?因為我使用openAiembedding()結合FAISS，結果並不太好
老师能不能 share 一下ppt 课件，里面的 paper想深入学习下
在這裡：speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php
老师你可以提示：请搜索并回答sara是什么？
16分钟这个再一次的时候语言模型还是会介绍是说新开一个对话吗？因为直接在当前的对话里再问一遍，模型是会根据之前的对话了解确实没有玫瑰花节并且回答很抱歉确实没有玫瑰花节的。我用claude3也验证了一下确实不会再次介绍
教授偷渡夢然的少年...他還是當年的那個少年沒有一絲絲改變，但是，反省這個行為，如果是同一個對話的情況下，理論上模型考量到整個上下文，再次的詢問應該是會有不一樣的回應，實測claude也確實是如此。1. 請模型說說台大的玫瑰花節2. 請模型確認回應是否正確3. 模型回應它知道它自己唬爛了4. 請模型說說台大的玫瑰花節5. 模型回應台大沒有玫瑰花節以上。所以，在下得到一個粗淺的結論是，同一個對話上下文的情況下，模型的回應因為考量其上下文而記憶其反省，但換一個對話之後確實就會再次的唬爛。
我也在想會改變啊，應該是重開一個問題才不會改變，搞得我好亂....
實測ChatGPT，介紹台大玫瑰花節，如果在同一個對話框，反省過，再問一次，他會回答沒有玫瑰花節；所以老師指的是，開新的對話框，他不會知道上次的檢討。
我也對這個感到疑惑，包括上一堂的翻譯問題，同個對話AI理當對上下文是有一定的記憶能力，所以繼續請AI翻譯稀少語言它是能依序先前給的資料進行翻譯；再請AI介紹一次玫瑰花節，他也會知道這是錯誤的但如果是「新開一個對話」，那當然會因為訓練參數沒有該語言而無法翻譯；同樣也會依據我們的要求介紹玫瑰花節，對話與對話間是不會互相連結的
上課啦～
不可能半夜一點半上傳欸
老師😢我也想做作業😢
感謝分享
不同向量資料庫之間的表現，有沒有什麼好的評價方式
同問
我好快樂
so, 作业三是？
👍💪
15:56 lol
請問一下 哪邊可以找到 作業的資料? 一位線上旁聽的學習者
作息破壞者
别的不爱看，就爱看这个
感謝老師
![Felix "Unfair" | [Stray Kids : SKZ-PLAYER]](http://i.ytimg.com/vi/Oswujxm2Ag0/mqdefault.jpg)
因為本週我沒有講課，所以本週不會有錄影更新，下週課程更精采，敬請期待
老師我一定這周把芙莉蓮看完然後繼續追番
謝謝老師，期待老師下週精彩的課程
# 1. 不訓練模型就強化語言模型能力的方法
1. 使用神奇咒語（例如Chain of Thought）
- 要求模型逐步解釋思考過程，有助於提高回答問題的正確性
- Chain of Thought的原理等同於把問題拆解成多個步驟
2. 提供額外知識
- 將相關背景資訊輸入給模型，增加模型擁有的知識量
# 2. 拆解複雜問題
1. 將大型任務拆解為較小、簡單的子任務
- 例如：撰寫長篇報告時，先列大綱、逐章節撰寫
- 模型較易完成每個子任務，從而解決整體問題
2. 在任務結尾加入自我檢查步驟
- 讓模型檢查自己的輸出是否正確
- 利用模型的自我反省能力修正錯誤
3. 對同一問題生成多個答案，取最常見者作為正確答案 (Self Consistency)
# 3. 使用外部工具
1. 透過呼叫搜尋引擎獲取額外資訊 (Retrieval Augmented Generation, RAG)
- 使用搜尋結果作為輸入，模型較易產生正確答案
2. 寫程式並執行程式
- 例如解聯立方程式，寫程式呼叫solver比直接文字接龍更準確 (Program of Thought)
3. 呼叫文字生成圖像AI (DALL-E)
- 將模型的文字描述轉換為對應圖像
4. 使用GPT Plugin呼叫其他外部工具
- Plugin收集上千種工具，模型可選擇適合的工具使用
5. 操作流程：模型以特殊符號標記呼叫工具的開始與結束，中間輸出指令操控工具
# 4. 重點補充：
- 本講次中模型參數皆未被訓練，模型能力透過上述技巧獲得強化
- GPT-4示範了更強的自我檢查及工具使用能力
在不训练语言模型的情况下，增强语言模型能力的方法：
00:36 方法一：拆解任务
07:23 方法二：自我反省
17:12 方法三：self consistency(同一个问题，不同答案)
24:59 方法四：使用额外工具
26:13 使用额外工具之搜索引擎（Retrieval Augmented Generation）
31:51 使用额外工具之写程序（Program of Thought）
36:00 使用额外工具之文字生图AI（DALL-E）
41:22 语言模型是怎么使用工具的（文字接龙）
半夜睡不著就該看這個
看这个，会慢慢睡着嘛？我也睡不着
半夜睡不著看這個，結果越開越精神
我是AnyTool的作者，看到老师放了我们paper的截图，非常开心！
不訓練模型的情況下，強化語言模型的方法：
方法三：拆解任務
方法四：使用工具
--------------------------------------------
00:37 3.1 拆解任務
07:24 3.2 語言模型檢查自己的錯誤
14:25 3.3 考考大家的觀念
17:12 3.4 為什麼同一個問題，每次答案都不同？(Self-Consistency)
22:02 3.5 組合拳 Tree of Thoughts (ToT)
--------------------------------------------
24:51 4.0 使用工具
26:14 4.1 使用工具-搜尋引擎 Retrieval Augmented Generation (RAG)
31:52 4.2 使用工具-寫程式 Program of Thought (PoT)
36:00 4.3 使用工具-文字生圖 AI(DALL-E)
40:42 4.4 使用工具-GPT Plug-in
41:23 4.5 語言模型如何使用工具？
46:35 4.6 使用工具-組合拳
謝謝老師的分享，講得太好了! 真的淺顯易懂，收穫很多!
我一個中文系的女生都能看得懂，老師講解真的很厲害👍🏻 幽默有趣讓人一集接著一集觀看😊
看完教學，好想知道作業三是什麼！
本季必追之深夜番!!
更新:function call(上網、生圖等等)現在只要在prompt中明確指出，甚至不需要偽代碼，就可以進行分段搜尋、多來源搜尋等複雜功能的執行方式~
老师太勤奋， Claude3都跟新了
還是從前那個少年，沒有一絲絲改變XDDD
老師埋的梗都蠻好笑的🤣
1.CoT,CoT-SC,tree of thought (ToT),algorithm of thought,graph of thought …
2.tools/agent . RAG(web search,your own database),program of thought (PoT),text to image (DALL-E…),gpt plugin. [Function of tools]
感謝老師的分享，讓我們使用語言模型同時也了解後面的運作原理
各位深夜的同學大家好啊
拉椅子坐好
老师以后可以把3/29 Nvidia讲RAG的视频也放出来吗？
我也想聽
好想听
老師你好 3/29RAG的課程在網路上也能看到嗎
太爽了~幸好我都超晚睡的~
深夜的課堂最棒
謝謝老師的教學 請問3.29的RAG課程也會有影片嗎 謝謝
老師好，請問您也可以把作業的部分放上來嗎？讓我們也可以一起練習，非常感謝。
老師官網有 大家都可以找得到XD
@@willy7703 謝謝
请问下，老师的官网在哪里？@@willy7703
謝謝老師提供的遊戲 prompt
請開始一個文字冒險遊戲。由你來描述遊戲場景，由玩家來決定要採取的動作，每次你描述完的場 景之後,請根據你的描述產生一張圖。請詳細描述場景中所有的物品、生物，如果場景中的人物在 對話或跟主角對話,請把對話內容完整輸出來，如果主角和場景中的任何生物互動，請把互動過程詳細描述出來，不要出現重複的場景或對話，故事要曲折離奇、高潮迭起。
現在遊戲開始。
在同一个对话框再次提问同一个问题，模型是会纠正答案的，上下文会有影响
聽到 24:33 時我的腦中開始出現旋律：
'O Sole Mio
還是當初的少年，沒有一絲絲改變^^
它還是當初那個少年,沒有自我反省,哈哈
想問一下使用poe代替chatgpt除了不能使用api之外分別大嗎?
跟我想的一樣，一定是拆解會比較順利，結果主管不相信我😂
老师，作业我们也可以做做看嘛？感觉都听懂了，想动手试一下
所有的作業都可以在公開的課程網頁上找到
speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php
15:58 這個哽應該是 夢然-少年
很好奇大學生真的知道嗎
😂
笑死我了
愛您
Lee 老师，为啥作业部分 被cut off了？ 我也想写作业 😆
沙发
作业在哪？
謝謝老師
好好學AI，以後死前可以看AI幫我生出獵人的結局。
各位同学大家好
倘若說呼叫工具的特殊字符是提前預置好的，那是不是每次有新的插件都要重新訓練一輪呢？
請問老師那麼在玩角色扮演的遊戲時系統的setting為何
請問老師，如何訓練自己的embedding?因為我使用openAiembedding()結合FAISS，結果並不太好
老师能不能 share 一下ppt 课件，里面的 paper想深入学习下
在這裡：speech.ee.ntu.edu.tw/~hylee/genai/2024-spring.php
老师你可以提示：请搜索并回答sara是什么？
16分钟这个再一次的时候语言模型还是会介绍是说新开一个对话吗？因为直接在当前的对话里再问一遍，模型是会根据之前的对话了解确实没有玫瑰花节并且回答很抱歉确实没有玫瑰花节的。我用claude3也验证了一下确实不会再次介绍
教授偷渡夢然的少年...他還是當年的那個少年沒有一絲絲改變，
但是，反省這個行為，如果是同一個對話的情況下，理論上模型考量到整個上下文，再次的詢問應該是會有不一樣的回應，實測claude也確實是如此。
1. 請模型說說台大的玫瑰花節
2. 請模型確認回應是否正確
3. 模型回應它知道它自己唬爛了
4. 請模型說說台大的玫瑰花節
5. 模型回應台大沒有玫瑰花節
以上。
所以，在下得到一個粗淺的結論是，同一個對話上下文的情況下，模型的回應因為考量其上下文而記憶其反省，但換一個對話之後確實就會再次的唬爛。
我也在想會改變啊，應該是重開一個問題才不會改變，搞得我好亂....
實測ChatGPT，介紹台大玫瑰花節，如果在同一個對話框，反省過，再問一次，他會回答沒有玫瑰花節；所以老師指的是，開新的對話框，他不會知道上次的檢討。
我也對這個感到疑惑，包括上一堂的翻譯問題，同個對話AI理當對上下文是有一定的記憶能力，所以繼續請AI翻譯稀少語言它是能依序先前給的資料進行翻譯；再請AI介紹一次玫瑰花節，他也會知道這是錯誤的
但如果是「新開一個對話」，那當然會因為訓練參數沒有該語言而無法翻譯；同樣也會依據我們的要求介紹玫瑰花節，對話與對話間是不會互相連結的
上課啦～
不可能半夜一點半上傳欸
老師
😢我也想做作業😢
感謝分享
不同向量資料庫之間的表現，有沒有什麼好的評價方式
同問
我好快樂
so, 作业三是？
👍💪
15:56 lol
請問一下 哪邊可以找到 作業的資料? 一位線上旁聽的學習者
作息破壞者
别的不爱看，就爱看这个
謝謝老師
感謝老師