「GPT系列為什麼沒有選擇跟BERT一樣去微調參數？」，有一個值得一提的觀點，Sam Altman在最近一篇名為Planning for AGI and beyond的blog中有提到，openai希望人類社會經歷的是一個漸進式抵達AGI的過程，而非突然必須接受。我想他們就是想透過GPT以及未來的繼任模型來走這條路。順帶一提，其實openai還是有開放api來讓需要的人根據自己的資料來微調。
引用李老師的話“機器沒有學著做in-context learning， LLM只學了文字接龍，直接拿出來以後，就有神秘的in-context learning能力”。This is really astonishing! How can the model learn something from the input only, even without modifying its parameters through gradient descending ? I guess : this machine just mimic the previous dialogues。 If we shut down the machine (clear the previous dialogues), then the machine will lose this 神秘的in-context learning能力。 不知道我的猜測是否正確？ 謝謝
影片字幕由台灣大學化工所的張育誠同學提供
李老师终于更新啦 期待！
台大機械學習很強喔！老師講的東西網上很難自己找齊👍
真的，即使在整个英文youtube上也很难找到跟进文献这么全面 讲解得这么清楚的视频！弘毅老师好棒
好喜歡老師上課的風格，請問還缺博班生嗎？
「GPT系列為什麼沒有選擇跟BERT一樣去微調參數？」，有一個值得一提的觀點，Sam Altman在最近一篇名為Planning for AGI and beyond的blog中有提到，openai希望人類社會經歷的是一個漸進式抵達AGI的過程，而非突然必須接受。我想他們就是想透過GPT以及未來的繼任模型來走這條路。順帶一提，其實openai還是有開放api來讓需要的人根據自己的資料來微調。
阿斯拉的概念?
2:54 chatGPT 是OpenAI 下克上的逆襲❗
老師，其實會否不是機器從錯誤範例中學習，而是機器從錯誤範例中，歸納出另一套Prompt，例如從你的例子中，機器了解到要生成相反Sentiment Analysis，而大型語言模型因為學習能力強，所以從範例中歸納新的Prompt的能力更強
李老师，非常感谢深入浅出的剖析，受益匪浅。不过这个系列投影片链接都变无效小，能否更新链接，方便我后续好温习这系列的内容
老師編的故事好像是ChatGPT寫出來的😂
先赞后看，已成习惯
谢谢老师
請教一個問題, @8:18 老師說給機器的範例如果跟問題無關, 學習就無效, 可是從圖中Direct MetaICL 紫色的F1 & Acc 仍然很高耶
引用李老師的話“機器沒有學著做in-context learning， LLM只學了文字接龍，直接拿出來以後，就有神秘的in-context learning能力”。This is really astonishing! How can the model learn something from the input only, even without modifying its parameters through gradient descending ? I guess : this machine just mimic the previous dialogues。 If we shut down the machine (clear the previous dialogues), then the machine will lose this 神秘的in-context learning能力。 不知道我的猜測是否正確？ 謝謝
听完如雷贯耳，振聋发聩
in-context learning應該沒有去fine tune模型的weight，畢竟它算是一種few-shot prompt，所以本質上機器並沒有在學習，只是資料流因為流進模型時，造成資料因attention跟fusion的影響，而在data trajectory上的偏誤，不知道這樣子想對不對?
我觉得是这样的，只是效果可以和 fine tune 后的相近，不可能边聊天边 fine tune 模型的 weight 的
Can you please release an English version if possible
谢谢老师的指引!🙂
我给Chat GPT输入了视频中的向量和对应输出，它竟然也给了Bar的答案！
模型够大、够聪明，才能听得懂人在故意说反话。
😎
finetune的训练花销比较大
李講得比陳好
超大模型：学好要三年，学坏就三天
感觉很像测试工程师🤣🤣🤣🤣