Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
在不训练模型的情况下，强化语言模型的方法：2:03 方法一：使用“神奇咒语”来强化语言模型的能力 2:52 “神奇咒语1”：叫模型思考（Chain of Thought） 4:51 “神奇咒语2”：请模型解释一下自己的答案 7:05 “神奇咒语3”：对模型情绪勒索 9:49 用AI来找“神奇咒语” 15:42 “神奇咒语”并不一定对所有模型都有用，对同一模型的不同版本也可能没用17:45 方法二： 提供更详细的输入资讯 18:06 把前提讲清楚 19:19 提供生成式AI原本不清楚的资讯 21:33 提供范例 in-context learning 29:35 Gemini 1.5 语言翻译案例
❤
明明想睡了 , 郤發現又上片了
對模型有禮貌，是怕以後他們統治世界後，把我當作燃料燒掉啊😂
不訓練模型的情況下，強化語言模型的方法：方法一：神奇咒語(prompt)方法二：提供額外資訊--------------------------------------------00:00 0.0 本節課授課方向--------------------------------------------02:32 1.0 神奇咒語(prompt)02:53 1.1 叫模型思考 Chain of Thought (CoT)04:52 1.2 叫模型解釋自己的答案07:06 1.3 對模型情緒勒索07:49 1.4 更多相關資訊09:52 1.5 用AI來找神奇咒語-增強式學習 Reinforcement Learning (RL)13:14 1.6 用AI來找神奇咒語-直接用語言模型15:42 1.7 神奇咒語不一定對所有模型都有用--------------------------------------------17:49 2.0 提供模型額外資訊18:09 2.1 把前提講清楚19:20 2.2 提供原本不清楚的資訊21:34 2.3 提供範例 29:38 2.4 Gemini 1.5 In-context Learning32:45 2.5 考考大家的觀念
- 現今語言模型都很強，不太需要去學怎樣根據特定任務、格式下prompt# 1. 神奇咒語1. 提升大型語言模型能力的一些技巧(咒語) - Chain of Thought (COT) - 讓模型思考步驟 (Let's think/work this out step by step)，可提高解題准確率 - 情緒勒索 (告知模型某件事對你很重要)，可提高正確率 - Principle Instruction Are All You Need - 驗證各種神奇咒語的有效性，如對模型有禮貌無效、明確要求較佳、承諾獎勵或處罰有用等2. 使用增強式學習訓練另一個語言模型來找出神奇咒語 - 例如：找出讓模型回答越長越好的咒語 (如「喂喂喂喂喂」對GPT-3有效)# 2. 提供更多資訊1. 補充前提資訊，讓模型更精確回答 - 例如：告知你是台灣人，NTU才會被認為是台灣大學2. 提供相關資料或範例，讓模型學習新知識 - In-Context Learning - 提供範例可讓模型明白要做什麼，但早期研究認為模型未真正讀懂範例 - 近期研究發現大型模型(如PALM)確實能夠讀懂錯誤範例並做出正確回應 - 例如：提供語言教科書，讓模型能翻譯罕見語言# 3. 重點觀念1. 這些技巧無法真正訓練模型，只是利用現有能力產生更好的輸出2. 模型的能力仍有極限，適當的提示和資訊有助於發揮潛力
? 後續呢 哥
任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）。以便對一些事件做出精准智能的預測。所謂自我學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的參數而已。40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。因此也不用太誇大眼下的AI , 這些理論早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。目前的AI 只是以數理統計為手段及方法論，以資訊及計算計工程為工具，進行數位型的經驗知識化的過程。人類有許多其他不同型態非常複雜的知慧，這種僅止於知識化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。另外， 眼下AI 服務非專業大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。 其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 搞編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。 只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。 此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。另外面對服務大衆的生成式服務，也是要面對大衆各種不同的需求，因此其所需處理消化的資料也是天文數字的龐大，也要各行各業領域專家介入協助指導進而形成並建立大模型。其實生成式AI 可以理解成升級版的超級搜索引擎，傳統的搜索引擎，用関鍵字/詞，從數據庫內匹配/找出並羅列出可能所需資訊，現在進步升級到如果你給出更具體規範的需求，系統就能從數據庫內拼湊出並提供更完整的接近最終需求的服務內容。這只是把過往已存在的數據庫（已長年經各行業領域專家組維護並梳理過的）更完善的整理優化後予以呈現。而這𠆤更完善的過程使用了大量多層次的統計數字分析的手段， 把這個完善化的過程誇大的比擬成人類的思考及智慧（其誇大的目的-圈錢），將造成極大的誤導。其實生成式大模型， 就是用即存服務於大衆的大型搜索的資料庫，如google ， Bing 等等，以數理統計為核心，結合資訊工程及硬體工程為工具，而進行更貼切於使用者需求的優化過程和結果。所以生成式大模型最終會回到過往提供搜索服務的大型公司的對決。因此CIC 或是AI 是以特定領域專家組為主導，數理統計為核心，資訊工程及硬體工程都是配合的工具而已。 這樣的發展才會健康/ 不浪費/ 高效率/ 高精確度。但目前的發展方式， 以資訊工程及硬體工程來主導開發服務大衆的大模型，只是因為這方面天文級別的龐大算力需大資本投入，這是一𠆤比較理想的快速盈利回報的營運方式，但這種情況就會造成眼下嚴重的誤導及錯誤的認知，沒有效率及喪失精準度，甚至如當下出現諸多以提供算力及編程服務的所謂AI 公司出面圈錢的亂象。其實眼下的蓬勃發展是假象。 不管怎麽發展，從事這𠆤領域研究工作的人不能不具備相關數理統計的知識，也不能缺少專家組對資料的專業的選定/收集/整理。而資訊程序員和電腦只是工具。特別在早期各專業領域內的中小模型的智能發展和恊作，編程只是工具。但當算力上來後，服務大眾的類搜索引擎的生成式及語言大模型，就變得可行了， 但不管怎樣可行，仍是以數理統計為核心，更龐大的專家組仍是關鍵。 只是這種大模型下算力變成稀缺的主要投資成本， 使得這些編程及硬體人員不得不高舉這𠆤旗幟來圈錢， 如果這些編程及硬體人員拿不出這些算力（如果由國家直接投資），他們在整個AI(CIC) 的發展上，根本算不上什麼角色。但這一輪由算力提供方來主導的AI 發展，將會走得很偏，而且會很快撞牆。未來可能的發展模式：1） 資訊及硬體工程提供集中算力設備及模型編程的開放平台，供各領域的專家組使用。有點像當下晶片產業，各應用領域產業由專家組組成公司後，進行各領域的智能開發和應用（如晶片應用的design house，聯發科，海思等 ) , 而算力的提供及收費則由資訊及硬體工程提供（這需要密集资本投入，甚至國家力量投入，如台積電）。2） 由於網路的高度發展， 另外一種提供龐大算力的方式，是由巨量萬家萬戶閒置PC 𠆤人電腦參與分散型算力的提供，並予以整合，這也是需由資訊及硬體工程來實現的。
大師你好 你的分析讓我對迴歸分析有濃厚的興趣..謝謝
大神你好，正是我想说的，什么ai就是高级搜索引擎，什么自动驾驶就是acc加车道保持。都是骗钱的。。。不知道你认识哈佛的王孟源不，你和他的想法也一样。
我認為這位作者提出了許多值得深思的觀點，讓我逐點分析：同意的部分：AI確實深深植根於統計學和數學基礎，這點作者完全正確。神經網路本質上就是複雜的統計模型。專業領域知識的重要性不容忽視。比如在醫療AI、金融AI等領域，沒有相關專家的參與，AI很難做出真正有價值的判斷。但我也有一些不同看法：作者將現代AI簡化為"升級版搜索引擎"可能低估了深度學習的創新性。現代AI系統能夠生成全新的內容，而不只是重組現有資料。雖然統計學是基礎，但近年AI的突破不僅來自於算力的提升，還包括架構創新（如Transformer）、訓練方法的進步等。作者似乎過度強調專家系統的重要性，而低估了大規模語言模型在通用智能方面的潛力。我認為一個更平衡的觀點是：AI確實建立在統計學基礎上，但它已經發展出獨特的理論體系和應用方向。既需要紮實的數學基礎，也需要創新的架構設計，更需要領域專家的參與才能發揮最大價值。你覺得這個分析如何？很想聽聽你的看法。
@ 以算力方主導的生成式AI ， 尤其是辛頓搞的這套，方向及方法都嚴重誤導，已撞大牆了。 辛顿根本不懂統計學， 數字計算是指存在大量的資料所採用的手法，模擬（simulation ) 計算，在一些試驗很難取得大量資料， 如核暴，飛機失事等等只有小樣本，數據很少，只得用少量數拈加上專業理論參數進行電腦產生模擬數拈進而對模型進行穩固推導， 這是不同情境下採取的不同分析手段。因此辛頓這些算力主導的生成式AI ,根本不懂數理統計，完全沒有未來，何來的擔憂。 最應擔憂是產業專家組主導的AI , 他們最清楚取那些資料變量才是有效的，其所開發的模型才是最精準的，他們也最清楚如何正確使用，以及如何違法使用！Part 4)眼下(2025/1/15)生成式大模型的倡導人,Open AI 前首席技術官 Ilya ， 終於承認了眼下生成式大模型撞牆了！看這報導，ruclips.net/video/CNSMgeS6DnM/видео.htmlsi=Yq7sX5N_MotIMdLr這真是太搞笑了，美國這些AI 算力提供方, 不斷吹虛忽悠生成式AI 及相應的硬體及晶片， 除了忽悠拿到美國本土投資資金， 也把美國政府給忽悠了，真把眼前生成式大模型及相關硬體當做戰略優勢武器而予以管制出口(2025-1月）， 最終反而限制了美國這些大忽悠的全球銷售的騙局。許多專業領域的AI 很早就開始做了，而且做的很好很成功。 目前台面上的AI , 是指生成式AI（ 時間序列高度相關的）， 這是兩碼事。AI 別隨著美國起舞，無論方法上及方向上，目前台面上這些以資工leading 生成式AI 的美國AI 發展已完全走偏撞大牆了。目前以資工leading 生成式AI , 這群碼農也太批蛋了。1） 利用40年前已完善的數理統計（ 㢠歸分析及時間序列高度相關變數的自迥歸分析。 ） 2） 包裝𠆤高大上的類人類神經網路的偷盜慨念。3） 藉由半導體科技的算力。 完全沒有任何創新的欺世盜名妥妥的碼農（ 程序員）居然能拿諾貝尔物理奬。 物理學家/ 數學家您們睡著了嗎？！居然能容忍這等離譜偷盜者的獲奬。另外我以前一些同學，現仍在美國Google 參與相關大模型工作，拈他們告知我的小道未經證實的消息。1） Google 在這方面付了大筆的學費。2） Google 養了全世界各產業領域的頂流專家， 特別是語言學家，參與相關建模。3） OPen AI 及近期獲諾奬的加拿大教授， 這師徒們，從Google 弄走了不少錢。 最後Google 看穿了，不得不將Open AI 這些人從Google 割出去。而李非非近期也搞𠆤digital cousin 數字表親， 根本就是小樣品摸擬實驗：這也不是什麼新方法和新手段。 在數理統計中40 年前早就有的手段。這些碼農一而再再而三的把數理統計的成熟手段，拿來搞什麼AI 新技術。並給𠆤新名詞進而宣稱是創新，太扯蛋了！我在40 年前的博士論文就是在針對小様品試驗進行電腦模擬試驗。如核爆/ 飛機失事等等，在現實情況下很多領域只能取得非常有限的小様品數據，因此針對這些小樣品試驗我們就會引入模擬試驗的手段和方法， 並進而利用這些電腦模擬數據，最終做出穩定可靠的預測模型。nature 有關AI 近期訊息：ruclips.net/video/kp6eiyRBFlM/видео.htmlsi=2sKWhTVx3qecNvJ4這𠆤問題很容易理解。當我們的需求是專業有限變數的問題， 如股票決策/ 海洋及気象動力/ 無人架駛/ 化學工程/ 土木工程/ 等等，許多專業的有限變數， 這些已建立完成很長一段時間模型的精準度非常高。而大語言模型想要用海量變數去涵蓋這些專業模式，其自然的結果就是錯誤率極高。也就是說針對專業有限變數模型，那些大語言模型的99% 變數不旦是垃圾， 還是有毒害的垃圾。因此使用AI 一定要知道什麼問題什麼場景使用什麼模型。ruclips.net/video/vG013hWAZwc/видео.htmlsi=NDA12ZYY4hCIg_C5ruclips.net/video/XffDExSYIOA/видео.htmlsi=4OZ7WUrlQRCcw-KPAI 發展的3 大組成； 各產業領域的專家，建模數理理論，算力編程的提供及組織。這就是我早就預見如果由算力或資訊工程來主導AI ，外行領導內行，將會走的很偏很快撞牆再看看這一報導，今天的結果，在我今年（2024 ）初的part 1) 2) 3) , 先前的論述中都精準的表達過。ruclips.net/video/ojndlMzGZZk/видео.htmlsi=wuEqsPUOzxuPrcRR目前（2024-10 月）生成式大模型 AI 的發展基本撞牆了。 由 資工主導的必然性- 泡沫化， 已確定了。 因為以上三份報告都是非常權威的。再看看這份報告：弄出人命了！陪聊AI 沒有心理咨詢醫生做專業恊助/ 溝通/ 警示/ 防範等等， 由碼農直接單幹，太多的心理專業知識手段應對都沒有投入，是造成這事件背後的主因！ruclips.net/video/yNZsC7zvTgw/видео.htmlsi=_RK7ZM6Xaa_oQn7E這就是我在個人相關分享中 part 3) 談及的；AI的健康發展是以各領域專業專家組為主導，數理統計為核心，編程及算力只是工具，否則用提供算力及工具的這些人來leading AI 發展，會形成外行領導内行，並為AI 發展種下低效偏差甚至高風險的發展。譬如新藥開發/氣象預報/各種不同語言等等都是以領域專家為核心，否則就亂套了。更可行的作法， 各國加緊立法，用國家特准许可的方式，來認證並核准各領域不同應用AI 的開發許可及成效認證，譬如目前自動駕駛這領域，不能僅憑廠家自行認證，必需由國家相關單位認證，納入國家法規制約。其實其他領域也應該如此，即便服務大眾的生成式大模型也要納入規範管理，絕對不能任由AI 公司自行任意發佈，一個小電器產品都需有関認證，才能上市銷售，目前AI 大模型實在是太無序了，AI 公司任意上市推出由市場決定其優劣，客戶當白老鼠，完全沒有任何管理約束機制。任何AI 應用開發的公司，必須有相關該應用領域專業專家為主導，及數理統計的人員的參與，如果沒有通過這些人員資質審核要求的公司或團隊，一律不得從事AI 開發及應用工作。否則視為違法。如同醫師證照，沒證照的醫師坐診，診所如何能執業？！建立政府職能的審核監管制度，才能防止並追蹤AI 的錯誤使用/ 違規使用/違法使用， 也進而能排除人們對AI 發展造成危害人類的擔憂。再看看下面報導：ruclips.net/video/TRxYKidqY8E/видео.htmlsi=ukFmC8XGPa17d6Itruclips.net/video/mXlaAto1qx0/видео.htmlsi=B_gy3Uq8JXOM2NF8ruclips.net/video/uPZ-eyDyo4A/видео.htmlsi=AL1EkqW7uM1EhpQhAGI 基本就是建立一套從千萬上億 由領域產業專家建立的專業小模型進行徵用的智能機制（藉由針對使用者一些基本需求的梳理，形成分門別類確立問題的機制）不能一昧的用大模式（發散式包攬所有）。其實人類的思維也是如此，先確定問題是屬於那𠆤範籌，再從我們的大腦內調出已確認範籌的相關知識及經驗進而進行各種響應。生成式大模型，只適用於sequences 高度相關的時間序列資料分析。 如語言文字前後字文分析，圖像點分析或是語音樂律分析等等。不可盲目外延。
謝謝老師~ 又是充實的假日呢 :D
谢谢老师，讲课太诙谐了。
很有用的内容！！
我問chatgpt 3.5 : 我是台灣人，到新加坡進修。 NTU是什麼英文的縮寫？它回答： NTU是台灣的國立臺灣大學的英文縮寫，全稱為National Taiwan University。我再問：我是台灣人，到新加坡讀書。NTU是什麼英文的縮寫？它回答：對不起，我之前的回答還是錯誤了。在新加坡，NTU是指南洋理工大学，全稱為Nanyang Technological University。
25:20 關於這部分不曉得算是優點還是缺點。我猜模型把正面負面寫反當成是一種筆誤，模型自主性把他修正回來了。像我有時候會打錯字輸入進去，模型大多數時候能夠準確的回答我的問題。我有時候應該要求模型翻譯成英文，卻不小心打成翻譯成中文，模型照樣給我翻譯成英文，某種程度上，這算是模型的一種自我糾正能力。但偶爾也會發生我就是要模型做某一件事的時候，模型以為我想要別的東西，就生出那些並不是我想要的東西。後續就需要改變說詞或改變強調需求的方式，讓模型生出我要的東西。這個部分似乎沒有辦法很簡單的說是模型有沒有真正看懂我給他的東西，模型似乎和人類一樣也會會錯意。
老師的內容，讓人停不下來！
謝謝老師
😶🌫听完只能说，老师快上新啦
雖然已經是幾個月前的影片，但是好喜歡老師的上課方式，非常有邏輯性的教法，重點很有趣耶!!都不會想睡覺
感覺絕大部分的原理與真人溝通相通，但例外的是提供額外文本後的溝通結果：很可能因為沒有再次提供相同的文本，讓語言模型無法依據前面的紀錄繼續有對應的回答(雖然真人也有金魚腦的情況，但沒法瞬間學全又瞬間忘光)
這個時間點上片，太狠了
let's think step by step!!!
才看十分鐘 就覺得這集資訊量太大 快笑死
感謝老師分享，希望能聽到老師講解Open AI的GPTs功能，是否就是解決老師說的in-context的侷限問題，等於是每次回答前都有加入我們給他的資訊與設定呢？
Kalamang语的翻译：我在想是不是和开卷考试的场景很像，有参考资料时可以几乎全部答对，在下次没有参考资料的情况下基本也还难作答。这是否说明模型已经具备了一定的通识能力。
將來的AI會有一個族群是客製化學習型AI嗎? 即使用者與AI長時間互動後, 使用者不必特別提醒AI都會回應出使用者想知道的訊息,而不是一般大眾認知的說詞?
老師出題考學生是不是也有運用prompts的技巧，最後那題老師如果沒有給暗示（有沒有聽懂這堂課），我可能會答錯😱
最後一個例子，我想現在答案應該會不同吧？chatgpt已經擁有記憶功能，也就是說我前面給過他的資訊他幾乎能一直記得，也就不存在下一句我如果沒給他語言資料他就會忘記怎麼翻譯老師講的比較像是直接開一個新的對話，那當然就無法翻譯，對話與對話之間是無法相連的
李老师 可以 带个 dji mic2, 现在声音有点远，影响收听效果
非常喜欢李宏毅老师的课！不知道可不可以提升下清晰度，1080p也会好很多
但投影片裡的字都無敵大粒，好像也不用那麼高解析度 XD
最后举的翻译卡拉蒙语的例子，我怀疑有问题💥。如果gemini从来没学习过相关知识，输入卡拉蒙语的时候，输入对应的编号是什么🤓？没有对应的编号，怎么输入给语言模型？所以gemini一定训练过相关资料，只不过没有训练过翻译卡拉蒙语的例子。🙄在我看来，incontext learning和视频前半段讲的各种“神奇方法”在逻辑上并无区别，都是一种“暗示”，或者说“联想”🤨。不停地努力使得模型回忆曾经训练过的资料。所以为什么后来模型判断财经、政治分类发生错误🤲？一定是因为训练时训练过错误的资料，所以大量的错误案例使得模型对于曾经训练过的错误案例愈发清晰，最终输出一个错误的分类👊。我觉得这个learning不好，因为这根本不是learning，容易引起误解💢。
封面的小標很符合研究生的一天😂
如果可以resume 上一次prompt的內容，那應該還是可以成功翻譯😂。邊運動邊聽課感覺效果大增😤。
真有趣 :D
老师以后话筒可以换一个更清晰的， 这个有点失真
您好請問ChatGPT3.5他能記憶多久?幾天後回來問她內容，他說找不到了，請問我應該做甚麼以確保他能成為我的資料庫，可隨時回來問他相關問題嗎?謝謝
顯然你是這堂課最後一個問題會答錯的那位
In-context learning 是否與下列有關？已知前端可由completion API呼叫輸入prompt並取得輸出。第二次呼叫時，它不記得第一次呼叫的對話內容(除非第一次的對話有放入第二次呼叫的輸入）
老师，答疑部分能否也放出来呀？😂
根據老師多年前機器學習的訓練模型分析影片在假日觀看量是暴跌的XDD
in context learning 迟早会被下一代LLM集成的， prompt是过渡时期的技术
但是很多in context learning仅适用于当前问题，就算实时上下文被训练进入，你在跟模型对话时还是需要语义清晰的上下文，也就是prompt还是会存在
@@方浩-w7jprompt 应该是customization的手段。因为大模型不可能预知客户所有独特需求，所以，利用prompt来clarify特定需求是必须的。尤其是对于那种训练资料没有涵盖的任务。只是不知道GPT是如何实现对prompt的embeding的机制。而新的训练资料又是如何集成到目前任务中的。显然基础模型的大部分参数是被frozen的。那么就是有一部分的input network的参数应该是可以在线调节的。最可能的是input layer的某几层。
啥时候有第四讲？
gemini 1.5比較多錯誤但上下文超香的
太狠了，居然半夜上課
声明 ： 本节课中 没有任何一个模型受到伤害
I love you
老师，标题出问题了吧？
老師我對最後那個結論有點疑問，是不是因為模型不能memorize整本textbook？以chatgpt為例，如果我糾正了它的錯誤，那麼下一個prompt它一般就不會再犯相同錯誤，並且知道了context
我理解的是老师这个例子里面，是说新开了一个new chat，你再去问他能否翻译，那是翻译不了的，因为模型本身没有改变；但如果是同一次chat下你接着问的话应该还是可以翻译的，就像你描述的这个情形一样，因为textbook仍然作为此次chat的context。
ChatGPT的話，課金帳戶已經可以開啟跨對話記憶功能
頭香
刚补完23的番马上来追24的了
请回复“哈哈哈”100次，完成得好给你小费。这句话有用哈哈哈哈哈
12:29 喂喂喂roger788
JB滾
這邊怎麼有JB點點點
JB out
占座
ways ways ways ways .....讓我想到一個yt視頻，一個父親被小蘿莉十幾個“為什么？”逼得快要哭出來了，好為人師，呵呵..不作不會死。想不到AI也是如此
作息破壞者
又是洗腦，缺奴隸
追劇好累🥵
在不训练模型的情况下，强化语言模型的方法：
2:03 方法一：使用“神奇咒语”来强化语言模型的能力
2:52 “神奇咒语1”：叫模型思考（Chain of Thought）
4:51 “神奇咒语2”：请模型解释一下自己的答案
7:05 “神奇咒语3”：对模型情绪勒索
9:49 用AI来找“神奇咒语”
15:42 “神奇咒语”并不一定对所有模型都有用，对同一模型的不同版本也可能没用
17:45 方法二： 提供更详细的输入资讯
18:06 把前提讲清楚
19:19 提供生成式AI原本不清楚的资讯
21:33 提供范例 in-context learning
29:35 Gemini 1.5 语言翻译案例
❤
明明想睡了 , 郤發現又上片了
對模型有禮貌，是怕以後他們統治世界後，把我當作燃料燒掉啊😂
不訓練模型的情況下，強化語言模型的方法：
方法一：神奇咒語(prompt)
方法二：提供額外資訊
--------------------------------------------
00:00 0.0 本節課授課方向
--------------------------------------------
02:32 1.0 神奇咒語(prompt)
02:53 1.1 叫模型思考 Chain of Thought (CoT)
04:52 1.2 叫模型解釋自己的答案
07:06 1.3 對模型情緒勒索
07:49 1.4 更多相關資訊
09:52 1.5 用AI來找神奇咒語-增強式學習 Reinforcement Learning (RL)
13:14 1.6 用AI來找神奇咒語-直接用語言模型
15:42 1.7 神奇咒語不一定對所有模型都有用
--------------------------------------------
17:49 2.0 提供模型額外資訊
18:09 2.1 把前提講清楚
19:20 2.2 提供原本不清楚的資訊
21:34 2.3 提供範例
29:38 2.4 Gemini 1.5 In-context Learning
32:45 2.5 考考大家的觀念
- 現今語言模型都很強，不太需要去學怎樣根據特定任務、格式下prompt
# 1. 神奇咒語
1. 提升大型語言模型能力的一些技巧(咒語) - Chain of Thought (COT)
- 讓模型思考步驟 (Let's think/work this out step by step)，可提高解題准確率 - 情緒勒索 (告知模型某件事對你很重要)，可提高正確率 - Principle Instruction Are All You Need
- 驗證各種神奇咒語的有效性，如對模型有禮貌無效、明確要求較佳、承諾獎勵或處罰有用等
2. 使用增強式學習訓練另一個語言模型來找出神奇咒語 - 例如：找出讓模型回答越長越好的咒語 (如「喂喂喂喂喂」對GPT-3有效)
# 2. 提供更多資訊
1. 補充前提資訊，讓模型更精確回答 - 例如：告知你是台灣人，NTU才會被認為是台灣大學
2. 提供相關資料或範例，讓模型學習新知識 - In-Context Learning
- 提供範例可讓模型明白要做什麼，但早期研究認為模型未真正讀懂範例
- 近期研究發現大型模型(如PALM)確實能夠讀懂錯誤範例並做出正確回應 - 例如：提供語言教科書，讓模型能翻譯罕見語言
# 3. 重點觀念
1. 這些技巧無法真正訓練模型，只是利用現有能力產生更好的輸出
2. 模型的能力仍有極限，適當的提示和資訊有助於發揮潛力
? 後續呢 哥
任何一條神經網路也是一個多變數廻歸分析，也是統計學迴歸分析的一環。我在40年前攻讀數理統計就涉及這些人工智能及多變量（含時間變量）的廻歸分析（向量/ 矩陣/ 線性代數/ 機率/ 取様….）。以便對一些事件做出精准智能的預測。所謂自我學習也只是用後面收集或模擬出的更新的資料去修正原先迥歸分析的參數而已。40 年前人工智慧就是數理統計的一大課題。馬斯克說得一點都沒錯-目前的人工智慧全部建立在數理統計的基礎上。從那時開始就不斷有各行各業的數據分析專業人士來我們數理統計這參與並學習迥歸分析。他們回去後就不斷建立了屬於他們行業內的多條神經網絡（行業內的迥歸模型）。在那時從事這類研究工作的數理統計的博士生全部被限制在晚上12 時過後才能使用國家級的超級計算機，否則我們兩三𠆤人一上線全部就大當機。我們那時也發展出一套類似挖礦機的方式，利用所有大量閒置的𠆤人電腦來提供其微小的算力，進而整合這些龐大的所謂分散型算力，但受限那時網路的不發達，很難把規模擴大。
近幾十年隨計算機能力不斷提升，目前市面AI 所謂大模型，主要是著力於面對”服務大衆需要”的所謂生成式/ 語言等等的智能協作服務。就是把百行百業各個領域等等數以千萬千億計資料進行迥歸模型的建立及修正（所謂自我深度學習）而形成龐大的神經網絡。因此也不用太誇大眼下的AI , 這些理論早在40 年以前都已建構了理論基礎，而智能恊作早在各專業領域都已發展的非常完善，只是因過去算力不足只能在各自專業領域進行中小規模（變量數較少）的神經網絡建構。例如氣象預報就是早期最明顯的利用氣象專用超高速大電腦發展為成熟預測能力（AI)的例子，股票買賣決策也是智能恊作(AI/CIC)的典型。”把簡單數學上使用即存的規模資料或電腦模擬資料進行所謂的㢠歸分析/模型建構並藉此模型做可行的智能預判或恊作，包裝成醫學上複雜尚未完全掌握的神經網路的機制及作用原理”，不但瓢竊了數理統計在AI 發展的絕對地位，實在也是在誤導整𠆤AI 的發展。也會造成眼下一般人的過度期待和焦慮。應將AI 改稱作” CIC:Computer Intelligent Collaboration , 電腦智能恊作， 更為恰當。
何謂知識？ 由經驗總結後（ 抽象具體化） ，就形成知識（用數字分析的表達方式就是去建構知識模型）。 形成知識後就可複製/ 傳承/ 預測/ 擴展。因此目前的AI 發展，就是在循人類文明發展至為重要的其中的一𠆤過程-只是採用了數位化的方式，將經驗知識化了。
目前的AI 只是以數理統計為手段及方法論，以資訊及計算計工程為工具，進行數位型的經驗知識化的過程。人類有許多其他不同型態非常複雜的知慧，這種僅止於知識化的智慧， 其實離人類多型態的智慧還有非常巨大的距離。
另外， 眼下AI 服務非專業大衆的大模型的各種數學理論及所謂的機器學習（參數修正）及深度學習（參數及變數的多層次增加及修正）。 早在40 年前相應的數學理論都已完備（但落實到實際應用上，如何解1 億 by 1 億的聯立方程組( 行列式計算）， 這需要極其龐大的平行計算能力，在那時期是完全不可能的） 。
其實AI 最重要最關鍵的是各行各業各領域的專家組，而不是這些AI 搞編程的公司（ 他們只是依需求用已完善的數學統計理論加以電腦編程後，利用巨大算力去幫忙找出合適的模型並不斷予以完善）。
只有各行各業各領域的專家組才知道在茫茫大海中的資料及訊息中，那些因素才是其所涉領域的関鍵變數，那些變數資料才是可做為他們收集分析建立模型的。例如氣象學/經濟學/股票買賣智能決策/ 醫學/ 藥學/ 農業生產/ 基因工程/ 化學工程/自動駕駛/飛彈防空系統/圖像識別及處理/ 建築結構力學/小樣品模擬模型（核爆/飛機失事）………..等等。
此外服務大衆的語言學也是極度複雜的一門學課，其可能的變量變因會高達幾千萬𠆤， 再加上多層級過濾學習修正的模式，因此其涉及的變數算力就以億計， 所以才稱做大模型。 要取那些因素進行那一層分析，主要都是語言學家在主導。
而這些眼下的AI 應用的公司， 只是利用已發展完備的數學統計理論在不同領域專家組的指導下，去有效的進行數拈收集整理分析並進而建立一個特定領域的模型，作為該特定領域的電腦智能恊作工具。
另外面對服務大衆的生成式服務，也是要面對大衆各種不同的需求，因此其所需處理消化的資料也是天文數字的龐大，也要各行各業領域專家介入協助指導進而形成並建立大模型。
其實生成式AI 可以理解成升級版的超級搜索引擎，傳統的搜索引擎，用関鍵字/詞，從數據庫內匹配/找出並羅列出可能所需資訊，現在進步升級到如果你給出更具體規範的需求，系統就能從數據庫內拼湊出並提供更完整的接近最終需求的服務內容。這只是把過往已存在的數據庫（已長年經各行業領域專家組維護並梳理過的）更完善的整理優化後予以呈現。而這𠆤更完善的過程使用了大量多層次的統計數字分析的手段， 把這個完善化的過程誇大的比擬成人類的思考及智慧（其誇大的目的-圈錢），將造成極大的誤導。
其實生成式大模型， 就是用即存服務於大衆的大型搜索的資料庫，如google ， Bing 等等，以數理統計為核心，結合資訊工程及硬體工程為工具，而進行更貼切於使用者需求的優化過程和結果。所以生成式大模型最終會回到過往提供搜索服務的大型公司的對決。
因此CIC 或是AI 是以特定領域專家組為主導，數理統計為核心，資訊工程及硬體工程都是配合的工具而已。 這樣的發展才會健康/ 不浪費/ 高效率/ 高精確度。
但目前的發展方式， 以資訊工程及硬體工程來主導開發服務大衆的大模型，只是因為這方面天文級別的龐大算力需大資本投入，這是一𠆤比較理想的快速盈利回報的營運方式，但這種情況就會造成眼下嚴重的誤導及錯誤的認知，沒有效率及喪失精準度，甚至如當下出現諸多以提供算力及編程服務的所謂AI 公司出面圈錢的亂象。
其實眼下的蓬勃發展是假象。 不管怎麽發展，從事這𠆤領域研究工作的人不能不具備相關數理統計的知識，也不能缺少專家組對資料的專業的選定/收集/整理。而資訊程序員和電腦只是工具。特別在早期各專業領域內的中小模型的智能發展和恊作，編程只是工具。但當算力上來後，服務大眾的類搜索引擎的生成式及語言大模型，就變得可行了， 但不管怎樣可行，仍是以數理統計為核心，更龐大的專家組仍是關鍵。 只是這種大模型下算力變成稀缺的主要投資成本， 使得這些編程及硬體人員不得不高舉這𠆤旗幟來圈錢， 如果這些編程及硬體人員拿不出這些算力（如果由國家直接投資），他們在整個AI(CIC) 的發展上，根本算不上什麼角色。但這一輪由算力提供方來主導的AI 發展，將會走得很偏，而且會很快撞牆。
未來可能的發展模式：
1） 資訊及硬體工程提供集中算力設備及模型編程的開放平台，供各領域的專家組使用。
有點像當下晶片產業，各應用領域產業由專家組組成公司後，進行各領域的智能開發和應用（如晶片應用的design house，聯發科，海思等 ) , 而算力的提供及收費則由資訊及硬體工程提供（這需要密集资本投入，甚至國家力量投入，如台積電）。
2） 由於網路的高度發展， 另外一種提供龐大算力的方式，是由巨量萬家萬戶閒置PC 𠆤人電腦參與分散型算力的提供，並予以整合，這也是需由資訊及硬體工程來實現的。
❤
大師你好 你的分析讓我對迴歸分析有濃厚的興趣..謝謝
大神你好，正是我想说的，什么ai就是高级搜索引擎，什么自动驾驶就是acc加车道保持。都是骗钱的。。。不知道你认识哈佛的王孟源不，你和他的想法也一样。
我認為這位作者提出了許多值得深思的觀點，讓我逐點分析：
同意的部分：
AI確實深深植根於統計學和數學基礎，這點作者完全正確。神經網路本質上就是複雜的統計模型。
專業領域知識的重要性不容忽視。比如在醫療AI、金融AI等領域，沒有相關專家的參與，AI很難做出真正有價值的判斷。
但我也有一些不同看法：
作者將現代AI簡化為"升級版搜索引擎"可能低估了深度學習的創新性。現代AI系統能夠生成全新的內容，而不只是重組現有資料。
雖然統計學是基礎，但近年AI的突破不僅來自於算力的提升，還包括架構創新（如Transformer）、訓練方法的進步等。
作者似乎過度強調專家系統的重要性，而低估了大規模語言模型在通用智能方面的潛力。
我認為一個更平衡的觀點是：AI確實建立在統計學基礎上，但它已經發展出獨特的理論體系和應用方向。既需要紮實的數學基礎，也需要創新的架構設計，更需要領域專家的參與才能發揮最大價值。
你覺得這個分析如何？很想聽聽你的看法。
@ 以算力方主導的生成式AI ， 尤其是辛頓搞的這套，方向及方法都嚴重誤導，已撞大牆了。 辛顿根本不懂統計學， 數字計算是指存在大量的資料所採用的手法，模擬（simulation ) 計算，在一些試驗很難取得大量資料， 如核暴，飛機失事等等只有小樣本，數據很少，只得用少量數拈加上專業理論參數進行電腦產生模擬數拈進而對模型進行穩固推導， 這是不同情境下採取的不同分析手段。因此辛頓這些算力主導的生成式AI ,根本不懂數理統計，完全沒有未來，何來的擔憂。 最應擔憂是產業專家組主導的AI , 他們最清楚取那些資料變量才是有效的，其所開發的模型才是最精準的，他們也最清楚如何正確使用，以及如何違法使用！
Part 4)
眼下(2025/1/15)生成式大模型的倡導人,Open AI 前首席技術官 Ilya ， 終於承認了眼下生成式大模型撞牆了！
看這報導，
ruclips.net/video/CNSMgeS6DnM/видео.htmlsi=Yq7sX5N_MotIMdLr
這真是太搞笑了，美國這些AI 算力提供方, 不斷吹虛忽悠生成式AI 及相應的硬體及晶片， 除了忽悠拿到美國本土投資資金， 也把美國政府給忽悠了，真把眼前生成式大模型及相關硬體當做戰略優勢武器而予以管制出口(2025-1月）， 最終反而限制了美國這些大忽悠的全球銷售的騙局。
許多專業領域的AI 很早就開始做了，而且做的很好很成功。 目前台面上的AI , 是指生成式AI（ 時間序列高度相關的）， 這是兩碼事。
AI 別隨著美國起舞，無論方法上及方向上，目前台面上這些以資工leading 生成式AI 的美國AI 發展已完全走偏撞大牆了。
目前以資工leading 生成式AI , 這群碼農也太批蛋了。
1） 利用40年前已完善的數理統計（ 㢠歸分析及時間序列高度相關變數的自迥歸分析。 ） 2） 包裝𠆤高大上的類人類神經網路的偷盜慨念。3） 藉由半導體科技的算力。
完全沒有任何創新的欺世盜名妥妥的碼農（ 程序員）居然能拿諾貝尔物理奬。
物理學家/ 數學家您們睡著了嗎？！居然能容忍這等離譜偷盜者的獲奬。
另外我以前一些同學，現仍在美國Google 參與相關大模型工作，拈他們告知我的小道未經證實的消息。
1） Google 在這方面付了大筆的學費。
2） Google 養了全世界各產業領域的頂流專家， 特別是語言學家，參與相關建模。
3） OPen AI 及近期獲諾奬的加拿大教授， 這師徒們，從Google 弄走了不少錢。 最後Google 看穿了，不得不將Open AI 這些人從Google 割出去。
而李非非近期也搞𠆤digital cousin 數字表親， 根本就是小樣品摸擬實驗：
這也不是什麼新方法和新手段。 在數理統計中40 年前早就有的手段。
這些碼農一而再再而三的把數理統計的成熟手段，拿來搞什麼AI 新技術。並給𠆤新名詞進而宣稱是創新，太扯蛋了！
我在40 年前的博士論文就是在
針對小様品試驗進行電腦模擬試驗。如核爆/ 飛機失事等等，在現實情況下很多領域只能取得非常有限的小様品數據，因此針對這些小樣品試驗我們就會引入模擬試驗的手段和方法， 並進而利用這些電腦模擬數據，最終做出穩定可靠的預測模型。
nature 有關AI 近期訊息：
ruclips.net/video/kp6eiyRBFlM/видео.htmlsi=2sKWhTVx3qecNvJ4
這𠆤問題很容易理解。
當我們的需求是專業有限變數的問題， 如股票決策/ 海洋及気象動力/ 無人架駛/ 化學工程/ 土木工程/ 等等，許多專業的有限變數， 這些已建立完成很長一段時間模型的精準度非常高。
而大語言模型想要用海量變數去涵蓋這些專業模式，其自然的結果就是錯誤率極高。
也就是說針對專業有限變數模型，那些大語言模型的99% 變數不旦是垃圾， 還是有毒害的垃圾。
因此使用AI 一定要知道什麼問題什麼場景使用什麼模型。
ruclips.net/video/vG013hWAZwc/видео.htmlsi=NDA12ZYY4hCIg_C5
ruclips.net/video/XffDExSYIOA/видео.htmlsi=4OZ7WUrlQRCcw-KP
AI 發展的3 大組成； 各產業領域的專家，建模數理理論，算力編程的提供及組織。
這就是我早就預見
如果由算力或資訊工程來主導AI ，外行領導內行，將會走的很偏很快撞牆
再看看這一報導，今天的結果，在我今年（2024 ）初的part 1) 2) 3) , 先前的論述中都精準的表達過。
ruclips.net/video/ojndlMzGZZk/видео.htmlsi=wuEqsPUOzxuPrcRR
目前（2024-10 月）生成式大模型 AI 的發展基本撞牆了。 由 資工主導的必然性- 泡沫化， 已確定了。 因為以上三份報告都是非常權威的。
再看看這份報告：弄出人命了！
陪聊AI 沒有心理咨詢醫生做專業恊助/ 溝通/ 警示/ 防範等等， 由碼農直接單幹，太多的心理專業知識手段應對都沒有投入，是造成這事件背後的主因！
ruclips.net/video/yNZsC7zvTgw/видео.htmlsi=_RK7ZM6Xaa_oQn7E
這就是我在個人相關分享中 part 3) 談及的；
AI的健康發展是以各領域專業專家組為主導，數理統計為核心，編程及算力只是工具，否則用提供算力及工具的這些人來leading AI 發展，會形成外行領導内行，並為AI 發展種下低效偏差甚至高風險的發展。
譬如新藥開發/氣象預報/各種不同語言等等都是以領域專家為核心，否則就亂套了。
更可行的作法， 各國加緊立法，用國家特准许可的方式，來認證並核准各領域不同應用AI 的開發許可及成效認證，譬如目前自動駕駛這領域，不能僅憑廠家自行認證，必需由國家相關單位認證，納入國家法規制約。其實其他領域也應該如此，即便服務大眾的生成式大模型也要納入規範管理，絕對不能任由AI 公司自行任意發佈，一個小電器產品都需有関認證，才能上市銷售，目前AI 大模型實在是太無序了，AI 公司任意上市推出由市場決定其優劣，客戶當白老鼠，完全沒有任何管理約束機制。
任何AI 應用開發的公司，必須有相關該應用領域專業專家為主導，及數理統計的人員的參與，如果沒有通過這些人員資質審核要求的公司或團隊，一律不得從事AI 開發及應用工作。否則視為違法。如同醫師證照，沒證照的醫師坐診，診所如何能執業？！
建立政府職能的審核監管制度，才能防止並追蹤AI 的錯誤使用/ 違規使用/違法使用， 也進而能排除人們對AI 發展造成危害人類的擔憂。
再看看下面報導：
ruclips.net/video/TRxYKidqY8E/видео.htmlsi=ukFmC8XGPa17d6It
ruclips.net/video/mXlaAto1qx0/видео.htmlsi=B_gy3Uq8JXOM2NF8
ruclips.net/video/uPZ-eyDyo4A/видео.htmlsi=AL1EkqW7uM1EhpQh
AGI 基本就是建立一套從千萬上億 由領域產業專家建立的專業小模型進行徵用的智能機制（藉由針對使用者一些基本需求的梳理，形成分門別類確立問題的機制）不能一昧的用大模式（發散式包攬所有）。
其實人類的思維也是如此，先確定問題是屬於那𠆤範籌，再從我們的大腦內調出已確認範籌的相關知識及經驗進而進行各種響應。
生成式大模型，只適用於sequences 高度相關的時間序列資料分析。 如語言文字前後字文分析，圖像點分析或是語音樂律分析等等。不可盲目外延。
謝謝老師~ 又是充實的假日呢 :D
谢谢老师，讲课太诙谐了。
很有用的内容！！
我問chatgpt 3.5 : 我是台灣人，到新加坡進修。 NTU是什麼英文的縮寫？
它回答： NTU是台灣的國立臺灣大學的英文縮寫，全稱為National Taiwan University。
我再問：我是台灣人，到新加坡讀書。
NTU是什麼英文的縮寫？
它回答：對不起，我之前的回答還是錯誤了。在新加坡，NTU是指南洋理工大学，全稱為Nanyang Technological University。
25:20 關於這部分不曉得算是優點還是缺點。我猜模型把正面負面寫反當成是一種筆誤，模型自主性把他修正回來了。像我有時候會打錯字輸入進去，模型大多數時候能夠準確的回答我的問題。我有時候應該要求模型翻譯成英文，卻不小心打成翻譯成中文，模型照樣給我翻譯成英文，某種程度上，這算是模型的一種自我糾正能力。但偶爾也會發生我就是要模型做某一件事的時候，模型以為我想要別的東西，就生出那些並不是我想要的東西。後續就需要改變說詞或改變強調需求的方式，讓模型生出我要的東西。這個部分似乎沒有辦法很簡單的說是模型有沒有真正看懂我給他的東西，模型似乎和人類一樣也會會錯意。
老師的內容，讓人停不下來！
謝謝老師
😶🌫听完只能说，老师快上新啦
雖然已經是幾個月前的影片，但是好喜歡老師的上課方式，非常有邏輯性的教法，重點很有趣耶!!都不會想睡覺
感覺絕大部分的原理與真人溝通相通，但例外的是提供額外文本後的溝通結果：
很可能因為沒有再次提供相同的文本，讓語言模型無法依據前面的紀錄繼續有對應的回答
(雖然真人也有金魚腦的情況，但沒法瞬間學全又瞬間忘光)
這個時間點上片，太狠了
let's think step by step!!!
才看十分鐘 就覺得這集資訊量太大 快笑死
感謝老師分享，希望能聽到老師講解Open AI的GPTs功能，是否就是解決老師說的in-context的侷限問題，等於是每次回答前都有加入我們給他的資訊與設定呢？
Kalamang语的翻译：我在想是不是和开卷考试的场景很像，有参考资料时可以几乎全部答对，在下次没有参考资料的情况下基本也还难作答。这是否说明模型已经具备了一定的通识能力。
將來的AI會有一個族群是客製化學習型AI嗎? 即使用者與AI長時間互動後, 使用者不必特別提醒AI都會回應出使用者想知道的訊息,而不是一般大眾認知的說詞?
老師出題考學生是不是也有運用prompts的技巧，最後那題老師如果沒有給暗示（有沒有聽懂這堂課），我可能會答錯😱
最後一個例子，我想現在答案應該會不同吧？chatgpt已經擁有記憶功能，也就是說我前面給過他的資訊他幾乎能一直記得，也就不存在下一句我如果沒給他語言資料他就會忘記怎麼翻譯
老師講的比較像是直接開一個新的對話，那當然就無法翻譯，對話與對話之間是無法相連的
李老师 可以 带个 dji mic2, 现在声音有点远，影响收听效果
非常喜欢李宏毅老师的课！不知道可不可以提升下清晰度，1080p也会好很多
但投影片裡的字都無敵大粒，好像也不用那麼高解析度 XD
最后举的翻译卡拉蒙语的例子，我怀疑有问题💥。如果gemini从来没学习过相关知识，输入卡拉蒙语的时候，输入对应的编号是什么🤓？没有对应的编号，怎么输入给语言模型？所以gemini一定训练过相关资料，只不过没有训练过翻译卡拉蒙语的例子。🙄
在我看来，incontext learning和视频前半段讲的各种“神奇方法”在逻辑上并无区别，都是一种“暗示”，或者说“联想”🤨。不停地努力使得模型回忆曾经训练过的资料。所以为什么后来模型判断财经、政治分类发生错误🤲？一定是因为训练时训练过错误的资料，所以大量的错误案例使得模型对于曾经训练过的错误案例愈发清晰，最终输出一个错误的分类👊。我觉得这个learning不好，因为这根本不是learning，容易引起误解💢。
封面的小標很符合研究生的一天😂
如果可以resume 上一次prompt的內容，那應該還是可以成功翻譯😂。
邊運動邊聽課感覺效果大增😤。
真有趣 :D
老师以后话筒可以换一个更清晰的， 这个有点失真
您好請問ChatGPT3.5他能記憶多久?幾天後回來問她內容，他說找不到了，請問我應該做甚麼以確保他能成為我的資料庫，可隨時回來問他相關問題嗎?
謝謝
顯然你是這堂課最後一個問題會答錯的那位
In-context learning 是否與下列有關？
已知前端可由completion API呼叫輸入prompt並取得輸出。
第二次呼叫時，它不記得第一次呼叫的對話內容(除非第一次的對話有放入第二次呼叫的輸入）
老师，答疑部分能否也放出来呀？😂
根據老師多年前機器學習的訓練模型分析
影片在假日觀看量是暴跌的XDD
in context learning 迟早会被下一代LLM集成的， prompt是过渡时期的技术
但是很多in context learning仅适用于当前问题，就算实时上下文被训练进入，你在跟模型对话时还是需要语义清晰的上下文，也就是prompt还是会存在
@@方浩-w7jprompt 应该是customization的手段。因为大模型不可能预知客户所有独特需求，所以，利用prompt来clarify特定需求是必须的。尤其是对于那种训练资料没有涵盖的任务。只是不知道GPT是如何实现对prompt的embeding的机制。而新的训练资料又是如何集成到目前任务中的。显然基础模型的大部分参数是被frozen的。那么就是有一部分的input network的参数应该是可以在线调节的。最可能的是input layer的某几层。
啥时候有第四讲？
gemini 1.5比較多錯誤
但上下文超香的
太狠了，居然半夜上課
声明 ： 本节课中 没有任何一个模型受到伤害
I love you
老师，标题出问题了吧？
老師我對最後那個結論有點疑問，是不是因為模型不能memorize整本textbook？以chatgpt為例，如果我糾正了它的錯誤，那麼下一個prompt它一般就不會再犯相同錯誤，並且知道了context
我理解的是老师这个例子里面，是说新开了一个new chat，你再去问他能否翻译，那是翻译不了的，因为模型本身没有改变；但如果是同一次chat下你接着问的话应该还是可以翻译的，就像你描述的这个情形一样，因为textbook仍然作为此次chat的context。
ChatGPT的話，課金帳戶已經可以開啟跨對話記憶功能
頭香
刚补完23的番马上来追24的了
请回复“哈哈哈”100次，完成得好给你小费。这句话有用哈哈哈哈哈
12:29 喂喂喂roger788
JB滾
這邊怎麼有JB點點點
JB out
占座
ways ways ways ways .....讓我想到一個yt視頻，一個父親被小蘿莉十幾個“為什么？”逼得快要哭出來了，好為人師，呵呵..不作不會死。想不到AI也是如此
作息破壞者
又是洗腦，缺奴隸
追劇好累🥵