Heuristic and well-articulated, thanks for your sharing! Would it be better if you could attach an English subtitle, which I did not find an over engineering? Cheers!
分享一些我最近剛好蒐集到關於錯誤的名言: A person who never made a mistake never tried anything new.---Albert Einstein The first principle is that you must not fool yourself-and you are the easiest person to fool.---Richard Feynman
學而不思，則欠擬合
思而不學，則過擬合
總結得太漂亮了
14:26 "學而不思欠擬合，思而不學過擬合"
*大哥這句很精警，但竊以為恰恰反了* 😅
學而不思，就是有過多沒消化的學問，而用高次方程這種深奥數學來迎合所有已知數據就是這情況。 *亦因此，學而不思應該是過擬合，而不是欠擬合～*
思而不學，是空有好奇卻沒有學問去應對所思的問題，而只知道所有數據是有趨勢的，但因為不懂直線以外的數學方程，以至解釋能力非常薄弱，這就是欠擬合。 *亦因此，思而不學是欠擬合～*
反了吧
@@kwokshsee01不對喔。
欠擬合= underfitting = 一直喂資料訓練（學）但模型架構單調（不思），導致擬合不好。
過擬合=overfitting=一直調整模型結構使得擬合近乎完美但預測能力極差
這結論並沒有問題喔
@@jiahaooya6494 選你正解
@@jiahaooya6494你這恰好說反了吧？照你的說法 學是一直喂資料 那學而不思可不就是一直輸入數據而不去調整函數裡係數的合理性嗎 思而不學 不就是資料太少不去輸入數據點 只考慮係數導致欠擬合？？
系统架构领域有句名言：所有的模型都是错的，但有些模型却是有用的。
自信点，你可以把模型这个词换成科学，这句话同样成立。
如果一句话里的关键词换成其他很多词也能成立，那么这句话本身就是废话。
@@beigou2024 还有句名言： the internet does not make you more stupid, however, it does make your stupidity more accessible to others.
@@ColdSplash 但是他第一句话说的确实有理 尼想 能确定的是反例 规律是无法完全确定的 因为你没有办法遍历所有的情况 而我们现在使用的科学不是"xxx不是xxx" 而是"xxx可以用xxx解得" 虽然具有足够多的数据支撑这个命题 你也没办法确信地说 他就是对的. (虽然也没法说所有的科学一定都是错的) 他这第二句话属实是意义不明(
感觉两句话单独分出来都事有理 合起来就是阴阳怪气(
奇怪的中国语
@@beigou2024那你怎麼定義很多，你只舉出一個例子算很多嗎？
用這部影片的論點來說，你得出的結論是不是欠擬和呢？
If some models are useless, then all models are correct.
這讓我想到巴菲特說過的話中我很喜愛的一句，「我們寧願約略正確，也不願意精準但錯誤！」
理工專業加股市數年的我
越看越感到心有戚戚
不只是數理，更是哲理啊
0:37 這麼臭的數列有存在的必要嗎 (惱
這裡也有X夢民嗎（喜
你事一個一個等差數列
我從來沒有想過會在看數學時候遇見淫夢
我一看見常數項就知道這個函數不簡單(嘔
會 員 制 數 列 (無慈悲
超好笑 偉大的先輩注意到這個函數
7:24
114514 當然也可以是正確答案 但這不妨礙我嫌它臭
我看到這個也是 罵了聲:靠北啊
@@AngelLee2901 +1
"因些從本質意義上，這種從數字找規律題，根本就不是數學題，是心理題，其核心是揣摩出題人的意圖，你也因此不難理解為什麼他經常出現在某些考試中，因為那些崗位確實最需要的能力就是這個"…哈哈哈，說得好!
通靈王
專注表象而忽略本質；無窮盡過多的細節卻不聞問單純的原則；用類似的模型反覆作業但不深入思考去洞察新的概念，就像供應鏈末端的工具機重複生產標準化的產品，捨棄從源頭重新創造獨一無二的設計。人類的通病，感染了各層面的社會環境，讓現代人在虛假，包裝，不實卻氾濫的資訊爆炸時代更難獨立思考😊😊😊
我第一次看到有人把過擬合說得這麼哲學，讚！
漫士謝謝你，能看到你的頻道，在思維的旅程中探索，對我一個高中生來說真的獲益匪淺。
你的留言，正是漫士做科普的初衷，加油👏
對於這部影片裡面反覆出現的那個例子。或許定義一個「擬合結果」之間的距離會有用。
大概是弄個適當的L^p-norm（p=1或2就應該不錯了）。
然後隨著擬合多項式的次數增加一次，就計算一遍前後兩次擬合出來的函數的「距離」。
最小化這個距離後，把那個擬合當作最佳擬合。
直覺上這個作法大概還是會有很多漏洞。
擬合方法通常都有補不完的例外情況，真是令人高興。
翻墙出来才发现原来国内有这样有趣的博主，马上回b战关注了
都「翻墙出来」了，又翻回去，滑稽
@@hantuun 不懂哪裡滑稽
@@張宇辰-s5r 这博主不是也翻出来发节目了，粉丝在墙外都看到节目了，关注就完事了，还再翻回墙内关注，就为了看b站少儿弹幕？
@@hantuun 人家在牆內攢錢回老地方支持怎了嗎，你是不是不知道翻牆只要按個鍵就好了阿XD
@@hantuun待在井底 滑稽
14:26 "學而不思欠擬合，思而不學過擬合"
*大哥這句很精警，但竊以為恰恰反了* 😅
學而不思，就是有過多沒消化的學問，而用高次方程這種深奥數學來迎合所有已知數據就是這情況。 *亦因此，學而不思應該是過擬合，而不是欠擬合～*
思而不學，是空有好奇卻沒有學問去應對所思的問題，而只知道所有數據是有趨勢的，但因為不懂直線以外的數學方程，以至解釋能力非常薄弱，這就是欠擬合。 *亦因此，思而不學是欠擬合～*
這麼想也是覺得你說的對
很有趣的想法，發人深省，這裡想做個交流。學而不思，就是有過多沒消化的學問，空有知識點卻無法妥善運用，是為欠擬合；思而不學，是空有好奇卻沒有足夠學問去應對所思的問題，只能在寥寥無幾的知識點上鑽牛角尖，是為過擬合。您怎麼看？
@@yee6798 感謝賜教～🤗
學而不思，表現出來就是不懂得學問的局限和適應性，以至胡亂運用，在不適當的地方運用不恰當的理論或公式，這就是視頻裡說的，用過高階的方程來擬合所有數據，這就是過擬合～
思而不學，表現出來就是沒學問、理論 或 公式可用，以至在具體問題面前不懂處理，面對一堆數據也不知道可以用多次方程來擬合它們，只能把直線擺來擺去(就是你說的鑽牛角尖)，嘗試擬合它們看出趨勢，這就是視頻裡的欠擬合了～
我的生命中，能看到這部影片太值得了... 解惑了我之前想的一些哲學問題，太讚啦🎉
說個笑話，很多人考到了駕照，卻不敢開車上路
因為他們只對考場的環境熟悉，一但出了考場就不會開車了
更大的問題是訓練集太小了
這應該不是過擬合，駕訓班場地跟道路完全不同，資料集根本不一樣
這應該說外部效應太低😂所以還是得多在不同地方練習
bias
考駕照有路考不是
很深刻！就像，想越級變富人，但又想保留本心，還想舒舒服服，還追求極致學歷，等等，但光是變富人這個就只有幾條線會經過而已，要同時接近其他幾個點更是難。結果會通向哪，可能就是擰巴吧，繞彎路吧，達不到高度吧。
气温测量过拟合主要原因并不是因为系数复杂导致，而是采样点不够没法在11次函数下使用最小二乘法进行评估，就像只有2个点那就是一条直线，反而当采样无限多时，多项式越复杂拟合效果反而会越好。后面说考试做题时把考试前的做题视为高次多项式，其实考试和做题是两部分，做题是在不停采样，考试则是一个高次多项式对做题进行评估，可以认为考试难度就是多项式幂数，如果做题少那才会因为难度高而过拟合导致成绩差，那么如果当做题数远高于考试的最高幂，分数肯定会变高，而且事实是高考考得好的大部分都是高中三年拼命做卷子刷题的。
个人经验，拼命刷题远不如做一题就好好懂一题，举一反三融会贯通。因为有太多一模一样的题了，花那么多时间精力完全不值当，把核心部分彻底理解自然就可以花少得多的精力做更多的事。
而且你提到的采样足够多，问题是总会有一些离群点，也会有一些因为特殊变量导致的情况，系统/随机误差等等，如果一味追求毫无偏差，整个模型可用性会非常差。
训练集的质量至关重要，你拼了命刷低质量的题，刷再多也没有用，不符合实际考题的考点和做法。你把真题研究透了，再刷一点优质模拟题，就够了，训练数据集本身的质量比模型的好坏要重要得多。
@@simon6658 对，这点完全同意
@@yizhang5455 这就是采样策略的问题了，和这里讨论的是两个问题。视频说的是做题多效果变差，因为做题是在进行多项式拟合，但实际上做题是在进行数据采样，从采样角度看，做题多效果变差的原因是采样分布不均匀，大脑长时间对某个区间的题目解题技巧大量重复记忆，导致大脑渐渐忘了其他区间题目的解题技巧。这个视频内容如果改成如何选择更好的采样策略，更贴近主题。
既勇敢，又委婉。点赞。
7:50 要硬湊也可以寫成2^n-(n-1)*(n-2)*(n-3)*(n-4)/4!，數列是2、4、8、16、31、59、113、221、...。
为什么不是2^n-floor(n/5)呢:(
这也就是为什么感觉需要先于思维，而不是思维先于感觉。那些把思维先于感觉的的人往往脑子都有巨大的混乱，而感觉先于思维的人都会给人一种“这人是个明白人！”
但凡事先重感覺 而把理性數值化擺一邊
又會感性到難以相處 處事魯莽 隨便
他的明白不一定是我認為他的明白
子非我 安之我不知魚之樂
太難了
😂
這解釋就有點欠擬合的味道了😅
好像都對，應該說是都有會需要用到的地方。有些時候需要直覺/感覺/類比/甚至感性，有時候需要邏輯推理/客觀嚴謹，兩個極端的方式在不同時候交替使用。
解讀世界時，可以往複雜的方向不斷外擴看到更複雜更全面更龐大更醜陋的運作原理，但也可以往簡單更美更純樸甚至無知到一切知識已經不重要只有內心的寧靜知足是最重要的本質。
也許問題應該這樣問：我應該 "選擇" 用什麼方式去理解這個世界，而不是這個世界真實是什麼樣子，乍看之下是 non-sense，鴕鳥心態，假裝看不到，實際上是因為從腦轉換到心的心境轉變，特別是發現腦領域無法解決心領域的問題時，發現兩個是在不同維度時。
但那些連三門都算錯的 應該就是只會重感覺😂
如果你敢在自己需要開刀的時候，讓一個只會憑感覺而完全不看檢驗數據的醫生幫你開刀，我就服了你😂
很多人讨论训练集不够才会导致模型不够精确的问题，我想说的是，从现实里来说，我们每个人能接触到的这个世界都只是一个很小的样本集，是绝对有偏的，你无法假设训练集足够大我们才能做出自己的决定。往大了说就是，训练集再大，也无法避免随机误差，如果一定要无偏，这些误差和异常值往往会极大带偏整个模型，使得模型的泛用性极差。最后就是，因为量子涨落的随机性和海森堡测不准原理，现实世界的底层代码就是无法被完全精确采集的，也就是说我们永远都无法知道这个世界里所有的特征和对应的值，你的样本永远都无法涵盖所有情况和数据，因此模型必须要有泛用性，也就意味着过拟合是不可取的。
反過來說，每個人的人生都是奇蹟，因為大樣本的平均對於每個人自身的一生來說，都只是小概率事件。
【過擬合】
俗話說：「讀萬卷書，行萬里路」
讀書 → 讓初學者對陌生領域有初步模型認知
實踐 → 讓讀者對認知模型進行修正避免過擬合
《 預測模型適時地加入些許誤差值比較符合客觀事實 》
當然，還有另一種講法．．．
赞你!
但沒有過擬合，很多事情運作不下去，他們還在出題
10:21 “那些岗位最需要的能力就是这个”这句话揭示了公考的本质😂
从数学到哲学，非常有启发性！！！
這集太精彩了，洽飯的力度也還算適中，希望持續更新
這些AI的理論，應用到考試，的確很有道理，因為你要回答的， 是最符合大眾認知和預期的問題。
但要解決複雜，未知的科學，工程問題，就不太適用。
这个视频做的很好，谢谢你的努力
1:32 最小二乘法用偏差的平方和我总感觉不仅仅是为了防止正负偏差抵消，用更简单的偏差绝对值之和也能防止偏差抵消。
用本期的话来说，用较复杂的平方和感觉上应该是有其必要性，用绝对值和的方法存在欠拟和。
是不是平方的話，極遠點的對線的影響會變大，不然如果100個1和一個100，直線可能會變成通過1的水平線，完全不管100
对过拟合最深刻的解释！
我覺得這也能用在解釋人與人的交流上
一旦不懂得變通的認為之前對某些人做某些事是不被討厭甚至是被喜歡的
而對之後遇到的任何人都做相同的行為
最終的結果絕不會好到哪去
很有用的原理，如做事情既要，又要，还要...，而忽略了本质。
太感謝您了🙇🏻🙇🏻🙇🏻🙇🏻🙇🏻
很棒的影片！使我腦袋思考
不知道该如何表达我由衷的感谢之情！您的讲解与分享，尤其是在“涌现”和“过拟合”方面，给了我极大的启发。年近50，开始弥补自己在数学方面的不足，从您这里学到了许多宝贵的知识与思考方式，受益匪浅。再次冒昧提出一个小小的请求，不知您是否可以制作一段视频，推荐并讲解几本经典的英文版微积分、线性代数等数学书籍，分析其优缺点，以帮助像我一样的后进者在学习的道路上不断进步？
Heuristic and well-articulated, thanks for your sharing! Would it be better if you could attach an English subtitle, which I did not find an over engineering? Cheers!
@@XinglinQianJérôme usually there should be an auto translated subtitle I guess. This video does not have one?
@@manshi_mathyeah it doesn’t have only chinese
@@Slapbattlesreportchannel weird, I will upload one. Thank you
@@manshi_math np
Bro joined RUclips 20 minutes ago
很棒的内容，支持，加油
很棒的影片 感謝你的分享
很棒的思維切入點
過擬合作為模型來說
會做出離譜的預測
但是感覺也並非就沒意義
有時候作為除錯或避險
畢竟高震盪通常就是大好或大壞
而在風險管理或投機方面
開始出現過擬合的最簡模型
還是有點參考價值
有意思 感谢分享！ 已关注
優秀！精闢的過擬合解説
感謝分享 解釋「完美困境」
支持，请多多更新视频。
仔细想想，还真是这样，在我上生物化学这门课上，我太想拿A了，抱着一个要满分的预期想把老师的语言逻辑完全掌握，但由于老师也是人会存在一些少量的口误，我为了完全理解就去一遍又一遍回放每一句话，导致大脑对一部分课程的过拟和，考试会错意。还有就是复习时间和精力有限导致其他部分欠拟合。拿了B。
很厲害的分析影片! 心理問題 那個很好解釋我內心的疑問，藍色窗簾 是不是也是作者過擬合的表現呢
6:50出現了一個"注意到"若是沒有看過以前的節目我應該不會關注這三個字 🤣🤣🤣
这视频发的时间真刚好， 我写了一个ai并且训练它 但是当训练到某个点时反而效果越来越差 经过多番研究发现这件事过拟合的特征 刚好这视频解释了过拟合
我決定把這個影片給改我考卷的助教看了
漫士要把最新那期講扭結的放到這裡來嗎？以非高考考生的角度來講那題挺有趣的
分享一些我最近剛好蒐集到關於錯誤的名言:
A person who never made a mistake never tried anything new.---Albert Einstein
The first principle is that you must not fool yourself-and you are the easiest person to fool.---Richard Feynman
在机器学习中，linear regression当参数过多就可能出现overfit
非常感谢，也许我这种人太敏感所以特别容易过拟合，导致我搞总结出个运气说“逆运”这种东西了orz虽然也无法否认掉这种说法。。。总之过拟合是一条很好的思路方向～
过拟合是因为只采用了多项式暴力求解，没有考虑气温点之间的物理关系导致
除非能測量出所有的隨機性(盡管這聽起來很怪)，否則永遠不會有完美的模型。這就好像要人在現實世界裡畫出完美的圓，理論上可行但實務上是不可能的。
这个角度很有启发
用模型去预测本来就不可能百分之百准确，所以为了预测而做的模型应该要做到对非历史数据整体的偏离值的标准差最小，而不是用对历史数据的偏离值标准差去评判
又发现了一个宝藏频道
看完突然想到，以前寫程式，試著用不同模型找出股票規律，經常可以找出可以契合過去歷史資料的模型，但對於預測未來卻又不盡準確，後來就索興不寫了。模型過度複雜本身可能就帶有過擬合的可能，是當初沒想到的問題。
话说回来，欠拟合，过拟合，适度拟合就是一个三值函数。本期试图用这个三值函数去描述人类学习研究现实世界的种种问题比如备考刷题，思而不学学而不思，中年油腻男看世界，日心地心等等本身就是一种欠拟合（就一个三值函数能跟现实贴近到哪里去？）。用本期的话来说，就是也在“马后炮式的用一套言之凿凿理论解释一切”
原來這就是「反者道之動,弱者道之用」
如果把这个过拟合本身的理论套用到过拟合自身，或者这个视频后会发生什么呢？
比如预测这种事情，看到零散的信息就得出超量的结论，这并不一定是过拟合的问题，而是目标的问题，因为如果目标本身不存在regularization的可能，那就只能靠“不靠谱”的方法来进行预测
14:26 學而不思 思而不學 那段是不是反過來了 🤔
學而不思不是應該是過於注重學識但不思考誤差 所以是過擬合
思而不學則是只想自己的而無視事實 所以是欠擬合
還是其實是別種說法 我想法沒轉過來🤣
你说的是对的
5:13 其實挺符合某些地方的氣候的XD
感謝大大精心製作的影片
近年來在華語討論過擬合影片確實稀少，但這在未來勢必是影響重大的
但針對大大在0:25所說的，★過擬合解釋「一個完美解釋數據的理論反而毫無用處」★
針對★內的內容，您的這個理論不也是為了所有的數據去解釋的完美理論?
1980年代Frege已有討論相關問題...
不知您對天文科學是否有研究?
火箭Ariane 5就是在獲得精確的理論後，震盪燃燒的問題獲得解決得以發射(偉大微分方程數學家)
您的影片開頭是插值法的經典問題...
牛頓在自然哲學中僅僅也只是針對「函數構造」提出一種技術
而直到偉大的高斯才有了突破性「預測觀點」，兩位都是偉人...
但重點是他們相差一百多年，各有各的成就
所以您的討論是「數學」?「統計」?還是「您的人生觀」?
更正 1880 Friedrich Ludwig Gottlob Frege, eine der arithmetischen nachgebildete Formelsprache des reinen Denkens
@@kerwind7808 謝謝指正，我這裡想說的意思是，如果收集數據的過程本身就有很多噪聲，那麼精確預測數據就沒有什麼用處。這幾個例子的底層物理模型都幾乎很清晰，沒有過大的熱力學噪聲干擾
@@manshi_math 您的影片內容都是相當生動有趣的，確實是使人隨著影片沉靜、開悟。所以稱不上什麼指正，AI的這股熱潮是非常令人興奮的!正因為有您的創作帶領，年輕人更有機會接觸到AI技術的底層世界。感謝!
怎么突然开始恰饭了？恭喜😂
說得太好了
好厲害阿 居然能從overfitting延伸到生活
我覺得應該是
學而不思，則過擬合
思而不學，則欠擬合
有句話是這麼說的，領先別人一步是天才，領先別人兩步是先知，領先別人三步是瘋子，所以我往往對九彎18拐的宮鬥劇嗤之以鼻，身邊的女性還以為這就是真實
过拟合就是训练数据集的大小不足以支撑模型的复杂度。
可以講解一下關於高維空間的幾何嗎？
我想說為什麼演算法會推給我這個
原來是淫夢民大會啊
記得我以前鑽到n次式是因為心想會不會有數學式可扭出我想要的形狀
so for quantum mechanics, should i just pick the simplest explanation as the most accurate description of the universe
Pi是高維過擬合到三維歸一嗎？
所以張無忌學太極劍只理解劍意,不記劍招
兄啊 這數學怕不事在下北澤大學學的罷(難視
立教大學（悲
deep seek 也可以给出2,4,8,16,31的下一项
允許你的人生有些失敗，是通往成功必要的代價
可能也是因為我們的大腦會偏好簡單的解，費馬最後定理才證明這麼久吧。
很棒的影片
主要是人力有限，你的數據也有限，但實際上存在的變數近乎無限所以沒辦法真正完全覆蓋，反而會因為過度集中在某一些特徵上面導致對其他特徵的完全失真
簡單來說就是把誤差也拿進去訓練了啊
虽然现实中没有完美的圆存在，但我们都知道完美的圆是什么样的。
控制论系统论信息论这些科学理论解释万事万物时会不会过拟合？
数据科学里叫做overfit
AI大模型动不动就上千万个参数，会不会也是一种过拟合呢？
畢竟它用來解釋整個文明，現在的參數還不夠
所以要有 regularizer 避免過擬合。而且討論參數和自由度前要先理解基底，例如拿多項式去擬合正弦波，你就得到無限參數的泰勒展開，但事實上的參數只有三個：振輻，頻率和相角
从视频中的例子来看，参数的个数不是问题，参数太大才是问题。
問題是在權重😅
Help me about Walski Manshi Schölder pls, can't find it on google.
@@AnnE-ws6tv hahaha, It's as the same sound as "said by myself" in Mandarin
有趣!
我是做量化的，避免过拟合非常非常重要，过拟合这是非常常见的低级错误。
超級有料
有道理
這部影片較以往的影片還要更難入口，因為缺乏名詞解釋。
例如什麼是擬合， 3:04 的訓練集與測試集分別是什麼意思。
沒有機器學習經驗的人可能不熟悉這些詞彙的含意。
希望下次步調可以放緩一點。
看來以後會常常看到你呢awa
蛤不會吧 我一個文組的沒感覺啥障礙阿
晚安
我這樣猜 (不知道正不正確)：訓練集與測試集都來自真實發生過的歷史資料。用一刀分兩半 (也可以分 2/3 和 1/3 之類等等) 給訓練模型用，當自認為訓練完以後再用測試集資料餵它看他偏差程度 (準不準) 再看要不要調整模型假設。
問題：如果我有集合中所有的點那會overfit ? 答案是不會的因為已經是全集 所以真正的問題是我們不會太多東西又想用少許數據去解释
所以我們大腦有著厭倦的感覺就是防過度擬合的方法之一嗎
Walski manshi scholder 是谁？
@@黄大卫-c7h 你猜呢😎
@manshi_math 猜不到也查不到
著名的法國哲學家沃．夏汴德你不認識？
@@春賀 你自己编的？
博主漫士呀！
这个温度曲线，限制∑c²，但是不限制/放宽限制次数，是什么样子？
可以无限趋近于0
那理論的精度和參數數量之間的平衡該如何拿捏呢？