LoRA是什么?| 5分钟讲清楚LoRA的工作原理

Поделиться
HTML-код
  • Опубликовано: 29 сен 2024
  • 本视频面向小学二年级,0门槛,请放心食用
    LoRA训练代码: github.com/koh...
  • НаукаНаука

Комментарии • 27

  • @philipchang2490
    @philipchang2490 3 месяца назад +13

    我還以為是IOT的LoRa

  • @coladock
    @coladock 3 месяца назад +3

    大姐你講的好像是Encoder Decoder架構,那麼LoRA但的獨特之處在哪呢?影片中好像只有提到前方有運用到Unet

  • @doutu4624
    @doutu4624 2 месяца назад +1

    这就好像视频编码一样,压缩率越大质量越糊,但是能不能看/喜不喜欢看这个就因人而异了

  • @haominliu6851
    @haominliu6851 3 месяца назад +4

    感觉💩到一半,猛然夹断的感觉

    • @kevinlantw
      @kevinlantw 2 месяца назад

      只有小學一年級生程度的我懂了~😇

  • @Chali.return
    @Chali.return 3 месяца назад +1

    文科生的我最近玩點生成圖片看到LoRA這名詞就進來了解下,到升維還看的懂,到降維我就按照自己高中學的矩陣去理解(相乘在分開相加),不曉得對不對,沒想到後面程式碼只有寫up還有down後面有這麼大的邏輯在。但看了看留言區,我想有必要還是再多讀點讀書吧😂

  • @jfkong8517
    @jfkong8517 2 месяца назад

    讲的很棒啊
    ~~~~~~~~~~~

  • @kevinlantw
    @kevinlantw 2 месяца назад

    訂閱了
    然後我都不知道現在中國的小學二年級要學會解二元一次聯立方程式...
    然後降維我也懂,降維打擊嘛~

  • @SuperChouFeng
    @SuperChouFeng 2 месяца назад +1

    看君一视频,如看一视频,我这该死的数学能力呀

  • @ruiyangxu790
    @ruiyangxu790 3 месяца назад +1

    你自己说的,秩越大信息越多,那么在把秩降低的时候,信息是不是也丢失了?这个丢失的信息如何去衡量,如果信息丢失的过多,最后训练结果会不会失真?

    • @useryee6470
      @useryee6470 3 месяца назад

      我猜,如果100*100可以拆解成100+100的矩陣,反過來也可以組合成一樣的矩陣,那麼其中的資訊是沒有消失的

    • @coladock
      @coladock 3 месяца назад +1

      丟失信息這個觀點很好,基本上我們在訓練模型時因為訓練資料(給ai學的)跟真實應用場景的資料一定有差異,我們不會強求ai百分百學會訓練資料,因為過度學習反而會讓ai誤判它沒看過的資料,稱overfit。

    • @coladock
      @coladock 3 месяца назад

      所以適度丟掉一些訊息是鼓勵的做法(dropout)
      當然,傳聞在大陸,訓練資料會等同於真實資料(比如人臉指紋),所以可這套理論是可能無法套用的😢

    • @ruiyangxu790
      @ruiyangxu790 3 месяца назад +2

      @@coladock overfitting 并不是问题,我最近对grokking现象很感兴趣,也就是说你不要管overfitting,你继续去train你的model,让它hyper-overfitting,等train到一定的时候,它就会突然出现很好的generalizability, 这个现象目前为止还没完全被理解,属于比较前沿的研究

    • @uckf-pw9qc
      @uckf-pw9qc 2 месяца назад

      如果有些訊息是可以從其它訊息得到,
      那就可以去除某些訊息了。

  • @x78963xx
    @x78963xx 3 месяца назад

    看沒幾分鐘就決定訂閱了,敘述的脈絡好清楚

  • @schrodigus
    @schrodigus 2 месяца назад

    那不就跟nmf差不多一样吗

  • @tony608
    @tony608 3 месяца назад

    膜拜

  • @allezvenga7617
    @allezvenga7617 3 месяца назад

    謝謝分享

  • @huiwencheng4585
    @huiwencheng4585 3 месяца назад

    非常強

  • @amostsai
    @amostsai 3 месяца назад

    說明的非常好

  • @pigeatappgood8884
    @pigeatappgood8884 4 месяца назад

  • @shunruzhang4237
    @shunruzhang4237 3 месяца назад +5

    线性代数能理解的人不多吧

    • @JT200905
      @JT200905 3 месяца назад

      資訊科系必修課..... 不過對資管比較沒用就是了....

    • @samzheng5501
      @samzheng5501 3 месяца назад +4

      @@JT200905必修課不等於會。不說了,大叔要去第25次重修線性代數

    • @doutu4624
      @doutu4624 2 месяца назад

      讲简单了理解的人就多,上来就搞复杂公式那自然理解的人就少咯

    • @myidisvoid
      @myidisvoid 2 месяца назад

      高中数学