最新Mistral V3模型,免費微調模型 勞基法實作

Поделиться
HTML-код
  • Опубликовано: 19 ноя 2024

Комментарии • 10

  • @changlunglung
    @changlunglung  4 месяца назад

    謝謝大家,若覺得有幫助,請記得隨手按個讚,這是給我最大的支持。
    並且,也讓我知道,這個項目是您關注的,越多的讚項目,
    之後這方面的主題,我也會投注更多心力。

  • @chien67
    @chien67 Месяц назад +1

    我最近也在試著實作法條bot,如老師所說,FT會比較快,但對於有一個準確答案的情況,我覺得RAG還是比較適合。

    • @changlunglung
      @changlunglung  Месяц назад

      很棒,有實作,有實際跑,才真的能體會,並且從中挑選適合自已的方案,加油!

  • @jasonli8375
    @jasonli8375 5 месяцев назад +2

    老師, 不大理解json也是一問一答, csv也可以整理成一問一答,透過RAG方式也可以達到一樣的效果, 這樣有需要大費周章的finetune嗎?既然這樣finetune的效益在哪裡?請您指教!

    • @changlunglung
      @changlunglung  5 месяцев назад

      一、回饋的速度,finetue會來的比較快。
      二、RAG,仍舊會有token長度限制。
      三、RAG要好的前提是,QA要弄的非常完整。
      四、在了解RAG的運作與限制,如果你要的資料在第一輪沒被檢索出來,那後面就會是0,所以RAG你要考慮到檢索模型的能耐。

    • @jasonli8375
      @jasonli8375 5 месяцев назад +1

      @@changlunglung 謝謝您的指點, 一二點很好理解!根據您的視頻, Mistral V3經過finetune後,也是沒法正確回答反問題, 所以等同三四點同時也是finetune 、 RAG軟肋, 真的很好奇哪種方案可以理解"反"問而且正確回答, 可能大廠的LLMs比較有機會!

    • @changtimwu
      @changtimwu 4 месяца назад

      影片是台灣少數微調實例, 值得鼓勵, 採用法條當微調條目容易被拿來跟 RAG 比較, 以後可以改用別的本地知識來做.

  • @AIStudio.2024
    @AIStudio.2024 5 месяцев назад +1

    有启发。

  • @chi-hsianghsu8723
    @chi-hsianghsu8723 5 месяцев назад +1

    沒有準備好....