简单几步微调Llama3变身中文大模型!PDF清洗外加Ollama和LM Studio本地加载微调好的大模型

Поделиться
HTML-код
  • Опубликовано: 18 янв 2025

Комментарии • 43

  • @bdst9527
    @bdst9527 8 месяцев назад +14

    博主,您好~!跟您提个建议,就是你在演示的时候,先介绍一下自己的运行平台+环境+工具,那些指令是在哪个环境执行,那些文件从什么地方下载;我们从什么地方可以获得演示之后的文件下载路径;否则,我听的云里雾里的不知道什么情况;

  • @michaelwu911
    @michaelwu911 8 месяцев назад +1

    感恩,视频内容太棒了!

  • @jinheshi
    @jinheshi 8 месяцев назад

    这个视频真是太棒了!作为一个AI爱好者,我对Llama3的中文微调非常感兴趣。看到这个模型在中文环境下的表现,我感到非常振奋。感谢你分享这个视频,让我们更深入地了解了Llama3的潜力。👏🔥;如果您你能分享微调后的Llama3,将不胜感激。;
    This video is awesome! As an AI enthusiast, I am very interested in the Chinese fine-tuning of Llama3. I'm very excited to see how this model performs in a Chinese environment. Thank you for sharing this video, which gives us a deeper understanding of the potential of Llama3. 👏🔥; It would be greatly appreciated if you could share the fine-tuned Llama3.

  • @ziyuesong-sp3lq
    @ziyuesong-sp3lq 8 месяцев назад +1

    请问一下博主吗,我想做基于一段text的问答任务,所以Instruction和Input都有输入内容。如果在python使用ollama.chat的话,我的prompt格式要怎么去写呀?

  • @fxchesscom
    @fxchesscom 8 месяцев назад

    真的很棒~

  • @遊戲開發獅
    @遊戲開發獅 7 месяцев назад

    您好~我想請問微調後的llama3,是否也能像其他語言模型,寫入角色扮演,回答語氣等提示詞,還是這些都取決於訓練集

    • @AIsuperdomain
      @AIsuperdomain  7 месяцев назад

      可以在system prompt中实现你的需求,当然也可以在微调的时候实现,这取决于你微调所用到的dataset

  • @MsaonHe
    @MsaonHe 6 месяцев назад

    你好,拿的工作真的非常有帮助,请问创建的gpts的api可以分享吗,我可能需要大量数据清洗

    • @AIsuperdomain
      @AIsuperdomain  6 месяцев назад

      gpt的api这个不能分享,你可以自己注册gpt并获取api

    • @MsaonHe
      @MsaonHe 6 месяцев назад

      @@AIsuperdomain 好的,感谢!

  • @blueslee5390
    @blueslee5390 8 месяцев назад

    大佬,我用我自己的数据集在colab上做了微调,但是输入数据集中的问题后,生成的回答有很多错误,每次的回答都能不一样,请问这是什么情况呢?😂

  • @sampsonquu4586
    @sampsonquu4586 8 месяцев назад

    ollama create的时候 出现pulling model
    pulling manifest
    Error: pull model manifest: 400 是什么原因呢

  • @jiacheney6311
    @jiacheney6311 7 месяцев назад

    在你微调好的gguf模型基础上继续用unsloth做其它数据的微调可行么?是不是还需要别的文件?

  • @feihuhan7784
    @feihuhan7784 8 месяцев назад

    视频主, 可以分享下你微调的llama3吗, 顺便再问下微调需要的显卡配置, 谢谢

    • @AIsuperdomain
      @AIsuperdomain  8 месяцев назад

      好的 等我上传到hugging face。显卡是RTX a6000

  • @jason77nhri
    @jason77nhri 8 месяцев назад

    請問如果要針對長文本內容根據一些特定guideline來整理成summary的話,fine tune的相關資料該怎麼準備啊? 目前看到的都是比較傾向短問本的QA格式 謝謝

    • @AIsuperdomain
      @AIsuperdomain  8 месяцев назад +2

      可以用下面这样的格式:
      {
      "text": "Text",
      "summary": "Summary"
      },

    • @jason77nhri
      @jason77nhri 8 месяцев назад

      @@AIsuperdomain 感謝 格式不包含instruction嗎?
      但是有個問題是 我的text內容是訪談長文本 1萬多個tokens,
      連summary大概也大概有3~4000的tokens數字,這樣放得下?
      而且text訪談內容算是有解簡化成一問一答的多組對話格式,text裡面可以包含換行嗎?
      謝謝

  • @jamesxu4492
    @jamesxu4492 5 месяцев назад

    博主,您好~!一直以来跟着你学到了很多,但是我微调完成的模型用python脚本测试“lora_model”生成的结果是我想要的。但是我在四位量化过后用ollama的modelfile来调用量化后的gguf生成的回答就乱的。请问可能是什么原因造成的。谢谢!

    • @AIsuperdomain
      @AIsuperdomain  5 месяцев назад

      4bit量化会导致精度下降,建议用f16或者f32

  • @shian9078
    @shian9078 8 месяцев назад

    想问一下 您的Alpaca Dataset GPTs 下了什么prompt, 如果不把资料丢到chatgpt清洗,请问还有哪些方式可以做到相同的事情

    • @AIsuperdomain
      @AIsuperdomain  7 месяцев назад

      还可以使用autogen等方式,可以看我最新的视频讲解autogen的

  • @aegeek-vu9eb
    @aegeek-vu9eb 8 месяцев назад

    请问您的gpts是否有独立的接口可以调用?

  • @raytheon1229
    @raytheon1229 6 месяцев назад

    想請問把模型部屬到本地端ollama 上運行模型,再透過.net core mvc 去呼叫port 與模型, 問答生成對話很慢 是正常的嗎? 是不是與本地端的硬體有關係(比如gpu)?

    • @AIsuperdomain
      @AIsuperdomain  6 месяцев назад +1

      正常,模型推理速度取决于硬件性能

    • @raytheon1229
      @raytheon1229 6 месяцев назад

      @@AIsuperdomain 好的謝謝! 我想請問,硬體方面gpu需要買到什麼等級的顯卡才能跑的順暢?

  • @edl2000
    @edl2000 8 месяцев назад

    感謝,想請問unsloth能用在 windows底下VM的 ubuntu 嗎?

    • @AIsuperdomain
      @AIsuperdomain  7 месяцев назад +1

      vm肯定不行,因为不支持显卡,我最新视频里有关于Windows下配置微调的步骤

    • @edl2000
      @edl2000 7 месяцев назад

      了解,感謝分享

  • @cong.h.8130
    @cong.h.8130 8 месяцев назад

    博主,您好~!请问以下,如果我二次微调本地的模型要如何操作😄

  • @water_tax
    @water_tax 7 месяцев назад

    微调花了多长时间啊?

    • @AIsuperdomain
      @AIsuperdomain  7 месяцев назад

      在A6000显卡上,大概5分钟

  • @大金链子
    @大金链子 Месяц назад

    请大佬解释下为啥不用千问模型?

  • @lingfengyin1236
    @lingfengyin1236 8 месяцев назад

    中文切割有问题。

    • @AIsuperdomain
      @AIsuperdomain  8 месяцев назад

      好的 谢谢

    • @stenx-智奕
      @stenx-智奕 8 месяцев назад

      数据集从哪里获得?可以分享一下吗?另外llama3使用的是多少参数版本?

    • @AIsuperdomain
      @AIsuperdomain  8 месяцев назад

      @@stenx-智奕 数据集:huggingface.co/datasets/shibing624/alpaca-zh/viewer
      Llama3是8b版本的

    • @23beyond56
      @23beyond56 8 месяцев назад

      @@AIsuperdomain 中文切割问题解决了吗?