这个视频真是太棒了!作为一个AI爱好者,我对Llama3的中文微调非常感兴趣。看到这个模型在中文环境下的表现,我感到非常振奋。感谢你分享这个视频,让我们更深入地了解了Llama3的潜力。👏🔥;如果您你能分享微调后的Llama3,将不胜感激。; This video is awesome! As an AI enthusiast, I am very interested in the Chinese fine-tuning of Llama3. I'm very excited to see how this model performs in a Chinese environment. Thank you for sharing this video, which gives us a deeper understanding of the potential of Llama3. 👏🔥; It would be greatly appreciated if you could share the fine-tuned Llama3.
博主,您好~!跟您提个建议,就是你在演示的时候,先介绍一下自己的运行平台+环境+工具,那些指令是在哪个环境执行,那些文件从什么地方下载;我们从什么地方可以获得演示之后的文件下载路径;否则,我听的云里雾里的不知道什么情况;
感恩,视频内容太棒了!
这个视频真是太棒了!作为一个AI爱好者,我对Llama3的中文微调非常感兴趣。看到这个模型在中文环境下的表现,我感到非常振奋。感谢你分享这个视频,让我们更深入地了解了Llama3的潜力。👏🔥;如果您你能分享微调后的Llama3,将不胜感激。;
This video is awesome! As an AI enthusiast, I am very interested in the Chinese fine-tuning of Llama3. I'm very excited to see how this model performs in a Chinese environment. Thank you for sharing this video, which gives us a deeper understanding of the potential of Llama3. 👏🔥; It would be greatly appreciated if you could share the fine-tuned Llama3.
Thank you!
我将很快分享微调后到模型
请问一下博主吗,我想做基于一段text的问答任务,所以Instruction和Input都有输入内容。如果在python使用ollama.chat的话,我的prompt格式要怎么去写呀?
真的很棒~
谢谢
您好~我想請問微調後的llama3,是否也能像其他語言模型,寫入角色扮演,回答語氣等提示詞,還是這些都取決於訓練集
可以在system prompt中实现你的需求,当然也可以在微调的时候实现,这取决于你微调所用到的dataset
你好,拿的工作真的非常有帮助,请问创建的gpts的api可以分享吗,我可能需要大量数据清洗
gpt的api这个不能分享,你可以自己注册gpt并获取api
@@AIsuperdomain 好的,感谢!
大佬,我用我自己的数据集在colab上做了微调,但是输入数据集中的问题后,生成的回答有很多错误,每次的回答都能不一样,请问这是什么情况呢?😂
ollama create的时候 出现pulling model
pulling manifest
Error: pull model manifest: 400 是什么原因呢
在你微调好的gguf模型基础上继续用unsloth做其它数据的微调可行么?是不是还需要别的文件?
可以
视频主, 可以分享下你微调的llama3吗, 顺便再问下微调需要的显卡配置, 谢谢
好的 等我上传到hugging face。显卡是RTX a6000
請問如果要針對長文本內容根據一些特定guideline來整理成summary的話,fine tune的相關資料該怎麼準備啊? 目前看到的都是比較傾向短問本的QA格式 謝謝
可以用下面这样的格式:
{
"text": "Text",
"summary": "Summary"
},
@@AIsuperdomain 感謝 格式不包含instruction嗎?
但是有個問題是 我的text內容是訪談長文本 1萬多個tokens,
連summary大概也大概有3~4000的tokens數字,這樣放得下?
而且text訪談內容算是有解簡化成一問一答的多組對話格式,text裡面可以包含換行嗎?
謝謝
博主,您好~!一直以来跟着你学到了很多,但是我微调完成的模型用python脚本测试“lora_model”生成的结果是我想要的。但是我在四位量化过后用ollama的modelfile来调用量化后的gguf生成的回答就乱的。请问可能是什么原因造成的。谢谢!
4bit量化会导致精度下降,建议用f16或者f32
想问一下 您的Alpaca Dataset GPTs 下了什么prompt, 如果不把资料丢到chatgpt清洗,请问还有哪些方式可以做到相同的事情
还可以使用autogen等方式,可以看我最新的视频讲解autogen的
请问您的gpts是否有独立的接口可以调用?
可以使用autogen
想請問把模型部屬到本地端ollama 上運行模型,再透過.net core mvc 去呼叫port 與模型, 問答生成對話很慢 是正常的嗎? 是不是與本地端的硬體有關係(比如gpu)?
正常,模型推理速度取决于硬件性能
@@AIsuperdomain 好的謝謝! 我想請問,硬體方面gpu需要買到什麼等級的顯卡才能跑的順暢?
感謝,想請問unsloth能用在 windows底下VM的 ubuntu 嗎?
vm肯定不行,因为不支持显卡,我最新视频里有关于Windows下配置微调的步骤
了解,感謝分享
博主,您好~!请问以下,如果我二次微调本地的模型要如何操作😄
微调花了多长时间啊?
在A6000显卡上,大概5分钟
请大佬解释下为啥不用千问模型?
中文切割有问题。
好的 谢谢
数据集从哪里获得?可以分享一下吗?另外llama3使用的是多少参数版本?
@@stenx-智奕 数据集:huggingface.co/datasets/shibing624/alpaca-zh/viewer
Llama3是8b版本的
@@AIsuperdomain 中文切割问题解决了吗?