指令监督微调LLM中的魔鬼细节｜大型语言模型lora调教指南

Поделиться
HTML-код
  • Опубликовано: 1 дек 2024

Комментарии • 7

  • @majehuang3446
    @majehuang3446 Год назад

    楼主这么好的内容，咋不继续啦

  • @qingsongyao4974
    @qingsongyao4974 Год назад

    不错

  • @chengjian6440
    @chengjian6440 10 месяцев назад

    请教大佬，训练数据需要做同义词替换之类的增强吗

    • @kky7134
      @kky7134  10 месяцев назад

      不需要，对效果提升不大，这种增强对小数据集有点用，对训练语言模型规模的数据集完全没用啦

  • @mintisan
    @mintisan Год назад

    来了，来了，，，

  • @花果山十三太保-b1g
    @花果山十三太保-b1g 6 месяцев назад

    colab 能发一下吗？

  • @YingYing-qu
    @YingYing-qu 11 месяцев назад

    大佬，训练的代码可以共享吗

Следующие
Автовоспроизведение
GraphRAG: The Marriage of Knowledge Graphs and RAG: Emil Eifrem19:15GraphRAG: The Marriage of Knowledge Graphs and RAG: Emil Eifrem
GraphRAG: The Marriage of Knowledge Graphs and RAG: Emil EifremAI Engineer
Просмотров 67 тыс.
How to build Multimodal Retrieval-Augmented Generation (RAG) with Gemini34:22How to build Multimodal Retrieval-Augmented Generation (RAG) with Gemini
How to build Multimodal Retrieval-Augmented Generation (RAG) with GeminiGoogle for Developers
Просмотров 72 тыс.
llm大模型商业落地中的坑有哪些？1、大模型微调、AI Agent、知识库、提示词的场景有哪些？2、成本多大？3、实现难度门槛如何？17:17llm大模型商业落地中的坑有哪些？1、大模型微调、AI Agent、知识库、提示词的场景有哪些？2、成本多大？3、实现难度门槛如何？
llm大模型商业落地中的坑有哪些？1、大模型微调、AI Agent、知识库、提示词的场景有哪些？2、成本多大？3、实现难度门槛如何？AIGCLINK
Просмотров 5 тыс.
WE GOT ENGAGED!!28:50WE GOT ENGAGED!!
WE GOT ENGAGED!!rickyandbritney
Просмотров 128 тыс.
8 OTs 😮 Georgia Tech Yellow Jackets vs. Georgia Bulldogs | Full Game Highlights | ESPN CFB22:508 OTs 😮 Georgia Tech Yellow Jackets vs. Georgia Bulldogs | Full Game Highlights | ESPN CFB
8 OTs 😮 Georgia Tech Yellow Jackets vs. Georgia Bulldogs | Full Game Highlights | ESPN CFBESPN College Football
Просмотров 1 млн
FULL OG 'Chapter 1 - Season 1' Battle Pass Showcase..!!03:47FULL OG 'Chapter 1 - Season 1' Battle Pass Showcase..!!
FULL OG 'Chapter 1 - Season 1' Battle Pass Showcase..!!HYPEX
Просмотров 428 тыс.
Try Guys Make Pot Pies Without A Recipe55:19Try Guys Make Pot Pies Without A Recipe
Try Guys Make Pot Pies Without A RecipeThe Try Guys
Просмотров 559 тыс.
清华博士带你思考大语言模型LLM的涌现现象（Emergent）【OpenBMB论文速读】第 8 期14:53清华博士带你思考大语言模型LLM的涌现现象（Emergent）【OpenBMB论文速读】第 8 期
清华博士带你思考大语言模型LLM的涌现现象（Emergent）【OpenBMB论文速读】第 8 期跟李沐学AI
Просмотров 1,2 тыс.
微调Llama 3大模型！简单几步即可轻松打造自己的专属大模型！无需本地配置即可轻松完成！#llama3 #meta #finetune #aigc #ai #llm #gpt4 #gpt58:34微调Llama 3大模型！简单几步即可轻松打造自己的专属大模型！无需本地配置即可轻松完成！#llama3 #meta #finetune #aigc #ai #llm #gpt4 #gpt5
微调Llama 3大模型！简单几步即可轻松打造自己的专属大模型！无需本地配置即可轻松完成！#llama3 #meta #finetune #aigc #ai #llm #gpt4 #gpt5AI超元域
Просмотров 32 тыс.
黄仁勋：“别再学编程，如果一切重来，我会学习。。。” 聊聊 AI 阴影下的程序员生存技能 | 回到Axton14:58黄仁勋：“别再学编程，如果一切重来，我会学习。。。” 聊聊 AI 阴影下的程序员生存技能 | 回到Axton
黄仁勋：“别再学编程，如果一切重来，我会学习。。。” 聊聊 AI 阴影下的程序员生存技能 | 回到Axton回到Axton
Просмотров 327 тыс.
【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备！| Llama2 | Gemma | Mistral10:56【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备！| Llama2 | Gemma | Mistral
【 Ollama + Open webui 】 这应该是目前最有前途的大语言LLM模型的本地部署方法了。提升工作效率必备！| Llama2 | Gemma | MistralAI白爷爷
Просмотров 12 тыс.
台大資訊 深度學習之應用 | ADL TA Recitation: LLM LoRA Training 大型語言模型太大怎麼調整呢?18:15台大資訊 深度學習之應用 | ADL TA Recitation: LLM LoRA Training 大型語言模型太大怎麼調整呢?
台大資訊 深度學習之應用 | ADL TA Recitation: LLM LoRA Training 大型語言模型太大怎麼調整呢?陳縕儂 Vivian NTU MiuLab
Просмотров 7 тыс.
21世纪最重要的发明：LoRA，让每个人都能微调大语言模型！将会如何重写世界规则？（用笔记本就能做大模型）27:0921世纪最重要的发明：LoRA，让每个人都能微调大语言模型！将会如何重写世界规则？（用笔记本就能做大模型）
21世纪最重要的发明：LoRA，让每个人都能微调大语言模型！将会如何重写世界规则？（用笔记本就能做大模型）Ph.D. Vlog
Просмотров 19 тыс.
Windows笔记本本地微调训练Qwen2大模型(非wsl),炼制属于自己的无审查(nsfw)大模型,Unsloth,Python3.11,fineTuning5:22Windows笔记本本地微调训练Qwen2大模型(非wsl),炼制属于自己的无审查(nsfw)大模型,Unsloth,Python3.11,fineTuning
Windows笔记本本地微调训练Qwen2大模型(非wsl),炼制属于自己的无审查(nsfw)大模型,Unsloth,Python3.11,fineTuning刘悦的技术博客(LiuYue's Tech Blog)
Просмотров 961
【LLaMA-Factory】開源語言模型微調專案　方便微調各種大型語言模型｜內建WebUI　方便使用｜內建多種訓練方式讓使用者選擇10:45【LLaMA-Factory】開源語言模型微調專案　方便微調各種大型語言模型｜內建WebUI　方便使用｜內建多種訓練方式讓使用者選擇
【LLaMA-Factory】開源語言模型微調專案　方便微調各種大型語言模型｜內建WebUI　方便使用｜內建多種訓練方式讓使用者選擇The walking fish 步行魚
Просмотров 9 тыс.
Llama3.1 8B 使用《史记》七十列传文本数据微调训练，实现现代文翻译至古文，效果还不错! | colab | unsloth | hugging face | 大模型微调23:29Llama3.1 8B 使用《史记》七十列传文本数据微调训练，实现现代文翻译至古文，效果还不错! | colab | unsloth | hugging face | 大模型微调
Llama3.1 8B 使用《史记》七十列传文本数据微调训练，实现现代文翻译至古文，效果还不错! | colab | unsloth | hugging face | 大模型微调AI转转转
Просмотров 25 тыс.
Когда ДРУГ попросил ВОДЫ (смешное видео, юмор, приколы, поржать, смех)00:49Когда ДРУГ попросил ВОДЫ (смешное видео, юмор, приколы, поржать, смех)
Когда ДРУГ попросил ВОДЫ (смешное видео, юмор, приколы, поржать, смех)Натурал Альбертович
Просмотров 1,8 млн
V 'Winter Ahead (with PARK HYO SHIN)' Official MV06:23V 'Winter Ahead (with PARK HYO SHIN)' Official MV
V 'Winter Ahead (with PARK HYO SHIN)' Official MVHYBE LABELS
Просмотров 7 млн
Китайка делает Снежки😂😆00:20Китайка делает Снежки😂😆
Китайка делает Снежки😂😆KITAYKA
Просмотров 103 тыс.
Beat Ronaldo, Win $1,000,00022:45Beat Ronaldo, Win $1,000,000
Beat Ronaldo, Win $1,000,000MrBeast
Просмотров 59 млн
Кто Последний Выйдет Из Комнаты Получит 300.000! (Бустер, Сатир, Сабина, Горилла и др.) КУБ 41:26:20Кто Последний Выйдет Из Комнаты Получит 300.000! (Бустер, Сатир, Сабина, Горилла и др.) КУБ 4
Кто Последний Выйдет Из Комнаты Получит 300.000! (Бустер, Сатир, Сабина, Горилла и др.) КУБ 4ExileShow
Просмотров 2,6 млн
Приключения "Буратино" в 21 веке! Цена ошибки - 36.000.000р!17:41Приключения "Буратино" в 21 веке! Цена ошибки - 36.000.000р!
Приключения "Буратино" в 21 веке! Цена ошибки - 36.000.000р!Максим Шелков
Просмотров 209 тыс.
САМОЗВАНЦЫ. Лжецари и фейковые короли (УДАЛЁННОЕ ВИДЕО) | ФАЙБ1:08:36САМОЗВАНЦЫ. Лжецари и фейковые короли (УДАЛЁННОЕ ВИДЕО) | ФАЙБ
САМОЗВАНЦЫ. Лжецари и фейковые короли (УДАЛЁННОЕ ВИДЕО) | ФАЙБФайб
Просмотров 442 тыс.
Обзор S.T.A.L.K.E.R. 2: Heart of Chornobyl27:46Обзор S.T.A.L.K.E.R. 2: Heart of Chornobyl
Обзор S.T.A.L.K.E.R. 2: Heart of ChornobylStopGame
Просмотров 265 тыс.