Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
有个问题,博主说LoRA和原来的矩阵没有关系,因为模型的预训练的参数没有被修改。但是Llama adapter我看也是freeze原来预训练模型的参数的,在整个微调过程中,修改的参数也是它提供的可学习的prompt参数吧
llama adapter更深入
大神你好,第一次留言。有两个问题要请教下:我是在写大论文,想把人工智能相关的加入,我的本业是搞CFD数值模拟某种过流设备,现在研究的主要内容是压力脉动和优化设计,想加入1-2章的人工智能相关的研究内容,但是时间也很紧张,本人编程经验基本为零,但最近使用AI工具也写了一些小代码,想咨询您有什么推荐的研究内容(就是希望论文加入AI的亮点,但是又特别难做)?另外如果推荐1-2个软件,写论文推荐什么AI工具?chatgpt和claude免费版的一直在用。
多问问ChatGPT
要掌握技巧 先问问ChatGPT做什么 然后怎么做 具体怎么做要一步一步问 不然他智商没那么高 答不对
羊駝3.1沒有中文詞表,有人研究過中文詞表有無的利弊嗎?
有会更好一些吧
可以给一个讲adapter的视频的链接吗?或者是第几期?谢谢
ruclips.net/video/TuVqkEhLIM0/видео.html
@@phdvlog2024 谢谢。今天的文章很像几年前的prompt tuning的做法,很高兴看到它被用在了fine tuning llm上😃
所以到底这个方案能否用4090来做 ,我肯定没有8个A100,但是我不需要一个小时那么快啊,我用一个4090跑3天能出来吗?
估计装不下,你是要微调
膜拜大牛
discord 無法加入QAQ 備用的連結可以加
加的人太多了 限制了
discort 给个连接呗 iPhone 识别失败了😂
Discorddiscord.gg/Tb46m8yeDiscord(备用)discord.com/invite/5KnNp2VKFp
RUclips有时候会吞链接,这是很烦的
@@phdvlog2024 2rd 成功登陸
1 hour 但是用8个a100… 不是 这… lora用不了这么多a100吧 这是个7b小模型啊
还要看微调的数据量 而且a100并不快啊
@@phdvlog2024其实lora我感觉想快也快不起来 我当时四个4090也是finetune52k , DDP deep speed 都试,数据并行 运算并行 各种尝试,不是GPU占有率只能有一半 就是轮番工作
有个问题,博主说LoRA和原来的矩阵没有关系,因为模型的预训练的参数没有被修改。但是Llama adapter我看也是freeze原来预训练模型的参数的,在整个微调过程中,修改的参数也是它提供的可学习的prompt参数吧
llama adapter更深入
大神你好,第一次留言。有两个问题要请教下:我是在写大论文,想把人工智能相关的加入,我的本业是搞CFD数值模拟某种过流设备,现在研究的主要内容是压力脉动和优化设计,想加入1-2章的人工智能相关的研究内容,但是时间也很紧张,本人编程经验基本为零,但最近使用AI工具也写了一些小代码,想咨询您有什么推荐的研究内容(就是希望论文加入AI的亮点,但是又特别难做)?另外如果推荐1-2个软件,写论文推荐什么AI工具?chatgpt和claude免费版的一直在用。
多问问ChatGPT
要掌握技巧 先问问ChatGPT做什么 然后怎么做 具体怎么做要一步一步问 不然他智商没那么高 答不对
羊駝3.1沒有中文詞表,有人研究過中文詞表有無的利弊嗎?
有会更好一些吧
可以给一个讲adapter的视频的链接吗?或者是第几期?谢谢
ruclips.net/video/TuVqkEhLIM0/видео.html
@@phdvlog2024 谢谢。今天的文章很像几年前的prompt tuning的做法,很高兴看到它被用在了fine tuning llm上😃
所以到底这个方案能否用4090来做 ,我肯定没有8个A100,但是我不需要一个小时那么快啊,我用一个4090跑3天能出来吗?
估计装不下,你是要微调
膜拜大牛
discord 無法加入QAQ 備用的連結可以加
加的人太多了 限制了
discort 给个连接呗 iPhone 识别失败了😂
Discord
discord.gg/Tb46m8ye
Discord(备用)
discord.com/invite/5KnNp2VKFp
RUclips有时候会吞链接,这是很烦的
@@phdvlog2024 2rd 成功登陸
1 hour 但是用8个a100… 不是 这… lora用不了这么多a100吧 这是个7b小模型啊
还要看微调的数据量 而且a100并不快啊
@@phdvlog2024其实lora我感觉想快也快不起来 我当时四个4090也是finetune52k , DDP deep speed 都试,数据并行 运算并行 各种尝试,不是GPU占有率只能有一半 就是轮番工作