半块RTX4090 玩转70B大语言模型
HTML-код
- Опубликовано: 10 сен 2024
- 自ChatGPT发布以来,隔三岔五就有人宣称又在多么没门级的硬件上成功运行了大模型
但只要点进详情就会发现要么模型小得可怜,要么速度慢得没有实用价值
而我的目标是,半块RTX4090的预算,70B档次的量化模型,以及与在线AI相当的流畅对话!
KCORES 网站:
kcores.com/
Electronic Scavenger AI蕉滤群:
699387899
KCORES github:
github.com/KCO...
这个视频出来,P100小黄鱼要涨价了😅
剛剛看閒魚,P100-16G已經超過1000人民幣一張了@@
閣下的玩具起飛的聲音 ... 怕怕. 不過真的多謝資訊. 非常有用😊
我自己有台双路e5 2699v4 ,最后只能搁置,这个方案国家电网合作伙伴加24小时不间断直升机了。 4090vram 又太小。 没钱玩玩,可以去买16g 的a770, 便宜,玩玩也没问题。 中等玩家,mac studio 大内存才是王道,设置简单,速度够用,电费少。高端玩家肯定是计算卡走起。
AI又不是NAS需要一直挂机下载,用的时候再开就行,电费哪有那么吓人。Mac内存大但速度太低,只有在MoE模型上有不错的速度体验
@@AlphaArea 你炼丹不是以小时就算?还是那句话,炼丹的人找替代方案几年了,要是这个方案真实用,你根本捡不到这么便宜的矿渣…
@@ufoformdad5845 一开始就说了只推理不训练, 你这是一点都没看就硬杠啊
太神啦XDDDDDDDDD
6:52請問那些解除限制的模型該怎麼找呢? 影片中只看到一個 Liberated-Qwen1.5-72B
我目前希望成本再更低,回答速度可以捨棄,所以我用一套64GB RAM的洋垃圾配P40,windows會自動劃分一半的RAM,也就是32GB給顯卡借用,這樣也能跑70b大模型,比CPU快不少,很便宜,整機大約6000台幣而已,約1350人民幣。 能跑,能用,但真的超級慢XDDDDDDDDDDDDDDDD
Uncensored ai model 搜尋
huggingface上会有一些個人或組織做解限模型,這你只能自己找。
P40的問題是幾乎只能用llama.cpp和那些基於llama.cpp二次開發的軟體加速。而llama.cpp本身就不是個高效能框架,他們更喜歡搞各種平台的移植。所以P40也就只能一張卡玩,多張P40除了顯存大以外真的慢到沒辦法玩。
Uncensored ai model 可以找到
@@jessishandsome 謝謝
PC的畫 有PCIE 理論上也是可以走這種只是 模型host 要換成影片裡說的那個 還有機殼跟散熱要可以支援雙卡 感謝分享
你好!我剛買了4028GR-TRT2 ,我試著用 UEFI mode啟動 PCI-e 接上的NVMe 4TB M.2 SSD, 雖然ubuntu server安裝過程的可以順利完成, 但系統無法啟動, 請問4028GR-TR2可以用pci-e 上的NVMe M.2 啟動系統嗎?還是這台機器只能用傳統的2.5吋SSD 啟動作業系統? 麻煩指點我一下, 謝謝!
超微X10世代不支援NVME啟動,一定要用NVME做啟動碟的話需要修改BIOS韌體刷入
@@AlphaArea 另外這台風扇真的很吵, 有沒有針對這台機器推薦的風扇型號可以替代這8顆風扇?
@@ti1272 只要不怕顯示卡過熱, 可以用ipmi指令手動調速
感謝分享!!想請教一題,StableDiffusion這類生成圖片、影片的模型,也可以透過這樣的方式,來達成高顯存需求的單一推論工作嗎?感謝您解惑:)
StableDiffusion画图直接买24G显存的显卡就行了,上不起4090就上3090。还没到单显卡性能的瓶颈,所以没人优化多卡运行
@@AlphaArea 想問是否是做得到的呢?因為在嘗試影片的生成,長長超出VRAM線限制,目前用A6000 48G,如果再上去就是H100那種了,所以才想請教看看多卡運行的可行性:)
@@user-if9yk3qm5y 現在也有支援多卡並行的高效圖片/視頻生成框架 xdit-project/xDiT, 但是不確定對老顯卡支持如何, 我還沒有試
4:53 看起來這個方案不需要支援Nvlink,這是不是代表可以用多張4060Ti而非P100?
4060Ti一樣有16GB VRAM,浮點性能更好一點,功耗更低,也沒有公版計算卡那種超吵散熱問題,雖然比較貴,但拿來玩推理或許也是一種解方?
4060Ti是牙膏倒吸的一代,VRAM带宽还不如3060,不适合跑AI
@@AlphaArea 那用3060呢,有没有可能把噪音压制在能够使用一个房间隔离的程度,甚至可以放在同一个房间不感觉吵
@@asdjkm2484 为什么不省点钱买2060 12G。2060是这期视频的备选方案,但是我实在是不想碰矿渣,加上考虑到VRAM没ECC就没搞
@@asdjkm2484 3060太慢,不如P100改散熱,想省心省力可以考慮3090礦渣,但貴而且是礦渣
請問下那張OLD MASTER設計的擴長卡有得賣的沒有?如果GPU用AMD的是否也能這樣用?謝!
这是个开源项目 oshwhub.com/malong/PEX8796_PCIE_GEN3_24PORT_Switch
在闲鱼应该有商家卖成品
@@AlphaArea 好的謝謝
Spectral Compute宣布推出“SCALE”,这么说起来AMD的gpu也可以尝试尝试了啊
可以用Speculative Sampling达到更快计算速度
光是那顆2000瓦就值2000了吧
為什麼不用gemma 2 27b能力接近llama70b的
gemma能出2,llama后面也会出4的嘛。我刚开始研究这套服务器的时候还只有qwen1和llama2呢。
综合来说模型还是越大越好的,只是新训练技术一般都会先在相对小尺寸的模型上应用,所以会呈现出交替进步的效果
请教UP,没搜到4028GR准系统好价,求个关键词。另外4张卡用7048GR怎么样,准系统不到2600。
7048GR上的4块显卡分别连接在两块CPU上,通信延迟超级高。属于前AI时代的遗留,不适合跑现在的多卡并行推理
@@AlphaArea 注意要买4028GR-TR2,主要的8条pcie插槽都是从单个cpu引出的。如果4028GR-TR的话,主要的8条pcie是用两个cpu分别引出的,那这两组显卡之间的延迟只会比7048GR更高(因为PLX)。另外注意,20系开始的消费级显卡已经不支持基于pcie的p2p了(除非nvlink)。所以必须要通过cpu中转。
@@zesenqian1591 谢谢佬儿,看来只能选"战斗机"
@@AlphaArea 多谢佬儿,原来差在这儿了!
pcie的v100可以用这套方案吗
可以, 就是太贵了, 不然我都想直接插满V100的
我還是掏卡給groq了,不是顯卡,是信用卡
精品
可以混搭顯卡嗎 3080 ti 12G 搭 3060 12G 或 P100 之類的
llama.cpp及衍生軟體支援的就是這種混搭。永遠只能同時用到一顆GPU,無論加多少顯示卡都只加顯存不加速度,而且一塊速度慢的卡加進去就能把速度帶崩
@@AlphaArea 懂了,謝謝!
没看到700的,都过千
大哥 gpu p2p和有没有pcie switch没关系
intel CPU的PCIe端口間P2P性能普遍有問題,個別型號還有嚴重問題。避坑最簡單的方法就是上顆PCIe Switch啊
P100是pascal架构,他的半精度运算好像pytorch不支持
如果想要pytorch的混合精度支持,好像起码得是volta或turing架构
另外一些研究:2080ti(图灵架构)开始,消费级显卡就阉割了基于pcie的p2p功能,只能用nvlink(只能两张显卡)。老卡p100(帕斯卡架构)是支持基于pcie的p2p的。
所以说,如果你打算买p100这系显卡的话,那视频里推荐的基于pcie switch的4028gr是个好选择。如果你打算买更新一代的消费级显卡,那还是买直连pcie的7048gr。
现在追求高性能的推理框架基本都是丢开pytorch自己实现的,所以不太受这个影响
@@zesenqian1591 消费级显卡也别买7048GR,跨CPU的内存访问仍然会严重增加延迟
P4能玩点啥,自己玩小模型就可以了。
P4基本就是个节能版P40,用ollama试试能跑什么算什么
太大,太吵了。。。本还想弄一台玩玩来着,被这个起飞的声音劝退了
我只弄了一張p40隨便玩玩,由於原裝散熱模組的限制,全速運行時散熱風扇聲音一定很吵,因為進氣口就那麼點大,如果要玩tesla計算卡又想要安靜的全速運行,一定要有改卡的準備。
放到另一个房间里
我是阳台机房
你可以泡著
可以可以 私有化模型