什么显卡能让ChatGPT跑在本地? 计算卡语言模型性能分析
HTML-код
- Опубликовано: 5 сен 2024
- 相信最近不少玩 ChatGPT 的小伙伴经常碰到输出速度慢, 甚至是平台算力满载的情况. 与此同时 ChatGPT 加持的新版 Bing 又处在排队中, 这说明大语言模型的应用是建立在高算力和大显存的基础上.
那什么显卡能跑得动 ChatGPT? ChatGPT 资源的瓶颈在哪里? 今天这期视频就来分析一下
#chatgpt #nvidia #bing #openai
Bilibili: space.bilibili...
Twitter: / luvletter_moe
【赞助本频道】
Netflix/GPT-4/Midjourney/Apple TV+合租车: universalbus.c...
自己建應該比較不會變敏感問題查詢器
从A100等高性能GPU被限制出口中国来看,国内这几个叫嚣很快推出自己的ChatGPT的公司从算力实现上也很难办到(?)
恐怕这几个公司首先要考虑的是什么问题不可以回答
中国的只能算一半。遇到敏感话题全部XXX。
能出口,中共给白宫塞了钱,美国商务部给了一年缓冲期
@@xy5572 在算力上来看这比chatgpt的要求更多,墙内公司更难做出来了😝
@@lingstein3500 所以说百度阿里腾讯还是老老实实的送外卖和互联网借贷比较好 专业的事请让专业的人来做
不错的科普视频
个人笔电产品使用chatgpt和衍生的软件,是win的独立显存加x86架构好,还是arm版本的Mac OS 好,甚至是iOS更合适?
chatgpt跟你硬件性能没有半毛钱关系,硬要说吧,就跟你网络有那么一丢丢关系,所有平台都不见得有啥很大区别
@@kit00001他说的应该是未来本地化小模型
抛开算力不谈,有一个问题是像chatGPT等大模型openai耗费大量的数据以及金钱去训练,本地使用的话是否需要获得整个模型的权重?因为模型的价值应该也要保护,感觉比起算力,这个可能更难解决,就算诸如现在的联邦学习等,都是保护了用户的数据,但是用户还是拿到整个模型来本地训练,因此模型的保护可能比算算力更难解决。
当然需要训练结束的权重的,不然你拿不到权重等于需要自己从头训练这个模型,这个个人根本做不到。所以想要本地跑起来,简单来说就是如何把模型权重和模型本身塞进显卡里。
应该可以用专用集成电路吧,不一定GPU,我记得证券交易所计算就是专用集成电路
类似比特币矿机算力卡那种东西
如果那样的话 英伟达不应该一块GPU那么贵
好像新卡不支持吧,我让得有人测过chat2啊,配在本地用的A100
怎么感觉苹果的方案好像有本地跑得动的未来啊
還真的
就是有马没“通宝”! 他们要换卡卖是他们的自由!
今天反过来看 林亦LYi刚出的Mac studio在AI领域能和英华达扳手腕,就很搞笑
我个人反倒是认为ai领域硬件和软件都有优化空间,反正才发展了十几年,说不定过几年又有新东西横空出世了。
永远都是供耗问题 你性能提升 一定要够电 够散热 能源电费涨了 电源供应器也要涨价 根本是个恶性循环
口齿太不清了。。。