高通8 Gen3掀桌子,100亿参数大模型装进手机?AI能力深入解析

Поделиться
HTML-код
  • Опубликовано: 23 янв 2025

Комментарии • 77

  • @hudaniel3213
    @hudaniel3213 Год назад +10

    大刘在好多领域有非常深入,专家级的了解。 非常佩服。

    • @Eric-v2m
      @Eric-v2m Год назад +5

      可惜是个深度粉红,看看日本排核废水那一期,就知道他的盲区在哪里了

    • @eaglezhou1243
      @eaglezhou1243 Год назад

      确实很不错,带来了多方面的信息。

    • @eaglezhou1243
      @eaglezhou1243 Год назад

      你可以自己再加工一下, 至少他提供了多方面的信息,还是很不错的。@@Eric-v2m

    • @vc7280
      @vc7280 Год назад

      有专门写文案的团队的

    • @maomingymao1433
      @maomingymao1433 Год назад

      锤子

  • @tsend2008
    @tsend2008 Год назад +1

    感谢最新的介绍,每次最后多留30秒看完广告,也算小小的支持!

  • @键盘男
    @键盘男 Год назад +5

    我还是非常期待,本地可以做chatGPT这种予以理解。例如给一个pdf,能帮我提炼内容,我只问问题,AI回答问题。生成图片只是一个场景,既然能生产图片,就能帮你拍照的图片把路人去掉、去掉电线杆、电线......这个还是挺实用的

    • @kevinzhang9384
      @kevinzhang9384 10 месяцев назад

      Google的Pixel打的广告就是这个

  • @parrykevin45
    @parrykevin45 Год назад +1

    要是列出公式,看着更加直观。

  • @weslyqdfisher295
    @weslyqdfisher295 Год назад +2

    本地算力能做到吗?没有分布式gpt架构还能成型吗?那navida还有卖场吗,可以解决一部分,但是很多算力到手机上说的太早了,而且一些标识库还是需要gpt架构不断的去生成。

    • @leafyoung
      @leafyoung Год назад

      手机芯片是做推理。模型训练还是需要很大的算力

    • @getstevenliu
      @getstevenliu  Год назад

      本地只做推理,INT8精度。

  • @hujosh8693
    @hujosh8693 Год назад +11

    說錯了,你說的不是大模型的原理,是所有神經網路的原理,只要是多層感知器都是這個原理,大模型不是只有前向傳播,反向傳播而已,語言模型本身就不是簡單的事,這個才是真正超出你的範圍的東西。

    • @getstevenliu
      @getstevenliu  Год назад +1

      你说的这些我知道,为了减少篇幅,我只是介绍一个最简单的逻辑。我也没说它只有传播。

  • @jacool3430
    @jacool3430 Год назад +6

    苹果已经在做大模型了,还没发布,属于半机密的项目。最快会在明年春季发布。到时候IPhone会有本地大模型,Siri也会有一个质变。当然,我还是更期待国产手机也都有自主研发的相关芯片和大模型。

    • @专打白皮和狗
      @专打白皮和狗 Год назад +1

      IP16PM估计会有,今年15的销量决定了16必将大改

    • @getstevenliu
      @getstevenliu  Год назад +6

      能提供点机密让我做一期节目吗?给你寄点山东特产当做回报

    • @motizuki1275
      @motizuki1275 4 месяца назад

      现在有没有感觉自己跟苹果都一样像个笑话?😂

  • @Hans-k8e
    @Hans-k8e Год назад

    Hello 大刘老师,请问高通推出的seamless未来可能会有什么差异化优势?

  • @user-ov9ds4bz4b
    @user-ov9ds4bz4b Год назад

    手机soc还有这等事,感谢科普

  • @cgc5221
    @cgc5221 Год назад

    大刘问过两次了,听说过澳大利亚有家叫做Brainchip的edge AI芯片公司吗?目前好像和很多芯片大厂有合作。可以介绍,或者谈谈你个人的看法吗?谢谢

    • @getstevenliu
      @getstevenliu  Год назад +1

      不好意思,评论我有时注意不到。你说的这家公司我不太了解,需要去调研下。

    • @cgc5221
      @cgc5221 Год назад

      期待你的讲解

  • @su2353
    @su2353 Год назад +6

    算力够,那内存或者显存我并没有看到哪台手机够呀!100亿参数的模型,40G运行内存或者显存我想是需要的吧

    • @terryjoun1687
      @terryjoun1687 Год назад

      沒錯,手機平台目前沒有承載這種容量的能力,哪怕是rog也沒看到20+的容量

    • @076lin
      @076lin Год назад +1

      ​@@terryjoun1687它精度是int8所以如果按一個參數一字節算其實才快10GB而以,現在安卓旗艦手機都12GB ram起步了,所以理論上來說沒問題吧,再者其實堆料的部份,我記得一加手機已經有推出24GB的ram,不過確實少見

    • @awesomegmg956
      @awesomegmg956 Год назад

      @@076lintransformer 不可能全是int8除非你根本不搞layer normalization.

    • @gxkim306
      @gxkim306 Год назад

      10B fp16的话 推理也得需要20-21g显存 int8的话就小多了

    • @076lin
      @076lin Год назад

      @@awesomegmg956 確實你說得很有道理,但對這只有45tops的晶片來說要搞100億參數的transformers 大概要就是圖一樂吧

  • @kevinyang4539
    @kevinyang4539 Год назад

    謝謝 !!!

  • @akitohkhk
    @akitohkhk Год назад

    雲運算不
    就好了嗎,只要能連網多少算力也能有

  • @ZhiminZhang
    @ZhiminZhang 9 месяцев назад

    怎么装,有教程么?

  • @独裁政府
    @独裁政府 Год назад +1

    难怪小米14那么受欢迎

  • @mabaoguo1952
    @mabaoguo1952 Год назад +1

    高通这个事情,技术上是可行的。
    但对我等月入只有几千块的屌丝而言,还是说了等于没说。😂😂😂

  • @叶之秋-v9g
    @叶之秋-v9g Год назад +1

    这个大模型,除了生成照片,还能够做哪些运用。

    • @getstevenliu
      @getstevenliu  Год назад

      AI助理,一切AI应用。

    • @叶之秋-v9g
      @叶之秋-v9g Год назад

      @@getstevenliu 听起来,等于是随身带了个AI助理,可以自己训练,熟悉满足机主的需要。那确实还是有用。比如,出门要写个合同,文书什么的,直接就可以用手机生成了。

  • @King96-ub7xt
    @King96-ub7xt Год назад

    有愛國者9000s強嗎?

  • @earneet-
    @earneet- Год назад +1

    它掀啥桌子?100亿参数,按半浮点算都得需要2G的显存,光装上参数都得等一会儿,所以移动设备运行大模型在当前硬件规模下应该都不会做,还都得是云推理,而且云推理也明显有成本优势

    • @getstevenliu
      @getstevenliu  Год назад +1

      云端不见得有成本优势。对于开发者来说,如果他的App内集成的大模型可以在用户本地完成计算,他不需要部署服务器资源。一个100万用户的App,高峰时期并发量上来了,对于云端的算力需求是很大的。你可以想象一下,100万部搭载Gen3(45TOPS)的手机一共是多少算力?如果在云端推理,开发者要部署多大算力来平衡?

    • @earneet-
      @earneet- Год назад

      @@getstevenliu这个太理想了,用户会骂娘的。参数无论是打包在app里还是运行时下载都太占存储,就某个第一方app用的话,集成在room里用户没办法,用户装个十个八个的这种app,它们来回调度争夺显存用户不摔手机才怪

  • @joantsai2821
    @joantsai2821 Год назад

    這集很棒!要是賈伯斯還在的話,蘋果也不至於在生成式AI這一戰,遠遠落後於微軟、谷歌了,唉⋯當初重新定義整個手機的企業,就要沈淪了嗎

  • @ChihHaoChung
    @ChihHaoChung Год назад

    大模型有啥用?

  • @币圈翻身哥
    @币圈翻身哥 Год назад

    手机跑模型太耗电,云端更合理

  • @OAAGOD
    @OAAGOD Год назад

    我在想那些拥有大型算力服务器中心的大厂的ai已经进化到什么程度无法想象,估计在憋大招,也有可能发现了不得了的东西不敢公布

    • @JianYaoCA
      @JianYaoCA Год назад

      他们发现AI在装傻,否则开发者就玩完了

  • @陳志成-l6x
    @陳志成-l6x Год назад

    今天拿到头香😀

  • @OAAGOD
    @OAAGOD Год назад +1

    实质性的变革没说透,个人的智能学习数据库适应个性化智能操作,不断学习进化,相当于私人智能助理

  • @ibelievemoneygrowsontrees5041
    @ibelievemoneygrowsontrees5041 Год назад

    It’s Greek to me 😊

  • @朝辉-w6g
    @朝辉-w6g Год назад

    每秒运算能力吗?😂

  • @garyli9914
    @garyli9914 Год назад +1

    不懂AI產出明明是假的,為什麼會被追捧?

  • @andy8520
    @andy8520 6 месяцев назад

    尊嘟假嘟?

  • @币圈翻身哥
    @币圈翻身哥 Год назад

    苹果的更适合用户

  • @GGG-h8c
    @GGG-h8c Год назад

    塔塔 塔 大留

  • @CocosGo1
    @CocosGo1 Год назад +1

    从历史来看,感觉苹果过度追求的完美主义,一个产品或功能没做到极致是不会拿上台面来的

  • @zyhhwz
    @zyhhwz Год назад

    华为加油

  • @inglam
    @inglam Год назад

    大刘!!你有微信群嘛!那种可供大家分享交流探讨你视频内容技术的!!

  • @xxkk3254
    @xxkk3254 Год назад

    Ai已经泛滥成灾

  • @MrCatMan27
    @MrCatMan27 Год назад

    都只是硬體支援。硬體支援而用不到的功能海了去了。ipv6 早在西元2000就做好。2023了,多少人用到?再換個角度講,如果真的能輕易在高通晶片手機上能順跑stable diff,那麼很快美國商業部禁令就要來了。

    • @goodukdt8822
      @goodukdt8822 Год назад

      那应该不至于。毕竟批量用手机去跑AI。。那真是成本高了。

  • @tyou5779
    @tyou5779 Год назад +1

    对AI的相片,我生理就反感,千遍一律的网红脸

  • @forcebender5079
    @forcebender5079 Год назад +1

    这种芯片AI模型无法进化,只是阶段性产品,中国的忆阻器芯片才是真正的可进化AI芯片。

    • @skyxie5706
      @skyxie5706 Год назад

      就是个PPT产品,中国都是拿着PPT走遍天下

    • @forcebender5079
      @forcebender5079 Год назад

      你确定不是说美国?@@skyxie5706

  • @almighty3372
    @almighty3372 Год назад

    呵呵,我觉得在听拉丁文课!不懂!

  • @stephenchen5940
    @stephenchen5940 Год назад

    沙发

  • @guy7864
    @guy7864 Год назад

    第二