Mac跑大模型,首选LM Studio

Поделиться
HTML-код
  • Опубликовано: 11 янв 2025

Комментарии •

  • @huanyihe777
    @huanyihe777  2 месяца назад

    订阅ChatGPT、Claude,用Wildcard,支付和海外短信都有。我个人一直在用。用这个链接注册,请我喝杯瑞幸:bewildcard.com/i/Z42NWXNL
    RUclips会员:ruclips.net/channel/UCPpdGTNbIKdiWgxCrbka4Zwjoin
    Patreon:www.patreon.com/newtype_ai
    知识星球:t.zsxq.com/19IaNz5wK

  • @Ali-d4f9m
    @Ali-d4f9m 4 дня назад

    每次看到精彩的地方都忍不住赞叹,真棒!

  • @gaozhe
    @gaozhe 2 месяца назад +1

    lm studio在已经挂了梯子的情况下还是无法在lmstudio下载模型,是需要加白名单还是?

  • @mintisan
    @mintisan 2 месяца назад +6

    ollama 呢?

  • @陳詠-d3c
    @陳詠-d3c 2 месяца назад

    如果要做機器學習跟跑llmm推薦mac還是windows?

  • @kikiki-gm7kg
    @kikiki-gm7kg 2 месяца назад

    MacBook Air M2,16g 内存,跑哪个好,老板

  • @ZhengdaLu
    @ZhengdaLu 2 месяца назад

    同样流畅的windows配置得啥样的

  • @kkhc1068
    @kkhc1068 2 месяца назад

    想問ー下,滿血M4 Max 128GB RAM 和殘血M4 Ultra 64GB Ram ,買哪個🤔

    • @xumx
      @xumx Месяц назад

      M4 Ultra 都还没出,这个问题没有答案

  • @Sweetdreams-e5c
    @Sweetdreams-e5c 2 месяца назад +1

    坐等qwen2.5 32b mlx版的

  • @xueyuandu
    @xueyuandu 2 месяца назад

    大佬,m4现在出了,预算有限。我想用本地小模样。m4 pro满血版和m4 32G残血版怎么选呀?

    • @huanyihe777
      @huanyihe777  2 месяца назад

      按预算上限买。我准备买16寸Max了

    • @xueyuandu
      @xueyuandu 2 месяца назад

      @ 老师,m4 pro满血版和m4 32G残血版,这两个分别是2.2万和2.6万。m4pro 满血内存64G,但内存带宽273GB/s ,m4残血内存36G,带宽400多。一个内存大带宽小,一个内存小带宽大,我主要是用来部署小模型做rag推理,是买m4max 么🤣

    • @xueyuandu
      @xueyuandu 2 месяца назад

      错了pro是48g

  • @kailianjacy6958
    @kailianjacy6958 Месяц назад +1

    大哥你倒是比较下快了多少,急死我了

  • @吴尧-e4r
    @吴尧-e4r 2 месяца назад +8

    你这视频是越来越没用了

    • @orbsat
      @orbsat Месяц назад

      水视频

  • @chankwongyin7455
    @chankwongyin7455 Месяц назад

    Ok followed😂

  • @Brainwu
    @Brainwu 2 месяца назад

    网络都通,为什么下载模型,没有下载的内容。

    • @davidchiang2207
      @davidchiang2207 2 месяца назад

      你的版本錯誤。重新去官網下載

    • @Brainwu
      @Brainwu 2 месяца назад

      @@davidchiang2207 下载的是官网的最新版,但是我的苹果系统是最新的mac15.

    • @gaozhe
      @gaozhe 2 месяца назад

      我也是,已经是最新版本了,梯子也挂了

  • @kaihsiangju
    @kaihsiangju 2 месяца назад

    不是 一般說蘋果AI落後 講的是落後google openAI Meta等公司 講的是大語言模型的訓練 然後你說的是Android !? 我真的很懷疑你這個水平可以說自己把AI 的why 跟how 講明白。蘋果如果自己的AI 模型夠強就不用讓apple intelligence串接openAI的模型阿

    • @huanyihe777
      @huanyihe777  2 месяца назад

      AI发展不是只有通用大模型一条路。端侧模型是每一家的重点。而是苹果的端侧方案也不是只有一个3B小模型。你了解的话就知道Apple Intelligence的含金量。还有,接OpenAI的模型只是锦上添花,并不是依靠别人的模型。你把苹果那篇技术博客看完就明白。

    • @kaihsiangju
      @kaihsiangju 2 месяца назад

      @@huanyihe777 我並沒有否認apple intelligence或是端側端模型的含金量 但客觀來說沒有人會說蘋果在ai方面追平或反超 因為蘋果的模型現階段就是和別人有差距 如果你要說的話就負責任地說(端側端可能追平或反超 但整體ai方面跟其他大廠是差距遙遠的)。我就是做ai相關的研究的 無論是蘋果的技術blog或是他們發表的學術文章我都看過。儘管錦上添花 但 apple intelligence本身會需要串接別人的模型已經完全說明了他們自身也認識到這個問題 要不然以蘋果的個性任何能夠自己做的事情 絕對不會假手他人 無論雪中送炭或是錦上添花。簡單來說 你如果說ai推理方面的軟硬體整合能力 那蘋果絕對是厲害的 但"ai"本身的話 那就離譜了

    • @huanyihe777
      @huanyihe777  2 месяца назад

      @@kaihsiangju 没有人会认为苹果是一家模型厂商,对吧?同样,也没有人会认为OpenAI是一家终端厂商。所以,当我们谈论苹果在AI方面领先还是落后的时候,肯定是基于它是一家终端厂商的身份。就像我们说特斯拉的AI肯定是放在自动驾驶范畴内去谈;说OpenAI的AI能力也不会扯到能否在端侧部署。抛开身份、定位这个前提去谈能力强弱就是瞎扯。

    • @kaihsiangju
      @kaihsiangju 2 месяца назад

      @@huanyihe777 話不是這樣說的 不會因為你自己定義它是什麼公司你就可以輕易地給他訂標準。要不然google meta本業也不是模型公司啊 但人家在ai模型方面的積累就比蘋果強多了 你如果真的有去看他們發表的學術文章就知道了。如果照你這邏輯 蘋果也搞了他們自己的apple arcade的遊戲 因為軟體生態的整合 所以遊戲和設備的整合性上也齊平或超過android或pc甚至其他遊戲公司, 然後又因為蘋果不是遊戲公司 所以以這標準來說 你就可以claim蘋果在遊戲產業齊平或超過其它?這整段話都看其來沒問題 但因為你自己的認定限縮了比較標準導致結果和認知和別人差異 這問題顯而易見吧。 端側端部署只是ai的一部分 這部分相信蘋果是很厲害的 但模型方面他們也是想自己搞的 信不信之後蘋果一定會自己開發他們自家的server端大模型 這個時候你又要怎麼說他們的ai? 把比較條件說清楚應該是很基本的吧。我給很多業內的朋友看了你這論述方式 真的是歎為觀止。

    • @BolinLai
      @BolinLai Месяц назад

      影片作者講得不精準,但也沒有說錯。網路的留言幾乎認為Apple 的 AI發展落後,沒在關心是哪一部分落後,只覺得"全部"落後。
      AI也不是只有大語言模型吧?那Nvidia為何市值飆漲?為何蘋果在發表Apple Intelligence之後,股市也算穩定上升?工具也很重要。
      APPLE多年自研晶片的成果,或許能加速本地端 AI 大模型的普及。

  • @slotsmaster8877
    @slotsmaster8877 2 месяца назад +1

    本地模型再怎么样都是垃圾,尤其是需要编程这样的任务,和claude,4o,deekseek这种大模型比起来差太多了

    • @huanyihe777
      @huanyihe777  2 месяца назад

      试试qwen

    • @slotsmaster8877
      @slotsmaster8877 2 месяца назад

      Qwen2.5 72B算是强的,但是和deepseek在编程上面的差距也不是一点两点。这些模型在蒸馏和量化后的性能损耗不是一点半点,尤其是需要他们进行推理的时候。

    • @EasyAI-InAction
      @EasyAI-InAction 2 месяца назад

      @@slotsmaster8877 Qwen2.5-coder 实测效果不错,能够理解多步编程指令,比deepseek要强,和官方的benchmark表现比较一致!