M4芯片，苹果应对大模型的「第一式」？
HTML-код
- Опубликовано: 8 май 2024
- 面对大模型的「来势汹涌」，苹果终于祭出了它的「第一式」：M4芯片。这个芯片，对苹果来说绝对是一个转折点式的存在，因为它有一个非常重要的参数相当炸裂，那就是它的Neural Engine蹿升到了38TOPS的算力。按照苹果官方的说法，是比目前任何AI PC的神经处理单元都要强大。
The M4 chip, Apple's first move to tackle large-scale AI models. 
Наука
我手上的M1 Pro Macbook 的NPU 是 11TOPS，做小數據模型學習的時候因為IO快的關係，其實是比用顯卡的服務器要快的，38TOPS是超過目前3倍的處理量，對經常在筆電上處理數據的人會相當有感
老實說我用M2(16GB)也能夠輕鬆運行7B (quantized)LLM，反應速度基本上和GPT差不多，當然運算量少很多，但是對我而言已經覺得很震撼同埋超出預期。
@@peterwan小P 我跑stable diffusion 還是慢了點，只能說勉強能跑，圖形佔的資源還是大
大刘是妥妥的果粉，特斯拉粉。我觉得马斯克是很了不起的人。但是库克得弱点已经很明显了。苹果底子肯定还在，但是一个长期生活在政策保护下的公司，创新精神不会太高。
对 现在苹果的产品不极致了，也不好用了。永远怀念intel的mac
庫克是走 健康流派的
看这像诺基亚@@PaiChen
@@fugue5204桌面mac还可以，macbook 还是m系列强很多。
你在做梦吧，妥妥的果粉，你看看之前他对华为的评价，你猜会看出来他是华为粉还是苹果粉？😅😅😅😂😂
还得配大显存大硬盘
CoreML 模型通过Apple Neural Engine 运行速度很快，内存消耗也很少，但似乎只适合小模型，遇到参数大的模型，加载前要花好几分钟的时间来编译缓存
在M1 MAX 就可以做本地大模型了吧，只要Ram 選夠都可以，林亦都做過影片，邊緣計算應該是說本地網"其他設備"使用AI 功能。就如私有雲差不多
然而siri还是跟谢特一样
你格局小了。
完全是屎 我格局一樣小
講到AI運算只會想到Siri? 就和說道手機只會想到Apple 安卓一樣。
Siri 濫是一回事，但和M4 有什麼關係？
就說格局小不服來辯。
小了 格局小了
Siri不是ai 這集也只討論硬體架構
大刘，这个虽然好，但价格暴击啊，感觉和老罗tnt一样。个人认为m1和m2会卖的好一点。
M4的上限卡在iPadOS 蘋果狠不下心讓iPad當Macbook 當初吹的What's a computer都是浮雲
正确，因为iPadOS，性能纯纯的浪费，纯纯的过剩，还特么只有买1T版本才完整，还越来越贵，我2020iPad Pro还能再战三年
正解，iPad 装不了 macOS，永远都只是泡面盖
macos的开源ai生态尚且挣扎了，ipad就是纯浪费，不过ipad从算力角度完全可以上macos了，算是最强轻便MacBook，但是全放开相当于砍掉ipad这条产品线，对于这两部分加起来年营业额变化还不好说。不行就顶配大屏款才放开macos整合权限，这样利弊权衡最优，从屏幕尺寸角度也好跟用户交代，连名字都起好了叫Macpad，比同尺寸MacBook贵上200刀，键盘还要单加钱，拉开产品差异
还是看具体运用吧，有什么作用最重要。
38TOPs确定很强，期待AIGC在个人电脑上开花结果。
算力和跑动的关系是什么啊？
英伟达的orin就有20-100tops几个版本，几千块而已。npu到了40tops左右，肯定还是要gpu才能跑大模型的，本地的7b模型，38tops可不够，需要用tflops为单位
PC +NV 的顯卡隨隨便便就超過50Tops ，就連NVIDIA Jetson Orin NX 16GB (2023/1 月上市)都 可提供高達70 TOPS~100 TOPS的AI性能。NPU的算力還是差GPU一節。但是功耗是比GPU低的多。
赞同，4090的tensor 单元算力都超过一千Tops了，而且显存容量和显存带宽也远高过这次的ipadpro上的m4，媒体却直接苹果宣传m4秒杀市面pc让人有些无语，ai pc这个词实在是具有误导性，让人以为是所有消费级电脑,事实上只是intel的对应的产品线而已
你也不看看 gpu 有多貴，想要 ai pc 普及，還是得看 cpu 升級，使用獨顯得價格是一般消費者無法接受的。
等wwdc吧 看看m4会搞成啥样
👍👍👍
很多人說價格太貴，可是M4晶片在最新洩漏的跑分中，表現真的是遙遙領先，連高通最新的Elite X都贏不了，所以我認為很值得
首先先要买得起 客户群就那么点😅
M1以经领先了……
@@wzwtank M4 未來會登陸Mac 平台，到時候價格就不貴了。特別是面對商業客戶的話這個價格面對他的性能還有附加的資訊安全考慮，還真的不是沒有可能購買。
视频说苹果早期没预了到Ai，其实不完全是苹果电话早就有小型Ai了如图片辨认能力，找照片任意输入文字也会找到相对照片的
我也覺得蘋果非常冤枉，硬件一早就支援不少AI功能(ML)，軟件有一組支援了很多AI功能(ML)，但是因為長期UML因此被一般消費者認為只是一個普通的操作系統和AI沒有半點關係。
@@peterwan小P請教一下，uml是什麼？
期待六月的WWDC有什么王炸式的操作系统发布，带动股价再再上一波🎉
先有硬體而軟體落後一大截
等到真的門檻低且好用軟體出現 又有更新更適配的硬體了
這個M4我先不上車
aipc？不就是国内09年就有的那台1699的笔记本吗？！苹果这算啥 咱们可遥遥领先😜
那个普通客户需要这么大的算力？
苹果的高端系列一直是面对设计师和程序员
应用级AI 在设备上本地运行 还是不错的 例如修图 剪辑视频 一般人也很常用
看起來你是誤會了pro 系列的定位。
用来算什么，有应用吗?
說出重點來了
小白问题：这个 和 4090哪个厉害？
比4090差得实在太多，4090即使不做量化，FP32精度下也有82TOPS, 更不说4090的 Tensor Core 理论性能到 1300多TOPS, 我觉得有时候苹果的商业宣传太不实事求是，为啥要和 PC 对比，功率和散热配置上的差距摆在那里
價格太貴 ！
發佈會上只展示剪片時可以自動去除背景,對一般消費者看不見吸引力。
除非有apps能帶來前所未有的體驗,否則不會有人願意多花金錢買M4
要剪片的都選MacBook ,要Ai的會選線上工具。
4000马力引擎 底盘没有加强 没有特定轮胎 没有大卡钳 就只是性能过剩产品😅
去背只是非常小的一部分，現在是能加上背景，而且栩栩如生，也就是未來你在台北小房間擬稿，你可以假裝你在紐約做直播，而且路人都是透過在地監視器拍攝真的。未來你可以拍戲，先剪裁出戲服掃描過，隨便找些演員念台詞，就能套上大明星加這套戲服，完成一部電影，甚至能復活豬哥亮去競選總統（假復活，就虛擬的影片，反正多數人並不曾真的見過蔡英文或賴清德，都是透過錄下來的影片或照片來認識他們）
不是所有人用的方式也是能夠使用AI線上工具的，有部份project 還有公司因為資訊安全理由是不允許使用第三方AI的，這個時候能夠本地運行是一個優勢也是對資訊安全的保護。
高通的8gen3 NPU宣稱有45TOPS算力，CPU+GPU+NPU總和73TOPS，這不比M4的NPU香嗎? 只是不知精度是多少就是~
int4而已，实际差远了
手機 AI, 隨問隨答
你用来训练过模型吗？
那得32G内存吧，苹果这个内存价格应该可以卖到6万了
等mac mini 满血M4 了
看完了。但是，说了些什么
太贵了，毫无冲动！
是的呀，一万多块的pad，真是下不去手。
可惜了，ipad 的系統並不能作為生產力，各種bug
😿
但如果是為了屏幕而買的話，那又有性價比的
其实，苹果ultra二代手表最大的升级就是他支持了不用联网的Siri，虽然不能算是语言大模型，但是确实使用体验非常好，一点二代我都有看起来外观一样，但是二代使用体验明显比一代好，我想说的是从这上面看苹果对本地语言识别的深耕应该是有一段时间了
水果越來越沒有吸引力，只能一直堆疊算力，要不是老米不要臉搞手段，掐著荷蘭和台積的脖子，水果店很難撐下去
AI发展太快，以后国家之间的差距就更大。人类也就越来越危险。最后估计把互联网给断了。
只是苹果的商业宣传而已,38TOPS的算力远不如4060的Int8 算力，怎么敢说最强AI PC
算得比較快跟算的有效率是兩件事
獨立顯卡GPU算力比較高 但你得看他是花多少功耗跟面積換來的
M系列架構或是AI PC說的NPU
是設計用來做經常性的模型推理用的
注意關鍵是"經常性"
桌機可能沒差別反正你都插著電 但如果laptop那差別可就太大了
現在所謂的AI PC指的通常是laptop的使用場景
本質上不是同一個賽道
节目质量越来越不行了啊
这个38Tops 不就是跟A17Pro一样吗？ 苹果的优势是统一内存可以当显存使，不过大内存的苹果，只能说比A100这类的有性价比。。。。
蘋果M4的AI 運算可以對 右打nvidia, 又左打intel 的晶片,不講武德嗎 ? 還不止更要一家蘋果打10個..!!!
你想多了
一句都没听懂啊
果吹的太夸张了
只有極少數人才需要的算力。浪費資源
apple是想串聯一堆mac來做大語言模型嗎😅
不需要串連一大堆Mac，M2 就已經可以本地運行語言模型。
苹果在ai上的技术储备已经落后了
砍大核給人的觀感真的太臭了
如果我有1万元我会买英伟达显卡
AI的程式邏輯跟一般程式不同才需要專用晶片來跑，
所以說蘋果拿來處理圖片、Face ID？也太唬爛了吧，
是蘋果給的稿子就這麼寫的嗎？
没有有用的软件，再强的硬件也没有用。
iOS 平台上當然有很多可以利用NPU 的軟件，應該是你沒有了解，例如draw things，可以直接在iPad和Mac上運行Stable Diffusion （本地生成圖像修改圖像）。
苹果从M1就吹得神乎其神，但到现在也没有啥神奇的应用，你接着吹
真不知道你用过了没 m1绝对是跨时代芯片 市场也证实了这一点
@@ryanzeng7959 你證明不了阿? 要推給市場? 我可不是傻子你看這麼多人用?
@@uleu4979 我的确证明不了。但你看苹果财报就能证明了。对比m1推出后mac部门的营业额。
@@uleu4979 市场有数据可以查 对比m1推出后 mac部门营收有没增长对于intel的营收就好了
小粉紅要等華為也用ai後
就會開始回頭吹了☺️
老哥别吹了，，，，现在我听着都感觉尴尬😂老哥核心就是看不起国产。。。尬吹特斯拉苹果
你是能看清本质的。
承认别人先进这么难吗，你伟大祖国发明了什么芯片？
对的，他遇到特斯拉都特别起劲。
@@lijinping 在怎么牛逼也是个电子消费品，啥处理数据的速度，苹果封闭式环境就干掉了很多用户，还有AI别吹了，使用场景有限就办公场景，你们看就开车这种场景AI都十分吃力，你个平板搞这么贵的价格还不实用，啥年代了，哈哈哈还在卖内存，我身边好多苹果换国产的，，，，，
@@amg9467 真是个杠精，我就一个消费者，我要实用啊，水桶效应啊，你告诉我，这玩意有啥用？？？平板上面
真搞笑。。。信仰充值就充值呗，你跟华为搞爱国充值也行啊，要么就小米堆料，妈的自己吹个参数还不能让我说了？
取关了，看清这个美吹了。
在iPad上强调NPU不知道有什么意义，有几个人在iPad或iPhone上用CoreML框架？即使用MacBook跑深度学习，也是用python的那些框架，Apple那一套没人用
跑跑圍棋AI軟體其實挺強的，可惜ipad os系統本身太弱，所以被閹割不少能力
你的iPhone和iPad每一天也在運行coreML， 而在最新的A18芯片即使是玩遊戲也會運用到NPU， 你每一次影相之後iPhone也會運用NPU分析相片，進行摳圖，以及圖片搜尋（需要自己選取）， 即使是使用python tensorflow，NPU 在特定場景也可以使用，而且也需要import apple 的library， 還有這也有可能和業界競爭有關，就像安卓整天說AI Phone 按照你的說法也不知道有什麼意義，然而假如希望在使用者角度來看這件事的話那麼NPU很有可能是令機器更加個性化的下一個技術突破。
edit: 修改錯誤（不準確）訊息
@@peterwan小P 您说的用和我说的用不是一回事吧？
siri多少年了，他們要成，造成最強ai公司了。蘋果就這樣了，和波音，可口可樂一樣，好吃好喝，毫無動力的壟斷巨頭。
苹果虽然是其他行业垄断巨头，电脑行业还早着呢。
谷歌微软这些做软件的才是毫无动力 做硬件的应该还是有危机感的
@@oahzyw1 請問危機在那裡？華為幹廢了，三星是聽話的，整個場子都是蘋果說了算，誰贊成，誰反對。
@@oahzyw1 头部软件也很卷啊，谷歌被赶着研发 gemini，不然自家主业要被颠覆了，微软推 copilot 和 new bing，脸书押注虚拟现实连公司名都改了，还开源 llama2/3
@@tommycotton940 可以参考同样是美股七巨头的特斯拉 被别的新能源汽车瓜分了市场 说明硬件这东西是可以追赶的
2万，谁买？
卖那么贵，
中国要不遗余力地赶超国外科技最高水平，力求应用科技全球领先、成果最多最大最好！