【人工智能】Etched AI推出ASIC芯片sohu挑战英伟达 | 三个哈佛辍学00后 | 融资1.2亿美元 | 推理速度比H100快20倍 | Transformer专用ASIC芯片
HTML-код
- Опубликовано: 8 сен 2024
- 6月25日，三个从哈佛退学的00后本科生，克里斯.朱Chris Zhu，加文·乌贝蒂Gavin Uberti和罗伯特·瓦亨Robert Wachen成立的Etched AI，宣布完成1.2 亿美元的 A 轮融资，并且发布了重量级产品，号称推理速度比英伟达H100快20倍的sohu芯片，到底能不能挑战英伟达呢？
#人工智能 #nvidia #etched #sohu #transfomer #asic
成为此频道的会员，即可享受提前一天，观看频道最新发布视频的福利：
/ @bestpartners
我覺得一開始他們跑贏了。旦接下來又會有一群人改投ASIC，台灣就有許多這樣的公司可以幫忙，聯發科，世芯，創意，還有許多小公司都是在做ASIC.
八成是本來要當礦場，乾脆魔改在AI上用。
世界就是要創新用的，有天使投資真好~
NVDA 自己也在做 Transformer ASIC， 兩年內就會有
那不就成本大幅降低 效能大幅提高？
我还是看好GPU，因为通用性更好，要是transformer架构过时了，那么专门为transformer设计的电路也就过时了。
问题是没什么护城河啊，这个理念提出来，谁都可以做啊
他這個晶片有多少賣多少，但他沒有話語權去包4nm產能，costdown往7nm或是14nm實作，接著不到一個月就會遇上中芯複製大軍，我們可能日後就可以看到這東西跟以前網路卡一樣普及。
老黃要抄作業的話只需要挪1/8位置出來，用chiplet方式封裝transformer asic就行了
只亲和transformer如果算法发生变更就不行了，最近就有做去除矩阵乘的llm结构。
另外他们的ASIC片间通信能力如何呢？很怀疑实际集群能力能挑战英伟达。
在另外，LLM根本是memory bound吧😂 其实TFLOPS没那么重要
还有CB和ASIC没什么关系啊，现在哪个服务框架没有CB?
老黃去年就開始往客製ASIC前進
nVIDIA根本無須擔心。除了軟體方面根深蒂固外，新出現的幾個新對手，完全是不同的領域。training 和 inference的晶片，根本是兩回事！！nVIDIA 或投資人要當心的是黑天鵝的出現！！
有意思，上周看到Google的开发者讲座上提到当前它们多模态AI 全用transformer 的 架构时，我就想到这个程序架构可以考虑硬件化，不享 大飞 今天就来个现成的产品了… 老黄考虑 收购他们的可能性很大哦
在ChatGPT發表前就看上Transformer, 有眼光； 有一個問題是他們能不能及時爭取到HBM的供應和台積電的產能， 很可能是兩年以後的產能了。
台積電的傳統會為這種有潛力的新創公司保留一小部分產線當投資
反正新創公司也不可能有資金包下大量產能，如果成功的話未來都是台積電的客戶
因為是少量生產，所以HBM其實可以先用三星的，反正還擠不進輝達供應鏈
況且一款晶片從設計到流片再怎麼快也要超過半年，新創小公司可能要更久
兩年內可以交付台積電開始生產就算很快了
@@zohar6006我觉得得一年到两年。
感觉多模态不太好用，但是能解决transformer推理效率，能把api价格打下来10倍，也是极大市场了
nice T-shirt !
你这一期非常好！
不看好 transformer ASIC 太直白 是個人都能想到 如果那麼好各一廠一早就布局
再說 transformer 是否沒有更佳的替代方案 ? 我相信肯定是有
如果以後晶片成本降得夠低的話 可能會變成一張AI加速卡 就像以前的GPU一樣獨立出來 以後就變成程式或遊戲會標需要多少等級以上的AI加速卡
看到美国的00后也这么有创造力就够了
这条技术路径其实不难想到。
英伟达，AMD，或者INTEL等芯片厂如果想做也应该不难，但为什么只有这三个小伙子在这个方向创业？
对他们的股票没有好处
@@user-ci7on3gp9u ASIC 是集成电路专业本科生课程里就会教的，是非常传统的解题思路。 Google 的 TPU 就是 ASIC
risk
靠！我也要去休學磨晶片了
這些公司在計算nvidia的運行速度時
多半沒有拿Nvidia官方的Tensor RT LLM下去跑
隨便拿個pytorch或llama.cpp跑了就說測過了
計算基準有問題
另外用ASIC不會比nvidia快，因為都是卡讀取頻寬
頂多面積比較小 比較省電
另外LLM只看DRAM利用率
看FLOPS利用率一點屁用也沒有
Nvidia DRAM利用率已經做到9成以上 逼近理論極限
你唯一能做的是做得比他省電比它便宜
但你根本買不到HBM記憶體，現在光是下訂就要排到兩年後了
要怎麼做贏nvidia?
另外我看他宣稱的技術，Nvidia也都會啊
動態拼接batch這件事早就有了
除非你像groq或Cerebras做純SRAM架構才有可能成功
如果他不是打SRAM這個賽道的 那麼出廠即進垃圾桶
@@chishengwu7775 省錢又省電，Sohu 是否適合偏門或冷門的 AI 語言模型市場？
@@chishengwu7775 高手
業界大魔王沒那麼容易打敗的
… 我把世界的一半分給你（併購 Y/N
Etched 提供了一种思路，就是AI 需要以一种或者几种通用network来完成主要工作，然后这几种network都有专用的芯片。 老黄还是回头玩游戏😂。
把LLm的token运算当做比特币挖矿来对待，非常正确。只要transform架构技术不被淘汰，这个专用矿机芯片就非常高效。Groq 芯片 也是这个思路。具体实现不一样。
要用asic超越GPU不是没有发生过，就是挖矿那一波，现在那些上市公司还在呢
是吗，老黄抄你作业怎么办
大公司炒不了作业，所以大多数新技术都是来自于创新公司，谷歌投入那么久，还是transformer 的发明者都抄不了OpenAI的作业
老黄抄作业不如直接收购。
基本不敢抄！因为会被告到破产！
但是祖国除外！
肯定会抄的
无脑，以为啥都能抄
老黄就是台风口的二师兄啊😂
和 groq 的技术方案有什么区别❤能出一期讲讲吗🎉
最後的評論甚是，隨時被收購！但也無妨，這些年青人 All In 不會死的，有的是胆量及知識，這個項目不行自有另一個項目，而且所以謂 All In 只是有投資的資源為自己吸收經驗！如果我有這樣的腦袋及回到年青時，我也會來一個 All In！😅
100000B， 哇～
很快的就會被Nvdia收購
人家還有GPU GPU串聯技術. 軟體生態
以及TRANSFORMER也不見得會是唯一使用的模型架構
ASIC化大家一定有想過 但為何GPU公司沒有即刻開發
我想一定有看到甚麼是我們不知道的
就跟當初挖礦一樣 換個算法 礦機就廢了
重點是GPU軟體生態系與CUDA高度依賴性無法超越
不管誰開發晶片都會被說要挑戰Nvidia ，但他們是不是忘了要去台積電綁樁比較重要？說穿了英偉達畫得出晶片他可做不出來呀
英伟达取得今天的成绩也不仅仅是因为硬件性能好。AMD的显卡光看数值并不比NVIDIA差。但NVIDIA成熟的软硬件生态和一体化解决方案（包括售后服务）不是几个初创公司能够比较的。
Etched is likely looking to get acquired
要講幾次 重點是生態圈
要比asic goole tpu會讓你吃這塊餅嗎
打不贏就加入，雖然在風頭上誰都捨不得賣公司吧
@@user-xj2me1zq8h我倒覺得他們會想賣公司
不知道前阵子出的那个Groq又是什么。
所以sohu的制造成本是多少呢？
看谁先卷死谁？😁
只是推理，没有学习，竞争力不够。
Wait, is this inference only, or for training too?
inference only
@@bestpartners so how does it compare to Groq, which is a more general approach?
大家都想學英偉達那種從幾人小公司發展到全球第一市值的巨無霸公司.英偉達卻要學台積電一樣培養自己的護城河繼續鞏固領先的地位.
而護城河不但是自家的技術領先也要讓其協力廠共同精進..
中國一早有一堆這類專針化芯片設計品牌, 現在都倒了九成九了,因為單一功能芯片和通用性問題,一直沒法解決. 還有產品可靠性,巿場位置等等, 小資本一下就卷沒了. NVDA也是卷卷卷贏下來,沒有遊戲卡和前段礦潮,積累資本和技術沈澱時間,,也不可能有爆發期,.
不看好，这种在生态上极度贴着环境进行进化的，辉煌的很快，但是当环境有变化的时候，死的也是最快的。IT历史上，专用设备是干不过已经形成社区的通用设备的
功能機對比智能機？
現在是有人設計單純功能的智能機。
我脑海里的问题：谁会是客户？微软亚马逊这样的云厂商吗？如果大量部署在dc中后transformer架构出现升级调整引起硬件不兼容或甚至transformer被淘汰，谁对购买这堆硬件的决策负责？另外台积电有富裕4nm产能给这个客户都不确定的产品吗？我觉得这两个问题关系底层商业逻辑。
@@bevinsiqiruan3023 car manufacturers, where high-throughput tokens/second matters... imagine, several LLMs running locally on each car.... satellites, possibly
transformer被其他模型取代了怎么办？这个赌的有点大啊。cuda就没有这个顾虑。
再研发别的 ASIC
是想打破nvidia的壟斷吧。
长江后浪推前浪，世上新人赶旧人
只能inference
高端芯片这么容易设计的吗？
这有些misleading了；对LLM优化的结构跑不了Sora这类vision model的。
maybe it can do better
喔 是嗎 那也要看台積給不給你產能
都B200 了 你是 lag ?
這跟NPU TPU有什麼不同？
更专用，完全不能用来训练，仅仅只支持transformer推理。sd这种生成图形的就用不了了，npu和tpu起码都支持其他应用
为什么英伟达的一众科学家工程师没想到
how old is Nvidia?
large corporations become slow over time, plus it may be a risk that Nvidia might not be willing to take.
Etched's vision has an R&D flavor to it
@@manonamission2000 Hope you r right
pipeline
现在关键的问题是training。单是推理的话，清华有更快的芯片。
第二
收购不了，反垄断
after November elections? 😅
３年內就沒有人會用transformer
transgender
transporner
下一代框架如果沒有革命性的表現，取代transformer要用最少最少最少十年，typeC出了就沒有人用typeA嗎?
感覺蠻蠢的，馬上transformer又打不了
"融资1.2亿美元 " 的確 "蠻蠢的".
@@ToX_79 SSM打趴qq
Etched會打敗AMD Intel
英伟达竞争对手真多
soho chip 若真的自诩这么厉害一轮集资可怜的一亿多，做高性能人工智能晶片才一亿做包装盒都不够预算