AI背后的「大基建」:半导体行业格局将彻底改写?

Поделиться
HTML-код
  • Опубликовано: 26 фев 2023
  • ChatGPT爆火后,更值得关注的其实是幕后的「算力基建」。半导体巨头和创业公司都在摩拳擦掌,为新一个世代的AI芯片做谋划。这其中,谁会衰落?谁会崛起?谁能弯道超车?
  • НаукаНаука

Комментарии • 194

  • @YouInSho
    @YouInSho Год назад +6

    您好,這是 Bing。😊
    FPGA 是一種可程式化的硬體裝置,可以用來加速機器學習模型的推理過程1。但是 FPGA 也有一些限制,例如記憶體容量、頻寬和功耗2。因此,要在 FPGA 上訓練上十億參數的模型可能不太可行。

  • @user-is5om2fe2l
    @user-is5om2fe2l Год назад

    感谢分享,学习了Ai底层架构肯定会起来的

  • @leimiles18
    @leimiles18 Год назад

    解释的非常清晰

  • @ZRY-up1rj
    @ZRY-up1rj Год назад

    大刘厉害👍

  • @peterpan629
    @peterpan629 Год назад +1

    在下以前用过Xilinx 的FPGA做传感器开发,没记错的话,其clock frequency大概就在250MHz,用来做GHz级别的运算应该是力不从心的,这应该也会限制其在AI领域的发挥吧?或许博主可以从这个角度来探讨一下?

  • @franzwu457
    @franzwu457 Год назад +4

    大劉真的不太了解半導體業,算力就是製程縮小的主要推手,fabless 的設計成本也越來越高,開發一個3nm光罩要比一個7nm光罩貴得太多了,不是小廠玩得起,所以 altera xilinx 才會走向合併,買得起的也就 intel amd,新創弄出點新架構,很快就被巨頭併購了,要改變格局,難,沒有發現2010年後,fabless WW top 20 幾乎沒有變動嗎?

  • @georgekwok9182
    @georgekwok9182 Год назад +2

    其實專門的硬件雖然效能比較高, 但一旦核心變化了可能就成廢品, 所以現在還是偏向通用的GPU比較吃香吧

  • @janchangchou777
    @janchangchou777 4 месяца назад

    另外所謂AI的算力,也多被這些台面上資訊及硬體公司給神話了,整𠆤AI 主要算力在解大矩陣行列式。 也就是同時或儘量同時計算(平行計算) y 千萬組的 y千萬𠆤數的連乘積。 極其簡單(小學算術程度)但體量龐大的加減乘除。 無任何高深複雜的計算。

  • @hulee921
    @hulee921 Год назад

    4:23 抬个杠,我来细节优化一下,先把内存数据加载入全局显存,再呼叫cuda内核,在讲全局显存数据批量矩阵压入tensor core 的寄存器,再从全局显存重复压入另一个矩阵B,然后运算并将数据结果矩阵放入累加器C,将累加器结果寄存器矩阵再写入共享显存, 然后再讲共享显存矩阵压回第一个矩阵,开始下一层神经网络迭代。 因为是一次性压入一个矩阵,避免了和低效的全局显存频繁交互,而tensor core晶体管也做了优化,不是和cuda流处理单元一样一次算一个值。

  • @tammychiang4730
    @tammychiang4730 Год назад

    👍👍👍

  • @sugusta3243
    @sugusta3243 Год назад

    FPGA开发很容易,看样子是电子系大牛,自己感觉比一般的编程难度上了几个维度,不过会的确实不觉得难,开发流程比一般的编程长很多。eFPGA很多家也在做,嵌入到MPU中也有几家有了,或者直接进入NOC世界。Intel 暂时股价太弱,到15肯定大仓位买入

  • @cgc5221
    @cgc5221 Год назад

    Have you heard the Australian Edge-AI company named Braidchip?

  • @-Badwini-
    @-Badwini- Год назад +1

    ASIC通常用於特定任務或算法上,看看比特大陸的礦機就知道,用一段時間就必須淘汰,但算法寫的好效率很高。
    FPGA可程式化編輯電路,早期頻率上不去是硬傷,現在兩大頭各自被intel跟AMD收購,新產品頻率可以跑到1.5GHz。
    GPU/IPU/TPU通用運算處理用於早期開發AI模型比較適用,耗電/佔空間/散熱問題註定無法小型化,但計算效率快。
    最適合的使用方式:GPU/IPU/TPU開發AI模型,將模型算法優化轉化成電路邏輯,將其轉成FPGA電路,每當有新的AI模型,重複以上步驟,遠端更新用戶端設備或邊緣計算工具。

    • @ntuAaq
      @ntuAaq Год назад

      上網查了,你這個說法比影片中的更準確。
      差點被他專業的表情騙到了。

    • @hatjame
      @hatjame 5 месяцев назад

      厉害

  • @user-fv1ic5tw7q
    @user-fv1ic5tw7q Год назад

    一般模型推理的计算量远小于训练时的计算量的,保守十分之一。

    • @awesomegmg956
      @awesomegmg956 Год назад

      脱离剂量谈毒性?推理QPS多少?

    • @andytalk
      @andytalk Год назад +1

      可不是十分之一,训练一个模型,数据量是千亿次计算,每个参数,都要按照梯度算法进行多次尝试。参数有多少呢?比如chatGPT有几百亿个神经元,也就意味着有几百亿个参数。一份数据进去,就要进行很多次几百亿浮点运算。这样的数据有多少份呢?至少是千亿级了。
      模型训练好了,把数据输入进去,获得结果,是需要每一个神经元进行一次浮点运算的。这个运算量就少多了。
      我在給软件开发人员做教学的时候,随便一个教学试例,都要训练至少几天的时间。而应用训练好的模型,输出结果,往往是毫秒级的。

  • @yang989
    @yang989 Год назад

    要是沒有大型語言模型的成功
    是會有Ai晶片的大量需求嗎?

    • @andytalk
      @andytalk Год назад +1

      人工智能发展的方向是模型越来越大。目前的单机计算能力还是太弱了。就一个简单的自动驾驶,这是非常狭窄的领域,特斯拉都要开发专用芯片。AI芯片的发展,可以说还没起步。

  • @xxw6371
    @xxw6371 Год назад +13

    业内一般不会将ASIC拆成每个字母读,而是读作ai sei ke (拼音)。

    • @DreamRunningCreative
      @DreamRunningCreative Год назад +9

      主播是总结内容并讲内容的,肯定不是业内人士,chatgpt就是替代他的

    • @rayman1106
      @rayman1106 Год назад +1

      @@DreamRunningCreative
      你這話還真嘴
      笑死我

    • @user-ke9yg9dm5n
      @user-ke9yg9dm5n Год назад

      事實上業外也是這麼讀的

    • @jjameslin8951
      @jjameslin8951 Год назад

      英偉達是美國公司,對中
      國沒任何影響...

  • @Hongcai12345
    @Hongcai12345 Год назад

    真正能模仿自然的AI 必须要量子计算 是这样吗?

  • @user-hp9wi7tm6b
    @user-hp9wi7tm6b Год назад

    講到某某架構、誰家的模式或版本⋯感覺就是要設置『知識產權、技術門檻障礙』,好將來要卡脖子用的!

    • @andytalk
      @andytalk Год назад

      第一,如果是企业自身卡脖子,这是很正常的。每一个企业,都想保护自己的技术免被窃取。正是因为有知识产权保护,才能鼓励人们创新。
      第二,如果你说的卡脖子是西方政府的技术禁运,那是因为基于自由世界人们的利益而为。对向朝鲜,中国,俄罗斯,伊朗这样的独裁专制政府进行技术禁运,是合理的。因为,根据民主和平论,非民主国家对世界和平构成极大威胁。所以,对这些流氓国家实行技术禁运,是合理的。今天不禁运,明天,自由世界的人们发明的技术,就会被独裁国家的政府做成武器来杀害自由世界的人民。

    • @andytalk
      @andytalk Год назад

      比如说俄罗斯,就利用自由世界的技术,做成导弹,坦克,来侵略乌克兰,杀死无辜的乌克兰人民

  • @CliffZhu
    @CliffZhu Год назад

    10000块GPU好像不是出自可信的来源,是猜的。

  • @franzwu457
    @franzwu457 Год назад

    標題不符,啥格局會變?

  • @chansam2675
    @chansam2675 Год назад +1

    不明什么是TPU, GPU, 用過Chatgpt 及其它AI 改相軟件,兩者不是速度上問題,感覺什么AI 還未成熟。 原因是系統不能真正的開況,內里有很多人為限制,及資料不足。 老外做的智能只多他們,而華人問老外AI 便有水土不服,很多問題Chatgpt 也答不出。 相信未來會產生中国与老外AI, 兩者也因政冶上問題,會限制AI 功能

  • @Jersey1225
    @Jersey1225 Год назад +2

    感覺谷歌在玩自己的,都不是一個維度曲高和寡呀。

    • @franzwu457
      @franzwu457 Год назад

      不是,是他有錢可以揮霍,別人精打細算

  • @andytalk
    @andytalk Год назад +5

    中国如果还用集中力量办大事的办法来发展科技,搞什么科技大跃进,只能是死路一条。不要以为从2000年之后的10多年经济发展很快,就以为未来也一样。这10多年的发展,是因为自由世界允许中国加入全球协作。
    但是,要想明白,自由世界允许你加入全球协作,目的是以为中国经济发展了,会走向政治改革,民主自由的道路。现在,自由世界已经意识到之前的判断错了。在改弦更张,重新孤立独裁专制的中国。
    中国要发展,首先要政治改革,走向自由民主的政治改革道路,大力发展民营企业与市场经济,遏制国有企业,抛弃集中力量办大事的愚昧想法。
    即便是在美国,公立学校永远竞争不过私立学校。比如,美国名校,前几名的永远是哪些私立大学。这是在教育领域。在科技领域更是如此,政府补贴领域,不但没有促进作用,还会让研究进入误区。
    举个例子,IBM早期是美国政府极力扶持的。但是,很快就被众多的私营企业打败。比如,intel,微软等。
    苏联同样也有这样的例子,前苏联时期,国家集中力量办大事,发展电子管。最终却被美国的小小私人半导体公司打败。
    为什么科技不能由国家主导?不能由国家来集中力量办大事?科技行业也只要有老板。只有私人老板才会真正的关心这种研究是否符合市场需求。才会避免公地悲剧。

  • @yicksunleung-we9eo
    @yicksunleung-we9eo Год назад +1

    也衹有大劉和老石能把Fpga講透

    • @sugusta3243
      @sugusta3243 Год назад +2

      都是些表面讲解,讲透上几个学期都不够,应用领域不同就有一个世界。

    • @Guavaava
      @Guavaava Год назад

      大刘就算了吧,楼上有个评论说得好的。大刘并非业内,而是归纳和总结,这就是chatgpt干的活儿。关于FPGA的内容就被专业的指出了问题。老石是专业做FPGA,讲自己业内肯定比大刘强多了。

    • @franzwu457
      @franzwu457 Год назад

      聽了幾期大劉對半導體的視頻,唉,他真的一點都不瞭解,半對半錯的資訊更害人

  • @tonyzhang6540
    @tonyzhang6540 Год назад +1

    现在的FPGA的速度上不去

  • @yang989
    @yang989 Год назад

    沒有大語言模型來讓更多人運用
    就沒有Ai晶片的需求.

  • @xiaolong174
    @xiaolong174 Год назад

    平庸的时代,对任何的泡沫都是饥渴的

  • @howdareyouare
    @howdareyouare Год назад

    人工神经元组成的npu不可以进行并行处理吗??

  • @HutjeSiu
    @HutjeSiu Год назад

    看個影片 翻個留言 整個yue了 都不知道那個才是對的 沒能力學硬體 我還是去問chatgpt要答案好了

  • @hysioshu
    @hysioshu Год назад +1

    分析 AI 芯片硬件发展,其实主要的关注要素并不在于架构体系,性能,成本等硬件要术,而是软件。其实现在的 AI 模型主要就两种体系, tensorflow/pytorch 无论是在训练,还是推理阶段,得不到这两个模型架构的支持,市场份额是不会超过 1%, nvidia 的目前地位为什么,会这么高,主要原因还是因为,他的软件适配性是最好的。

    • @andytalk
      @andytalk Год назад

      说的对,业界主流还是tensorflow。我的看法,GPU难以支持大型模型。虽然有联合训练,联合训练的前提条件是领域能够明确的划分。但是,实际上,人类的知识,相互关联很强。大语言模型的方向,还是大规模的专用芯片。把所有人类的知识数据在一起训练。得到一个各个知识模块有机相互关联的模型。当然,一旦做成了,这个模型将会是人类社会的智能知识中心。

    • @hysioshu
      @hysioshu Год назад

      @@andytalk 目前来说,nvidia 的分布式能力 HPC 是最强的没有之一,这也就是为什么训练大模型基本上都是 N K, 其他技术方案,就目前来说,还需要一个世代努力

  • @sparklee6994
    @sparklee6994 Год назад

    等量子计算机发展成熟了,老黄就该失业下岗了。 现在跳的欢,将来拉青丹。

  • @evalover100
    @evalover100 Год назад

    我只知道我以後可能要花十幾萬買顯卡女友

  • @user-jw1ds7tw3n
    @user-jw1ds7tw3n Год назад

    没一个中国公司

  • @yinxgcn
    @yinxgcn Год назад

    黄教主踩上了好几拨风口了,已经赢麻了!

  • @kantingtsai1754
    @kantingtsai1754 Год назад

    還在用GPU搞AI,已經落伍啦!韭菜不嫌多

  • @andytalk
    @andytalk Год назад +7

    中国人持集体主义价值观,认为人多好办事,集中力量可以办大事。实际非常愚昧。
    在高铁领域,到处盖高铁,还应以为傲。实际上,高铁一直亏损。亏损就意味着财富的浪费。建高铁就是个愚昧的主意。广州到长沙距离和曼谷到普吉岛的距离相近,我经常穿梭与两地。广州到长沙的高铁300多元人民币,高铁公司还要亏本。但是,曼谷到普吉岛的飞机票,疫情前,经常就是80到120元人民币。距离相当,飞机时间更短。不发展航空,却搞高铁。这就是集中力量办坏事的例子。因为高铁是国家的,亏赚没人关心。航空公司是私人的或者股民的,必须要精打细算好好经营努力竞争。所以,才会比国有企业更有效率。
    再比如,人们以为航天科技投资太大,必须要国家投入才能做。事实上,马斯克的starship使得太空运输成本降低100倍。这是私营企业才做得到。
    动用国家力量办大事,几乎所有的事最后都是坏事。要么浪费钱,要么增加贪污。
    在芯片行业,习包子又开始搞大跃进,国家投入巨量资金发展芯片业,结果必然是坏的。没两年,几千亿的资金就打了水漂。
    最近听说chatGPT又刺激的中共,要投巨资做人工智能研究。可以想象,又有多少民脂民膏被浪费。进到各种贪官污吏的口袋。

    • @andytalk
      @andytalk Год назад

      @@jacksonchan3053 你是说你自己吧

    • @zuncle295
      @zuncle295 Год назад

      的确如此,自由竞争和市场化,中国人就能迸发出无尽的创造力。

    • @user-im7nv7ln7o
      @user-im7nv7ln7o Год назад

      很精確,資本市場就是效率問題。

    • @user-im7nv7ln7o
      @user-im7nv7ln7o Год назад

      及成本問題。

    • @AZ-hj8ym
      @AZ-hj8ym Год назад

      这么蠢的人还写那么多,1450?

  • @Noctilust
    @Noctilust Год назад +1

    /ei 'sik/

  • @vitamin168
    @vitamin168 Год назад

    大陸的半導體行業走向沒落。沒什麽好改寫的。

  • @MichaelCorleone316
    @MichaelCorleone316 Год назад +1

    ChatGPT以後可以取代你們這些純講解的YT了

  • @zgvip
    @zgvip Год назад +3

    幸亏中国显卡也越来越好了,虽然在游戏优化驱动方面还需要一个一个改进,但是在AI方面更适用进步的更快,对民用和军用帮助很大。

    • @jgl7190
      @jgl7190 Год назад +6

      你用过中国显卡玩游戏吗?

    • @yeetop8340
      @yeetop8340 Год назад +5

      @@jgl7190 你沒看清楚他説什麼嗎?一看到中國兩個字就PTSD😂

    • @yeetop8340
      @yeetop8340 Год назад +3

      @@jgl7190 什麼都要全球跟中国比 你美國有什么優勢 日本有什麼優勢 每個國家都有自己優勢 中國能快速追趕 還要自立自強 還有哪個國家有這能耐

    • @yeetop8340
      @yeetop8340 Год назад +6

      我為現在中國驕傲🇨🇳💪

    • @rayman1106
      @rayman1106 Год назад +3

      @@yeetop8340
      感覺就你一人在那邊PTSD 笑死人
      對方講出事實你就在那邊扯東扯西

  • @jameschen0721
    @jameschen0721 Год назад

    怎麼不用量子芯片?

    • @andytalk
      @andytalk Год назад

      量子计算机和人工智能没任何关系

    • @zilchnov5234
      @zilchnov5234 Год назад

      現在的量子芯片連編程都做不到,仍然停留在機械計算器的水平,怎麽用來訓練AI?

    • @andytalk
      @andytalk Год назад

      @@zilchnov5234 量子计算机可以编程的,在我频道,做了一个使用ibm量子计算机编程的教程。

  • @user-gx3dp3gl3r
    @user-gx3dp3gl3r Год назад +1

    中国梦,不带他们玩

  • @Guavaava
    @Guavaava Год назад +4

    这个频道越来越水了,什么领域都要占的结果就是什么领域都不精,越看越没意思。

  • @andytalk
    @andytalk Год назад +7

    中国缺乏隐私保护,无所不在的监控摄像头,确实在前几年促进了人工智能领域的发展,尤其是用卷积神经网络CNN训练出了全世界领先的人脸,体态识别系统。在大语言模型领域,几乎毫无建树。原因是中国言论管制,使得中文的数据远远小于英语的数据量。这个从chatGPT也可以看得出来,如果你用中文问问题,chatGPT回答的质量远远低于英文的质量。
    所以,中国做了个人脸识别就以为自己在人工智能领域世界领先。实属意淫。首先,卷积神经网络也不是中国人发明的。中国人只是因为有数据,前几年,芯片也不禁运,所以才有了这点成绩。
    中国人缺乏创新能力,集权专制制度引起全世界反感从而导致技术禁运,如果不做改变,可以说,中国不仅仅在人工智能领域内全世界抛弃,在其他任何领域都将被全世界抛弃。

    • @jianlongli7490
      @jianlongli7490 Год назад

      难道不是中国快追上美国才被人搞,一看你就是美帝的狗,没有父母的孤儿。

    • @simonguan7705
      @simonguan7705 Год назад

      挺弱智的想法

    • @Guavaava
      @Guavaava Год назад +1

      中国人缺乏创造力这个不对。看看ai领域的论文和成果有多少是华人研究者在海外搞出来就行。只能说欧美确实有更适合华人发挥聪明才智的环境。

    • @javazhang6309
      @javazhang6309 Год назад

      不明白你要的隐私究竟是什么隐私, 没人会无缘无故在你隐秘的地方例如你家客厅你家厕所装摄像头, 你是要走在大马路上也需要别人看不见你的隐私?
      只有触犯法律的人或通缉犯在公共场合才会害怕被摄像头看到!!!

    • @andytalk
      @andytalk Год назад

      @@Guavaava 举些例子,哪些重要论文是中国人写的。呵呵

  • @harry11374
    @harry11374 Год назад +1

    咋又是熟悉的跪拜味道呢。全篇只字未提国内业界的努力和进展,潜台词是不值-提吗? 目前美在Al高科技领域对华全面封堵,博主所提的所有这些美国企业巳实际与中国无缘,却还在此一味唾沬横飞的吹。与国外相此,更应扎实的讲讲国内业界的进展和差距及展望才对。

    • @balalad9348
      @balalad9348 Год назад +2

      我个普通老百姓对国内业界的信息也毫无兴趣。可能说的不准确但我觉得国内发展什么,都是骗补贴之类的。

    • @andytalk
      @andytalk Год назад

      @@balalad9348 一个是骗补贴,骗贷款,就像芯片大跃进。还有就是骗股民

    • @sugusta3243
      @sugusta3243 Год назад

      哈哈,国内几家FPGA老板都在硅谷住着,总部也在硅谷,产品虽然低端,但希望其越来越好。清华紫光和安路科技除外。

    • @ChuRainsa
      @ChuRainsa Год назад

      講現實的你拿不到高算力晶片AI練不起來呀

    • @franzwu457
      @franzwu457 Год назад

      現實是,中國半導體業的海歸,爲了他們的美國護照,已經一大堆離開了中國,在算力領域,留下的人沒有設計軟體可用,有努力但是沒進展,當然沒啥可說

  • @andytalk
    @andytalk Год назад +13

    中国人改变极权专制制度走向民主自由的开放社会,拥抱全球的价值观,避免被西方制裁,改变教育制度,改变我们的文化中的劣质内容。中国未来将会为全人类的进步做出真实的贡献。

    • @samhuangsanjia
      @samhuangsanjia Год назад +2

      这在国内是不能碰的滑梯哦😂

    • @tyou5779
      @tyou5779 Год назад +1

      日本像个哈巴狗那样舔…美国要收拾还不是一样收拾,你真可爱…

    • @gunhsu878
      @gunhsu878 Год назад

      被制裁只是让你当狗而已

    • @lonelywhisper
      @lonelywhisper Год назад

    • @harry11374
      @harry11374 Год назад +1

      芯片封堵现已成大漂亮唯-的主要对中打压手段了。黔驴即将技穷,中国定将最终突破。到那时欢迎你再来继续吹民主对决独裁吧。-只只会鹦鹉学舌的大漂亮脑残粉。