Like Randy Pausch said in his famous Last Lecture: opportunity + preparation = luck. There are a few salient points worth mentioning: 1. nVidia has been steadily growing and cultivating CUDA, a money pit of a project for the longest time. But it also shows nVidia's belief/vision in GPU for HPC. 2. Alex Krizhevsky and Illya Sutskever were programming wizards who managed to wrangle CUDA into submission so they could run their DL training job on nVidia GPU's, and the rest is history... 3. The coupling of CUDA w/ DL is now de facto. All the major DL frameworks like Tensorflow, PyTorch, etc. all rely on CUDA for GPU acceleration. What about OpenCL, you said? Yeah, you don't hear about it, do you? :) 4. Most of the nVidia's recent commercial success was also due to crytop mining, not from AI/DL A few years ago, a spade of start-ups tried to unseat nVidia in the DL training accelerator market, but can't even find them anymore on Google. Let's see how Jim Keller's Tenstorrent do when it comes out!
如果本期视频对你有帮助，就请点赞分享+关注！
本期视频提到的一些论文在下面：
AlexNet：
proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
Transformer (Attention is All You Need)
arxiv.org/abs/1706.03762
A3
taejunham.github.io/data/a3_hpca2020.pdf
Spatten
spatten.mit.edu/
P.S. 关于动态规划，的确说的有问题，也是被NV的翻译误导了，谢谢指出，介绍TSP的时候讲的就是动态规划。
讀
感謝石博士用心整理，希望能看到後續關於CUDA的解說
感谢这个视频，目前我在写毕业论文，我用 half-precision 把模型的体积减小，只知道float32变成float16了，又没人告诉我为什么，无意间看了这期视频，解答了我的疑问。
本人長年在AI領域研究，不得不說老石這集內容講得非常的精準到位，就連AI的論文引用都非常的恰到好處，乾貨滿滿
弱弱的小建议：能否将您的作品编号并注上出品日期。我常常反复看您作品，有号易找。谢谢🙏
我做过GPU的AI算子也做过DSA的AI编译器，结论是GPU只是并行度相较cpu高很多有一些向量的指令集，但是相较DSA那种以cube为单位进行计算的专用AI芯片无论性能还是功耗都是完败，所以NV也有DAS的AI加速卡也有做进GPU里边的专门做超分辨率（DLSS）的专用加速单元，结论就是未来是异构的时代GPU做GPU该做的事NPU做NPU该做的事
我也覺得gpu不夠ai專用晶片強
要考慮到實現算法的"靈活性"，CUDA 這個框架對於做理論研究的資料科學家很友善，做理論的完全不想去理解計算機底層的實現方法，尤其是怎麼提高 locality 減少 memory access、怎麼切 pipeline 以提高 arithmetic intensity 等等。
其實市場上也能買到的USB做成的TPU加速器，可是在 TPU 上面開發太困難且耗時，需要大量的程式開發經驗對資料科學家非常不友善，對於pytorch、tensorflow等熱門框架也沒支持的這麼完善，這也是為啥麼Nvdia能取得巨大的成功：算法開發的敏捷度非常非常高。
最終就是回歸老石的一句話：通用性和專用性的權衡，我相信在AI市場越來越大的情況下，一定會促使專用加速器的的蓬勃發展。
@@HeywardLiu DSA的芯片很适合仅实现推理部分作为解决方案的方式卖给不懂算法的目标客户，它们不关心底层实现只要把SDK做好满足他们上层应用的指标，DSA在同等算力的情况下成本功耗可以完爆通用芯片，比特大陆的矿机就是最好的例子，而且，比特大陆也涉足AI推理加速卡了很有竞争力
@@迟金超
你說的很有道哩，只考慮推理場景的話，DSA包裝好SDK推出產品確實很有潛力！其實有聽到很多新創都在做AI推理平台，感覺市場很大，我猜目標客群應該是做互聯網的公司？
我一直很欣賞比特大陸這間公司，勇於投入成本研發礦機，破壞式創新改變區塊鍊這個領域！
期待cuda的讲解！我是搞NLP的，平时了解硬件不多，看博主的视频获益匪浅
真的是滿滿的乾貨 !
TSP travelling salesperson problem是个NP-complete问题 用dynamic programming可以把O(n!)算法复杂度降低到O(2^n)
一年后再来看这个视频，真是好预测！
超乾的乾貨 讚👍
在我個人看來應該是GPU先有可編程的流水線（比如說DX10和CUDA），然後AI方面的剛好遇上這個機遇，再螺旋上升
AI的理论早就有了，只是早期设备的性能达不到。但话又说回来，二三十年前谁能料想到神经网络这么牛逼呢
博主又帅又聪明爱了爱了
Like Randy Pausch said in his famous Last Lecture: opportunity + preparation = luck.
There are a few salient points worth mentioning:
1. nVidia has been steadily growing and cultivating CUDA, a money pit of a project for the longest time. But it also shows nVidia's belief/vision in GPU for HPC.
2. Alex Krizhevsky and Illya Sutskever were programming wizards who managed to wrangle CUDA into submission so they could run their DL training job on nVidia GPU's, and the rest is history...
3. The coupling of CUDA w/ DL is now de facto. All the major DL frameworks like Tensorflow, PyTorch, etc. all rely on CUDA for GPU acceleration. What about OpenCL, you said? Yeah, you don't hear about it, do you? :)
4. Most of the nVidia's recent commercial success was also due to crytop mining, not from AI/DL
A few years ago, a spade of start-ups tried to unseat nVidia in the DL training accelerator market, but can't even find them anymore on Google. Let's see how Jim Keller's Tenstorrent do when it comes out!
老實說，今集內容都沒有說到重點。
是為什麼是「英偉達」的GPU﹖不是「FPGA」﹖又不是「超微半導體/AMD」﹖
首先是要看回當「英偉達」在發布「CUDA」時是2007年，它是「英偉達」可以在AI時間進行深度學習運算必用硬體的關鍵，因為「CUDA」可以幫助程式員、開發人員或是研究員更容易把機器學習模型由只能用CPU運算變成可以用「英偉達」的GPU運算，在成本和時間上都更有優勢。
以同一時期的另一間顯示晶片廠商AMD還在為之前的合併ATI一事以忙於收拾事宜加上AMD之後推出的CPU能力不足以對抗Intel的CPU，再加上AMD的GlobalFoundries（格羅方德 / GF），AMD自家的昌片製造公司能力一直都比不上Intel，令AMD只能靠GPU市場的收入收支撐公司的發展，要到2017年推出Ryzen系列CPU先可以改變，但是這一來已經嚴重干擾AMD本身的GPU發展。
「CUDA」因為多年來在「英偉達」的發展下，已經累積不小程式員、開發人員或是研究員使用，加上「英偉達」多年來都限制「CUDA」只能在「英偉達」的GPU上便用，做成一個強大的生態圈，這一點和Apple相同。
以多年來AMD因為其體質問題，對軟件專用型的技術一向都「無心發展」，所以之後都令在AI時代爆紅時在高性能運算和機器學習領域的市場佔有率只能「拱手讓人」給「英偉達」。
以「FPGA」方面，長期以來都是只有有足夠資本和人才的機構先可以用得到的，如Google、Facebook等，是到近年來先因為技術的進步先減低入門難度，但是對於「英偉達」的「CUDA」，還是貴上不小。
至於Intel﹖
多年來作為CPU的皇者，在AI技術上的投入是不小，但是因為其「本位主義」和對AI技術投入度不足，所以最終都是無法和「英偉達」對上。
「英偉達」不單是自身的優勢強烈，還有同場的對手有不小問題，先可以令先是為什麼英偉達成為AI時代最大贏家。
厉害厉害，专业
敲碗 CUDA
發片的時候 NV 的 linux driver 開源了
感謝分享~ 期待老石對CUDA解說的影片
發片的時候 NV 的 linux driver 開源了
敲碗 CUDA
很好，希望下期可以看到cuda，不断学习，努力加油
期待下一期CUDA
点赞！蹲一期后续软件和cuda的介绍😆
能談一下GPU、AI的市場狀況嗎？AMD趕上nVidia了嗎？Intel沒戲了嗎？謝謝您！
拜託老石談CUDA了~~~
NVIDIA很大程度是有挖矿带来的红利，AI还是NPU性价比更好
虽然看不懂，还是乐呵呵的看完了
SIMT 和 DSA 的融合 对软件栈带来很大挑战。 英伟达 的CUDA生态护城河带来的先发优势，是不是使得它在硬件上即使几年不发展，也不会有大的问题？
想請問一下，目前基於ARM架構開發的CPU，以硬件架構來說技術應該不輸x86，但軟件的相容性來說，有像x86那麼高的相容嗎？
超級硬核! super hardcore! 👍
谢谢分享
謝謝分享專業知識
為什麼nv在ai獨強
因為AMD連遊戲gpu都做不好
谢谢老石，把复杂的东西讲的简单明了（狗头）
所以你真得听懂了？
想看CUDA
Analog 芯片在人工智能时代， 怎么看
大佬，下期讲CUDA啊~~~
這集資訊量好大...
想知道老石對美國政府禁止nvidia的GPU產品銷往大陸有什麼看法
跟記憶體內運算真是太像了
期待CUDA
没一句听得懂，但是觉得说的好厉害
老石看你在哔哩哔哩更新了视频没想到已经离开intel了，想问问老石是否看好patglesinger掌舵的intel还是说就因为不看好所以离开了
老石之前还介绍过Patrick的自传，应该不会是这个原因。
挺好的，但是GPU更多的是处理图形，而不是图像。
哈哈哈！
great
去年6月在国内网上看到有中微正式宣布掌握3nm光刻技术的新闻。今天又在此看到了这一新闻并说3nm 光刻机即将开始量产。不过在官媒上这两次都没有报道。可不可以请石老师核实一下。
你这种脑子，留来干嘛ヾ(￣0￣； )ノ
国内买东西都会怀疑有假货……怎么到新闻这里瞬间就智商归零了呢……
你可以看看是哪家媒体写的这样的新闻，然后取消关注或以后注意不去看这家人的文章......
@@dodomakudo1783 很多人光刻機和蝕刻機不分,所以不要怪新聞,我就未見過內地新聞是寫中微正式宣布掌握3nm光刻機
3nm蝕刻機
想听CUDA🎉
听到动态编程这个名词，一脸懵逼。查了才知道是动态规划（Dynamic Programming）。。
對，開始聽到也有點懵
感覺用英文縮寫DP好點
👍
CUDA下次一定
他们家就是淘金热的时候买水的。
PoolFormer: Attention is not all you need
Cuda!!!🤩🤩🤩🤩
这是6年前的旧闻了，你应该说一下intel 要做的Ai 芯片
H100刚刚发布，难道是穿越了？😂
@@laoshi_tec 我说的是英伟达ai这个话题
非也，老石讲的这个题目正是很多人想看的，老石讲的很好，谢谢老石老弟！期待你更深入的探讨！
是啊，这么多年了，标题打出来还是一点违和感也没有
如何看待这次大规模更换国产电脑事件，能否对我国的芯片行业带来巨大的转机？
想啥呢……准备全面脱钩了……闭关锁国开始……
简单来说，电脑越来越牛逼
不要加背景音乐。
现在回来看，GPU是AI核武器
沙发！✌
想看cuda
显卡价格也番了 九百多倍zzzzzzzzzz
听不懂了😂😂😂😂
TTO
少看这些博主blabla， 亏欠的基本看到他们的忽悠，买股票要找适合自己的模式
请浅谈cuda
請講cuda 拜託
标题很吸引，可是内容不够通俗，真的没法看懂🥲
女大今天下160$了。
瞎了眼，让英伟达做大，风扇越来越大，一看就想发火，你说是不是瞎了眼？
Greedy overhyped nvdia hehe