Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
3:52 每个gpu可以直连ssd？印象中以前用的是GPU direct storage 但是这个还需要ssd在计算机系统里面。GPU的usbc接口可以直接连ssd？
看完這個有想到之前也有看過李老師介紹pathways的影片，但其實還是沒很懂但pathways的設計好像真的很厲害
可以講講QuantMAC的這篇論文嗎～
如沐春风🎉
请问关于将人类说出来的语言命令转换成机器人具体可执行的机器指令有哪些模型可以推荐试用的？
AI会不会构建出一种全新的语言体系，来取代目前的中文和英文？
刚做LLM就看到沐神回归！
速度快但是不稳定的infiniband😂 7:00
what! 沐神更新视频了？
这个地方data parallel应该是指fsdp，不是训练的data。fsdp和model parallel (tensor parallel)之间的差别很细微。
fsdp也是data parallel的一种, 本质上也是data parallel. 这几个parallel你好像没有学清楚, 建议再看看.
@@pengfeihe-pp6nwfsdp是data parallel的一类，但是在视频里属于红框的split，视频里说data parallel的时候说的是把蓝框split
@@brozuh2364也没问题呀，蓝框代表的是data。你意思是想体现weight sharding, 这个其实比较次要的了。而且和tp差别很大，它属于抓取其他gpu weight过后用完就删掉，而tp是一直放gpu上。
一下放出来三个，收益良多
ruclips.net/user/shortsdBQ-UdlIEoE?si=ef4x2WosplWwDYG0 这种视频有大佬知道是怎么做出来的吗？萌新求教
现在看来，这种级别的先进运算集群可不是小打小闹。meta的这个集群，论算力，特别是考虑核间通讯损耗的真正有效算力，让前不久还排在榜首的超算中心，现在看来也就像少儿中心了。不看好国内小绵羊运营商最近上马的运算中心了。要为这种完全没有标准的基建做验收，还得靠真正懂行的赤子，写高水平的代码，从而检测不断移动的指标，加之需要妥善的部署并评估运维损耗的问题，这又涉及到设计实验并统计。定力不足或责任心不足的人，要搞点水分虚报参数，或在采购上以次充好，实在容易且难以察觉。所以，靠关系拿公帑的，国企这种权责不清的，根本不适合这类业务。只看好华为字节阿里这种，兼具财力和狼性的公司。
3:52 每个gpu可以直连ssd？印象中以前用的是GPU direct storage 但是这个还需要ssd在计算机系统里面。GPU的usbc接口可以直接连ssd？
看完這個有想到之前也有看過李老師介紹pathways的影片，但其實還是沒很懂
但pathways的設計好像真的很厲害
可以講講QuantMAC的這篇論文嗎～
如沐春风🎉
请问关于将人类说出来的语言命令转换成机器人具体可执行的机器指令有哪些模型可以推荐试用的？
AI会不会构建出一种全新的语言体系，来取代目前的中文和英文？
刚做LLM就看到沐神回归！
速度快但是不稳定的infiniband😂 7:00
what! 沐神更新视频了？
这个地方data parallel应该是指fsdp，不是训练的data。fsdp和model parallel (tensor parallel)之间的差别很细微。
fsdp也是data parallel的一种, 本质上也是data parallel. 这几个parallel你好像没有学清楚, 建议再看看.
@@pengfeihe-pp6nwfsdp是data parallel的一类，但是在视频里属于红框的split，视频里说data parallel的时候说的是把蓝框split
@@brozuh2364也没问题呀，蓝框代表的是data。你意思是想体现weight sharding, 这个其实比较次要的了。而且和tp差别很大，它属于抓取其他gpu weight过后用完就删掉，而tp是一直放gpu上。
一下放出来三个，收益良多
ruclips.net/user/shortsdBQ-UdlIEoE?si=ef4x2WosplWwDYG0 这种视频有大佬知道是怎么做出来的吗？萌新求教
现在看来，这种级别的先进运算集群可不是小打小闹。meta的这个集群，论算力，特别是考虑核间通讯损耗的真正有效算力，让前不久还排在榜首的超算中心，现在看来也就像少儿中心了。不看好国内小绵羊运营商最近上马的运算中心了。要为这种完全没有标准的基建做验收，还得靠真正懂行的赤子，写高水平的代码，从而检测不断移动的指标，加之需要妥善的部署并评估运维损耗的问题，这又涉及到设计实验并统计。定力不足或责任心不足的人，要搞点水分虚报参数，或在采购上以次充好，实在容易且难以察觉。所以，靠关系拿公帑的，国企这种权责不清的，根本不适合这类业务。只看好华为字节阿里这种，兼具财力和狼性的公司。