NVIDIA Blackwell 발표 후.... 우리가 아직도 더 빠르다는 Groq. NVIDIA에 혁신이 없다고 평가한 AI 클라우드 스타트업의 설계 반도체 LPU는 무엇이 다른가
HTML-код
- Опубликовано: 11 сен 2024
- NVIDIA GTC 2024 젠슨황 기조연설에서 공개된 Blackwell 기반 GPU B100, B200 그리고 GB200. NVIDIA 최초 칩렛 구조로 설계에 NVLINK 5.0, Swtiching과 NVL72 까지 여러모로 호응을 받고 있는데요. 그럼에도 SRAM 기반으로 설계한, Groq의 LPU는 초당 500개 단어를 쏟아내는 어마무시한 결과를 냅니다. 이에 Groq CEO이자 Google의 TPU를 설계했던 조너선 로스는 “아직 우리가 빠르다” 라는 말을 남기며 다음 세대 LPU 에 대한 이야기를 언급하였는데요 . HBM을 쓰지 않고 SRAM을 채택하면서, 반도체 칩 자체를 팔기 보다는 클라우드 업체로서 경쟁력 돌파구를 찾는 Groq에 대해 다시 살펴보았습니다.
#엔비디아 #Groq #LPU
Written by Error
Edited by 이진이
unrealtech2021@gmail.com
![MISSING: SLIM SHADY [Expanded Mourner’s Edition Trailer]](http://i.ytimg.com/vi/xh8qgHrOO1g/mqdefault.jpg)
groq의 경쟁상대는 서버급이 아니라 온디바이스로 가야하지 않나 싶은데..
토큰을 많이 내준다는 것에 집중하겠다면 결국 throughput을 핵심 가치로 보겠다는 건데 그럼 user별로 단말을 줘버리는게 전체 요청에 대한 throughput면에서 가장 좋은 선택 아닌가.
애초에 low parameter model을 시연한 것도 그렇고. 그럴거면 온디바이스가 맞지.
바이럴 하려고 자사 홈페이지에 엔비디아를 거론하고 있지만, 실질적으로는 엔비디아가 아니라 퀄컴이 경쟁상대라고 봐야 맞지 않나 생각함.
오늘도 유익한 내용 감사합니다.
Sram 셀 크기랑 전력소모는 조상님이 해결해주냐
Sram은 캐시입니다, 즉 돈이쥬
감사합니다~^^
안될공학님 오늘 발표한 llama 3가 groq에서 돌아가는 거 보셨나요???
진짜 미쳤습니다 claude 3 sonnet나 gemini 1.5 pro정도의 성능이 초당 300토큰으로 나오는 기적을 보고 있네요 ㅋㅋㅋㅋ
Groq를 세 줄로 요약하면 이러합니다.
1. 구글의 TPU식 아이디어를 훔쳐서
2. 엔비디아보다 컴퓨팅 용량이 작지만 LM에 더 특화된 칩과 카드를 만들고
3. AI 추론 플랫폼을 SaaS로 서비스해서 돈을 벌겠다.
일단 OpenAI보다 돈을 더 벌 것 같아 보이는 건 확실해 보입니다. ^^
Je suis d,'accord avec vous
사전에 언제 리턴이 오는지 알수 있다는 내용을 활용하면 기존의 비동기 처리를 반쯤 동기화시키는 식으로 모델 구조도 바꿀 수 있을 듯.
lepton과 deepinfra는 다 엔비디아꺼 현재 사용중이네요. celebras 같은 느낌이네요...
아직은 훈련쪽도 무식 못하니.. agi 완성까지는 아직 훈련은 무시 못할것 같습니다. 음..
좋은 영상 감사합니다.
사주는데가 없으니 자체적으로 써서 어떻게든 판매처를 확보하겠다는 거죠 뭐.
이제는 ai 시장이 기업용 뿐만 아니라, 개인도 하는 취미 영역으로 확장되었기에, 하드웨어로 출시했으면 좋았을텐데, 근데 기업에서 굳이 클라우드 groq 사용할 가치가 있나요?, 클라우드라서 정보는 전부 기록될텐데
맞는말인게 CUDA도 DL 발전이 없었으면 여기까지 torch, tensor까지 유저 단까지 못왔음 하드웨어를 받쳐줄 소프트웨어가 같이 와야하는데 상당히 시간이 걸림 결국 대중화되기 전까지 힘을 키우겠다는 전략 빨리 nvidia 대항마 기업이 나와야 발전이 있음 이대로라면 gram 용량만 늘리고 고성능은 빅테크가 다 차지할 가능성이 큼
먼 훗날에는 다양한 그래픽카드를 볼 수 있겠네요 .. 흐흐... 기대 기대 ..
Groq도 내년부터 칩 생산 들어가지 않나요? 당장 팔 칩이 없으니 지금은 서비스로만 하겠다는거 같은데 제가 이해한게 맞는지 모르겠어요
그록은 시제품이고 엔비디아는 양산품이라는 차이가 있지 않나요? 그록도 양선 기준이라면 클라우드 시장에서 충분히 경쟁력 있는 것 같은데요. 쿠다로 개발하더라도 언어변환 비용을 내더라도 더 저렴한 AI 클라우드가 최근 성장하고 있다고 들었는데요.
sram만 쓰면서 속도빠르다고 주장하는 npu스타트업 다 거르면됩니다.
앞으로 대규모용량의 멀티모달은 어케할건지??
그냥 저규모llm벤치딸 홍보가 전부
그렇게 생각하시는 이유도 궁금합니다
학습AI와 추론AI에 대해서 먼저 구분해서 생각하셔야 합니다.
AI학습에는 엔비디아의 AI칩이 효율적으로 쓰이고 있지만
추론 영역에서는 맞춤형 칩이 더 우위에 있는 것은 명확한 사실입니다.
구글이든 오픈AI든 수많은 LLM을 만드는 업체들이 막대한 돈을 들여서 AI학습을 하고 생태계를 구축하면
그 다음은 이 생태계를 활용할 수 있는 추론AI의 시대가 열리는 것이 당연한 흐름입니다.
굳이 비유를 하자면 인터넷망이 깔리고 그 이후에 서비스할 컨텐츠가 제공되고, 스마트폰이 보급된 이후 앱들이 생기는 것과 비슷합니다.
온디바이스AI처럼 여러 기기에 맞춤형 AI가 장착이 되고, 수많은 기업들이 자체적으로 활용할 수 있는 AI서비스를 내놓는 것들이 모두 추론AI에 속합니다.
사실 엔비디아의 AI칩도 애초에 완벽하게 AI에 최적의 맞춤이라고 하기는 어려운 구조를 갖추고 있었죠. 다만 초기 AI 학습을 급하게 해야하는 과정에서
가장 효율적인 칩이 엔비디아의 AI칩이었던 것입니다.
여러 업체들이 막대한 돈을 들여서 AI학습을 하고 생태계를 구성했으면 이제 그걸로 돈을 벌어야 하는 것은 너무 당연합니다. 구글이나 MS 아마존처럼 클라우드 기반으로
돈을 벌기 위해 AI학습에 투자했던 것처럼 말이죠. 하지만 모든 업체들이 다 클라우드를 하는 것이 아니기에 자기들의 영역에서 활용하기 위해 AI를 쓰는 것인데
그 과정에서 NPU나 그록의 저런 맞춤형 칩들이 효율적으로 활용되는 것입니다.
AI학습 시장보다 추론시장이 훨씬 크고 영역이 넓기에 애초에 엔비디아가 추론용 시장까지 다 먹을수가 없는 구조입니다.
엔비디아도 그걸 알기 때문에 추론용쪽에서도 효율이 좋다는 부분을 강조하고 있지만 그건 LLM을 사용할때의 추론을 말하는 것이지
일반적으로 온디바이스AI , 맞춤형AI 등에서 말하는 추론과는 조금 다른 영역이기도 합니다.
말이 길어졌는데 어쨌든 저런 업체들을 거른다는건 조금 말이 안되는 부분이구요.
괜히 엔비디아를 포함한 빅테크들이 저런 스타트업들에게 천문학적 투자를 하는게 아닙니다.
엔비디아도 AI학습에서 주로 활용되는 AI칩만 팔아서는 미래가 불투명하다는 것을 잘 알기 때문에
AI파운드리 등을 언급하면서 다양한 방면으로 진출하려고 하는 것이구요.
멀티모달을 말씀하셨기에 여기에 대해서도 추가로 말씀드리면
AI학습 시장과 HBM을 긍정적으로 보시는 분들이 주로 하시는 말씀이
그간 텍스트 기반의 학습으로도 이렇게 어마어마한 칩이 사용됐는데 앞으로 이미지, 영상 등 멀티모달 시대가 되면
더욱 더 어마어마한 수요가 있을 것이다 라는 의견을 제시하고 계시죠.
물론 틀린 얘기는 아닙니다만 필요성에 대해서도 생각해 보셔야 합니다.
텍스트 기반 AI학습은 모든 빅테크들과 그 외의 기업들이 누구나 필요했던 부분이 있었습니다.
AI챗봇은 어디에나 적용할 수 있고 AI의 가장 근간이라고 할 수 있으니까요. 어떤 플랫폼을 갖추고 있는 기업이든 활용도가 매우 높았지요.
그런데 이미지학습, 영상학습은 조금 이야기가 달라집니다.
일단 AI를 활용해서 자사 플랫폼을 강화시켜야만 하는 빅테크 입장에서
이는 특정 AI서비스 영역에서나 필요한 수준이기 때문에 빅테크 기업들이 막대한 투자를 할만한 이유가 충분하지 않습니다.
그만큼 많은 칩이 필요하고 많은 비용이 필요한데 얻을 수 있는게 많지 않기 때문이죠.
조금 다른 이야기이긴 합니다만 이 영역에서는 유튜브, 구글검색, 안드로이드 OS를 보유해서 학습을 위한 데이터 기반이 압도적인
구글이 누구보다도 유리한 영역이긴 하죠.
막대한 비용을 써야하는 빅테크 입장에서 멀티모달이 모든 빅테크 기업에게 필요한 학습 영역이고 그것을 급하게 비싼 AI칩을 활용할 필요가 있을까를
생각해본다면 약간 부정적인 부분이 있다고 볼 수 있습니다. 급하지 않게 천천히 더 좋고 싼 AI칩(맞춤형칩 포함)을 사용하는게 이득이라는 것이죠.
저도 지금은 엔비디아를 보유하고 있지 않지만 엔비디아로 수익을 많이 낸 사람입니다.
투자자의 관점에서 엔비디아는 앞으로도 엄청난 고성장을 할 것이고 AI시장에서 핵심적인 역할을 할 회사라고 판단합니다.
다만 그것과 별개로 새로운 추론 영역의 시대가 본격화되는 시장에서는 엔비디아가 최고의 주식이라는 생각을 하고 있지는 않습니다.
이번 GTC컨퍼런스의 내용은 너무나 대단했지만 막상 이후 주가는 하락하는 시장의 반응도 그렇긴 하지요.
이렇게 좋은 영상의 댓글로 굳이 저희들이 뭐가 더 좋고 나쁘다면서 싸울 필요는 없지 않을까..생각합니다.
그록이 뭐 좋다는게 아니라 앞으로도 AI시장은 엄청나게 발전하면서 계속 이러한 경쟁(?)들이 지속될텐데
투자자나 일반인의 관점에서도 흥미롭게 흐름을 지켜보면서 지식을 습득하는 것 자체가 즐거운 일이 아닐까 싶네요.
@@user-fv4io4kx7c애초에 sram은 dram이나 flash에 비해 cell size가 너무 커서 대규모 용량에 비교가 될 수 없습니다.
@@이루릴 Ai 시장을 전반적으로 설명해주셔서 큰 도움이 되었습니다. 앤비디아로 수익내신거 축하드립니다. AI시장이 앤비디아의 학습시장에서 추론시장으로 넘어갔다라고 보고 있는걸가요??
@@user-fv4io4kx7c
넘어간다는 표현보다는 AI학습으로 생태계가 깔리고 본격적으로 추론 시장이 확산되고 있는 상황입니다.
당연히 AI추론시장이 열린다고 AI학습이 끝나는 것은 아니라 AI학습도 같이 성장하게 됩니다.
다만 AI시장 초기처럼 급격하고 과할 정도의 관심이 쏠리지 않고 AI추론과 함께 관심이 분산이 되는 국면이기에
투자자 입장에서 나눠서 보고 있는 정도입니다.
엔비디아 역시 AI학습에만 안주하는 업체는 아니고 젠슨황의 발언과 최근 스타트업들과 같이 하고 있는 영역을 살펴보면
AI추론 영역에서도 매우 뛰어난 성과를 거둘 가능성이 큰 업체라고 생각합니다.
그러나 현재 엔비디아의 주가는 웬만한 (이슈적)호재에는 급등을 하지 않고, 실적 시즌만 기다리는 실적에 민감한 주식이 되었다고 판단해서
개인적으로는 새롭게 모멘텀이 강한 종목들을 주식 측면에서 더 좋게 보고 있는 상황입니다.
향후 엔비디아의 주가가 조정을 받거나, 엔비디아의 성과가 단순이 AI학습이 아니라 다른 영역에서도 본격적으로 나타나고
시장이 그 부분을 인정해줄 가능성이 높아진다면 언제든지 다시 매수를 할 생각도 있습니다 ^^;
젠슨황 모를리 없지! 벌써 대책있을걸로 ^^^ 최고의 ceo !!!!!
모르면 댓글 쓰지마세요 추해보임
@@KK-ub6ub 머가추함?
이해했음
엔비를 쓰는 이유는 성능 그리고 cuda 소프트웨어와 인공지능 훈련용 하드웨어 패키지 제공하기 때문아닐까
SRAM은 DRAM과 달리 사용자가 쓰고싶다고 쓸 수 있는 메모리 덩어리가 아님. CPU가 내부적으로 쓰게끔 디자인해야 합니다. 즉, 애초에 저 카드를 딴데다 팔수가 없음
에러님 마우스패드 구입했어요^^
sram과 hbm 가격 차이가 13배 정도 나고... 성능은 6배 차이나요.
hbm은 가면 갈수록 비싸 질것이고.. sram 가격은 그대로 이라면...
근데 hbm은 용량은 지금보다는 100배 이상 증가 가능하며...
gpu와 hbm을 하이브리드 본딩한다면...
아무리 생각해도 gpu와 hbm이 더 구조상은 성장 가능할것 같네요.
결국 효율적인 스케쥴링이 핵심이고 그건 파라미터 수를 크게 늘려도 가능할거라는 얘기인데 아직은 못하고 있고 엔비디아보다 빠르다(?) 빼고 나을게 없다로 들림. SRAM이 그렇게 좋으면 너도 나도 다 썼을텐데 기술적인 부분이나 비용의 측면에서도 답이 안나오는 가격이 되다보니 안쓴거지. 그래서 본인들도 칩을 팔지는 않을거고 우리만 쓸테니 서비스를 이용하라고만 하는 거 아닌가? 엔비디아와 AI 시장에서 칩 대결을 할게 아니라면 이건 엔비디아를 이용한 광고밖에 안되는 얘기지.
고맙습니다
점만 초보 버전 영상은 없을까요 이해가 안되네요 ㅠㅠㅠ
님이 공부를 하세요 저것도 그나마 유연하게 풀어서 말한건데 ㅋㅋ
아마도 sram이 학습과정에서만 쓰이는건 latency는 빠른데 대역폭이 작아서 대규모 파라미터를 업데이트 해야하는 학습과정에서는 불리함이 있어서 아닐까 생각합니다.
CUDA 랑 현 엔비디아에 맞춰진 환경을 깨려면 쉽지않을듯.
Groq카 go우시다
Unreal Science Goods 짱 이쁘
HBM sucks to the max, SRAM lead the way
조현병 있죠?
그록 ㅅ끼덜 쿠다는 쏙 빼놓고 얘기하네ㅋㅋㅋ 그록에서 쿠다급 임팩트를 줄수있는 api내놓기 전에는 그냥 지나가는 일개 장난감일뿐.
그리고 sram씀ㅋㅋ
클라우드 회사들 마켓플레이스에 입점하면 뭐 돈은벌듯
쿠다
방금 그로크를 가입해서 써보니 대답이 정확하지가 않네요,, 어디서 정보를 가지고 오는건지,,
SRAMㅎㅎ 쓴다면 거르면됨
SRAM무식하게 면적 많이 차지해서 DRAM이 나온건데
Groq 사용해보니 빠른듯하나 곤란한 질문 엄청 느리고 잘못된 정보도 많이 나오네요
입만 터는 기업 너무 많다 성과를 보여라 성과가 전부다
빠꾸도 안되는 자전거로 세미트럭에 도전한다고? 얼빠진사람.
지금의 AI업계는 예전 90년대말의 VGA 춘추전국시대라고 보시면 됩니다.
그 수많던 VGA칩 제조사중에서... 그땐 엔비디아가 신생 후발기업 이었죠.
앞으로 승자가 누가될지는 아무도 모릅니다.
지금 엔비디아가 제일 유리해 보이지만...
앞으로 어떻게될지 아무도 모르며, 그리고 이번엔 고객이 기업들 이라는 점이 옛날과 다릅니다.
이런 신생기업들이 생겨서 다양한 여러가지 시도를 하는건 좋은 일이고,
짐 캘러도... RISC-V 기반 커스텀칩 설계회사 차렸습니다.
중요한건... 지금 현재, 거대기업들 조차도 엔비디아꺼 너무 비싸서 못쓰겠다라고 하고 있기 때문에,
동기가 충분하고, 자금투자도 되고 있다는 겁니다.
이 회사 정말 비겁하네여 일단 sram 쥰내비쌈... hbm 싸다구 때릴정도..ㅋ 지네가 설계한게 빤히 안팔릴꺼 아니까 클라우드로 서비스하겠다고 삔스런... 실상은 클라우드로 리얼타임을 처리하겠다는게 얼마나 개소리인지 조금만 조사해도 알게됨
엔비디아 팔아야되나요?
네, 팔아야 돼요.
당장 팔아야 합니다 전부 다 팔아버리세요 엔비디아 큰일났어요 이제 완전히 망해버린 거에요 엔비디아는.
더 망하기 전에 얼른 다 팔아버려요 당장 오늘 저녁에 팔아버리는 겁니다. 알았죠? 바로 오늘 저녁에 팔아요 꼭!
오늘 저녁에 절대로 무조건 완벽하게, 완전하게, 완전무결하게, 전부 다 몽땅! 팔아버려요 알았죠?
남의 말에 휘둘릴거면 투자하지마셈ㅋㅋㅋㅋ
@@Haru-nh3ml 감사합니다!
@@gb6150 주식접으셈ㅋ
엔비디아 손가락 빨고있나?
할려면 얼마든지 !! 벌써 대책있을껄 ! 젠슨황이라면 ㅎㅎㅎ
빠를수도 있지만 저것도 CUDA 쓰겠죠. ㅎㅎ
쿠다는 엔비디아만 써요
쿠다 못씀ㅋ
쿠다와 같은 gpGPU 라이브러리는 다른곳에도 있습니다. 다만 기존에 개발되오있고, 익숙해진 라이브러리는 쿠다뿐인것이고 엔비디아 제품에서만 동작하도록 설계되어있어요
그럼 너거가 세계1등 되어야지...
헣! 8분전!!
주식 방송하는애 아님? 얼굴 왜가림? 아닌가?
공학유투버인데
얼굴 가리면 다 주식이냐
저저 어디 뭐 얼굴 없이 게임 방송하는 애들도 주식방송이겠네
공학 유튜버입니다. 주식은 안합니다...의심하지마셈
Quoi?
고졸이냐? 애미도 죽었지?
추론용은 차라리 애플이 더 가능성 높을거같음