영상 잘 봤습니다~ 정리 잘해주셨네요 한가지 궁금해서 질문남깁니다 ㅎㅎ 정리해주신 자료에서는 GAUDI3 TDP가 400W로 되어있는데 GAUDI3 white paper를 찾아보니 해당 수치는 PRC(중국수출기준)일때 인 것 같고, non-PRC 기준으로는 GAUDI3 TDP 900W라고 하는데 혹시 PRC 기준으로 분석하신 이유가 있으신가요?!
22:50 "만들어진 모델로 추론만 튜닝하여 서비스하면"은 "만들어진 모델을 튜닝하여 추론만 서비스하면"이라고 하는 게 좀 더 정확하겠네요. 튜닝도 훈련과 비슷한 과정을 거치기 때문에 훈련용 GPU가 필요합니다. 물론 튜닝은 적은 데이터로 짧은 시간 동안 하기 때문에 GPU 시간은 훈련 때보다 훨씬 적습니다.
트레이닝을 많이 안하는게 아니라 비용 문제로 못하고 있죠. 트레이닝에 엄선된 수 테라 토큰을 준비해야하는데 수집과 정리, 검증까지 비용이 매우 많이 들어간다고 합니다. 게다가 저작권 문제라도 생기면 안되기 때문에 더더욱 조심 스럽죠. 그래서 학습시키는 기술이나 장비는 점점 평준화 되고 고품질 데이터를 많이 보유한 업체가 최종 승자가 될꺼란 말도 나옵니다. 구글이 톱 티어고 메타도 만만치 않죠. 엘론 머스크가 트위터를 매입한 진짜 이유도 사람들이 작성한 수많은 트윗과 실시간 데이터 때문이라는 추측도 있습니다. 그리고 GPU는 범용성이 있기 때문에 트랜스포머만 다루는 칩들과 좀 다릅니다. 누군가 새로운 알고리즘, 변종 알고리즘을 내놔서 기존에 나온 칩으로 구현이 힘들더라도 GPU 들은 코드 수정으로 많은 기능을 구현할 수 있죠. 저기 다른 AI 칩들은 그만큼 자유도가 높지 않을겁니다.
맞습니다 엔비디아가 사랑받는 이유는 범용성있는 언어와 하드웨어 때문인 이유가 가장 클거 같습니다. 그나마 가능성있는게 마소와 협력가능한 가우디 mi 그리고 구글과 협력이 가능한 퀄컴 정도 있는데 후보들도 만만치 않지만 이미 엔비디아 위주로 판이 깔려서 힘들긴 하지만 어떻게 기를쓰면 반등 여지는 있어보입니다. 후발주자들이 미리미리 준비해서 대처했으면 어땟을까 하는 아쉬움이 있어요 그리고 애플은 그냥 선두로 설 생각이 없는거 같아서 아쉽네요 사실 기반도 다른 회사들보다 어중간하거나 부실하구요
매우 잘 정리된 영상입니다 첨언하자면 모델 크기 vs 정밀도 문제에서는 모델 크기를 키우는 쪽이 정답인 쪽으로 일단은 결론이 난 상황입니다. 이에 대한 nvidia의 해답이 fp4입니다. 문제는 이게 그래서 잘 작동하냐? 했을 때 좀 두고 봐야한다는 것입니다. 원래 gpu기반으로 양자화된 모델을 돌리면 배치 사이즈에 따라서 오히려 성능이 떨어지기도 하는 문제가 있었습니다. 이게 해결되었는지는 알 수 없습니다. 물론 엔비디아가 가지는 hbm메모리 컨트롤 기술은 아직도 높은 기술장벽으로 남아있습니다. Llm을 돌리때 생성 과정에서 엄청난 메모리 바운드가 발생하기 때문에 메모리 역량은 최근 npu 동향에서 가장 중요한 항목입니다. 인텔의 경우 서버시장 전반에서 그냥 박살나고 있는데.. 힘내라는 말 밖에는 ㅠㅠ
강의 좋습니다~^
오늘 내용 정말 좋았습니다. 수고하세요.
조곤조곤 새로운 소식 듣는 재미가 좋습니다 ㅎㅎ 좋은 영상 감사합니다
GPU는 그동안 많이 때려박는 방식으로 성능을 향상 해왔는데 이제 어느정도 근본적인 변화가 필요해 보이네요.
기자님 덕분에 많이 알아갑니다
매번 좋아요 누르고 봐요 구독자 팍팍 오르셔야 하는데
건강하세여 오늘도 과외 감사합니다
영상 잘 봤습니다~ 정리 잘해주셨네요
한가지 궁금해서 질문남깁니다 ㅎㅎ 정리해주신 자료에서는 GAUDI3 TDP가 400W로 되어있는데
GAUDI3 white paper를 찾아보니 해당 수치는 PRC(중국수출기준)일때 인 것 같고, non-PRC 기준으로는 GAUDI3 TDP 900W라고 하는데 혹시 PRC 기준으로 분석하신 이유가 있으신가요?!
22:50 "만들어진 모델로 추론만 튜닝하여 서비스하면"은 "만들어진 모델을 튜닝하여 추론만 서비스하면"이라고 하는 게 좀 더 정확하겠네요. 튜닝도 훈련과 비슷한 과정을 거치기 때문에 훈련용 GPU가 필요합니다. 물론 튜닝은 적은 데이터로 짧은 시간 동안 하기 때문에 GPU 시간은 훈련 때보다 훨씬 적습니다.
잘봤습니다~
트레이닝을 많이 안하는게 아니라 비용 문제로 못하고 있죠. 트레이닝에 엄선된 수 테라 토큰을 준비해야하는데 수집과 정리, 검증까지 비용이 매우 많이 들어간다고 합니다. 게다가 저작권 문제라도 생기면 안되기 때문에 더더욱 조심 스럽죠.
그래서 학습시키는 기술이나 장비는 점점 평준화 되고 고품질 데이터를 많이 보유한 업체가 최종 승자가 될꺼란 말도 나옵니다. 구글이 톱 티어고 메타도 만만치 않죠. 엘론 머스크가 트위터를 매입한 진짜 이유도 사람들이 작성한 수많은 트윗과 실시간 데이터 때문이라는 추측도 있습니다.
그리고 GPU는 범용성이 있기 때문에 트랜스포머만 다루는 칩들과 좀 다릅니다. 누군가 새로운 알고리즘, 변종 알고리즘을 내놔서 기존에 나온 칩으로 구현이 힘들더라도 GPU 들은 코드 수정으로 많은 기능을 구현할 수 있죠. 저기 다른 AI 칩들은 그만큼 자유도가 높지 않을겁니다.
맞습니다 엔비디아가 사랑받는 이유는 범용성있는 언어와 하드웨어 때문인 이유가 가장 클거 같습니다. 그나마 가능성있는게 마소와 협력가능한 가우디 mi 그리고 구글과 협력이 가능한 퀄컴 정도 있는데 후보들도 만만치 않지만 이미 엔비디아 위주로 판이 깔려서 힘들긴 하지만 어떻게 기를쓰면 반등 여지는 있어보입니다. 후발주자들이 미리미리 준비해서 대처했으면 어땟을까 하는 아쉬움이 있어요 그리고 애플은 그냥 선두로 설 생각이 없는거 같아서 아쉽네요 사실 기반도 다른 회사들보다 어중간하거나 부실하구요
잘봤습니다
자체칩 사용안하는 개발자 입장에서는 인터페이스의 중요성이 커서 엔비디아의 쿠다를 버리기 힘들어요
매우 잘 정리된 영상입니다
첨언하자면
모델 크기 vs 정밀도 문제에서는 모델 크기를 키우는 쪽이 정답인 쪽으로 일단은 결론이 난 상황입니다.
이에 대한 nvidia의 해답이 fp4입니다. 문제는 이게 그래서 잘 작동하냐? 했을 때 좀 두고 봐야한다는 것입니다. 원래 gpu기반으로 양자화된 모델을 돌리면 배치 사이즈에 따라서 오히려 성능이 떨어지기도 하는 문제가 있었습니다. 이게 해결되었는지는 알 수 없습니다. 물론 엔비디아가 가지는 hbm메모리 컨트롤 기술은 아직도 높은 기술장벽으로 남아있습니다. Llm을 돌리때 생성 과정에서 엄청난 메모리 바운드가 발생하기 때문에 메모리 역량은 최근 npu 동향에서 가장 중요한 항목입니다.
인텔의 경우 서버시장 전반에서 그냥 박살나고 있는데.. 힘내라는 말 밖에는 ㅠㅠ
엔비디아는 여러분이 생각하는 것처럼
기술이 뛰어난 회사는 아니에요
@AmericaGodStock기술만 본다면 이미 엔비디아는 뒤쳐짐
1개칩에서 비교한 데이터로 보시는데, 실제로는 하이퍼 스케일 데이터센터에서 성능은 랙단위의 성능을 따지고, 해당 성능은 엔비디아가 nvlink로 인해 다 패고 다녀서 아무도 발표 안합니다.
추가로 양자화 쪽 설명도 아예 틀렸네요, 데이터 표현에 따라 훈련양이 달라지는 게 아니라 BW 및 필요한 메모리 용량이 달라집니다. BW가 줄면 성능이 오르고 메모리 필요량이 줄면 필요한 gpu갯수가 줄어들어 효율이 오르는 겁니다
죄송한데 사람보다 도표를 조금 오래 보여주세요 아님 옆에 같이 표시하시던지 싸서 개발보다 기다리지 못해서 만드는듯 번호표가 뒷번호
지금 하리보 젤리 먹으면서 시청중
선추 후감
한동안은 엔비디아 천하로.... 다만 엔비디아가 과거 인텔 혹은 부두와 같은 잘못된 길을 들어서는 순간 무너지겠죠
성능이 다가 아님 엔비디아는 막강한 cuda 생태계가 있고 이것이 업계표준임 현재 AMD MI300X도 성능이 H100에 비해 우월하지만 판매량이 엄청나지 않은 것으로 보면 답이 나옴.
al쪽이 전력을 너무 많이 처먹어서 전력, 냉각수 부족과 송전망 구축에 부담이 되고 있다고 합니다...
시간이 지나면 지날수록 절대적 성능보다는 전성비가 주요 선택의 요소가 될 겁니다..
smr원전하나씩 옆에 붙여야됨 ㅋㅋ
그 빌게이츠꺼 원전회사 뭐하고있는지 궁금하네요
빌게이츠는 또 이렇게 100조짜리 회사를 만들어버리네 ㄷㄷ
@@루루-z4l 그게 문제를 완전히 해결할 수 없는 게 원전과 데이터 센터에 냉각수로 쓸 물이 매 필요한데 그 물도 부족하다고 합니다.. 그래서 전성비가 중요한 겁니다..
m4 칩에 뉴럴엔진이 더 많이 들어가는데 그것도 알수있을까요???
지금 우리나라의 경우는 데이터센터에서 전기을 너무 많이 먹어서 한전에서 계약을 잘 안해줍니다.
그래서 어떻게든 계약을 하기 위해 전력량을 줄이려고 센터 규모를 축소하고 난리도 아닙니다.
앞으로는 반드시 전성비의 시대가 올 수밖에 없다고 봅니다.
듣기로 인텔은 가우디를 GPU로 부르지 말아달라고 말하는 상황으로 알고있는데 가우디도 NPU쪽으로 분류하는게 맞지않을까요?
19:44 그래서 hbm 아버지 김정호 교수님이 지금의 폰노이만식 컴퓨팅이 한계가 왔다는 것임
국내 PC 3대 그룹 까지 갔던 진돗개 광고로 유명한..세진컴퓨터에 대해 재미 있을 것 같은데...
현재는 쿠다 때문에 안됨
그대는 포테이토라다무스