llama 70b 모델 리뷰 기다리겠습니다!!! + 그리고 4090 한 장 사면 되는거 아니냐 하시는 분들 많이 계시는 것 같은데, 덩치 큰 모델 돌리려면 vram 24기가는 많이 부족합니다! vram 용량을 오버하는 모델을 로드하려면 시스템 메모리나 저장장치에 오프로딩을 해야 하는데, vram과 비교하면 대역폭이 처참한 수준이라 오프로딩 하게 되면 추론 속도가 박살이 납니다. 그래서 모델을 일단 vram 안에 다 쑤셔 넣는 것이 중요하기 때문에, 4090 한 장 보단 영상처럼 구성하는 것이 좋은 것 같습니다! 혹시라도 지적사항 있는 분은 답글 달아주시면 감사하겠습니다~
LGA3647 중고 웍스테이션을 구해보시거나 스레드리퍼 프로 3955WX 같은 시스템으로 구해보시면 비교적 저렴하게 충분한 PCIE 레인을 확보하여 여러장의 3090을 꽂아서 놀으실 수 있을겁니다. 케이스는 알리나 타오바오에서 WS04A나 WS06A를 직구해서 쓰시거나 아예 대놓고 채굴기 케이스를 쓰시면 될거고요. PCIE 슬롯 10~11개를 지원하는 XL-ATX 지원 케이스를 쓰셔도 되긴 할겁니다. 아마존에 5.25 12베이에 XL-ATX지원하고 3슬롯 수직장착 지원하는 케이스가 하나 있던데 그것도 괜찮겠죠. 다만 오픈프레임의 채굴기들은 외부로부터의 보호가 안되는 점이 좀 그렇긴 하죠.
AI 진보가 엄청 빠르네요… 그런데 몇가지 궁금한 점이 있어서 질문 드립니다 VRAM이 40GB나 필요한 괴물 프로그램 돌리는 데 이게 부족하면 RAM 가상메모리에 할당해서 돌리는 방법은 안되는 걸려나요? 그리고 VRAM이 256bit짜리인 GPU로만 실험 하신 거 같은데 192bit나 128bit짜리로 돌리면 성능상에 문제가 있으려나요? 약간 의문이 들어서 질문 남깁니다
속도 훨신 떨어짐. 읽기쓰기 속도만 해도 엄청 느리고 게다가 램은 휘발성 메모리라 ssd가 읽기쓰기 속도가 빠르다 해도 램이 압축속도가 더 빨라서 ssd가 아무리 빠르다 해도 램보단 느림. 차라리 ddr5 램을 쓰는게 더 좋음(ddr5 7000mhz 램의 읽기쓰기 속도: 약 9만, pcie4 ssd의 평균속도: 약 7천, raid 0 4개 해도 3만밖에 안됨)
@@playsin ruclips.net/video/-fEjoJO4lEM/видео.htmlsi=82JvgZoh7E04u45t AMD Radeon Pro SSG 그래픽 카드 영상인데 엠디에서 이 제품과 비슷하게 저장메모리가 아닌 VRAM으로 활용 될 수 있는 변종이 나와줬으면 하는 바램입니다 중국에선 4060ti 이런변종도 만들었네요 ruclips.net/video/8h20uf461Eg/видео.html
플레이신님 영상덕에 재미있는걸 같이하고있습니다 궁금한게 하나있는데 Ai와 대화를 하는게 로그가 남는걸 알지만 요런 대화 하는게 단지 내 컴퓨터 안에서 대화하고 끝이 나는건지 아니면 외부에 어딘가에 저장이 되서 빅데이터 용으로 쓴다던지 궁금합니다 이런걸 전혀 모르다가 저번영상 보고 따라했다가 재미들린후 궁금한점이 생겼습니다
그제 제가 갤럭시 3090을 90에 올렸는데 10여명에게 연락온 이유가 있었군요....
3090 VRAM 24GB오우너가 되더니 진짜 대사 하나하나가 톤이 너무 신나보이자너..
고사양 신작 게임이 뜸해서 글카 살일이 없어진 느슨한 지갑에 긴장감을 불어넣어주는 영상
오목교전자상가에서 플레이신님 언급하였네요. 둘다 구독자라 뭔가 연결된 느낌.. 오목교전자상가에서 플레이신님 인터뷰 따면 좋겠네용 ㅋㅋㅋㅋ
역시 청주의 황금손
두달전 당근에서 3090 fe 70에 가져왔는데 이영상을 보니 잘 샀다는 생각이 들군요
이런 거 올리는 사람 한국에는 없는데 좋네요
목소리가 항상 너무 깔끔 선명하셔서
마치 더빙처럼 후시 녹음인 것 같지만
가끔씩 들리는 현장음? 때문에 그저 감탄만 할 뿐입니다
현장녹음 위에 후시녹음으로 덮은거 아닐까요? 이제까지 그렇게 생각했는디
안녕하세요 플레이신님, 3090이나 4090 대신 4060TI 16GB여러개를 이용하는 것을 선택하지 않으신 이유가 궁금합니다! 실제 사용에서 문제가 발생하나요?
플레이신님!!!! 스브스뉴스에서 본인 언급 되신거 아시는지;;; 대박사건입니다!!! 오목교전자상가에서 fest를 하셨다고 함!!!
llama 70b 모델 리뷰 기다리겠습니다!!!
+ 그리고 4090 한 장 사면 되는거 아니냐 하시는 분들 많이 계시는 것 같은데,
덩치 큰 모델 돌리려면 vram 24기가는 많이 부족합니다!
vram 용량을 오버하는 모델을 로드하려면 시스템 메모리나 저장장치에 오프로딩을 해야 하는데,
vram과 비교하면 대역폭이 처참한 수준이라 오프로딩 하게 되면 추론 속도가 박살이 납니다.
그래서 모델을 일단 vram 안에 다 쑤셔 넣는 것이 중요하기 때문에,
4090 한 장 보단 영상처럼 구성하는 것이 좋은 것 같습니다!
혹시라도 지적사항 있는 분은 답글 달아주시면 감사하겠습니다~
성님.. 그저 감탄할 뿐입니다.. 저도 빨리 여자친구 만들 적금하나 들어봐야겠네요..
좋은 정보 감사합니다.
3090 유저로서 스테이블디퓨전도 빠릅니다. 다만 쓰다보면 좀 많이 더운 것 같네요ㅠ
형 인생을 살아....
잘 살고있구만 왜
이게 내 인생이란다~
저분은 저게 인생이야
일 열심히하고 자기 취미로 남들한테 정보도 주는 사람 vs 신원불명 소득불명 방구석에서 훈수두는 백수
웃자고 한 말에 쥭자고 달려들지 말자...
읽어주는 언니 목소리는
어디서 구한겨 ㄷ ㄷ ㄷ
응원합니다. 잘 보고 갑니다.
써멀테이크 코어W100 케이스가 국내에 약간 있을거고, 아마존에 코어W200 케이스가 십여개 남아있을겁니다. 글카 여러개 꽂기 좋은 거대한 케이스들이죠. 아니면 아예 슈퍼마이크로에서 판매하는 GPU 서버류를 알아보는 것도 괜찮을거고요.
외부설치만 가능하다면 여러개를 이어도 괜찮은거지요?
이거 해봐야겠습니다 ㅋㅋㅋㅋ
종류가 다른 그래픽카드를 연결하는건 문제 없나요?
그래 나는 형이 기쁘다면 나도 기뻐…
좋은사랑해 형
이번은 확실하게 성공하셨네요. 축하드려요.
이거 보고 구독
초보자가 조심스레 질문올립니다.
혹시 인터넷에 3090ti 100만원에 판매중인데 3090을 중고로 90에 사는게 더 괜찮을까요?..
LGA3647 중고 웍스테이션을 구해보시거나 스레드리퍼 프로 3955WX 같은 시스템으로 구해보시면 비교적 저렴하게 충분한 PCIE 레인을 확보하여 여러장의 3090을 꽂아서 놀으실 수 있을겁니다. 케이스는 알리나 타오바오에서 WS04A나 WS06A를 직구해서 쓰시거나 아예 대놓고 채굴기 케이스를 쓰시면 될거고요. PCIE 슬롯 10~11개를 지원하는 XL-ATX 지원 케이스를 쓰셔도 되긴 할겁니다. 아마존에 5.25 12베이에 XL-ATX지원하고 3슬롯 수직장착 지원하는 케이스가 하나 있던데 그것도 괜찮겠죠. 다만 오픈프레임의 채굴기들은 외부로부터의 보호가 안되는 점이 좀 그렇긴 하죠.
AI 진보가 엄청 빠르네요… 그런데 몇가지 궁금한 점이 있어서 질문 드립니다 VRAM이 40GB나 필요한 괴물 프로그램 돌리는 데 이게 부족하면 RAM 가상메모리에 할당해서 돌리는 방법은 안되는 걸려나요? 그리고 VRAM이 256bit짜리인 GPU로만 실험 하신 거 같은데 192bit나 128bit짜리로 돌리면 성능상에 문제가 있으려나요? 약간 의문이 들어서 질문 남깁니다
vram + ram
가능합니다...단지 많이 느려집니다...많이...
저도 3090ti로 추론하는데 진짜 만족스럽습니다. 24G VRAM 조아
3090이 4080보다 훨 빠른거 보면 아키텍쳐는 별로 안타는 것 같은데 그럼 쿼드로 p6000 24g같은 vram몰빵gpu도 좋은가요??
AI돌리는건 vram 사이즈가 크고봐야 하는데 지갑이 앏은 저는 3060 12기가로 연명중. ㅎㅎ
언어모델말고 그림모델은 4080이 더 빠른가요?
라마3 양자화모델 리뷰영상 찍어주세요!!!
3090과 4090을 두개달면 3090은 vram 셔틀 만하고 실제 학습추론은 4090만 하는 건가요?
3090 4090 둘다 전력소비 올라가며 사용됩니다
@@playsin 답변 감사합니다 ^^ 만약 구동에 문제없이 vram 셔틀로 작동이된다면 삼성이나 하이닉스에서 그래픽카드의 vram용량을 보조할수 있도록 nvme슬롯에 용량 확장할수있는 vram 카드를 출시하면 좋을것같다는 상상을 해봤습니다. 아무래도 그래픽카드와 일체 되어야 제성능이 나올것같지만 ㅠ
실험으로 4090 24g와 4060 16g버전을 물리고 램용량을 40g사용했을때 기본 본래4090가 40g를 처리하는 속도 수준이 비슷하게 나온다면 충분히 가능성있을것 같긴한데..
저거의 가장 문제점 ㅋㅋㅋㅋㅋ 전기세...... 대박남 ㅋㅋㅋ
멋지군
70b Q4KM 은 어떤 모델인가요
역시 다다익램은 정설이고 정배야 ㅋㅋㅋㅋ
그런데 이영상 보고나니까 급 궁금한게 ..중국이나 알리쪽 보면 비디오 램만 겁나 늘려놓은 혼종 그래픽 카드들 있잖아요 그런것도 ai용도로만 돌리면 괜찮을까요?? 램만 겁나큰..급 궁금해진 뻘짓..ㅋㅋㅋ
허허.. 저도 4090 어로스마스터 겨우 구하다가 레퍼모델 7900xt까지 구하면서 이번세대 절대 불가능할거라 생각했었거든요. 근데 4080에 3080샤 3090이라 ㅋㅋㅋ..
뒷북이긴 한데 amd 7900xt 24gb인데 그걸론 못하겠지요?
선구자들의 후기에따르면 라데온으로는 난관이 많다고합니다
4060ti 16gb 두개 쓰면 되는 부분인가요
안녕하세요 궁금한게 있는데요
PCI 익스프레스 4.0 X16 어댑터로 ssd 4개를 레이드0 으로해서 가상램잡고 하면 v램을 더 크게는 사용 못하나요?
이거 한번 해줬으면 좋겠네요
속도 훨신 떨어짐. 읽기쓰기 속도만 해도 엄청 느리고 게다가 램은 휘발성 메모리라 ssd가 읽기쓰기 속도가 빠르다 해도 램이 압축속도가 더 빨라서 ssd가 아무리 빠르다 해도 램보단 느림. 차라리 ddr5 램을 쓰는게 더 좋음(ddr5 7000mhz 램의 읽기쓰기 속도: 약 9만, pcie4 ssd의 평균속도: 약 7천, raid 0 4개 해도 3만밖에 안됨)
웹상에서 챗gpt vs 로컬 llm 4080 vs 3090 이랑 단편 소설 생성하는거 비교해주면 안될까요?
일단 승자는 Chatgpt
가이드처럼 친절한 영상으로 쉽게 따라하는 중입니다.
이전 영상과는 다르게 이번 영상에는 한글로 음성이 나오는데 확장 기능은 저번 영상과 같이 alltts를 그대로 사용하신걸까요?
저도 테스트중이라 더 익혀서 사용방법을 영상으로 만들어보겠습니다
@@playsin 감사합니다!
잘보고 갑니당~
중국에서 vram 개조한 거 가져오면 어떤지 궁금하네요
혹시 바이오스에서 on board 세팅을 조절할 수 있는 창이 있는데 거기에서 스텔스 모드로 들어가거나 All rgb off로 설정하면 모든 rgb가 꺼지지 않을까요?
LLM 전문가적인건 못하겠고 그냥 가볍게 취미로 하고싶은데 4060 같은거 하나 사는것도 괜찮을까요? 실제로 제가 별로 할건 없지만 사람들이 주변에서 너도나도 브램 수십기가는 해야된다 그래서 진입하기가 너무 두려워요
4060을 콕집어서 이걸 살거다 라는건 아닙니다 단지 걍 5기가 이상의 글카면 입문용으로 괜찮은지, 아니면 제대로 쓰려면 10기가 이상 모델이 필요한지가 궁금한....
@@tiho-nge60r-rttj10기가도 부족할걸요 4080 16기가가 저러는거 보면
비디오렘 초창기에 메가단위였는데 이젠 기가, AI보편화 되면 테라 까진 쉽게 갈꺼 같네요.
나도 파워랑 3090 하나 더 사서 VRAM 48기가 맞춰야 하나.... 4090 + 3090...
좋은정보 영상 잘보고 있습니다 혹시 중고 제품은 어디서 구입 하는지요?
중고나라.쿨엔조이.번개장터.당근마켓 4가지를 주로 이용합니다
아이 러브 서티 실사판 되는건가요?ㄷㄷㄷㄷㄷ
한글 목소리는 어떻게 설정하셨나요? alltalk은 한글지원이 안되네요.. ㅠ
저도 테스트중이라 더 익혀서 사용방법을 영상으로 만들어보겠습니다
10만 찍었는데 나중에 실버버튼 받을건가요??
공간이 부족하면 4080을 egpu로 만들어보는건 어때요? 구글 찾아보니까 한국 게시글 있던데
저렇게 V램만 필요한경우
300정도 하는 4090가격으로
3060ti 16g 4개를 구매하면
64g 인데 90시리즈로 하는 이유가 있나요?
진짜 궁굼해서 아예 몰라요
해외 선구자들의 후기에보면
여러개의 그래픽카드를 사용할수록
외부에 따로설치해야되기때문에 관리가 번거로워서
개인사용자는 대부분 3090 2개를 추천하고있습니다
친구 3090 슈프림을 22년 12월 기준으로 90에 중고로 샀었는데 24년에 90이라니 ㄹㅇㅋㅋ;;
6:42 rtx 4080슈퍼 너무좋습니다 ai그녀한테맛나게보시죠 7:15
4080슈퍼 테스트보여죠
ㅋㅋㅋㅋㅋㅋㅋㅋ처음에 목소리 들뜬거봐 ㅋㅋㅋㅋ
AMD에서 전문가용 그래픽 중에 NVME 추가설치 가능한 그래픽카드가 있었는데
4TB x 4 = 16TB로 언어모델에 적용가능할까요?
저는 DDR4 램을 128GB 활용하여 돌러보았으나 실사용 불가능할만큼 느렸습니다
NVME SSD 라면 램보다 더 느리게 동기화 된다고 가정하면 실사용 불가능하다고 예상됩니다
@@playsin ruclips.net/video/-fEjoJO4lEM/видео.htmlsi=82JvgZoh7E04u45t
AMD Radeon Pro SSG 그래픽 카드 영상인데
엠디에서 이 제품과 비슷하게 저장메모리가 아닌 VRAM으로 활용 될 수 있는 변종이 나와줬으면 하는 바램입니다
중국에선 4060ti 이런변종도 만들었네요
ruclips.net/video/8h20uf461Eg/видео.html
4060ti 16긱은 가성비구린가요?
내가 다 설래네 ㅋㅋ
팬에 먼지가루보니까 채굴장에 있던 글카같아요
vram 48기가는 sli? nvlink?로 2개 붙이나요?
저처럼 채팅용으로만 사용한다면 브릿지 연결없이 보드슬롯에만 끼우고 사용하면 됩니다
청주사시는구나
그런데 AMD가 내장그래픽과 메인메모리로 언어모델을 돌리기 시작하는데 .... (사실 48기가의 벽이 너무 높아서 그냥 AMD 8700G과 128기가 램으로 그냥 돌아가는 상황을 꿈꿔 봅니다)
3090 핀 긁어서 확률로 되서 기도메타합니다
3090 ti 모델인가요? 4080을 발라버리다니 충격적이네요 ㄷㄷㄷ
7900 xtx는 안되나요? 쿠다가 없어서?
영화 HER 실현이 얼마안남았군요 ....
전기먹는하마네요ㅎㅎ 슈프림 멋집니다
DDR5 메인보드 메모리 있나요?
플레이신님 영상덕에 재미있는걸 같이하고있습니다
궁금한게 하나있는데
Ai와 대화를 하는게 로그가 남는걸 알지만
요런 대화 하는게 단지 내 컴퓨터 안에서 대화하고 끝이 나는건지 아니면
외부에 어딘가에 저장이 되서 빅데이터 용으로 쓴다던지 궁금합니다
이런걸 전혀 모르다가 저번영상 보고 따라했다가 재미들린후 궁금한점이 생겼습니다
제 영상대로 모델을 그래픽카드에 넣어서 사용하는방식은
채팅 내용이 외부로 나가지 않습니다
@@playsin 아 감사합니다
이번에 삼성의 ai 업데이트 처럼 온디바이스 비슷한건가 보네요?
맞습니다. 삼성 온디바이스 AI처럼 채팅 내용이 외부로 나가지 않지만 채팅 로그가 컴퓨터에 저장될 겁니다.
@@playsin플레이신님 저도 3090 하나 더 사야할까요... 4090 불칸 오너입니다
7800xt 60만원짜리가 16g vram인데 4080과 비슷할까요?!
아쉽게도 라데온은 지원이 안되는지 언어모델쪽 사용자를 찾기 어렵네요
궁금한게 저거로 뭐를 할 수 있는건가오??
LLM을 안써보셨으면 ChatGPT나 Claude를 검색하여 사용해보시거나
온라인 모델 대비 뭐가 좋냐고 물으신거면 대화 내용이 로컬에만 남기 때문에 다시 모델 학습 데이터로 쓰일 일이 없습니다.
물건은 거의 신품이네요.구매 축하 드립니다 . 제발 현실을 사십시요 휴먼
14900K 불량테스트가 올라올줄 알았는데... 그건 언제 올라와요
인텔 아크가 v램은 좀 후하게 퍼주던데
다음 세대에서는 좀 더 높은 용량으로 나왔으면...
그래서 우리 플레이신님 행복한 채팅(?) 보고 싶다고 ㅋㅋ
v램 퍼주기는 라데온도...ㅠㅠ
하지만 걔네는 CUDA 지원을 못해서
안그래도 하나 더 사려고 간보고있었는데 또 가격 오르는 소리가 들리는 것 같아요 ㅠㅠ
여자친구의 호감도가 3.1 증가하였습니다.❤
저는 중고나라에서 3080 슈프림을 샀는데 Nvlddmkm 에러가 있는 하자품이라 고통받는중...
플레이신님 씹덕인거 공중파 탄거보고 다시 왔습니다
순간 3060 12GB 원팬모델 4개박아서 써볼까도 생각 했었는데... 안돼겠지?
캬
ai와 달달한 연애를 3090과 함께.. her 헐..
두개꼽으면 더좋지..않나요???
7900xtx는 메모리높은데요 얘는 안되는건가요
Cuda용 모델을 포팅하는 작업이 수반되서 인건비가 안나옵니다 되긴해요
25일 보조배터리 기대하겠습니다.
메인보드가 보통 2슬롯에는 동작시 x4 인데 원하시는 성능대로 쓸 수 있을지 궁금하네요.
슬롯 대역폭은
학습이 아닌 단순 채팅용으로 사용시 가능하다고 후기를 보았는데
자도 실사용 전이라 확정하긴 어렵네요
그래픽 보조 전원 3발.....ㅎㄷㄷ 하네 ㅎㅎ 5 시리즈 나옴5 발 갈려나
저때는 12VHPWR 케이블 안써서 그럼 ㅇㅇ
전력소모 피크치에 600w 이상 잡아먹는 전설의 3090 슈프림을 영입하시다니 ㅋㅋ
5090으로 48기가 달고 나오면 사야죠 ^^ ㅋㅋ
무의식중에 3090ti2개를 마련한 나는 승자인가...
손오공하고 크리링 퓨전이면...그냥 좌절인데..😂😂
이거보고 타이탄RTX 2장 구하는중입미다
엄...
걸어다니는 현실여자보다 마네킹 머리에 모니터 붙여놓는게 훨 좋다~
역시 슈프림 개간지
슈프림하고 불칸 고민하다가 4090 불칸으로 온 1인
글카 2개 들어가는 케이스 = 채굴케이스 쓰세요
역시 90모델은 90만원이구나...!
그럼 저렴한 쿼드로 8GB짜리 때려박거나 다른거 묶어도 되지않나...
Pci e대역폭 꽤나 요구해서 3gpu부턴 좀 빡세요 그래서 현실적으론 4060ti(16GB)3개가 최댑니다
휴먼~3090을 이제서야 구매하셨습니까? ㅋㅋ
'연애는 돈이 든다'
2개를 구할 자신이 없네 ㅋㅋ…