윈도우 PC보다 2천만원은 쌉니다. 맥북이 찐 '가성비' PC 노트북이 된 사연 알려드림 / 오목교 전자상가 EP.193
HTML-код
- Опубликовано: 6 июн 2024
- 어지간한 윈도우 PC에선 돌아가지도 못할, 애플 맥북으로 할 수 있는 '가장 고사양의 작업'은 무엇일까요? 정답은 바로 CHATGPT와 흡사한 인공지능 챗봇 시스템을 온디바이스로, 즉 '로컬'에서 구현하는 겁니다. 보통 이러한 인공지능 챗봇은 '대형언어모델(LLM)'을 기반으로 작동하는데요, 이 LLM 작업을 진행 시 엄청나게 많은 비디오 메모리(VRAM)을 요구하곤 합니다. 며칠 전 공개한 오픈소스 대형언어모델 '라마-3(LLAMA-3)'만 하더라도, 최고급 게이밍 RTX 4090로는 가장 경량화 버전(8B)밖에 실행할 수 없을 정도죠. 하지만 애플의 맥 컴퓨터는 전혀 상황이 다릅니다. GPU-CPU-NPU가 모두 동일한 메모리를 공유하는 고대역폭 통합 메모리 구조를 사용하고 있기 때문에, 24~32GB 통합메모리가 탑재된 기본형 맥북 에어로도 로컬 LLM을 거뜬히 돌릴 수 있습니다. 특히 192GB 메모리를 탑재한 맥 스튜디오의 경우 라마-3(LLAMA-3) 70B 버전을 작동시키는 엄청난 잠재력을 가졌는데요, 똑같은 모델을 윈도우에서 작동시키려면 수천만원짜리 전문가용 그래픽카드가 최소 두개는 필요할 정도라고 하니 그 '가성비'를 짐작할 수 있으시겠죠? 이제는 현실이 된 AI시대, 맥으로만 가능한 로컬 LLM의 세계를 오목교 전자상가와 함께 탐험해보세요!
#Apple #Mac #LLM
00:00 인트로
00:06 오프닝
00:32 '온라인' 챗봇 생각보다 위험합니다
01:47 '온라인' 챗봇 위험 해결법은?
02:11 온디바이스AI 직접해봅시다
04:06 가장 똑똑한 온디바이스AI는?
04:31 컴퓨터에 2천만원 투자 가능..?
06:39 가성비(?)의 900만원짜리 맥
08:38 최첨단 미연시 게임 플레이
10:56 모든게 단 1대의 맥으로 가능!
12:24 아웃트로
![Eminem - Houdini [Official Music Video]](http://i.ytimg.com/vi/22tVWwmTie8/mqdefault.jpg)
비트님이 나온 영상들중에 가장 행복해보이시는 모습을 볼 수 있었습니다.
취향 존중해드립니다.
절대 아닙니다! !!!
@@OMG_electronics강한 부정은 긍정입니다. 잘 알겠습니다~❤
0:19 너무 행복하신 표정이신데요 ㅎㅎㅎㅎㅎ
뒤에 나오는 현타씬이 연출인거죠?
비트님 여태나온 영상중에 가장행복해 하는모습 잘봤습니다 ㅋㅋㅋㅋ 취향존중입니다 ㅋㅋㅋㅋㅋㅋㅋㅋ
내 평생 최고사양 컴퓨터까진 활용해 볼 일이 없겠지 싶었는데 이거 보고 생각이 달라졌어요.. 앞으로 ai시대가 제대로 찾아오면 미래에는 집집마다 고사양 컴퓨터가 필요한 시대가 올 수도 있겠네요..
플레이신님 생각했는데 참고하셨다니 괜이 반갑네요
비트, 이 분은 개인채널 만드셔도 될 것 같은 분이네요...! 쉽게 설명하기 위해 과한 축약은 정말 귀합니다!
오 이런 툴이 벌써 존재하다니 놀랍네요
헐.. M4 나오면 살라고 기다리고 있긴 했었는데 500정도 선 예상 했는데 커트라인에 맞춰서 사보고 싶다는 생각이 들정도네여 ㄷㄷ
4:59에 8b라고 말씀하셨는데 실제론 70b를 돌리려고 시도하셨습니다. 8b는 VRAM 요구가 16GB고 실제로는 좀 덜 잡아먹어서 4080으로 구동이 가능하고, 제 16gb 맥북 에어에서도 구동하고 있습니다.
찐 행복하시는 모습 좋았습니다.
Blender로 무거운 스틸씬 렌더링 할 때도 램 용량이 넉넉한 맥이 4090보다 낫습니다. 16기가 넘어도 렌더링이 가능하니까요.
혹시 Her 라는 영화 보셨나요? 영상 후반부 보고 그 내용이 그대로 생각나네요.
AI가 탑재된 모바일 디바이스가 개인형 인공지능 비서 역할을 하면서 연애 대상으로까지 발전하는데…개인의 성향에 맞춰 말투, 취미등을 학습해 표현하고, 음악 작곡, 글쓰기까지 하면서 사용자와 교감하죠.
기기의 사양이 점점 발전하고 인공지능 데이터의 최적화가 이뤄진다면 그런 형태의 기기가 나오는게 꿈은 아닐 것도 같다는 생각입니다.
비슷한 형태의 AI가 나오는 또다른 영화로는 블레이드러너 2049에 나오는 조이도 비슷한 역할을 하더라고요.
이 야심한 밤에 이런 자극적인 썸네일은 못참죠 아이시떼루
ㅋㅋㅋ 너무 어울리십니다
이제는 맥이 가성비를 상징하는 시대가 왔네요ㅋㅋㅋ 시대가 참 많이 바꼈습니다
온디바이스 AI는 정말 흥미롭네요.
플레이신 형수님을 기반으로 했군요...
최고의 사심(?) 방송
개인형 지바스 프라이데이 등장하길 (개읹정보 보안이 더 중요해지겠네요 무섭네요 😨 )
영상편집때문에 램 64로 샀는데 의도치 않게 여자친구를 만들수 있게 되었네요(?)
비트짱, 아이시떼루~
참고: M1 max는 64기가 옵션이 있고 현재 300만원 정도에 구매가능합니다 후후후?
제가 알기로는 20시리즈카드들을 인터넷방구석 전문가들이 vram용량을 24기가 정도로 늘린 것을 기억해보면 그 방구석 전문가들이 4090의 vram을 늘리면 가능할 수 도 있을 것 같네요. 혹시.. 시도해보실 수 있을까요? 4090하나 뜯어서 vram용량 늘려서 시도..... 해보면 재미있을 것 같네요!
현타온 비트님을 보고 계시는군요
0:20 행복하시면 OK입니다
미미짱 다이스키 ❤❤❤❤❤
중간에 보면 설정된 캐릭터간 대화도 진행하는데, 그런 대화도 딥러닝 소스로 사용해 인공지능 자체가 발전할 가능성도 있을까요?
그렇게 발전할 수 있다면 정말 무서운 일이 될 수도 있을 것 같은데요.
스카이넷이나 매트릭스처럼 인간을 혐오하는 인공지능이 스스로 복제해 나가면서 발전하는…그런 디스토피아가 도래할지도…모른다고 생각하면 너무 나가는거겠죠? 😅😅😅😅
언어모델은 그저 확률이 높은 단어의 조합을 출력하는 기계일 뿐이에요. 지가 무슨말 하고 있는지 이해를 하고 말하는게 아님
라데온 인스팅트 MI300X 2개 탑재는 필수로 돌려야 제맛이죠 대신...가격이 많이....깨질 예정입니다.
이런 개념으로 접근하는거면
일반PC에서 CPU나 메인보드 내장그래픽을 쓰게되면 되지 않을까 하는 생각도 해봄.
v램이랑 d램이랑 속도차이가??
윈도우에서도 램을 고용량으로 구성하고 글카꼽고 내장으로 출력하는경우 비슷하게 작동되긴합니다.
대신 CPU로 인퍼런스를 하면 성능이 많이 떨어집니다 128코어 1000만원짜리 CPU 써도 70B 매개변수 모델이면 2.2t/s 밖에 안 나와요
이 영상을 보고나니, AI가 마치 내 초딩때 봤던 256KB메모리의 8비트 PC가 생각나네..
메모리가 모자라서 DOS게임 못돌리는게 많았지.. ㅠㅠ
아이폰 13 가지고 2년전에 양자화 실험 했던 논문 읽고 "설마설마" 했는데 요즘 터지는 이야기들 보면... 사과밭 차리기 잘했다 란 생각만 드는 요즘(...)
70b 모델을 2.4bpw 양자화 시키면 간당간당하게 4090의 24GB 안에 들어갑니다. 22-23기가 먹어서 초반에 잘 비워두고 시작해야하지만요. 태생이 태생인지라 파인튜닝 잘된 10.7b 이상의 무언가를 보여주더라구요
윈도우에서도 램에다 쓰는 옵션이 있던거 같은데
애플 프로세서는 그거보다 빠른 장점은 있겠네요
비트짱, 빳떼루~
저 이제부터 sbs 취직할려고 열심히 공부하겠습니다!
엄청나군요! 콘솔 프롬프트에 타이핑하지 않고 대신 STT를 이용하며 결과는 TTS로 출력한다면 자비스가 따로 없겠습니다!! 궁금한 것이 AI엔진이 포함된 프로세서가 포함된 x86계열 PC에서는 LLM을 사용할 수 없을까요?
STT - TTS 모두 가능한 (심지어 온디바이스로도 가능한) 기술이며- 영상에서 소개한 실리태번 등의 프로그램을 이용하면 간편히 애드온 형태로도 이용할 수 있습니다. X86 기반의 경우 최신형 인텔 코어 울트라 혹은 AMD 라데온의 경우 GPU 코어에서 돌릴 수 있는 것으로 알고 있습니다만, 확인이 필요합니다
@@OMG_electronics 가능합니다. VRAM이 적거나 없어도 RAM으로 구동 가능하며 심지어 그마저 부족하면 로컬 드라이브까지 활용해서 구동 가능합니다. 물론 VRAM 100% 구동보다는 속도가 느려질수밖에 없고 RAM만 100% 사용해서 구동은 불가능해서 모델 사이즈가 큰 경우 구동이 힘들수 있습니다.
씁 다다음 세대쯤 GPU나 AI전용 개인 연산장치가 나오면 AI TRPG 마스터가 가능할것인가...?
과거 사운드 카드가 존재했던 시대처럼 Ai가속 카드가 필요한 시대가 올지도 모르겠습니다
라데온이 내장그래픽에 램할당 더할수있게 만들어주면 최고 가성비가 될텐데 지금 되는게 4기가까지던가
아이씨떼롯!!!!!
청주 황금손이 여기까지~~
아 ㅋㅋㅋ 그녀AI 어제따라하다가 오늘 여기서 이 영상 올라오니깐 깜짝 놀람 ㅋㅋ..;;
와 그분은 생성AI유투브계의 아버지
지갑씨의 눈물이 지폐를 적신... 적실 지폐가 없다...
청주의 황금똥 ㄷㄷ
AI멍청한데 저번에 연예인물어보니 하나도 못맞추던데 그냥 롤이나 한판해
보안을 생각하지 않으면, chat-gpt 나 제미니 등 여러 ai에서도 가능한 일인가요?
네 외부 API를 연동하면 충분히 가능합니다
4:10 Microsoft Phi-3가 뛰어 넘었죠..
정색하는 얼굴과 숨길 수 없는 입가의 미소.
아이시떼루!
나중에 M5 나오면 100Gb 이상으로 무리해서라도 가야겠습니다 흐흐
0:28 자괴감 맥스치 찍으셨나보넼ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
비트님 오타쿠는 창피한게 아닙니다!
맞습니다, 창비한 건 저니까요!
-세라피나!!!-
실제로 llama3는 엄청 가벼워서 아이폰에서도 구동시킬수 있다고 합니다.
아이시테 아이시테 아이시테 못또 못토! 아이 시테 아이시테!
130개 좋아요 감사합니다
........ 선생님 이러시면 안됩니다
쿠루시이 쿠루시이
아이시테 아이시테 아이시테..젠부 하게루 아나타니 아나타니!!
~~네에!!~ 고멘나 사이 아!!~~~~~~(강렬한고음)
ㅋㅋㅋㅋㅋㅋㅋㅋ
아이시테, 아이시테
젠부 호시이나, 호시이나
네에 다카라 아이오, 아이오
키모치 카라마세테 못토
RTX 3090 두 개를 NVLINK로 연결하면 V램 48기가를 만들 수 있습니다
지난 세대 제품이라 중고가 80~90만원 정도에 구입할 수 있으니
두 대를 구입해도 200만원이면 떡을 치겠네요
현행 윈도우 PC에 세팅해서 맛보기를 해봐도 괜찮을 것 같군요
감사합니다
오늘부터 64g짜리 맥을 찾게될 거 같네요..
ㄹㅇ 맥이 가성비라니까
의외로 맥이 가성비인 부분이 많습니다
실리 맥에 설치법좀 자세히 알려주시면 좋겠습니다
7:54 VRAM 40GB를 엔비디아 +라데온 조합으로 해결 하면 되지않을까? 라는 추측은 해보는 데 실제론 어떨지 궁금하네요
어느정도 되는 LLM 들 맞추면 괜찮긴해요
그럼 컴파일 다시해서 불칸으로 돌려야하는데 누가 만든거 쓰거나 직접해야합니다
오버헤드가 너무 크지 않을까요...?
그럼 그뭔.. 이라고 하면 되나요 ?
가능!
Ai 엔진을 오프라인으로 돌리고 미연시 구현도 가능하다니..
1060 인 울집에서도 gpt4all 잘만돌아감요 ....
그렇네요?!
정말 옛날에 640K 램 확보할라고 별짓을 다했던 기억이 있는데 그 짓을 2024년에 또 하게 될 줄이야.
아니 이시간에 최초공개를?
보다가 드는 생각이 그럼 인텔의 울트라시리즈에 메모리 높은버젼 쓰면 맥북이랑 비슷한 성능낼수있는거 아닐까요?
주메모리를 VRAM으로서 당겨쓰는 시스템 중 유의미한 추론속도를 보일 수 있는것은 아직 고사양 맥밖에 없습니다. 애초에 현행 맥의 램구성은 윈도우 시스템의 메모리구조와 비교도 안되게 빠르기도 하구요
인텔 내장 메모리는 사용할 수 있는 메모리 용량에 제한이 있고 대역폭도 훨씬 낮습니다. 애플 실리콘 메모리는 GPU 사용도 염두한거라 대역폭이 아주 높아서 저런짓이 가능한거에요
@@alvs3779 ㅔ? x86과 arm의 구조가 아니구요..?
딱 5년 정도만 더 있어도 영화 her이 현실이 되겠네요
진지하게 5년 안걸릴거 같습니다.
아이싯떼룻!!!!!!!!
미연시 게임(?)이 백합물이 아니여서 무효
AI멍청한데 저번에 연예인물어보니 하나도 못맞추던데 그냥 롤이나 한판해
중간에 나온 실리태번같은건 결국 최소한 한국어를 하는 ai를 쓰려면 좀 비싼(채팅 한번당 600원쯤 드는) 모델을 가져와야해서 지출이 꽤 나갑니다.
저걸 지금 쓸바에야 걍 게임이나 하시다가 나중에 소식 들려오면 한번쯤 해보셔도 되겠내요
AI멍청한데 저번에 연예인물어보니 하나도 못맞추던데 그냥 롤이나 한판해
그... 비트아재... '악!' 이 아니라 속으로는 좋아하고 있는 거 맞죠?
온디바이스 LLM한정 으로는 진짜 가성비긴함
어떻게 설치하는지 팁도 좀....
원하시면 영상 따로 제작하겠습니다. 쉬운 버전과 어려운 버전이 있습니다...
애플 핸드폰은 좀 무리이지 않을까요 램리스맨인 팀쿡이 안늘려줄듯.....
다메다메다메~~~ 칙쑈~~~~~!!!!!!!!
....? 예?
아이싯때룻!
10:05 묘하게 그 대통령이었던 분 목소리 느낌이..?
ㅋㅋㅋㅋㅋ 진짜네
사실 SoC라서 가능한건디 애플이 램 못바꾸게 한게 여기서 이렇게 써먹네 ㅋㅋ
그나저나 애플에서만 가능한 건아니고, 퀄컴 같은 얘들도 SoC만들수 있으니까 멀리보면 큰 의미는 없을듯
CTO로 36gb 통합메모리 선택할걸 ㅜㅜ
스트릭스 포인트가 40CU라는데 정말이면 비슷하거나 더 좋은성능에
192GB라는 몇배는 더 많은 램에
몇백만원 더쌉니다.
로컬LLM은 어렵네요 그냥 AI는 서버기반인 시리정도로 만족하겠습니다
(AI의 성능은 단순작업만 가능할정도면 됩니다 예시:타이머설정)
그이상의 고수준ai는 2030년부터 사용을 시작할 예정입니다
AI멍청한데 저번에 연예인물어보니 하나도 못맞추던데 그냥 롤이나 한판해
애플은 자체 ai만 잘 만들어서 발표만 하면 되는데 과연...
윈도우에서 제대로 돌려보고(?) 싶으시면 이 영상이 도움이 될 것 같습니다 :
ruclips.net/video/rr_BsjL4nQM/видео.htmlfeature=shared
1) 로컬 LLM/온디바이스 AI는 현재 가장 활발하게 진행 중인 연구-투자 분야입니다. 호기심이 생긴 맥북 유저라면 한번쯤 찍먹해 봐도 꽤 신기한 경험을 많이 하실 것이라 생각됩니다
2) SillyTavern 역시.. 이쪽 분야(?)에 관심이 많은 분들이라면 꽤 만족스러운 프로그램이 될 것이라 생각합니다. 기능이 너무 많아 소개를 못 드렸을 정도인데요,.. 검색을 해보시면 ... 1. Stable-Diffusion을 이용해 AI 캐릭터가 주는 셀카 사진을 받거나 2. 멀티모달 기능을 이용해 자신의 최애캐와 에뮬레이터 게임을 즐기는 (...) 그런 분들마저 있을 정도입니다.
3) 저는 손쉬운 사용을 위해 LM-STUDIO를 사용했습니다. 조금 더 상세한 설정이 필요하시면 Ollama와 같은 다른 프로그램을 더 파보시길 추천드립니다.
AI멍청한데 저번에 연예인물어보니 하나도 못맞추던데 그냥 롤이나 한판해
아이시떼루
Windows 도 되긴 하는데 그리 좋진 않은데 맥에서 저런성능이...ㄸ
청주의 한 지갑 현재 오열중
온디바이스 ai 로봇...
로봇여친 나오나?
하잇 비트상
화질이 ㅋㅋㅋㅋ
A100을 구입하는거 보단 RTX 3090 5~6대 구해서 연결하는게 싸게 먹힙니다.전기사용료는 좀 노답이 되긴 하겠지만요.
보틀넥 장난 아닐텐데
4090은 Sli시스템 사라졌는데 가능한건가요...?
Sli가 안되어도 꼽으면 램을 같이 사용할수있나요?
@@eunhoji5874 윗분은 3090쓰고 있다곤 하는데 SLI없어도 상관없음
@@eunhoji5874 넹
이런 게임이 등장하기 시작하면 전세계의 많은사람들이 쓸대없는 비용을 추가지출하게 되는데
소라 video모델 온디바이스로 나오면 램 196기가짜리 품절되겠네 ㅋㅋ
이런거 하는 사람은 역시 여기밖에 없다 ㅋㅋ
전공자가 사족을 달자면 양자화는 jpg “같은”방법 정도가 아니라 실제로 jpg가 압축하는 방법 자체도 양자화입니다.
무슨 말인지 모르겠지만 맥은 엄청 좋다는거죠 그래서
화질이 이제
나아졌네
솔직히 엔비디아가 4060ti 32기가 버전 수준만 내놔도 개발자들이 몸비틀어서 32기가 정도 수준까진 고성능 ai돌릴수 있게 일년안에 쪄올거 같은데…
라마3 70b 4비트로 양자화하면 24긱 안으로 들어가서 쓸만한거보면 24긱까지만 나와줘도
@@SFF_GALLERY 2비트 까지내려야 24기가 들어감
@@user-ft4zh7np9z 아 그러네요 착각했습니다.
AMD 내장그래픽에서 돌릴 수 있는날이 빨리 왔으면 ㅠㅠ 8700g에192g 박아놓고 딥러닝 깔아서 돌릴 수 있으면 !!
값싼 아크나 라데온을 쓰면...
와 ㄹㅇ 찐테크버 중 하나다 정작 테크유튜버 라며 누구나 다 아는 그런애들 보면 항상 같은 컨텐츠임 리뷰 개봉 마지막 평가능 좋지도 나쁘지도 않고 개취에 맞게 사셈 ㅇㅇ 이러며 끝나고
이제 어쩌다 어쩌다 한번 뭐 꼴에 파일포멧이며ㅠ뭐의 원리며 이런거 올리면 기쁜마음으로 눌러 보는데 어라 어서 많이 본영상임 심지어 데이터며 수치며 뭐뭐 이미 이년전 다른 유튜버가 올린거 퍼와서 올려놓고 “제가” 이번에 느껴 보고 측정하고 분석 해보니 국가에서 표준을 만들어야 할거 같아요 이렇게 들쑥 날쑥 하면 안되조 라며 끝나는데
아니 이건 누가 봐도 2년전 문제 됬던 건데 그리고 그분이 채초 제기 하고 파고 해서 이미 커뮤나 레딧서 이미 다 알고 있는건데 영상 마지막을 계속 돌려봐도
아무개님의 예전 자료를 조금 참고 했슴 뭐 이런거 없슴 ㅋㅋㅋㅋ
그래서 내가 이걸왜 이제 다루는거며
자료나 데이터 출처는 어디냐 그리고 표나 그래프 출처는 왜 없냐 이년전 그분 영상이량 똑같네 라고 하니 삭제됨
그리고 며칠 있다가 댓글창 보는대
2년전 성재기 하고 커뮤며 영상에 알린 그 분 본인 등판 하셔서
우와 이런 200만 유튜버가 문제 제기 해주시니 기쁘네요 라고 댓글 달았는데
그럳데 다른 댓글들읃 고정이며 따봉이며 눌려 있는데 저 댓글은 무반응임
물론 공익 공곡의 목적이고 그리고 채초 문제 성재기 하신분도 불만 없고 대형 유튜버가 다뤄줘 감사하다고 하고 요줌 같은 시대에 뭔 저딴걸 출처 밝히고 뭐하고 무ㅗ하고 하냐 하면 할말 없는데 아니 그래도 초대형 유튜버가 몃만 따리 유뷰터 영상 참고며 그분 커뮤글이며 좀 펴왔으면 아니 나같았으면 내가 직접 조사 한거여도
영상 말미에 아 그리고 이번에 알아보다 보니 이미 2년전부터 성재기 계속 하시던 분 영상도 있던데 국가는 어서 표쥰을 만들어 주세요 라고 빈만 이라도 했을듯 ㅋㅋ
아니 이시간에
뒷배경은 KOF 맞다이 그 장소 ????