다른 LLM들을 다운로드해서 실행해 봤습니다. 3090 24GB 그래픽 카드입니다. 그래픽 카드 VRAM 용량에 따라서 설치가 되는 버전이 있고, 설치가 안 되는 버전이 있더군요. 30B 모델이라면, 300억 개의 파라미터로 만든 LLM이라는 얘기인데요, 파일의 크기는 20GB 정도 되네요. 3090 그래픽 카드에서 실행은 간신히 되겠습니다. 하지만 응답이 나오는 시간이 오래 걸릴 것 같습니다. 쾌적한 응답이 나오기를 원한다면 14B 모델 9GB 퍄일을 사용해야 할 것 같습니다.
![[Enchanted LLM] 다른 PC에 설치한 로컬 인공 지능 모델을 아이폰, 아이패드로 연결해 사용하기](http://i.ytimg.com/vi/6Ipjh40P8pI/mqdefault.jpg)
![[AI 툴] 종류가 너무 많다? 30분 안에 모든 걸 정리해드립니다.](/img/1.gif)
감사합니다. 이런게 되는군요. 점점 ai기술이 오피스프로그램처럼 친숙하게 되는것 같네요.
궁금한게 여기 있네요 ㅎ 고맙습니다
감사합니다
매우 유용한 자료내요!
감사합니다
라마 3.3 70b 최신 모델이 405b 수준의 성능을 제공 한다네. GPT-40 과 맞먹는 수준. 이거는 욕심나네. 70b 정도 구동하려면 조금만 더 투자하면 될 것 같은데 얼마나 필요 하려나?
그래서 어느 정도가 적절한지요?
딥시크 privacy policy가 개인정보 수집이 과다해서 로컬로 쓰는게 낫다고 하던데 알고리즘이 이 영상을 띄워주네요 ㅋㅋ 좋은영상 감사합니다
혹시 로컬에서 사용하게되면 r1의 최장점인 서치 + 추론은 불가능하고 추론기능만 가능한걸까요?
로컬에서 딥시크 서치기능까지 사용할 순 없나요?
AI 클라이언트에 따라서 돈도 좀 들이고 API 구성이나 모델 선택을 잘 하면 불가능한 것은 아닌 것으로 압니다.
사실 그정도 개인정보 수집은 미국 기업도 그정도는 합니다
@@0oO.oo.o0O.0 그렇긴 한데 중국은 정부가 정보를 요구하면 줘야하니깐 ㅎㅎ...
ㅋㅋ 한번 해보세요.
흠 이번에 deepseek r1모델을 open webui랑 chatbox에서 사용해봤는데. 어떤 모델인지 설명하라고하니까. webui에서는 deepseek라고하고 chatbox에서는 open ai terbo 라고하네요. 뭐지..
그런대 모델 예제 보니깐 1테라 설치공간 필요해 보이긴 하던
그렇지는 않을 겁니다.
@ 아 한 500gb정도인가 보내요. 허깅페이스에 4기가 파일이 많이 있었던거 같은대. 그게 파라메터 데이터인가요?
궁금했었는데 호기심해결되었습니다.. "허깅페이스에 오픈소스로 풀렸습니다"~이게 무슨뜻인가 했는데 이렇게 모델을 피씨에 다운받아서 쓸수있단 얘기였군요...ㄷㄷㄷ
와 이런 강의를 공짜로
쳇박스, ai 모델은 이해가 가는데 올라마는 뭐하는 프로그램 인가요? 역할이 뭐지?
잘 다룰 수 있는 인공 지능 챗봇에서 알고 싶은 개념이나 용도, 역할을 필요한 수준으로 답을 해달라고 하면 되지 않을까 합니다.
설치 프로그램
선택기준이 ram 기준인가요? 32기가 메모리면 32B를 쓸 수 있는 걸까요?
CPU, GPU, RAM, VRAM, 저장 장치 등 모든 요소가 복합적이어서 그런 식으로 결정하기 어렵습니다. 사용할 PC에서 몇 가지를 돌려보고 실사용하면서 결정하는 것이 좋습니다. 같은 32b여도 모델에 따라 다르기도 합니다.
@@cantips 아...그렇군요 감사합니다! 32B 돌려봤는데 hello 대답하는데 약 2분 걸린 것 같아요 ㅎㅎ
그래픽카드 vram에 큰 영향을 받습니다
다른 LLM들을 다운로드해서 실행해 봤습니다. 3090 24GB 그래픽 카드입니다. 그래픽 카드 VRAM 용량에 따라서 설치가 되는 버전이 있고, 설치가 안 되는 버전이 있더군요. 30B 모델이라면, 300억 개의 파라미터로 만든 LLM이라는 얘기인데요, 파일의 크기는 20GB 정도 되네요. 3090 그래픽 카드에서 실행은 간신히 되겠습니다. 하지만 응답이 나오는 시간이 오래 걸릴 것 같습니다. 쾌적한 응답이 나오기를 원한다면 14B 모델 9GB 퍄일을 사용해야 할 것 같습니다.
4090은 기본적으로 필요한듯. 일반인이 재미로 할수가없넹. ㄷㄷㄷ
파라미터도 모르면서 성능 좋다고 얘기하는 사람들 너무 많음 ㅋㅋ