손쉽게 내 컴퓨터에서 LLM 돌리는 방법

Поделиться
HTML-код
  • Опубликовано: 22 дек 2024

Комментарии • 2

  • @seongminpark3131
    @seongminpark3131 2 месяца назад

    양자화 보통 q5정도 이상은 사용해라라는 말이 있던데
    어떻게 생각하세요?

    • @컴맹이해커가되기까지
      @컴맹이해커가되기까지  2 месяца назад

      모델 사이즈별로, 원하는 태스크와 원하는 성능이 어느정도인지에 따라 달라질거같습니다. 복잡한 태스크를 하실게 아니면 70b모델을 q2로 해도 나쁘지 않은 성능이 나오기도 합니다. 10b 내외의 작은 모델들은 양자화를 아예 안하는게 좋은거같고요 ㅎㅎ (양자화하면 너무 못쓰겠더라구요)

Следующие
Автовоспроизведение
GPT 프롬프트 만드는 팁, 프롬프트 엔지니어링29:01GPT 프롬프트 만드는 팁, 프롬프트 엔지니어링
GPT 프롬프트 만드는 팁, 프롬프트 엔지니어링컴맹이 해커가 되기까지
Просмотров 565
개발 프로젝트 어떻게 해야될지 막막하신 분들께12:27개발 프로젝트 어떻게 해야될지 막막하신 분들께
개발 프로젝트 어떻게 해야될지 막막하신 분들께컴맹이 해커가 되기까지
Просмотров 944
EDCF 서포터즈 베트남 사업현장 방문 2탄8:51EDCF 서포터즈 베트남 사업현장 방문 2탄
EDCF 서포터즈 베트남 사업현장 방문 2탄EDCFkorea
Просмотров 4
Pachuca (MEX) vs Al Ahly (EGY) Penalty Shootout | Intercontinental Cup | 12/14/2024 | beIN SPORTS16:03Pachuca (MEX) vs Al Ahly (EGY) Penalty Shootout | Intercontinental Cup | 12/14/2024 | beIN SPORTS
Pachuca (MEX) vs Al Ahly (EGY) Penalty Shootout | Intercontinental Cup | 12/14/2024 | beIN SPORTSbeIN SPORTS USA
Просмотров 379 тыс.
BLACK BAG - Official Trailer [HD] - Only in Theaters March 1402:46BLACK BAG - Official Trailer [HD] - Only in Theaters March 14
BLACK BAG - Official Trailer [HD] - Only in Theaters March 14Focus Features
Просмотров 2 млн
Is WESTERN Or EASTERN Dragon Better in Blox Fruits?! (Which YOU Should Choose!)06:48Is WESTERN Or EASTERN Dragon Better in Blox Fruits?! (Which YOU Should Choose!)
Is WESTERN Or EASTERN Dragon Better in Blox Fruits?! (Which YOU Should Choose!)VarietyJay
Просмотров 234 тыс.
This Month Was Tough on Us..25:39This Month Was Tough on Us..
This Month Was Tough on Us..PewDiePie
Просмотров 1,8 млн
파이썬 기초 - 1장 파이썬이란 무엇인가? | 2023 점프 투 파이썬53:42파이썬 기초 - 1장 파이썬이란 무엇인가? | 2023 점프 투 파이썬
파이썬 기초 - 1장 파이썬이란 무엇인가? | 2023 점프 투 파이썬조코딩 JoCoding
Просмотров 183 тыс.
취업이 어려운분들 구글부터 지원하세요! (저의 취업준비 방법을 알려드립니다)10:11취업이 어려운분들 구글부터 지원하세요! (저의 취업준비 방법을 알려드립니다)
취업이 어려운분들 구글부터 지원하세요! (저의 취업준비 방법을 알려드립니다)컴맹이 해커가 되기까지
Просмотров 2 тыс.
리베이스 (Git Rebase)10:30리베이스 (Git Rebase)
리베이스 (Git Rebase)깃미남 - 깃에 미친 남자
Просмотров 1,2 тыс.
llama3_데이터생성_파인튜닝_finetuning_gguf_ollama_rag1:08:49llama3_데이터생성_파인튜닝_finetuning_gguf_ollama_rag
llama3_데이터생성_파인튜닝_finetuning_gguf_ollama_ragHK CODE
Просмотров 4,9 тыс.
GPT할머니가 알려주는 폭탄제조법..!? LLM 탈옥, GPT 해킹을 모르신다면 클릭!!!38:13GPT할머니가 알려주는 폭탄제조법..!? LLM 탈옥, GPT 해킹을 모르신다면 클릭!!!
GPT할머니가 알려주는 폭탄제조법..!? LLM 탈옥, GPT 해킹을 모르신다면 클릭!!!컴맹이 해커가 되기까지
Просмотров 4,5 тыс.
맥북 없이 코딩을 한다고?10:55맥북 없이 코딩을 한다고?
맥북 없이 코딩을 한다고?코드깎는노인
Просмотров 21 тыс.
대부분이 코딩테스트 공부를 잘못하고있습니다.13:00대부분이 코딩테스트 공부를 잘못하고있습니다.
대부분이 코딩테스트 공부를 잘못하고있습니다.컴맹이 해커가 되기까지
Просмотров 16 тыс.
🔥성능이 놀라워요🔥 무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기(#LangServe) + #RAG 까지!!28:51🔥성능이 놀라워요🔥 무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기(#LangServe) + #RAG 까지!!
🔥성능이 놀라워요🔥 무료로 한국어🇰🇷 파인튜닝 모델 받아서 나만의 로컬 LLM 호스팅 하기(#LangServe) + #RAG 까지!!테디노트 TeddyNote
Просмотров 49 тыс.
Git rebase가 뭔지 까먹지 않게 설명해드리겠습니다.8:05Git rebase가 뭔지 까먹지 않게 설명해드리겠습니다.
Git rebase가 뭔지 까먹지 않게 설명해드리겠습니다.컴맹이 해커가 되기까지
Просмотров 1,4 тыс.
ДПС ОСТАНОВИЛИ РОСГВАРДИЮ и ВОТ ЧТО ВЫШЛО.. в ГТА 5 РП (GTA 5 RMRP / Криминальная Москва)00:57ДПС ОСТАНОВИЛИ РОСГВАРДИЮ и ВОТ ЧТО ВЫШЛО.. в ГТА 5 РП (GTA 5 RMRP / Криминальная Москва)
ДПС ОСТАНОВИЛИ РОСГВАРДИЮ и ВОТ ЧТО ВЫШЛО.. в ГТА 5 РП (GTA 5 RMRP / Криминальная Москва)Mike Solist
Просмотров 109 тыс.
Он СОВСЕМ "СБРЕНДИЛ": РОМАНОВА отреагировала на заявления Путина19:38Он СОВСЕМ "СБРЕНДИЛ": РОМАНОВА отреагировала на заявления Путина
Он СОВСЕМ "СБРЕНДИЛ": РОМАНОВА отреагировала на заявления ПутинаFREEДOM
Просмотров 285 тыс.
Арсен Маркарян и Лиза Лазерсон. Спор2:02:32Арсен Маркарян и Лиза Лазерсон. Спор
Арсен Маркарян и Лиза Лазерсон. СпорЛиза Лазерсон
Просмотров 239 тыс.
САМЫЙ ДОРОГОЙ НОВОГОДНИЙ СТОЛ ЗА 1200 $ / ОГРОМНЫЙ ОСЬМИНОГ , ИКРА МОРСКОГО ЕЖА , КРАБЫ , ЛАНГУСТЫ49:21САМЫЙ ДОРОГОЙ НОВОГОДНИЙ СТОЛ ЗА 1200 $ / ОГРОМНЫЙ ОСЬМИНОГ , ИКРА МОРСКОГО ЕЖА , КРАБЫ , ЛАНГУСТЫ
САМЫЙ ДОРОГОЙ НОВОГОДНИЙ СТОЛ ЗА 1200 $ / ОГРОМНЫЙ ОСЬМИНОГ , ИКРА МОРСКОГО ЕЖА , КРАБЫ , ЛАНГУСТЫvanzai
Просмотров 2,2 млн
Хотели просто покататься на тракторе! А вот, что получилось!38:25Хотели просто покататься на тракторе! А вот, что получилось!
Хотели просто покататься на тракторе! А вот, что получилось!CombatCrew Live
Просмотров 79 тыс.
Вот такое заседание по вопросам здоровья00:15Вот такое заседание по вопросам здоровья
Вот такое заседание по вопросам здоровьяНовостной Гусь
Просмотров 492 тыс.
НОВЫЙ СЕЗОН - игры со временем!😱 • что же нас ждет?06:29НОВЫЙ СЕЗОН - игры со временем!😱 • что же нас ждет?
НОВЫЙ СЕЗОН - игры со временем!😱 • что же нас ждет?MrLololoshka EDIT
Просмотров 149 тыс.
Егор Жуков - куда и почему он пропал / вДудь3:32:29Егор Жуков – куда и почему он пропал / вДудь
Егор Жуков - куда и почему он пропал / вДудьвДудь
Просмотров 1,6 млн