흙수저용 GPT 너무 잘봤어요. 제가 여기 코드 실습하다가 잘 안되는 부분이 있어서 질문 드리는데요. 노드를 이렇게 실행한 뒤 /ask로 들어가면 > node index.mjs llama.cpp: loading model from models/airoboros-13b-gpt4.ggmlv3.q4_0.bin fatal runtime error: Rust cannot catch foreign exceptions 이런 에러가 뜹니다. 물론 저 bin 파일은 wget을 통해 얻어서 models 폴더에 잘 들어가 있고요. express나 llama, llamaCpp도 npm install로 설치는 완료했습니다. express로 웹서버 자체는 잘 돕니다. 어디서 부터 접근해서 해결해야할지 모르겠습니다. ^^;; 개발 환경은 Window 11에 VS code 설치해서 하는 중입니다.
1:17 흙수저의 PC 보호 이말 왤캐 웃기지 ㅅㅂ ㅋㅋㅋㅋㅋㅋ
거지 밥그릇 뺏기는거 보호해주는거 같아서 존나 웃김 걍 ㅋㅋㅋㅋㅋㅋ
3:40 종이 노트북 ㅋㅋㅋㅋ😂
프롬 수정해서 저희집 와이프로 활동하고 계십니다. 감사합니다~
ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
형님 좀 알려주심쇼
zzzzzzzzz
야하네요...
특이점은 이미 시작되었다.......
사실 꽤 상당한 리소스가 필요하기때문에 오히려 지금은 open ai의 api가 가성비가 있어요
최신형 그래픽카드로 돌리는 모델도 gpt4에 비하면 지능이 비교도 못하기때문에
물론 엄청난 발전속도를 가지고있기때문에 유망하긴합니다.
뭐라는 거야? 한국말도 제대로 못쓰면서 무슨 이야기를 하려는 거야? 파라미터가 많은 게 인공지능 지능이 높은 거야? LLM은 개정도의 지능도 안된다고 메타 수석 인공지능 과학자가 말한것 안 읽은 거야?
openAI가 잘나갈수록 적자가 나는 이유 😅
비싼 그래픽카드를 구하거나 따로 서버를 구축하기 힘들다면
AWS같은 가상 클라우드 서버를 이용하는 것도 방법이긴 합니다만
이렇게 로컬 모델 돌릴 바엔 그냥 GPT api를 따오는게...
@@FLWR_03 OpenAI는 지금 엄청난 흑자를 기록중입니다 ㅋㅋ
@@dos-dotoritos 제가 그렇게 해보려다가 가격 산정해보고 아차싶어서 OpenAI API로 돌아왔습니다 ... 클라우드라고 일반인이 간단히 부담할 수 있는 비용은 아니더군요...ㅋㅋㅋ..
회사에서 LLM모델 적용하기 좋겠네요. gpt에 종속되는건 비지니스 bm이나 거의 모든 방향성에서 이위험하죠
그러네요 회사컴 쓰면 되네요 예전에 회사 서버로 비트코인 채굴하는 엔지니어 좀 있었죠
그래서 최근엔 llama를 회사에 맞춰서 학습시킨다음 gpt로 finetuning을 하는 방식도 있다고 하더군요.
지->즈
@@d2341a🤓☝️
오 필요했던 내용인데 정말 감사합니다
Copilot (MS) 과
Bard (Google) 가 무료입니다.
흙흙
0:04 흙수저용 gpt 로고 킹받넼ㅋㅋㅋㅋ
무료 gpt 써도 코드 4시간 걸려서 짜는 걸 1분이면 만들어 주더라....
심지어, 예전에는 에러도 좀 있었고 중구난방이라 리팩토링 해줘야 했었는데 지금은 나보다 잘 짬. 변수명도 개깔끔.
니 수준이 그정도
아직 그정도는 아닌데
4:18 저 모델을 한국어 지원하는 라마2 모델로 넣어봤는데 계속 "error loading model: unrecognized tensor type 10" 이런식의 오류가 뜨네요... 호환되는 모델이 따로 있는걸까요??
@@hairtievlrt 올라마에서는 한국어 모델 넣어도 정상작동되던데, 똑같은 모델을 넣었음에도 불구하고 llama-node만 저렇더라고요. 해당 라이브러리가 작년부터 더 이상 업데이트 안하고 있어서 신규 모델은 지원이 안되는거 같아요. 혹시 어떤 모델 쓰셨나요?
그냥 3.5 쓰는걸로ㅋㅋ
3.5는 무료지
흙수저용 GPT와 라마 모델 활용법에 대한 실용적인 정보를 제공해주셔서 감사합니다, 매우 도움이 됐어요! 👍
1:40 "에러가 뜨면 뭐 이거저거 검색해보시구요" ㅋㅋㅋㅋ개웃기네
와 감사합니다. 이걸로 제품 만들어 봐야겠군요
감사합니다 😊 잘 쓰겠습니다 😅
라마를 로컬로 돌릴려면 ㅋㅋㅋ 컴퓨터가 얼마나 좋아야 되는데 어떻게 이게 흙수접니까 3.5 무료버전 쓰는게 흙수저지
형님 cursor 라는 IDE에서 GPT-4 기반의 무료 AI 서비스를 바로 이용할수 있다는데 리뷰좀 부탁 드립니다.
저도 지금 쓰고 있는데 AI 뺴고 vscode랑 머가 다른지 잘 모르겠어요
왜냐하면 근본이 vscode이니까ㅋㅋㅋ
ide가 종류마다 성능과 기능이 당연히 달른거 아닌가라는.. 개발자가 다르니깐? Copilot 은 다른얘기같
중간에 나오는 종이노트북이 갖고싶습니다..흙흙흙.....
무료 모델중에 한국어 헛소리 덜하는것좀 추천해 주세요... 여러가지 써봤는데 ... ㅠㅠ 이상한 소리만 계속하네요...
국산 파인튜닝 모델중에선 Synatra-7B-v0.3-dpo가 제일 괜찮았습니다.
그 외엔 중국쪽에서 성능 잘나온다고 화제가 된 Yi 34b 모델의 경량화버전을 파인튠한 beomi님의 Yi-Ko-6B도 있는데 이건 실사용은 아직 안해봤어요.
@@bydayabd1444 😆
파인튜닝한 라마모델도 CPP 로 변경해서 만들 수 있나요?
성능이 많이 요구되서 양자화 모델을 쓰는데, 그래도 많이 요구하니까.. GPT api가 더 좋긴하네요 ㅎㅎ..
갤럭시24에 라마 어떻게 설치해여 애플형??
gpt 요새 뭐 출력해달라면 제한되었다고 빠꾸먹이는거 킹받음
개인이 쓰기엔 그냥 GPT 가져다 쓰는게 현재로선 가장 좋음.
다만 GPT 서버 불안정 등 다양한 원인으로 사용할 수 없는 환경이나 기업의 경우에는 이걸 쓰는게 맞긴 함
좋네요! 궁금한게 하나 있는데 이렇게 로컬에서 돌리면 메모리가 좀 빠듯한 노트북의 경우엔 메모리를 사용하는 다른 작업을 동시에 수행하기는 어렵지 않나요?
음.. 메모리를 늘리면 되지 않을까요? 8기가가 2만원인가 그런거 같은데.. 미니pc 싸니깐, 욕심 있으시면 강추드립니다.
제목 부터 개 슬퍼서 안구 좀 클렌징 하고 시작합니다...
프로그래밍 모르는 사람입니다. 로컬 모델에 원하는 데이터 학습시켜서, 업무보조 파일럿? 같은 식으로 만들어서 쓰고 싶은데요. 무엇부터 배워야하나요? 공부 시작하려고요.
자연어 모델은 개인이 만들 수 있는 수준이 아닙니다.... ㅜㅜ
이거 메이드로 조교 가능한가요
궁금한게 있는데 저 라마모델은 4기가안에 모델링 되어있는 데이터가 다 있는건가요? 아니면 저 라이브러리도 어딘가 리퀘스드 하는건가요?
pre-training시에 feeding한 데이타도 다 포함되어 있슴. chatGPT도 10TB 정도 데이터를 사전트레이닝 시켰는데 이걸로 구현된 모델은 256G가 정도라고 함.
사전 트레이닝시에 NN이 알아서 필요한 부분만 발췌헤서 기억장치로 옮긴다고 함.
256G 에 그 많은 지식이 들어 있다니 신기하네요.
@@kojunho 그림이나 영상이 아니라 텍스트라면 256GB에 책으로 70만권 분량을 저장할수 있죠
왜 다라인가 했더니 합치면 티베트 달라이 라마네 ㅋㅋㅋㅋ
바드나 claude 같은 애들은 성능이 별로인가요?
파인튜닝해서, FAQ챗봇으로 만드는 법도 올려주세요.
그건 10분가지곤 힘들죠
10분만에 뚝딱 FAQ챗봇 만들어 돈벌어보자. 이런 좀 자극적잉 타이틀 정도되야… 우루루와서 시청할 것같은데…
흑수저용 ㅋㅋㅋㅋ
사실 모델은 공개되어 있으니, 양질의 데이터셋을 확보하는 기업이 살아남겠죠
회사에 오픈하고 성과금 받겟습니다. 감사합니다.
"llama-model을 활용한 흙수저 전용 gpt를 적용시킨 웹사이트를 mz하게 코딩해줘"
썸네일보고 안들어올수가 없었습니다
작명센스 😮
좋은 정보 감사합니다
라마 모델 라이브러리 이름이 달라이 ㅋㅋㅋㅋㅋ
합치면 달라이 라마네요
뤼튼 쓰면 무료로 gpt4 쓰게 해주던데, 이거는 뭔가 다른건가요?
ㅇㄷ
뤼튼 별로던데ㅠㅠ
K-쓰레기기업
똑같음
뤼튼은 그냥 쓰다보면 “불편함” 이 확 와닿게 되는 순간이 여럿 있음
랭체인에서 쓸수있어용?
저걸로 연애 가능한가요? Gpt는 자꾸 거부해서 짜증나던데
폴더명 '흙' 어이없네 ㅋㅋ
모르겠고 쇼츠나 내주십쇼
gpt4.무료로 전환한다고 알트만이 언급하지않았나요?
Replit AI가 GPT보다 좋다는데요 (프로그래밍 한정)
다음영상으로 GPU도 쓸수있는 방법 알려주시면 안될까요 + gguf로 이미지 인식하려니까 안되는데 원래 안되는건가요
많이 않쓰면 openai api키 받아다 쓰는게 쓰는만큼만 돈나가서 좋음
않->안
커서 IDE 영상 만들어주세요
하 맥에서 하는데 터미널에서 막히네..ㅠㅠ llm_load_tensors: VRAM used: 0.00 MB 왜 여기서 안넘어가지지
달라이와 라마라니... 무섭다!
라때는 llama.cpp에 vicuna 돌려보겠다고 별의 별 삽질을 다 했는데 세상 좋아졌네...
챗지피티 유료플랜은 언제쯤 풀릴려나요 ㅠㅠ
지금 안됨???
@@odyyx9e6osydyodyo75 대기 걸어놔야되네여 ㅠㅠ 안되요
흙피티 폼미쳐따
돈 낼테니깐 GPT4 결제 열어줘ㅠㅠ
ruclips.net/user/shortsUVlJJS0aND8?app=desktop&si=A_TXU-E1Y994hlhu&fbclid=IwAR2hvUrKWDJIKLDEQXidUar3F2oRj_NyOMOehgGcDV5igVRjKZcMyOTHch8
사용자명 흙수저 디테일 ㅅㅂ ㅋㅋㅋㅋㅋ
ㅋㅋㅋ근데 저렇게 웹서비스를 만들면 불법아닌가요?
70억개 파라메타면 3.5랑 비슷하겠네요 걍 3.5쓰면 될 것 같습니다
저거 한국어 지원안하지않나?
걍 엣지브라우져에 bing에 있는 chatgpt4 쓰는걸로ㅋ
뤼튼이라는 사이트에서 무료로 gpt4를 쓸수 있는데 문제가 있을까요?
거기는 땅파서 장사하는곳이라... ㅋㅋㅋ
흙수저용 gpt 이미지 구겨진거 웃음벨이네 ㅋㅋㅋ
흙수저용 GPT 너무 잘봤어요. 제가 여기 코드 실습하다가 잘 안되는 부분이 있어서 질문 드리는데요.
노드를 이렇게 실행한 뒤 /ask로 들어가면
> node index.mjs
llama.cpp: loading model from models/airoboros-13b-gpt4.ggmlv3.q4_0.bin
fatal runtime error: Rust cannot catch foreign exceptions
이런 에러가 뜹니다.
물론 저 bin 파일은 wget을 통해 얻어서 models 폴더에 잘 들어가 있고요.
express나 llama, llamaCpp도 npm install로 설치는 완료했습니다.
express로 웹서버 자체는 잘 돕니다.
어디서 부터 접근해서 해결해야할지 모르겠습니다. ^^;;
개발 환경은 Window 11에 VS code 설치해서 하는 중입니다.
흙수저라면 뤼튼을 씁시다
갖고놀기 좋을거같네오
달라이 라마 무친ㅋㅋ
다라이 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
그냥 뤼튼을 쓰면 openai 에서 새로운거 만들어도 무료로 사용가능합니다!(한글이 모국어인 AI)
무료 여자친구 감사드립니다.
전 3.5는 api로 4는 셀레니움으로.. ㅎ
1:18 ㅋㅋㅋㅋㅋㅋㅋㅋ
그냥 무료 챗지피티 3.5 쓰는게 더 편하고 성능도 좋은걸로.
다라이! 성공적!
뤼튼 이런건 어때여?
재밌네요
뤼튼..?
첫빠따!
캬
ollama 쓰세요
다라이 피식했다
한글명 폴더라니 너무 불편해요!
아이콘 개킹받네요ㅋㅋㅋㅋ
그냥 윈도우11 copilot 쓸래요…
다라이에서 터졌어요 ㅋㅋ
흙PT ㅋㅋㅋㅋㅋㅋㅋㅋ
그냥 윈도우 11에서 코파일럿 쓸 거면 개추ㅋㅋ
다라이 미쳤낰ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ
와 이해했어 (하나도이해못함)
츄촌
ㅋㅋㅋ ㅈㄴ 웃기네
The Gemini Lie ?
학생이면 코파일럿 주는디
다라이 ㅋㅋㅋ
뤼튼 쓰면 됩니다..
예? 어떻게하는건지 모르겠어요 ㅋㅋㅋㅋㅋㅋ
컴이 똥컴이라 안댐
다라이
다라잌ㅋㅋㅋㅋㅋㅋㅋㅋㅋ
아 좋은데요?
다라이 ㅋㅋㅋㅋㅋㅋㅋㅋ