존경하는 테디님 아래 질문 영상이나 답변 점 부탁드리면 안될까요? RunPod -> Pod 에서 A100 을 올려, 허깅페이스에 있는 EEVE-Korean-10.8B-v1.0 모델을 Pod 에서 다운받아 Python 으로 해당 EEVE 모델을 올리고, RestfulAPI 로 원격에서 테스트 해보는 방법이 없을까요 ? 그리고, Pod 에서 LLM 성능만 놓고 봤을 때 EEVE 모델을 아래의 원형 그대로 올리는게 좋은지, GGUF 를 받아서 ollama 로 올리는게 좋은지에 대해서도 궁금합니다. ^^ config.json model-00001-of-00005.safetensors model-00002-of-00005.safetensors model-00003-of-00005.safetensors model-00004-of-00005.safetensors model-00005-of-00005.safetensors model.safetensors.index.json special_tokens_map.json tokenizer.json tokenizer_config.json
안녕하세요~^^ restful 로 구축하시려면 fastapi 를 별도 띄우셔야 하는데요. 제가 추천 드리는 방식은 langserve 튜토리얼 처럼 remote runnable 로 띄우는 것입니다. 결국 안에는 비슷한 restful 방식이지만 langchain 의 러너블로 래핑한 라이브러리 입니다. client 도 랭체인으로 구축하시려면 remote runnable 이 더 깔끔할 수 있습니다^^ gguf 는 양자화 모델이라 pc에서도 구동이 되는 수준이고요. 따라서 A100보다 3090으로도 돌아갈 것 같아요. 물론 fp16 생각하시면 터질 수 있습니다~ 원형 그대로 돌리면 아무래도 양자화로 인한 성능저하에서 좀 더 자유로우실 수 있습니다. huggingface 로 직접 로드하실 수 있어요~!
테디님 윈도우 내에서 설치 중 오류가 발생해서 그런데 아래의 오류 관련 질문을 보시고 해결해주실 수 있으실까요? poetry shell을 입력하였을 때 긴 오류 문구가 뜨지만 그 중 가장 핵심적으로 보이는 부분만 보내드립니다 No global/local python version has been set yet. Please set the global/local version by typing: pyenv global 3.7.4 pyenv local 3.7.4 이런식으로 오류가 발생해서 더이상 진행을 못하는 상황인데 해결 가능하실까요?? 참고로 테디님 영상에서는 관리자 모드 실행 시와는 다르게 저는 C:\Windows\System32로 들어가지는 것이 오류의 발단이 아닌가 싶습니다. 오류 발생 이전 내용까지는 해당 경로의 하위 디렉토리로 생성해서 C:\Windows\System32\Documents\langchain-kr이런 형식으로 어찌저찌 따라가긴 했습니다 감사합니다!
안녕하세요? 강의 수강 감사합니다🙏PDF 는 수강하시는 분들 전원에게 제공해 드릴 예정인데요. 다만 9월까지는 꾸준히 교재를 업데이트 예정이고요. 강의 전체공개시점인 8월말즈음 교재를 PDF 로 발행하여 드릴 예정아에요! PDF 제본 하셔도 되지만 상업적인 목적으로 판매만 안하시면 됩니다^^ 혼자 보시는 용도로 프린트 하셔서 엮으셔도 됩니다! 감사합니다
테디노트님, 혹시 사이즈가 큰 csv과 llm과 연결해서 소통을하려고합니다. 랭체인 및 판다스AI를 통해서 결과는 좋게 나오는데, maximun token 이슈가 발생되네요. chunk > 임베딩 방식도 활용해보았는데, 결과 유실이 생기네요. 혹시 팁을 주시면 감사드리겠습니다. 국내외 영상을 다 찾아보고 있는데, 실제 큰 사이즈 데이터로 예제를 보여주시는 분들은 안계시네요. ㅠ
@@김대현-v2b dataframe agent 를 생성한 다음에요. CSV 파일이 크니 직접 내용을 가져오는 것은 max token 과 비용에 한계가 있어요. 따라서, dataframe agent 가 pandas query 를 짜서 실행하게끔 만들고요. dataframe 에 쿼리를 날려서 정보 조회를 하게끔 만드는 것이 베스트 인데요. 작성하면서 유추하기론 이미 이 단계까지는 하신 것 같고요. 이 결과 해석을 위해서 LLM 에 넣으시는 거라면 조회된 결과(query로 조회된 행)가 양이 많다면, 이를 통째로 LLM 에 넣게되면 쩔 수 없이 Max token 에 걸릴 수 밖에 없어요.그럴때는 조회된 행이 작게 가져오도록 잘게 쪼개서 여러 llm 으로 부분 답변을 받아 다시 종합하는 (map-reduce 방식) 방식을 고려해 볼 수 있을 것 같습니다! 데이터나 코드를 보고 말씀드리는 건 아니라서 정확한 피드백이 아닐 수 있어요!
![[직장인 필수] 엑셀 기초, 이 영상으로 마스터하세요! | 실무자 맞춤, 4시간 완성 코스](http://i.ytimg.com/vi/yR8_v58kN2c/mqdefault.jpg)
![파이썬 코딩 무료 강의 (활용편2) - GUI 프로그래밍을 배우고 '여러 이미지 합치기' 프로그램을 함께 만들어요. [나도코딩]](http://i.ytimg.com/vi/bKPIcoou9N8/mqdefault.jpg)
![[#langchain 밋업 발표] R.A.G. 우리가 절대 쉽게결과물을 얻을 수 없는 이유](/img/1.gif)
존경하는 테디님 아래 질문 영상이나 답변 점 부탁드리면 안될까요?
RunPod -> Pod 에서 A100 을 올려,
허깅페이스에 있는 EEVE-Korean-10.8B-v1.0 모델을 Pod 에서 다운받아
Python 으로 해당 EEVE 모델을 올리고, RestfulAPI 로 원격에서 테스트 해보는 방법이 없을까요 ?
그리고, Pod 에서 LLM 성능만 놓고 봤을 때 EEVE 모델을 아래의 원형 그대로 올리는게 좋은지, GGUF 를 받아서 ollama 로 올리는게 좋은지에 대해서도 궁금합니다. ^^
config.json
model-00001-of-00005.safetensors
model-00002-of-00005.safetensors
model-00003-of-00005.safetensors
model-00004-of-00005.safetensors
model-00005-of-00005.safetensors
model.safetensors.index.json
special_tokens_map.json
tokenizer.json
tokenizer_config.json
안녕하세요~^^
restful 로 구축하시려면 fastapi 를 별도 띄우셔야 하는데요.
제가 추천 드리는 방식은 langserve 튜토리얼 처럼 remote runnable 로 띄우는 것입니다. 결국 안에는 비슷한 restful 방식이지만 langchain 의 러너블로 래핑한 라이브러리 입니다.
client 도 랭체인으로 구축하시려면 remote runnable 이 더 깔끔할 수 있습니다^^
gguf 는 양자화 모델이라 pc에서도 구동이 되는 수준이고요. 따라서 A100보다 3090으로도 돌아갈 것 같아요. 물론 fp16 생각하시면 터질 수 있습니다~
원형 그대로 돌리면 아무래도 양자화로 인한 성능저하에서 좀 더 자유로우실 수 있습니다. huggingface 로 직접 로드하실 수 있어요~!
테디님 윈도우 내에서 설치 중 오류가 발생해서 그런데 아래의 오류 관련 질문을 보시고 해결해주실 수 있으실까요?
poetry shell을 입력하였을 때 긴 오류 문구가 뜨지만 그 중 가장 핵심적으로 보이는 부분만 보내드립니다
No global/local python version has been set yet. Please set the global/local version by typing:
pyenv global 3.7.4
pyenv local 3.7.4
이런식으로 오류가 발생해서 더이상 진행을 못하는 상황인데 해결 가능하실까요??
참고로 테디님 영상에서는 관리자 모드 실행 시와는 다르게 저는 C:\Windows\System32로 들어가지는 것이 오류의 발단이 아닌가 싶습니다. 오류 발생 이전 내용까지는 해당 경로의 하위 디렉토리로 생성해서 C:\Windows\System32\Documents\langchain-kr이런 형식으로 어찌저찌 따라가긴 했습니다 감사합니다!
pyenv global 3.11 로 설정하여 파이썬 버전을 3.11로 설정해 주세요^^
재미있고 쉽게 설명해주셔서 구독하고있습니다. ^^
랭체인을 배워볼까 해서 환경설정을 봤는데.. poetry 빼고는 다 설치가 이미 되어있는 바람직하게 준비 되어있는 나의 맥
쏘우 러블리!!👍👍
안녕하세요! 강의를 신청했는데, 7월 1일에강의를 시작한다면, 위키독스에 있는 내용을 그대로 사용하시나요? 또한, 강의에 이용하는 책을 종이책으로, 이용하고 싶은데 프린트해서 책으로 엮어도 될까요?
안녕하세요? 강의 수강 감사합니다🙏PDF 는 수강하시는 분들 전원에게 제공해 드릴 예정인데요. 다만 9월까지는 꾸준히 교재를 업데이트 예정이고요. 강의 전체공개시점인 8월말즈음 교재를 PDF 로 발행하여 드릴 예정아에요!
PDF 제본 하셔도 되지만 상업적인 목적으로 판매만 안하시면 됩니다^^ 혼자 보시는 용도로 프린트 하셔서 엮으셔도 됩니다! 감사합니다
테디님 맥미니를 원격 서버로 이용하고 계신거에요? 맥 → 맥 원격은 어떤 프로그램 사용하시는지 알 수 있을까요?
아마존에 mac mini EC2 인스턴스로 띄우고요! VNC 프로그램을 실행하여 원격 접속 하였습니다~
첫댓글은 못참지
아흑🤤
혹시 병렬 추론도 가능한가요?
퍼랠럴 코드가 있어서 따라 해봤는데 막상 추론은 하나씩 하더라고요 ㅠ
혹시 어떤 코드를 보셨나요? 병렬 추론이라면 GPU 병렬로 묶어서 추론을 말씀하시는 거라면 가능합니다~
테디님 혹시 나중에 npu 코딩 예시영상 한 번 올려주실 수 있을까요!
내 의견 감사합니다 기회가 되면 꼭 다루도록 하겠습니다^^
리눅스(우분투)도 부탁드려요.
감사합니다
우분투 유저 이시군요 반갑습니다^^ 저도 서버는 우분투 입니다~ 우분투는 맥 영상을 보시면 좋을 것 같아요~ 안되는 부분 있으시면 알려주세요! 감사합니다🙏
와 패키지 제작까지... 불편들을 없애는 진정한 개발자. 멋지네요~!
감사합니다🙏
CREWAI 에 대해 다뤄주실수 있나요?
시키면 해야죠.. 농담이구요 ㅎㅎ 네 crewai 저도 궁금했습니다 다뤄볼께요^^
와!! 이런 무한 지식공유 감사해여, 수강신청했습니다!
ㅠㅠ 감사합니다🫡🫡
와우 감사합니다. 너무 좋아요 ^^
저도 감사합니다
회사에 교육 듣겠다고 신청했어요~ ㅎㅎ
감사합니다 열심히 준비하겠습니다🙏
랭체인이나 랭서버등은 라이센스 정책이 어떻게 되나요?
MIT 입니다~!
github.com/langchain-ai/langchain/blob/master/LICENSE
@@teddynote 답변감사합니다
강의 오픈일만 기달랴요
서두르겠습니다 ㅜㅜ
두번째 댓글도 못 침죠ㅋ 항상 감사하게 생각하고 있습니다!
항상 봐주셔서 감사합니다!
테디노트님, 혹시 사이즈가 큰 csv과 llm과 연결해서 소통을하려고합니다. 랭체인 및 판다스AI를 통해서 결과는 좋게 나오는데, maximun token 이슈가 발생되네요. chunk > 임베딩 방식도 활용해보았는데, 결과 유실이 생기네요. 혹시 팁을 주시면 감사드리겠습니다. 국내외 영상을 다 찾아보고 있는데, 실제 큰 사이즈 데이터로 예제를 보여주시는 분들은 안계시네요. ㅠ
@@김대현-v2b dataframe agent 를 생성한 다음에요. CSV 파일이 크니 직접 내용을 가져오는 것은 max token 과 비용에 한계가 있어요. 따라서, dataframe agent 가 pandas query 를 짜서 실행하게끔 만들고요. dataframe 에 쿼리를 날려서 정보 조회를 하게끔 만드는 것이 베스트 인데요. 작성하면서 유추하기론 이미 이 단계까지는 하신 것 같고요. 이 결과 해석을 위해서 LLM 에 넣으시는 거라면 조회된 결과(query로 조회된 행)가 양이 많다면, 이를 통째로 LLM 에 넣게되면 쩔 수 없이 Max token 에 걸릴 수 밖에 없어요.그럴때는 조회된 행이 작게 가져오도록 잘게 쪼개서 여러 llm 으로 부분 답변을 받아 다시 종합하는 (map-reduce 방식) 방식을 고려해 볼 수 있을 것 같습니다! 데이터나 코드를 보고 말씀드리는 건 아니라서 정확한 피드백이 아닐 수 있어요!
감사합니다.
안피곤님 감사합니다🫡
감사합니다.
감사합니다🙏
우왂!!!! 감사합니다.
감사합니다🙏
오우... 좋은 자료 감사합니다!
감사합니다!!
좋은 강의 감사합니다
감사합니다!
감사합니다 !! ㅠ
저도 감사해요
정말 감사합니다~
감사합니당🙏
선 좋아요 후 시청
감사합니다👍👍
감사합니다~~:)
감사합니다🙏🙏
감사합니다.
아이코오 수진님 후원 감사합니다 ㅜ🙏🙏 앞으로도 더욱 유용한 콘텐츠 만들겠습니다~ 감사드립니다!!
옴허~ 요게 이렇게 표시가 되나요;;;;;;;;;;;;;;
@@김수진-e3n1p 네~~^^ ㅎㅎㅎ