올려준 영상을 잘 따라하여 Lang serve 랑 연동하여 재미있게 테스트 잘 하고 있습니다. 궁금한게 하나 있어서 질문 드립니다. Langserve 을 띄우고 Playground 에서 대화를 테스트 하고 있는데요.. 브라우저를 두개(A,B) 띄우고 동시에 질문을 하니 하나만 답변을 하고.. A의 답변이 끝나면 B를 답변을 시작 하더라구요.. 동시에 답변을 할 수 있는 방법이 있을까요? streamlit 도.. 마찬가지 같구요.. 혹시 패캠에 컨텐츠가 있을까요?
해당 기능을 구현하려면 호스팅된 서버에서 동시 출력을 가능하게 해줘야 하고요 지금 langserve를 띄우는 방식은 한 번에 하나의 요청을 처리하는 구조가 말씀하신 것처럼 동시 토큰 출력은 어렵습니다. 이 부분은 LLM 호스팅 (인프라) 관련된 내용이라사 제 강의에서는 다루지 않습니다 ㅜ LLM 인프라쪽 강의를 한 번 살펴보시기를 바랍니다!
안녕하세요? 문의 감사합니다. 현재 저는 패스트캠퍼스에서 "RAG 비법노트" 강의만 제작 및 런칭 후 진행하고 있습니다. 링크는 fastcampus.co.kr/data_online_teddy 입니다. 해당 강의 링크에서 상세 커리큘럼이 표기되어 있으니 확인해 보실 수 있습니다. 월간 Live 세미나 (약 2시간) 진행 + 디스코드 채널에서 실시간 질의 응답을 제공하고 있습니다. 프로젝트를 수행하시다가 궁금하신 점을 남겨 주시면 답변해 드리고 있습니다^^ 감사합니다.
문서요약 구현은 rag 와는 조금 다릅니다. 문서 전체를 훑어야 하는 경우에는 말씀 하신 것처럼 저장하지는 않고요 전체 컨텍스트 길이가 llm 컨텍스트 보다 작으면 한 방에 넣고 요약하는 stuff 요약 / 쪼개서 분할 요약 후 병합은 map reduce / map refine 요약이 있습니다~
LLM은 컨텍스트 범위내에 있는 문서의 내용을 전체적으로 파악한다고 알고 있는데요. 이럴 경우엔 RAG를 한 것과 비교하면 어떤가요? 만약에 LLM의 컨텍스트 범위가 엄청 커지면 RAG를 할 필요성이 있는 건가 싶구... 그리고 LLM에서는 왜 업로드된 문서를 자체적으로 RAG 로 전처리해서 사용하지 않을까요?
LLM(대규모 언어 모델)은 컨텍스트 범위 내에서 문서를 분석하는 능력이 매우 뛰어나지만, 몇 가지 한계가 존재합니다. 현재 LLM의 컨텍스트 크기가 제한되어 있어 모든 문서를 한 번에 처리하는 것은 쉽지 않습니다. 만약에, 컨텍스트가 커져서 모든 문서를 한 번에 처리할 수 있다고 가정해도, 컨텍스트가 커질수록 노이즈가 발생하거나 할루시네이션이 나타날 수 있으며, 입력 토큰에 대한 비용도 크게 증가합니다.
ChatGPT 서비스 자체적으로는 RAG 를 탑재하고 있을 것입니다. 다만, 전세계 사람들을 대상으로 업로드된 문서를 모두 동일한 옵션으로 처리하고 있을 가능성이 큽니다. 문서 전처리가 답변 품질과 관련성이 매우 큰데요. 문서의 구조를 파악하지 않고 획일화된 방식으로 처리하게 되면 아무래도 검색 성능이 제한될 수 밖에 없고 이는 곧 답변 품질의 저하로 이어집니다. 그래서 ChatGPT 에 문서를 업로드 한 결과와 직접 구현한 결과가 차이 발생할 수 밖에 없습니다.
![예수 천국 불신지옥...있긴 있어요? f.김학철 연세대학교 학부대학 교수 [더 릴리전]](/img/1.gif)
너무 완벽한 설명인 것 같아요. 정말 최고입니다. 패캠 구매해야겠네요. 짱.
앗! 극찬 감사합니다 😊 앞으로도 도움이 될 수 있는 콘텐츠 열심히 땀나도록 제작해 보겠습니다🙏
회사에 C레벨 분들에거 보고하기 쉬울정도로 알려주셔서 너무 감사드립니다 😂😅😅❤❤❤
ㅎㅎㅎ 감사합니다!! C레벨 분을 잘 설득하셔서 재미난 llm프로젝트 맡으시길 바랍니다🙌
설명을 너무 잘해주셔서 이해도가 상승하였습니다.
감사합니다! 앞으로도 쉬운 설명으로 찾아오겠습니다!
정말 감사합니다! 설명이 머릿속에 쏙쏙 들어와 이해가 한층 더 쉽게 느껴집니다.
안피곤님~~ 늘 좋은 댓글과 응원 감사합니다🫡
이거 보고 구매하러 갑니다.. 감사합니다
앗! 감사합니다 😊😊
올려준 영상을 잘 따라하여 Lang serve 랑 연동하여 재미있게 테스트 잘 하고 있습니다.
궁금한게 하나 있어서 질문 드립니다.
Langserve 을 띄우고 Playground 에서 대화를 테스트 하고 있는데요..
브라우저를 두개(A,B) 띄우고 동시에 질문을 하니 하나만 답변을 하고.. A의 답변이 끝나면 B를 답변을 시작 하더라구요..
동시에 답변을 할 수 있는 방법이 있을까요? streamlit 도.. 마찬가지 같구요..
혹시 패캠에 컨텐츠가 있을까요?
해당 기능을 구현하려면 호스팅된 서버에서 동시 출력을 가능하게 해줘야 하고요 지금 langserve를 띄우는 방식은 한 번에 하나의 요청을 처리하는 구조가 말씀하신 것처럼 동시 토큰 출력은 어렵습니다.
이 부분은 LLM 호스팅 (인프라) 관련된 내용이라사 제 강의에서는 다루지 않습니다 ㅜ LLM 인프라쪽 강의를 한 번 살펴보시기를 바랍니다!
@@teddynote 답변에 감사 드립니다.^^
잘 듣겠습니다.
감사합니닷!!🙏
안녕하세요. 회사에서 rag를 사용해야해서 패스트캠퍼스 강의를 고려중인데 "패스트캠퍼스 RAG 비법노트" 강의와 "단계별 문제 해결 능력을 다지며 완성하는 RAG" 강의 2개가 있네요. 차이점을 알 수 있을까요? 패스트캠퍼스 페이지만 봐서는 차이점을 잘 모르겠어요.
안녕하세요? 문의 감사합니다. 현재 저는 패스트캠퍼스에서 "RAG 비법노트" 강의만 제작 및 런칭 후 진행하고 있습니다. 링크는 fastcampus.co.kr/data_online_teddy 입니다.
해당 강의 링크에서 상세 커리큘럼이 표기되어 있으니 확인해 보실 수 있습니다.
월간 Live 세미나 (약 2시간) 진행 + 디스코드 채널에서 실시간 질의 응답을 제공하고 있습니다. 프로젝트를 수행하시다가 궁금하신 점을 남겨 주시면 답변해 드리고 있습니다^^ 감사합니다.
상세한 설명 감사합니다. 뭔가 개념이 다가오네요
어렵게 느껴졌던 RAG가 조금 더 친숙해졌으면 좋겠네요 😊
역쉬 정말 깔끔하시네용
혹시 LLM 작동원리부터 파인튜닝까지 개념원리설명하는게 있을까용
감사합니다!
LLM 기본 구조부터 파인튜닝 파트는 모델 설계 및 파인튜닝을 전문으로 하시는 분들의 강의를 찾아보시는 것을 추천 드립니다! 저는 주로 RAG 영역에만 집중하고 있습니다^^
어제 구매했어용 ㅎㅎ 여기서도 보니 반갑네요
구매 감사합니다 😄 RAG의 매력에 빠져보시죠🙌
문서의 전체 내용을 요약할 때, 임베딩을 해서 벡터 저장소에 저장할 필요가 있나요?
유사도 검색으로 관련된 부분을 찾는다고 이해했는데, 전체 내용을 요구하면 모든 관련 청크나 전체를 반환할 것 같아서요.
문서요약 구현은 rag 와는 조금 다릅니다.
문서 전체를 훑어야 하는 경우에는 말씀 하신 것처럼 저장하지는 않고요
전체 컨텍스트 길이가 llm 컨텍스트 보다 작으면 한 방에 넣고 요약하는 stuff 요약 / 쪼개서 분할 요약 후 병합은
map reduce / map refine 요약이 있습니다~
@@teddynote 그럼 retrieval 과정이 없으니 RAG가 아니네요. LangChain과 RAG를 혼동해버렸던거 같습니다... ㅠㅠ
친절한 답변 감사합니다!
@@박상천-q7z 감사합니다😊
LLM은 컨텍스트 범위내에 있는 문서의 내용을 전체적으로 파악한다고 알고 있는데요. 이럴 경우엔 RAG를 한 것과 비교하면 어떤가요? 만약에 LLM의 컨텍스트 범위가 엄청 커지면 RAG를 할 필요성이 있는 건가 싶구... 그리고 LLM에서는 왜 업로드된 문서를 자체적으로 RAG 로 전처리해서 사용하지 않을까요?
LLM(대규모 언어 모델)은 컨텍스트 범위 내에서 문서를 분석하는 능력이 매우 뛰어나지만, 몇 가지 한계가 존재합니다.
현재 LLM의 컨텍스트 크기가 제한되어 있어 모든 문서를 한 번에 처리하는 것은 쉽지 않습니다.
만약에, 컨텍스트가 커져서 모든 문서를 한 번에 처리할 수 있다고 가정해도,
컨텍스트가 커질수록 노이즈가 발생하거나 할루시네이션이 나타날 수 있으며, 입력 토큰에 대한 비용도 크게 증가합니다.
ChatGPT 서비스 자체적으로는 RAG 를 탑재하고 있을 것입니다. 다만, 전세계 사람들을 대상으로 업로드된 문서를 모두 동일한 옵션으로 처리하고 있을 가능성이 큽니다.
문서 전처리가 답변 품질과 관련성이 매우 큰데요. 문서의 구조를 파악하지 않고 획일화된 방식으로 처리하게 되면 아무래도 검색 성능이 제한될 수 밖에 없고 이는 곧 답변 품질의 저하로 이어집니다. 그래서 ChatGPT 에 문서를 업로드 한 결과와 직접 구현한 결과가 차이 발생할 수 밖에 없습니다.