좋은 강의 너무 감사합니다! 설명이 너무 친절하셔서 듣는 내내 재미있었습니다ㅠㅠ 한가지 궁금한점은 openai에서 제공하는 유료 모델 말고 오픈소스 llm을 사용하고 싶다면 ChatOpenAI 함수외에 ChatOllama같은 방식으로 해당 코드들만 바꿔주면 되는지 궁금합니다!
영상 너무 잘봤습니다! 항상 고퀄리티의 영상 감사해요 2부 원츄 질문이 있습니다~ text를 임베딩하여 chroma에 저장할때에 임베딩 모델을 사용하여 저장하고, 추후에 chroma에 저장된 내용을 Retriever 와 LLM(Open AI) 을 이용하여 검색할때에 text를 임베딩하여 chroma에 저장할때 사용되는 임베딩 모델은 아무 종류나 상관없는 것일까요? RetriverQA를 한다면 임베딩 모델을 따로 명시해 줘야하나요? 아니라면 chroma 자체에서 어떠한 임베딩모델을 사용했는지에 대해 정보가 있는것인지 해당부분 동작원리가 궁금합니다! 하나더 있다면 time-weighted 부분 설명하실때는 faiss db를 사용하셨는데 해당 쿼리는 chroma에서는 사용이 불가능해서 인가요? chroma, faiss db들에 대한 자료를 찾아봐도 디테일하게 설명해둔 자료들이 없네요 ㅠ
1. 문서 텍스트 임베딩, 사용자 질문 임베딩 모두 임베딩 모델을 사용하게 되고, 어떤 언어인지, 얼마나 긴 텍스트 청크인지에 따라서 모델을 선정하시면 됩니다. Chroma는 기본적으로 all-MiniLM-L6-v2 라는 모델을 활용합니다. 2. Chroma도 가능합니다.
질문과 답변 2개의 칼럼으로 이루어진 csv 파일이 있다고 할때 self querying에서 AttributeInfo 는 어떻게 작성해야 하나요 ? page_content로 질문과 답변이 모두들어가고 metadata 에는 row 수와 csv file 명 밖에 없어서 작성을 어떻게 해야 할지 모르겠습니다..
추출하고자 하는 특성이 page_content에 있다면 이를 추출하여 metadata로 따로 저장해주시면 되겠습니다. 예를 들어 인명,지명, 병명과 같은 것을 추출 가능한 답변 데이터라면 해당 데이터를 메타데이터로 만들고 attributeinfo에서 설명을 넣어주시면 되겠습니다.
안녕하세요. 문의입니다. Chroma DB를 persist_directory로 만들고 데이터가 중복해서 안들어가도록 하고 조회할 때는 metadata기반으로 조건으로 조회해 오고 나중에 삭제가 되면 삭제를 할 수 있도록 기존 DB의 CRUD가 깔끔하게 정리된 자료를 찾기가 어렵습니다. 이런 부분에 대한 자료나 강의도 부탁드릴께요.
답글이 많이 늦었습니다.chunk size를 작게 설정하면, 주어진 문서를 더 잘게 쪼갭니다. 예를 들어, Chunk_size를 1000으로 설정하면 문장을 문자 1000개 기준으로 나누지만, 500으로 설정하면 500개 기준으로 나눕니다. chunk overlap의 경우, 분할된 chunk들이 앞뒤로 조금씩 겹치게 만드는데요, chunk_overlap이 50이라면 앞선 chunk와 50자, 뒤이은 chunk와 50자 정도는 겹치도록 만든다는 이야기입니다.
![[SK TECH SUMMIT 2023] LLM 적용 방법인 RAG VS PEFT, Domain 적용 승자는?](http://i.ytimg.com/vi/WWaPGDS7ZQs/mqdefault.jpg)
일단 좋아요 후 봅니다!
이번에도 재미 있고 유익한 강좌였습니다. 정말 감사히 잘 배웠습니다!
머리에 추상적으로 있던 개념들이 이론과 실습을 통해 정리되어 정말 좋습니다!! 좋은 영상 만들어주셔서 감사합니다.
항상 좋은 강의 감사합니다.
안녕하세요, 개념이해가 쏙 되는 영상 감사합니다!
RAG 파이프라인에서 리트리버를 2개 적용도 가능한가요?
멀티쿼리로 문맥이해를 높여 답변 수준을 높이면서 최신 데이터에 가중치도 주고 싶은데 가능한지 궁금합니다.
네 가능합니다. Ensemble Retriever를 만드셔서 두 검색기의 검색 결과를 통합하시면 되겠습니다.
@AI-km1yn 감사합니다:)
감동그자체입니다😮
좋은 강의 정말 감사합니다.
정말 너무너무 너무 너무 너무 너무 너무 너무 너무 너무 너무 너무 너무너무 너무 너무너무 너무너무너무 너무 너무 너무너무 너무 너무 너무너무 감사합니다. 직접 타이핑함
감사합니다!!👍
좋은 강의 너무 감사합니다! 설명이 너무 친절하셔서 듣는 내내 재미있었습니다ㅠㅠ 한가지 궁금한점은 openai에서 제공하는 유료 모델 말고 오픈소스 llm을 사용하고 싶다면 ChatOpenAI 함수외에 ChatOllama같은 방식으로 해당 코드들만 바꿔주면 되는지 궁금합니다!
강의 좋게 봐주셔서 감사합니다ㅎㅎ 네 맞습니다! ChatOllama로 바꿔주시면 오픈소스로 활용가능하십니다~!
기본 RAG 만으로 삽질만 하다가 고급 RAG 기법을 익히니 무릎을 탁 치게 됬습니다!! 감사합니다
좋은 영상 보고갑니다.
너무 유익한 강좌 정말 감사합니다!!
영상 너무 잘봤습니다! 항상 고퀄리티의 영상 감사해요 2부 원츄
질문이 있습니다~
text를 임베딩하여 chroma에 저장할때에 임베딩 모델을 사용하여 저장하고,
추후에 chroma에 저장된 내용을 Retriever 와 LLM(Open AI) 을 이용하여 검색할때에
text를 임베딩하여 chroma에 저장할때 사용되는 임베딩 모델은 아무 종류나 상관없는 것일까요?
RetriverQA를 한다면 임베딩 모델을 따로 명시해 줘야하나요? 아니라면 chroma 자체에서 어떠한 임베딩모델을 사용했는지에 대해 정보가 있는것인지
해당부분 동작원리가 궁금합니다!
하나더 있다면 time-weighted 부분 설명하실때는 faiss db를 사용하셨는데 해당 쿼리는 chroma에서는 사용이 불가능해서 인가요?
chroma, faiss db들에 대한 자료를 찾아봐도 디테일하게 설명해둔 자료들이 없네요 ㅠ
1. 문서 텍스트 임베딩, 사용자 질문 임베딩 모두 임베딩 모델을 사용하게 되고, 어떤 언어인지, 얼마나 긴 텍스트 청크인지에 따라서 모델을 선정하시면 됩니다. Chroma는 기본적으로 all-MiniLM-L6-v2 라는 모델을 활용합니다.
2. Chroma도 가능합니다.
강의 너무 좋아요!❤
깔끔한 설명 좋아요 감사합니다
질문과 답변 2개의 칼럼으로 이루어진 csv 파일이 있다고 할때 self querying에서 AttributeInfo 는 어떻게 작성해야 하나요 ?
page_content로 질문과 답변이 모두들어가고 metadata 에는 row 수와 csv file 명 밖에 없어서 작성을 어떻게 해야 할지 모르겠습니다..
추출하고자 하는 특성이 page_content에 있다면 이를 추출하여 metadata로 따로 저장해주시면 되겠습니다. 예를 들어 인명,지명, 병명과 같은 것을 추출 가능한 답변 데이터라면 해당 데이터를 메타데이터로 만들고 attributeinfo에서 설명을 넣어주시면 되겠습니다.
안녕하세요 1장부터 강의 열심히 듣고있습니다!
다름이 아니라 Multi query retriever부분에서 unique_docs 부분 실행할때 실행오류가 뜨는데 이게 open ai API 을 초과해서 그런건가요? 그럼 언제다시되는지도 궁금합니다
에러 부분 올려주시면 살펴보겠습니다!
패캠 강의 신청했어용 ㅎㅎ
테디노트서 뵜습니다 ㅎ
감사합시다🎉🎉
영상처럼 하나의 pdf를 직접 넣어주는게 아닌 여러 pdf 본문을 csv의 하나의 컬럼에 저장해서 진행해도 가능한건가요?ㅎㅎ
네, 여러 행에 걸쳐 존재하는 pdf들을 하나의 리스트에 담아서 pdfloader에 넣어주면 되겠네요.
안녕하세요
Time weighted로 리트리버 할때 무조건 메타데이터에서 "last_accessed_at"에 넣어야하는건가요? 무슨 필드 쓰라는게 예제에서 안보이길래요
두 개의 문서가 서로 다른 성격을 지니고 있고(예: 고객정보 / 상품정보) 00고객에게 00상품을 판매해도 돼? 와 같이 연관짓는 질문을 할 때에도 parent document retriever 사용이 가능할까요?
Parent document retriever는 앞뒤 맥락을 더 길게 포함해주기 위한 툴이라서, 말씀하신 용도에는 적합하지 않을 수 있겠습니다. 그냥 pdf loader로 두개를 전부 로딩하고 질문하더라도 추론 과정을 거치면서 답변이 잘 나올 수도 있습니다.
@@AI-km1yn 답변 감사합니다. 두 개의 성격이 다른 docs로부터 하나의 종합된 인사이트를 얻는 방식을 탐구하고 있는데 프롬프트엔지니어링+qa chain으로는 한계가 있는 것 같습니다. multi retriever 관련 내용도 아신다면 소개 부탁드리겠습니다..!
안녕하세요. 문의입니다.
Chroma DB를 persist_directory로 만들고
데이터가 중복해서 안들어가도록 하고
조회할 때는 metadata기반으로 조건으로 조회해 오고
나중에 삭제가 되면 삭제를 할 수 있도록
기존 DB의 CRUD가 깔끔하게 정리된 자료를 찾기가 어렵습니다.
이런 부분에 대한 자료나 강의도 부탁드릴께요.
네 좋은 의견 감사합니다~!
좋은 강의 영상 너무 잘 봤습니다. 저도 염치없지만 강의 영상 퀕리티가 너무 좋아서 DB 쪽 관련해서 체계적으로 업데이트하고 정리하는 기법들을 정리해주시면 어떨까 의견 탑승 한번 해보겠습니다. 다시 한번 좋은 영상 너무 감사합니다!
예를들어 1페이지에서 2페이지로 연결되는 문장은 parent 리트리버를 사용한 경우 1페이지의 내용을 참조한다고 하면 2 페이지의 내용을 참조하지 못하게 되는건가요?
아뇨, parent retriever에서 설정한 청크 사이즈에 따라서 참조하는 내용이 달라집니다. 제가 영상에서 페이지 단위로 말씀드린 이유는 pdf를 이미 페이지 단위로 잘랐기 때문에 parent document의 최대 청크 크기가 페이지가 되기 때문입니다
1등 입니다. 너무 감사합니다.
Multi query retriever에서 재생성 질문 개수는 3개로 고정인가요??
python.langchain.com/docs/modules/data_connection/retrievers/MultiQueryRetriever/
위 링크 예시 코드의 프롬프트 부분을 수정해보시면 개수 설정도 가능할 듯 합니다.
좋은 강의 감사합니다
선생님, 혹시 이런 rag 시스템에 대해선 어떤 메트릭으로 평가를 하나요? 정성적 평가만 있을까요?
최근 RAG 관련해서 테디노트님 유튜브 채널이 매우 유익합니다. RAG 평가 지표 관련해서도 다루고 있으니 한번 구경해보세요!
공유주신 코랩 코드 수정이 필요할 것 같습니다. 메일 드렸습니다.
이미 삭제한 키입니다! 신경써주셔서 감사합니다🙏
선생님 안녕하세요.
저는 타로상담 챗봇을 만들고 싶은데, 유료 상담 및 컨설팅 가능할까요?
평범한 일반인이라 도움이 절실 합니다. ㅠ 빛이 되어 주십시오.
선생님게 메일 드리겠습니다. 회신 주시면 감사드릴게요
유료급강의 강사합니다.
방갑습니다❤
오프라인 모임도 있나요? ㅎ
부모문서의 사이즈는 어디까지 키울 수 있을까요?
원하는만큼 키울 수 있습니다만 LLM 모델의 컨텍스트 윈도우 이하가 되어야 합니다
설치형 ai모델로 소스를 바꿀수는 없나요?? 참고할만한거라도..
오픈소스 rag 영상 참고해보시면 좋을 것 같습니다
혹시 유료강의는 안만드시나요
chunk size와 chunk overlap 변경 시 어떻게 결과가 나오나요??
답글이 많이 늦었습니다.chunk size를 작게 설정하면, 주어진 문서를 더 잘게 쪼갭니다. 예를 들어, Chunk_size를 1000으로 설정하면 문장을 문자 1000개 기준으로 나누지만, 500으로 설정하면 500개 기준으로 나눕니다.
chunk overlap의 경우, 분할된 chunk들이 앞뒤로 조금씩 겹치게 만드는데요, chunk_overlap이 50이라면 앞선 chunk와 50자, 뒤이은 chunk와 50자 정도는 겹치도록 만든다는 이야기입니다.
좋은 공유 감사드립니다. 혹시 코드 공유도 해주시나요? 😊
설명란에 있습니다:)
글남기기 전에 '안녕하세요 케인입니다.' 다섯번 흉내 네고 들어왔음