@@dabidstudio08 빠른 답변에 감사드립니다. 영상 (04:25)에 나오는 를 시작하려고 해당 Python 가상환경 설정 가이드에 나오는 url을 클릭하면 라고 해서 나오는데, 을 가기 전에 아래의 2줄 내용에 따라 진행하는거부터 잘 안 되더라구요. 사실 이 해결된다고 하더라도 와 이 잘 해결될지는 아직 모르겠습니다. 제가 의 내용을 잘 몰라 chatgpt에게 물어보니 뭐라뭐라 알려주기는 하는데, 그것도 잘 안 되더라구요. 예전의 dos창 때처럼 Git Bash가 열리면 cd 바탕화면/프로젝트_폴더를 설치하고 블라블라 뭐라하는데 계속 에러메시지가 나와서 결국 중도 포기했습니다. 제가 을 진행하기 위해 chatgpt에게 물어봤던 사항과 Git bash창 진행시 발생된 오류사항을 캡쳐해서 같이 메일로 보내드립니다. 감사합니다.
다비드님 유용한 영상 감사합니다 😊 mantisBT와 같은 버그 트래킹 서버와 연동해서 사용하고 싶은데 서버에서 제공하는 API 키만 연동해주면되나요? 다음과 같은 서비스 하고 싶습니다. ex> issue no 2661에 대한 내용 요약해줘 ex> 최근 3일동안 신규 등록된 이슈 리스트들을 알려줘 ex> 보고자 홍길동이 등록한 이슈 번호 알려줘
안녕하세요 단순히 api 연동으로는 어려울 것 같습니다. mantisBT 각 issue의 summary를 임베딩해서 벡터DB에 저장하고( issue id 같은 주요정보도 메타데이터로 저장) 이 벡터DB를 호출해서 관련성 높은 Issue들을 찾아오고 더 세부적인 내용은 MantisBT에 다시 호출해서 가져오는 방식이 필요할 것 같습니다. 그러기 위해서는 주기적으로(ex. 주1회) mantisBT의 전체 issue를 가져와서 벡터DB를 최신화하는 스케쥴러도 필요해 보입니다
그리고 공유해주신 예시는 벡터DB를 구축해도 단순 RAG로는 어려울 수 있습니다 질문마다 필요로 하는 정보와 호출하는 MantisBT endpoint가 달라서 이를 위해서는 에이전트 구조가 필요할 수도 있습니다. 간단한 컨셉은 이전영상(구글시트 AI비서 만들기) 참고하시면 도움이 되실 것 같아요
영상 잘보았습니다. 쉽게 알려주셔서 따라 하기 편했어요. 챗봇 만들기에서 질문이 있습니다. 예제코드를 진행해보고 좀도 낳아가서 문서를 여러개 올릴 수 있도록 수정 해보고 있는데 잘안되네요. 이미지폴더에 pdf파일 제목으로 각각 폴더가 생성되어 이미지가 저장되게 진행을 해보았습니다. 물론 백터DB에도 각각생기도록 진행하였습니다. 챗봇을 실행 해보니 업로드까지는 잘되는데 검색을 해보면 아무런 결과를 출력하지 않았습니다. 최종적으로는 내용까지는 가져오게 만들었는데 관련문서 목록 및 이미지 가져오는 것은 해결이 안되고 있습니다. 코드를 수정하면서 계속 시도는 해보는데 차도가 없습니다. ㅜㅜ 제가 접근한 방법이 잘못 되었을까요? 다른 방법이 있다면 방향만 이라도 알려주시면 감사하겠습니다.
안녕하세요 코드를 보지 못해서 정확한 내용은 알 수 없지만, 세션상태 설정이 잘 안되어서 그럴수 있을 것 같습니다. 파일이 여러개이기 때문에 파일명과 페이지수 두가지를 각각의 다른 세션 상태로 정의하고 바꿔주도록 하면 해결되지 않을까 싶습니다 아래 샘플코드 참고해주세요! github.com/dabidstudio/apartment_lottery_faq_chatbot/blob/dabidstudio-multiple-files/multiple_files.py
실용적인 영상 감사합니다. 궁금한점이 있는데, pdf 업로드 해줄때마다 임베딩 벡터 변환하는 작업을 해줘야 하나요? pdf업로드 하고 나온 임베딩, 이미지를 서버에 저장을 해두고 아무때나 질문 할 수 있게 구현이 가능한가요? pdf 의 같은 내용을 매번 업로드 하고 변환 과정을 거친게 된다면 시간이 오래 걸릴 것 같습니다. 이런 과정을 안하고 다른 사용자에게 내가 올린 pdf의 결과를 보여줄 수 있게 배포 하는 방법 알려주시면 감사하겠습니다!
예제코드도 조금만 수정하면 pdf업로드를 한번만 해두면 생성된 파일을 활용해서 다시 업로드를 안하고 질문할 수 있습니다. 체계적으로 임베딩을 저장하기 위해서는 파일 형태의 FAISS보다는 서버 형태로 운영할수 있는 다른 벡터DB 이용도 많이 하시더라고요. 의견 감사드리며 추후 영상제작시 참고하겠습니다!
안녕하세요, 좋은 강의 감사합니다. 열심히 따라해보고 있습니다! finish.py를 사용해도 오류가 나와서 질문드립니다. 아래와 같이 나오는데 혹시나 어떻게 해결해야 할까요? StreamlitDuplicateElementKey: There are multiple elements with the same key='link_PDF_임시폴더\파일이름'. To fix this, please make sure that the key argument is unique for each element you create. Line 191, 173에 오류가 있다고 나오네요.ㅠ
안녕하세요 질문이 만약에 같은 페이지 안에 있는 여러 청크를 호출했을 경우, button key 값이 똑같아서 에러가 났을 것 같습니다 (질문을 다르게 해보면 에러가 안나고, 특정한 질문을 했을때만 에러가 나는 경우라면 더욱 이 부분이 원인일 것입니다) 제가 깃허브에 정정 코드를 업로드해두었으니 그 코드로 다시 실행해보시면 좋을 것 같습니다
@@zenist99 제 생각엔 OpenAI Embedding 자체는 한글이든 영어든 잘 작동하는 것 같습니다. 문서 추출 정확도를 높이려면 PDF 문서 자체를 더 전처리해서 노이즈를 줄이거나, 임베딩 뿐만 아니라 정확한 단어/구절로도 검색이 되도록 hybrid search를 도입하거나, 청크 사이즈를 조절하거나, 사용자 질문에서 여러 하위 질문을 만들어서 RAG에 활용하거나 등 다양한 방법으로 테스트를 더 해보셔도 좋을 것 같습니다
![[#langchain 밋업 발표] R.A.G. 우리가 절대 쉽게결과물을 얻을 수 없는 이유](http://i.ytimg.com/vi/NfQrRQmDrcc/mqdefault.jpg)
감사합니다.
와 대박이네여
대박이네요. 유료강의 보다 낫네요^^ 감사합니다.
많은 힘이 되는 댓글입니다 감사합니다! :)
와~ 정말 명강의 이십니다. 정말 내용이 쏙쏙 들어옵니다. 대단히 감사합니다.
감사합니다!!
와우 감사합니다! 넘 쉽게 이해되고 화면 구성도 매우 좋아보여서 도전해보고 싶네요! 혹시
좋은강의 감사합니다.
감사합니다!
가장 알기쉽고 깔끔한 강의 감사합니다!!
감사합니다!
정말 제가 만들고 싶었던 내용인데, 단계부터 따라해보려 2시간을 헤매었는데 결국 포기했습니다. ㅠ ....한번도 파이썬을 써보지 않았던 사람은 접근하기가 쉽지 않은 듯 싶습니다. 시간을 두고 조금씩 알아보겠습니다.
안녕하세요
혹시 어떤부분이 잘 안되었나요?
피드백 감사드리며, 다음 영상에서는 입문자도 잘 따라해보실 수 있도록 보충설명을 추가하거나 등으로 보완해보겠습니다!
@@dabidstudio08 빠른 답변에 감사드립니다. 영상 (04:25)에 나오는 를 시작하려고 해당 Python 가상환경 설정 가이드에 나오는 url을 클릭하면 라고 해서 나오는데, 을 가기 전에 아래의 2줄 내용에 따라 진행하는거부터 잘 안 되더라구요. 사실 이 해결된다고 하더라도 와 이 잘 해결될지는 아직 모르겠습니다.
제가 의 내용을 잘 몰라 chatgpt에게 물어보니 뭐라뭐라 알려주기는 하는데, 그것도 잘 안 되더라구요. 예전의 dos창 때처럼 Git Bash가 열리면 cd 바탕화면/프로젝트_폴더를 설치하고 블라블라 뭐라하는데 계속 에러메시지가 나와서 결국 중도 포기했습니다.
제가 을 진행하기 위해 chatgpt에게 물어봤던 사항과 Git bash창 진행시 발생된 오류사항을 캡쳐해서 같이 메일로 보내드립니다. 감사합니다.
가상환경 가이드 업데이트해두었습니다. 감사합니다
다비드님 유용한 영상 감사합니다 😊
mantisBT와 같은 버그 트래킹 서버와 연동해서 사용하고 싶은데 서버에서 제공하는 API 키만 연동해주면되나요?
다음과 같은 서비스 하고 싶습니다.
ex> issue no 2661에 대한 내용 요약해줘
ex> 최근 3일동안 신규 등록된 이슈 리스트들을 알려줘
ex> 보고자 홍길동이 등록한 이슈 번호 알려줘
안녕하세요
단순히 api 연동으로는 어려울 것 같습니다.
mantisBT 각 issue의 summary를 임베딩해서 벡터DB에 저장하고( issue id 같은 주요정보도 메타데이터로 저장)
이 벡터DB를 호출해서 관련성 높은 Issue들을 찾아오고 더 세부적인 내용은 MantisBT에 다시 호출해서 가져오는 방식이 필요할 것 같습니다.
그러기 위해서는 주기적으로(ex. 주1회) mantisBT의 전체 issue를 가져와서 벡터DB를 최신화하는 스케쥴러도 필요해 보입니다
그리고 공유해주신 예시는 벡터DB를 구축해도 단순 RAG로는 어려울 수 있습니다
질문마다 필요로 하는 정보와 호출하는 MantisBT endpoint가 달라서 이를 위해서는 에이전트 구조가 필요할 수도 있습니다.
간단한 컨셉은 이전영상(구글시트 AI비서 만들기) 참고하시면 도움이 되실 것 같아요
영상 잘보았습니다. 쉽게 알려주셔서 따라 하기 편했어요.
챗봇 만들기에서 질문이 있습니다.
예제코드를 진행해보고 좀도 낳아가서 문서를 여러개 올릴 수 있도록 수정 해보고 있는데
잘안되네요.
이미지폴더에 pdf파일 제목으로 각각 폴더가 생성되어 이미지가 저장되게 진행을 해보았습니다. 물론 백터DB에도 각각생기도록 진행하였습니다.
챗봇을 실행 해보니 업로드까지는 잘되는데 검색을 해보면 아무런 결과를 출력하지 않았습니다.
최종적으로는 내용까지는 가져오게 만들었는데 관련문서 목록 및 이미지 가져오는 것은 해결이 안되고 있습니다.
코드를 수정하면서 계속 시도는 해보는데 차도가 없습니다. ㅜㅜ
제가 접근한 방법이 잘못 되었을까요?
다른 방법이 있다면 방향만 이라도 알려주시면 감사하겠습니다.
안녕하세요
코드를 보지 못해서 정확한 내용은 알 수 없지만, 세션상태 설정이 잘 안되어서 그럴수 있을 것 같습니다.
파일이 여러개이기 때문에 파일명과 페이지수 두가지를 각각의 다른 세션 상태로 정의하고 바꿔주도록 하면 해결되지 않을까 싶습니다
아래 샘플코드 참고해주세요!
github.com/dabidstudio/apartment_lottery_faq_chatbot/blob/dabidstudio-multiple-files/multiple_files.py
실용적인 영상 감사합니다.
궁금한점이 있는데, pdf 업로드 해줄때마다 임베딩 벡터 변환하는 작업을 해줘야 하나요?
pdf업로드 하고 나온 임베딩, 이미지를 서버에 저장을 해두고 아무때나 질문 할 수 있게 구현이 가능한가요?
pdf 의 같은 내용을 매번 업로드 하고 변환 과정을 거친게 된다면 시간이 오래 걸릴 것 같습니다.
이런 과정을 안하고 다른 사용자에게 내가 올린 pdf의 결과를 보여줄 수 있게 배포 하는 방법 알려주시면 감사하겠습니다!
예제코드도 조금만 수정하면 pdf업로드를 한번만 해두면 생성된 파일을 활용해서 다시 업로드를 안하고 질문할 수 있습니다.
체계적으로 임베딩을 저장하기 위해서는 파일 형태의 FAISS보다는 서버 형태로 운영할수 있는 다른 벡터DB 이용도 많이 하시더라고요.
의견 감사드리며 추후 영상제작시 참고하겠습니다!
안녕하세요, 좋은 강의 감사합니다. 열심히 따라해보고 있습니다!
finish.py를 사용해도 오류가 나와서 질문드립니다. 아래와 같이 나오는데 혹시나 어떻게 해결해야 할까요? StreamlitDuplicateElementKey: There are multiple elements with the same key='link_PDF_임시폴더\파일이름'. To fix this, please make sure that the key argument is unique for each element you create.
Line 191, 173에 오류가 있다고 나오네요.ㅠ
안녕하세요
질문이 만약에 같은 페이지 안에 있는 여러 청크를 호출했을 경우, button key 값이 똑같아서 에러가 났을 것 같습니다 (질문을 다르게 해보면 에러가 안나고, 특정한 질문을 했을때만 에러가 나는 경우라면 더욱 이 부분이 원인일 것입니다)
제가 깃허브에 정정 코드를 업로드해두었으니 그 코드로 다시 실행해보시면 좋을 것 같습니다
@@dabidstudio08 완전 해결되었습니다! 감사합니다!! ^^ 좋은 영상 올려주셔서 감사합니다!
감사합니다. 혹시 이것을 배포하는 것도 영상으로 만들어주실 수 있나요? 제작자뿐 아니라 다른 분들도 사용할 수 있도록 하고 싶어서요.
넵 추후 영상 기획시 참고하겠습니다
의견 감사합니다!
검색한 결과를 인보크단계에서 프롬트화 되면 임베딩된 형태로 들어가나요 아니면 원문자체가 입력되는건가요
백터db에 임베딩하여 저장하는 것은 빠른 검색 및 유사도 검사를 위한 용도이고 자연어형태로 가져와서 gtp에 다시 질의 하는 건가요 ?
프롬프트에는 원문 자체만 입력됩니다(숫자 임베딩은 포함되지않습니다)
아래에 이해하신 부분이 맞습니다!
문서를 중복으로 올리면 결과도 중복으로 나오나요?
안녕하세요, 영상속 예제코드는 문서 1개 업로드를 기준으로 만들어졌습니다.
문서를 여러개 올리도록 수정할 경우 같은 문서를 올리면 벡터DB에 중복으로 텍스트가 저장되어, 예를 들어 3개의 텍스트를 참고한다면 2개는 중복으로 참고가 됩니다.
수십만 개의 pdf 파일에서 자연어로 질문하여 답을 얻을 수 있는건가요?
넵 가능은 하지만 수십만개가 있으면 성능이 잘 나올지는 테스트를 많이 해봐야합니다!
사용자의 질문도 임베딩 되서 청킹된 벡터DB에서 유사한 벡터값을 찾는 건가요?
넵 맞습니다!
@@dabidstudio08사용자 질문을 임베딩하는 코딩은 영상 어느 타임라인인지 알 수 있을까요?
2단계 retriever 구현과 관련된 부분입니다
retriever를 정의해서 질문을 던져주면 알아서 임베딩하고 벡터db에서 유사한 텍스트까지 호출해줍니다.
@@dabidstudio08 혹시 자료를 임베딩할 때 언어를 영어로 바꿔줘야 할까요? 임계값을 0.5로 넉넉하게 해도 생각보다 놓치는 데이터들이 많더라고요. 임베딩 벡터를 영어 기반으로 해야 제대로 동작하는지 궁금하네요. 한글은 영...
@@zenist99 제 생각엔 OpenAI Embedding 자체는 한글이든 영어든 잘 작동하는 것 같습니다. 문서 추출 정확도를 높이려면 PDF 문서 자체를 더 전처리해서 노이즈를 줄이거나, 임베딩 뿐만 아니라 정확한 단어/구절로도 검색이 되도록 hybrid search를 도입하거나, 청크 사이즈를 조절하거나, 사용자 질문에서 여러 하위 질문을 만들어서 RAG에 활용하거나 등 다양한 방법으로 테스트를 더 해보셔도 좋을 것 같습니다