LLM 챗봇, 랭체인의 핵심 Retrieval-Text Splitters

[@sesburg]

깔끔하게 정리해주셔서 도움이 많이 되었습니다. 감사합니다!

[@TWS-pk3co]

와 내용 전달력이 엄청납니다!! 좋은 영상 감사합니다.

[@한경흠-n2d]

멋진 강의 감사드립니다.

[@ydc6238]

강의 정말 잘 보고 잇습니다.
저는 몇주간 인터넷 뒤져가면서 똥꼬쑈 하던것들 단 몇분만에 정리 다해놓으셨네요!
임베딩 모델부분이나 벡터DB 등 뒤쪽부분 너무 궁금합니다.
앞선 강의에서 언급하신 로컬모델 (ex. Llam)등을 이용한 강의들도 빨리 빨리! 보고싶어요!
화이팅입니다

[@AI-km1yn]

몇주간 찾아보시면서 스스로 많이 깨우치셔서 강의가 정리되어 보이시는 것 같습니다 :) 부족한 영상 봐주셔서 감사합니다. 이번 주말 내로 임베딩 모델, 벡터 임베딩 모두 다룰 예정이니 꼭 시청해주세요 :)

[@tosi2519]

완전 궁금했는데 감사합니다.

[@Dr-First]

명강의 감사합니다!!!

[@이경구-g7t]

감사합니다

[@AI-km1yn]

시청해 주셔서 감사드립니다.

[@홍승민-z3x]

알고리즘 타고 와서 구독하고 오랜만에 다시 보는데요, 음~~~~ 지피티 실무 단에서는 가장 진보적일거 같아요. 조금만 선 넘으면, 이게 전공자 영역으로 넘어가는데. 이게 묘하게 선을 안넘네요. 그리고 또 아무것도 모르면 아예 알아듣지 못하는데, 그런사람은 드랍하고. 정말 잘 보고 있습니다. 반복해서 말이죠. (아직은 코드도 안짜고, 실습도 안함)

[@윤성재-w9z]

선을 미묘하게 타고 있었는데 알아봐주셨군요. 좋은 말씀 감사합니다😊

[@ttorikim1356]

크 단순히 청킹한다는 짧은 언급이 아니라 왜 청킹하는지 그리고 청킹마다 llm 성능에 어떤 영향을 미치는지 분석 상당히 인상깊습니다 이런건 따로 전공하신건가요 혹시 어디서 배울수있을까요

[@AI-km1yn]

아유 감사합니다.. 전공자는 아니구요 그냥 혼자서 해외 유튜버, 공식 문서, 코드 분해 등등 여러가지를 통해서 배웠습니다 :)

[@신승재-y1v]

강의 보면서 실습따라하기 열심히 하고 있습니다. 이번 강의부터는 실습예제가 없는데요..혹시 공유가 가능하시다면 공유 부탁드려도 될까요? 감사합니다.

[@AI-km1yn]

네. 제 채널 커뮤니티에 게시해두었습니다. 감사합니다.

[@박수빈-t7h]

먼저 영상 감사합니다. 잘보고 있습니다. 그리고 질문이 있습니다. PDF 자료 불러오는 중간에 작은 제목이 중첩되는 내용이 너무 많습니다. 동일하게 중첩되는 내용을 제외할 수는 없을까요?

[@AI-km1yn]

네, 문서의 특성에 따라 이런 문제를 데이터 전처리로 해결해야 하는 경우가 많은데요,
Claude가 제시해준 중복 문장 제거 코드를 한번 돌려주시면 문서가 깔끔해질 것 같습니다.
아래 코드는 문서 내 문장들을 분리하고, 완전히 같은 문장이 있는 경우 삭제하는 것입니다.
다소 하드코딩스럽지만, 임시 해결책은 될 것 같습니다.
import re
def remove_duplicate_sentences(text):
# 문장으로 텍스트 분할
sentences = re.split(r'(?

[@nbright3700]

임베딩을 청크단위로 한다는 사실을 알았습니다. 단어로 임베딩하는 줄 알았어요.

[@윤성재-w9z]

오늘 올라올 임베딩 영상에서 조금 더 이해하시기 쉬우실거예요! 😊

[@TV-it3ni]

엑셀도 데이터로더 되나요

[@AI-km1yn]

csvloader를 통해 csv 파일을 로드하실 수 있습니다. 아래 링크를 참고해주세요!
wikidocs.net/231566