엔비디아에서 사용자의 악의적인 쿼리를 방지하는 프레임워크로 Nemo guardrail이라는 것을 공개하고 있습니다. 이 부분 참고하시면 도움이 될 것 같습니다. 간단하게는 LLM의 System prompt에 "CRUD 관련 쿼리는 처리하지마"라는 식으로 대응할 수 있겠습니다. 어차피 사용자는 DB 관리 관련한 쿼리가 궁금한게 아니라서, Create, Replace, Update, Delete는 미리 막아두는게 좋겠습니다.
와, 너무 감사합니다. 늘 도움 받고 있습니다. 혹시 artists = run_query_save_results(db, "SELECT name FROM artists") albums = run_query_save_results(db, "SELECT title FROM albums") 는 artists = run_query_save_results(db, "SELECT name FROM artist") albums = run_query_save_results(db, "SELECT title FROM album") 로 바꿔야 하지 않을까요?
![[SK TECH SUMMIT 2023] LLM 적용 방법인 RAG VS PEFT, Domain 적용 승자는?](http://i.ytimg.com/vi/WWaPGDS7ZQs/mqdefault.jpg)
선생님!
제가 부탁드린 강의네요!
완전 감사합니다~!!!
덕분에 저도 드디어 SQL Agent를 이해했습니다!
진심으로 감사드립니다!!!
좋은 강의 감사드립니다
항상 좋은 강의 감사합니다.
감사합니다.
몇일 걸려 나름 대로 청킹 잘 되라고 데이터 편집 했는데~
이것도 열심히 연구 해야 겠네요. 감사합니다.
항상 응원해주셔서 감사합니다 :)
실습예제 보니까 OPENAI KEY가 있어서 실수로 공개하신건줄 알았어요 ㅎ
너무 재미 있네요. 나중에 잘 활용하겠습니다.
오… 이거 조회문으로만 잘 사용해도 매우 좋을 것 같네요.
감사합니다.
가장 어려운점은 longcontext를 학습시킬때 deepspeed를 이용하기때문에 데이터가 병렬처리 되기때문에 슬라이드윈도우된 데이터가 이어져 학습이 잘 되는지가 지금 현재 문제점입니다 ㅠㅠ
제가 개발쪽은 아니라서, LLM 학습 관련해서는 잘 모르겠습니다ㅠ 외국 강의를 유튜브에서 찾아보시면 좋을것같습니다
정말 너무 감사합니다.. 혹시 excel data 를 같은 방식으로 처리해주는 agent 가 있나요....
이 블로그 글에 정리가 잘 되어있습니다.
teddylee777.github.io/langchain/langchain-tutorial-04/
자세한 설명 감사합니다.
그런데 혹시 쳇봇을 만든다고 할 때 사용자가 악의적이거나 의도치 않은 프롬프트, 예를 들어 delete, update 관련 쿼리를 한다든지 테이블 스키마를 보여달라고 한다든지 하는 내용을 입력했을 때 이런 걸 방지할 수 있는 방법이 있을까요?
엔비디아에서 사용자의 악의적인 쿼리를 방지하는 프레임워크로 Nemo guardrail이라는 것을 공개하고 있습니다. 이 부분 참고하시면 도움이 될 것 같습니다. 간단하게는 LLM의 System prompt에 "CRUD 관련 쿼리는 처리하지마"라는 식으로 대응할 수 있겠습니다. 어차피 사용자는 DB 관리 관련한 쿼리가 궁금한게 아니라서, Create, Replace, Update, Delete는 미리 막아두는게 좋겠습니다.
라마2 다뤄주세요~!
라마2 강의도 고려해보겠습니다 :)
테이블이 엄청 많아서 토큰 초과가 뜨는데 어떻게 하면 좋을까요 ㅠㅠ
어떤 부분에서 토큰이 초과되나요?
와, 너무 감사합니다. 늘 도움 받고 있습니다.
혹시
artists = run_query_save_results(db, "SELECT name FROM artists")
albums = run_query_save_results(db, "SELECT title FROM albums")
는
artists = run_query_save_results(db, "SELECT name FROM artist")
albums = run_query_save_results(db, "SELECT title FROM album")
로 바꿔야 하지 않을까요?
그렇게 바꿔서 작동이 된다면 그게 맞는 것 같습니다. 피드백 감사합니다.
❤❤❤😊😊
회사에서 자체 챗봇을 만드려다 보니 openai는 제한 되서 구현이 어렵네용 ㅠ 로컬 모델은은 성능이.. 감사합니다!
로컬 모델 강의 준비중이었는데 아직 보여드릴 정도의 성능이 안나오네요...
@@AI-km1yn 꼭올려주세요 기대할게요!!!
좋은 강의 감사합니다.