Chi tiết về RAG - Retrieval Augumented Generation.
HTML-код
- Опубликовано: 20 окт 2024
- Chi tiết về RAG - Retrieval Augumented Generation. Lập trình pipeline RAG với MongoDB + mô hình ngôn ngữ GEMMA.
Slide: protonx.io/cou...
Code:
protonx.io/cou...
Group trao đổi thảo luận: / vietaicommunity
hay quá anh ơi , em cảm ơn anh đã chia sẻ lên để anh em học hỏi thêm nhiều thứ ạ
cảm ơn em
Hay quá cảm ơn Thầy Ngọc!
hay quá anh ơi
cam on nhieu nha
hay
Anh ơi, anh cho em hỏi là ở Retrieve thì ngoại trừ tìm theo kiểu cosimlity tính vector gần trong vector store so với cái input đầu vào của mình thì còn cách nào khác không ạ? Mình phải đi so sánh tính toán hết với tất cả các vector trong vector store ạ?
Em muốn hỏi thêm là: với dữ liệu nội bộ công ty thì khi mình embedding thông tin vào có cách nào để bảo mật thông tin hơn khi mà mình embedding thông tin vào vector store không ạ?
Em tìm kiếm thô như các thuật toán BM 25 hay TF IDF trước nhé rồi mới dùng vector search. Bảo mật thì em dùng open source chạy nội bộ thay vì dùng embedding qua API của bên thứ 3 nhé.
Có chủ đề nào về RAG để Tự Động sinh bộ Q&A sau đó dùng dữ liệu sinh ra để train cho chatbot không ạ?
sắp tới sẽ có luôn nhé bạn
chào anh, anh cho e hỏi cái này database của em thiết kế có nhiều collection, dữ liệu được embed và tải lên các collection tương ứng. Vậy làm sao để có thể query hết các collection để cho ra câu trả lời phù hợp ạ, em cảm ơn
em code thêm query thêm các collection nhé.
Anh cho e hỏi, làm sao để biết mình nên insert vào RAG như thế nào để lúc search ra kết quả chính xác ạ? Ví dụ: chia chunk như thế nào, với task qa cần đem few-shot cặp qa vào context thì lúc insert vào chỉ insert question hay insert cả cặp question-answer, ... ?
Nếu em search cần cả question và answer thì em lưu cả, mà lưu db thì có thể em lưu theo question và answer thành cột riêng và refer question id trong bảng answer
nếu tăng số lượng kết quả query và áp dụng few-shot thì có khả thi kh a Ngọc
Khả thi em, nhưng em cần xây dựng được bộ đánh giá cho chatbot của em!
anh cho em hỏi làm cách nào để đánh giá kết quả của rag cho tiếng việt ạ? cụ thể là sử dụng những metrics nào ạ? em mới tìm hiểu thì thấy phần lớn metrics là dùng cho tiếng anh chứ chưa biết cách áp dụng cho tiếng việt ntn
Framework để đánh giá chất lượng RAG của bạn.
2 chỉ số để dùng
Trả lời thật: faithfulness
Trả lời đúng: answer_correctness Em xem phần này đầy đủ đấy: docs.ragas.io/en/stable/concepts/metrics/context_precision.html
với mongodb compass thì vector search như nào ad ơi
nếu bạn dùng backend không phải là atlas thì hiện chưa có search, bạn có thể dùng DB khác nhé như Qdrant
chào anh, dự án của em đang dùng sql server, em đang tạo những bản ghi tương ứng sang atlas, nhưng về phần embedding thì em chưa hiểu rõ dữ liệu chỗ này lắm, anh có thể giải thích thêm được không ạ?
Và có cách nào để sử dụng như 1 đoạn chat không ạ
nó chuyển văn bản thành vector để tìm kiếm tốt hơn nhé. Tìm kiểu vector sẽ tốt hơn tìm theo từng từ. Còn câu sau anh chưa hiểu ý em lắm
@@ProtonX vâng anh, sau khi xem lại lần nữa thì em đã hiểu phần embedding, còn ý sau của em là có cách nào để tạo thành 1 đoạn hội thoại, dựa trên câu hỏi và trả lời trước đó để đưa ra câu trả lời tiếp theo
@@ndiep_lowk215 việc tạo hội thoại mà có thể trả lời được dựa trên ngữ cảnh trước cũng là 1 kỹ thuật mình cần phải tự làm. Cách làm đơn giản nhất là mình sẽ copy hết toàn bộ câu hỏi và câu trả lời trước đó vào trong prompt tiếp theo. Nhưng việc này sẽ làm tăng context length của câu hỏi. Và đôi khi việc giữ lại history cũng làm cho model khó trả lời đúng hơn do hiểu sai ngữ cảnh.
gai dung cho ngua luon!
anh cho em xin code với ạ
Đây nhé em: github.com/bangoc123/retrieval-backend-with-rag