详解RAG(2/2)

[@Romulus-k3p]

非常好的视频，谢谢！ 请问Rag部分新增加的信息，在调用GPT的时候算token吗？

[@AI-boblin]

算token的，相当于prompt添加了额外的补充内容

[@kiyorc]

没学过ai，在没看你视频前就是插入system数据给api，请问如果使用库的rag模式，库可以优化已被回答的问题的token数量吗。比如从数据库调取了数据A，用户问how about B,下次api时是否仍然会给数据A和数据B，还是压缩成数类似数据A被遗忘，除非已经出现在对话中否则无法调取。这里的假设是数据A和B的数据量都太庞大到无法同时存在在token中