Размер видео: 1280 X 720853 X 480640 X 360
Показать панель управления
Автовоспроизведение
Автоповтор
3:30 embedding 成向量,save.然後USER問時,再把USER的問題弄成向量,然後再去找出DB裡相似的向量 (缺:訊息丟失4:15 rerank
請問使用embedding model的那是要做兩次transformer,使用rerank的話就是一次就好嗎??
rerank一次就可以。不过使用rerank的计算量是很大的。
實際測試起來,計算量頗大,它是一對對計算再排名,如果要即時,這步需要想辦法加速。照博主建議的嘗試了其中一個模型,覺得rerank的效果不明顯,不知道博主認為什麼情況特別適合使用reranker呢?
reranker主要是带来的检索准确度提升。如果提升不大的话,对最终生成可能影响也不大。如果你希望选择尽量少的检索文本时,比如top1,提升准确度就比较关键了。如果选择top5,top10 rerank的影响就不明显。
如果代匹配的文本段量过大,使用Rerank注意匹配岂不是会过于消耗时间?
是这样的,一般只对TopN做rerank
那么Colbert model算法是将embedding和rerank model结合在一起的吗?
简单看了一下,colbert类似embedding的检索,与rerank不一样。
@@techdiylife I see. 因为我记得Colbert也会把retrieve的text chunks来做排序。每个text chunk都有它的排名。
Colbert的文本embedding也是提前处理的,而rerank是直接将问题和文本进行对比,计算分数。
3:30 embedding 成向量,save.然後USER問時,再把USER的問題弄成向量,然後再去找出DB裡相似的向量 (缺:訊息丟失
4:15 rerank
請問使用embedding model的那是要做兩次transformer,使用rerank的話就是一次就好嗎??
rerank一次就可以。不过使用rerank的计算量是很大的。
實際測試起來,計算量頗大,它是一對對計算再排名,如果要即時,這步需要想辦法加速。照博主建議的嘗試了其中一個模型,覺得rerank的效果不明顯,不知道博主認為什麼情況特別適合使用reranker呢?
reranker主要是带来的检索准确度提升。如果提升不大的话,对最终生成可能影响也不大。如果你希望选择尽量少的检索文本时,比如top1,提升准确度就比较关键了。如果选择top5,top10 rerank的影响就不明显。
如果代匹配的文本段量过大,使用Rerank注意匹配岂不是会过于消耗时间?
是这样的,一般只对TopN做rerank
那么Colbert model算法是将embedding和rerank model结合在一起的吗?
简单看了一下,colbert类似embedding的检索,与rerank不一样。
@@techdiylife I see. 因为我记得Colbert也会把retrieve的text chunks来做排序。每个text chunk都有它的排名。
Colbert的文本embedding也是提前处理的,而rerank是直接将问题和文本进行对比,计算分数。