ReRank与Embedding模型的区别? 如何选择ReRank模型?

Поделиться
HTML-код
  • Опубликовано: 26 апр 2024
  • 本期视频为您介绍什么是rerank模型?为什么我们需要rerank模型?Rerank与embedding模型有什么区别?以及,如何去选择一款rerank模型?
  • НаукаНаука

Комментарии • 10

  • @SaySaySee
    @SaySaySee 2 месяца назад +1

    3:30 embedding 成向量,save.然後USER問時,再把USER的問題弄成向量,然後再去找出DB裡相似的向量 (缺:訊息丟失
    4:15 rerank

  • @user-zt2mq8jd4y
    @user-zt2mq8jd4y 9 дней назад

    請問使用embedding model的那是要做兩次transformer,使用rerank的話就是一次就好嗎??

  • @yuc.w.1217
    @yuc.w.1217 Месяц назад

    實際測試起來,計算量頗大,它是一對對計算再排名,如果要即時,這步需要想辦法加速。照博主建議的嘗試了其中一個模型,覺得rerank的效果不明顯,不知道博主認為什麼情況特別適合使用reranker呢?

    • @techdiylife
      @techdiylife  Месяц назад

      reranker主要是带来的检索准确度提升。如果提升不大的话,对最终生成可能影响也不大。如果你希望选择尽量少的检索文本时,比如top1,提升准确度就比较关键了。如果选择top5,top10 rerank的影响就不明显。

  • @singerthree4860
    @singerthree4860 3 месяца назад

    如果代匹配的文本段量过大,使用Rerank注意匹配岂不是会过于消耗时间?

    • @techdiylife
      @techdiylife  3 месяца назад

      是这样的,一般只对TopN做rerank

  • @limjuroy7078
    @limjuroy7078 3 месяца назад

    那么Colbert model算法是将embedding和rerank model结合在一起的吗?

    • @techdiylife
      @techdiylife  3 месяца назад

      简单看了一下,colbert类似embedding的检索,与rerank不一样。

    • @limjuroy7078
      @limjuroy7078 3 месяца назад

      @@techdiylife I see. 因为我记得Colbert也会把retrieve的text chunks来做排序。每个text chunk都有它的排名。

    • @techdiylife
      @techdiylife  3 месяца назад

      Colbert的文本embedding也是提前处理的,而rerank是直接将问题和文本进行对比,计算分数。