DPO V.S. RLHF 模型微调

[@neurite001]

激动万分啊, 也像 Andrew Ng 一样, 在咖啡馆里差一点就跳起来, 终于有中文博主讲解DPO了

[@AliceInAILand]

😄 我也是 看到这么漂亮的证明满心欢喜；今天还看到meta家已经用这个self-rewarding的方法fine tune llama2-70b 说在一些benchmark上效果比gpt4好arxiv.org/abs/2401.10020

[@theodoruszhou2692]

Thank you very much for the video, the explanations were very clear, and I learned a lot. Looking forward to your next work～

[@AliceInAILand]

Glad it was helpful :)

[@iwisher666]

加油 加油

[@ZhousiChen-h8p]

能给数学并不好的人（我）解答一下吗？
RLHF和DPO的共同点都是preference对子，DPO不依赖于reward model和RL，那是不是说DPO的训练数据会少很多？因为preference也是人来评判的，没用到其他模型作为近似。我感觉reward model也有是一个数据增广的作用，或者bootstrapping的感觉。
也很想知道，怎么把调整模型输出某个句子出现的概率转换成梯度的，最近看到一篇叫做KTO，说是不依赖preference对子，只要一个例子和一个二元判断受人类欢迎和不受欢迎就够了。不清楚为什么对子为啥这么重要。
如果可以，能请你更多用自然语言解释解释和对比一下这些方法论之间的异同吗？也希望节目时间能短一点。。。谢谢你！🤗

[@fungpangfan8825]

❤🎉