关于三个损失函数权重的问题

[xizhaoyang]

在文章中直接将损失函数的权重按照几个试验出来，您是否做过权重自动调整，也设置成变量的问题呢，您当初这个是怎么考虑的呢？谢谢。

[chenchongthu]

这个问题很好，我个人的考虑是这样的：
在目前的优化框架下，优化器（如SGD,Adagrad）的目的是降低loss的数值而不是直接优化我们想要的目标（推荐的效果），那么为了得到好的模型效果，我们就要去想办法让”loss数值下降“与”模型表现上升“尽量保持一致。假设我们将每个子任务权重设为变量，那么优化器为了降低loss的数值，最简单的方法就是更改直接控制loss的变量，因为该变量的梯度是最大的。这样一来，”loss数值下降“与”模型表现上升“的一致性便会变差。如果感兴趣的话可以尝试一下，得到的结果肯定是会变差很多的。

其实上述问题也是现阶段多目标优化和多任务学习研究的一个重要问题，当然这篇文章因为重点不在这里，就没有进行过深入的设计和讨论。我个人认为一个可行的改进方法是可以引入强化学习框架来更直接的优化我们的模型效果，并反馈到loss下降这个数学表示上。

[Sunscreen123]

您上面的回答有提到引入强化学习优化模型效果，强化学习通过环境-用户-奖励-环境的交互，优化用户交互序列的总体奖励值来优化模型，文中的loss是一个统一给出的结果，没有具体的时间步划分，那么这样如何把强化学习的目标反馈到loss下降呢？