ACL2020｜对抗式query-doc相关性模型，让线上搜索结果大幅提升！(5)

其中是一个调整正样本权重的超参数，在本文中会更看重正样本（不匹配的），因此有。
4、文本生成器
搜索引擎下正样本（不匹配）很简单，但是要找到与对应title不匹配，但是和对应query比较相似的文本，也就是我们所说的“对抗样本”，真的不容易，我们希望的是找到对抗样本协助训练，从而提升模型的鲁棒性。
文章里作者使用的是VED——变分编码解码器，我们希望的是，输入，能够生成一个，这个与不匹配，但是与非常接近（其实某种程度上可以理解为我们要去挖掘相似度分类的“决策边界”）。作者本身对VED没有很多的改进，而是直接沿用(Bahuleyan et al., 2017)[7]的操作，具体的格式就变得很简单：

5、生成器和query的联动
由于内部其实涉及了两个任务：分类和生成，要使这两者总体端到端化，有必要涉及一个统一的损失函数，权衡两者使两者尽可能同时达到最优。
回过头来重新看看整个模型架构，尤其是橙色部分：