ACL2020｜对抗式query-doc相关性模型，让线上搜索结果大幅提升！(7)

1、模型效果

以gbdt为基线（说实话这里其实并不太同意用gbdt来做基线，我的视角看语义相似度他并非主流，dssm才是比较出名的基线），可以看到还是有比较明显的提升，从这里看，作者的模型效果甚至要高于著名的bert，哪怕是只有分类器，在加上生成器进行协助训练后，效果得到了进一步的提升。
不仅离线评估效果喜人，QUARTS在线上也获得了很好的表现，经过在两个国家的A/B测试后，相比当前的基线分别提升了12.2%和5.75%。
2、生成器效果
生成器的效果，根据作者分析现实准确率能达到82%，算是一个不错的水平吧，来看一些case：

可以看到，如作者预期，query和生成的query具有较高的相似性的同时，也能够满足与对应title之间的关系。
4
结论与展望
读完这篇文章后，我们需要做的，当然就是吸收这篇文章提到和提出的一些建模的trick：
在进行语义相似度时，query和title的embedding可以通过设置两个来表达不同的语义句式。attention中引入上一期的信息。在进行语义相似度时，attention对query进行处理，可以加入title的所有信息辅助生成。（核心）变分编码产生正样本对原模型进行微调。这里面让我感到比较惊喜的是，bert被干趴下了，而且输得挺多的，不过这主要是因为BERT是在DSSM基础上进行的改进，其实可以尝试把本文模型下训练的title embedding和query embedding都换成bert，估计会有新的提升（但模型估计会蹭蹭蹭的变大）。那么我下面给一些可以尽可能提升的思路吧（快记着，下一篇顶会就是你的了）