ACL2020｜对抗式query-doc相关性模型，让线上搜索结果大幅提升！(8)

另外，我还想提的一个点是，在bert被干趴下的同时，这个模型除了LSTM之外本身没有复杂度很高的操作，耗时预计就在10ms左右。
中文是否有这个效果？搜索的query大都是短句，现在看来效果还是不错的，但是从上面生成器的效果来看，还是出现一些语义类似但是文本匹配低的情况，是否可以加入文本匹配的信息协助保证文本层面的匹配度（如BM25）。相似度的衡量目前比较粗暴，直接用的全连接，是否有必要升级为余弦、矩阵相似度？尝试训练一个title embedding和query embedding都换成bert的模型，然后用本文的模型来做蒸馏，估计还会有提升。参考文献：
[1] SIGIR2018的报告，有关这个领域的语义匹配模型都有谈到: http://staff.ustc.edu.cn/~hexn/papers/sigir18-tutorial-deep-matching.pdf
[2] Learning deep structured semantic models for web search using clickthrough data: https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/cikm2013_DSSM_fullversion.pdf
[3] Learning Robust Models for e-Commerce Product Search: https://arxiv.org/abs/2005.03624
[4] Adventure: Adversarial training for textual entailment with knowledge-guided examples: https://arxiv.org/abs/1805.04680
[5] Reasoning about entailment with neural attention: https://arxiv.org/pdf/1509.06664.pdf
[6] Neural machine translation by jointly learning to align and translate.: https://arxiv.org/abs/1409.0473