ACL2020｜对抗式query-doc相关性模型，让线上搜索结果大幅提升！(3)

模型主要分为3大部分：
LSTM-attention为基础的分类模型（蓝色虚线框）变分编码-解码生成器（a variational encoder-decoder query generator，VED）（红色虚线框）状态融合器（橙色实心矩形）3、分类器
上面提到，分类器是一个LSTM-attention模式的模型。它的模式是基于(Rocktaschel et al., 2015)[5]产生的，作者认为搜索场景的语句格式和常规的自然语言会存在差异。首先query和对应的物品title，在语法结构上会存在不同，query一般较短，而title的描述则更多的是关键词的堆砌。广告场景下的query和title，更可能是一个多对一的情况，比如“红色跑鞋 耐克”和“红色 耐克运动鞋”都对应着同一个商品；另外，query中存在的对属性的描述，如品牌颜色等（电商场景），这些属性会在长句中出现，因此需要具有一定记忆性的模型。综上，作者对query和物品的标题title分别进行了不同的词向量训练，最终合并然后计算。

底层的输入本就有两块，一块是titie，另一块是query，两者分别通过自己训练的word2vector进行编码，然后如图所示地进入各自的LSTM，其中还能看到的是query的LSTM其实还用了title LSTM的末端信息信息，随后，进入了一个additive attention，其实是一种比较常规的attention方法(Bahdanau et al., 2014)[6]，此后，就进入三层全连接，最终完成了匹配度的计算。
值得注意的是里面attention的使用，作者虽然使用的是additive attention，但是还提出了一个改进，这个改进把attention本来不包含上下文信息的模式升级为考虑了上一期信息的模式，来看看他具体是怎么做的：