ACL2020｜对抗式query-doc相关性模型，让线上搜索结果大幅提升！(4)

设为LSTM的输出维数，和是title和query分别经过各自LSTM的输出矩阵。

要理解attention，首先要弄明白的是attention的对象和依据，显然，构造的时候，我们针对的是query中LSTM输出后每一个节点进行计算的，因此公式表示的意思是，对于query中的每个词，分别对title的表示进行attention并得到分数，另外计算时引入了，目的是加入t-1步之前模型主要focus的信息。
当然了，attention只是一种对信息的调整，最终还要考虑原来的信息，汇总出去，于是有：

其中是query经过LSTM后的最终输出。得到的就是query这一次送入全连接层之前的形态。
细心的我们可以发现，除了我们计算得到的和，还多考虑了，作者给出的解释是提升分类的效果，具体的体现就在于前面所提到的query和item之间的“多对一”的关系，attention中考虑了query中每个位置和title整体的关系后计算得到，而这个通过参数的训练，其实能够表示一整批与title相关的query，具有统一的表达能力，此时则能够体现这个所谓“统一的表达”与特定query之间的差距。
最后，当然就是损失函数了：