ACL2022图文多模态预训练Tutorial整理(5)

2023-04-29 来源:飞速影视

ACL2022图文多模态预训练Tutorial整理


使用正确的超参数,不需要图像建模loss。Vison-and-language or Vision-for-language?[Frank et al, 2021]
不同的注意力机制[Hendricks et al. TACL, 2021]

ACL2022图文多模态预训练Tutorial整理


Merged attention 和 Coattention性能相似,且都明显好于Asymmetric attention。此外,模型结构很重要,仅有深度和参数量是不够的。
什么是好的预训练数据集?

ACL2022图文多模态预训练Tutorial整理


相关影视
合作伙伴
本站仅为学习交流之用,所有视频和图片均来自互联网收集而来,版权归原创者所有,本网站只提供web页面服务,并不提供资源存储,也不参与录制、上传
若本站收录的节目无意侵犯了贵司版权,请发邮件(我们会在3个工作日内删除侵权内容,谢谢。)

www.fs94.org-飞速影视 粤ICP备74369512号