ACL2022图文多模态预训练Tutorial整理(9)

更多限制！统计模型只回答预测问题。
示例：如果一个模型，会根据工厂机器发出噪音来预测，该机器即将发生故障。
那么，该模型无法降低故障率。只能说明工厂隔音不起作用！
因为噪声不是导致机器故障的原因（噪声/故障指示一种相关性）。是凭常识显而易见的。
示例：预测在线新闻文章流行度（未来点击数）的NLP模型。
可解释性方法可能表明模型以来与标题长度。
但这并不意味着我们可以通过改变标题长度来改变受欢迎程度。不那么明显！
即使是简单的预测问题也应该显示：
对抗鲁棒性=>最坏情况下的OOD泛化。组合和跨任务概括=>重新利用所学知识的要素。分布变化的鲁棒性=>在训练中未看到的条件下的预测。

所有这些设置都违反了对统计学习至关重要的i.i.d.训练/测试数据的假设。
因果推理为理解如何克服这些限制提供了一个分析框架。