惊现视频Ps！物体移除，去水印，简直毫无痕迹，这个超强AI算法刚刚登上了ECCV2020(4)

图1：算法模型概览
（1）光流补全（Flow completion）
计算相邻帧之间的正向和反向流以及一组非相邻帧，并补全这些流场中的缺失区域。（缺失区域的值往往为零，白色）

由于边缘通常是流映射中最显著的特征，因此首先完成边缘的提取，然后，再以补全之后的边缘为导向，逐步完成分段平滑流。
（2） 时间传播（Temporal propagation）：
接下来，沿着流的轨迹为每个丢失像素传播一组候选像素。从链接前向和后向的流向量得到两个候选点，直到到达一个已知像素。
这一过程利用的是非局部流向量：通过检查三个时间间隔的帧来获得另外三个候选帧，对于每个候选者，估计一个置信分数以及一个二进制有效性指标。

如图，绿色区域代表缺失部分，黄色、橙色和棕色线分别代表第一个非局部帧、当前帧和第三个非局部帧的扫描线。
通过跟踪流动轨迹（黑色虚线）达到缺失区域的边缘，可以获得蓝色像素的局部候选对象。但由于人腿部运动形成的流动障碍，无法获取红色像素的候选对象。
在这里研究人员借助于连接到时间距离帧的非局部流，获得了红色像素的额外非局部邻域，并还原了腿部覆盖的真实背景。
（3） 融合（Fusion）
使用置信加权平均值（A Confidence-weighted Average）将每个缺失像素的候选像素与有效候选像素进行融合（至少一个）。这一过程在梯度域内进行，以避免可见的彩色接缝（图2d）。