将通信带宽降低至十万分之一，NeurIPS2022论文提出新一代协作感知方法(4)

Where2comm系统框图
Where2comm 的整体系统包括编码器，空间置信度生成器，空间置信度感知的协作通信，协作信息融合以及检测解码器组成。研究者着重介绍空间置信度生成器，基于空间置信度图的通信以及协作信息融合三个部分。
空间置信度生成器：空间置信度图反映的是不同空间位置处的信息对感知任务的重要程度。直觉上说，对于一个感知任务而言，具有待检测物体的区域显然比背景区域更为重要。协作中，有物体的区域可以帮助恢复由于视角受限等原因丢失的物体，同时可以将背景区域的感知信息移除以节省宝贵的通信带宽。因此，研究者可以用检测置信图来生成空间置信图，有高概率存在物体的空间区域则获得更高的置信度评分。
基于空间置信度图的信息打包 (协作什么内容)：基于空间置信度图可以高效地构建协作数据包，其包含两个部分：空间请求图和稀疏但有效的特征。空间请求图用于高效地有针对性地向外界请求有效信息，而发送的特征则是接收者需要且当前智能体拥有的特征信息。
基于空间置信度图的通信图构建 (谁和谁协作)：在第一轮协作中，由于系统中的智能体均不清楚其余协作者的存在，为了激活协作过程，首先需要建立一次全连接的通信。每个智能体都需要将信息广播至希望参与协作的智能体。后续的通信轮次将根据每个智能体的请求图和自身的空间置信度图来判断是否需要进一步通信。只有双方有有效的信息需求时才构建通信。
基于空间置信度图的信息融合 (怎么融合协作信息)：每个智能体利用 multi-head attention 操作，在每个空间位置上融合来自其他协作者的信息包，来更新自身的感知信息，实现更全面更有效的感知。
总结与展望
Where2comm 聚焦在协作感知的感知关键的空间区域选区中，在未来，这种思路可以被广泛应用于时域的关键帧选取等诸多方面。同时，也期待更多特征维度压缩以及 Emergent communication 的工作可以针对协作感知场景进行特殊设计，进一步减少带宽占用，提升感知效率以及通用型和鲁棒性。
原标题：《将通信带宽降低至十万分之一，NeurIPS 2022论文提出新一代协作感知方法》