2023科学跨年｜十一位科学家，跨年夜接力演讲，全文来了！(7)

7
脉冲相机追光逐电
连续视觉回归自然

演讲嘉宾
黄铁军（北京智源人工智能研究院院长、北京大学计算机学院教授）
在2023新年来临之际，我想每个人都会拍不少照片。大家拍照时往往有个习惯：“不要动啊，保持微笑，咔嚓！”今天我要给大家介绍一款新相机，这款相机没有快门，你要做的只是对准目标，精彩瞬间就不会错过，而且绝对不模糊。先看展示。现在拍摄舞台上的这台电风扇，大家左侧屏幕画面来自电视台专业摄像机，右侧屏幕画面来自我们研制的脉冲相机。现在风扇静止不动，扇页上的文字和图标两边都很清楚。现在让风扇转起来，风扇越转越快，一直到每分钟2400转，注意两边的画面：左边的画面出现了倒转错误，后来就模糊不清了，我们人眼看到的也是模糊一片。右边屏幕上有两个画面，分别是脉冲相机采集的实时信号和慢放画面，实时信号就像电扇一样快，本身很清楚，但人眼看不清，右侧画面是慢放，大家通过电视屏幕应该能够看清楚上面的文字，可能会有拖影，那是因为电视转拍带来的问题，现场画面清清楚楚，一点儿都不模糊。大家可能会说，这不就是高速摄像机吗？其实这个小小的脉冲相机，性能远超高速摄像机。我们看个更快的，现在屏幕上展示的是在北大物理系拍摄的6马赫高超声速风洞激波，慢放100倍，每个瞬间都清晰，价格上百万的高速相机都做不到。脉冲相机为什么这么厉害？原因在于它采用了全新的连续摄影原理。数码相机继承了传统胶片相机工作原理，就是把光变化过程看作物理对象，就像一根香肠，电影是咔咔咔每秒切成24段，每一段再压扁成一幅静止图像。数码相机不用胶片，用光电器件，但成像原理并没有变，换汤不换药，胶片相机拍摄高速过程会模糊，数码相机也是如此，所以说数码相机并没有完成数字化革命。连续摄影新原理颠覆了成像概念。大家知道，数码相机的光电传感器是一颗颗独立像素组成的，1000万像素就是1000万个独立像素组成的阵列，为什么非要模仿胶片相机僵化地同步曝光成像呢？与传统摄影“切香肠”不同，连续摄影新原理把光过程看作一束“面条”，每个像素对应一根面条，负责把这根面条对应的光子流转换成一个电子流。要知道，光电转换通常在10纳秒量级，因此，这个过程是一个超高速过程。具体到脉冲相机，每个像素收集到额定数量光子后，转换成一个数字比特，称为脉冲，你可以认为一个脉冲是一组光子，或者一个颗粒度更大的光子。累计形成一个脉冲的时间越短，就表示光越强，反之，光越弱，因此脉冲序列的疏密变化过程对应了那个像素的光强变化过程。要得到某一时刻图像，只要把所有像素在那个时刻的光强排列成阵列就可以了。屏幕上显示的是我的挥手过程，每个时刻的图像都清清楚楚，这是新原理保证的。以后脉冲相机普及后，大家都可以拍摄足球比赛、舞台表演、动物摄影，只要你镜头对准拍摄对象，拍下几秒钟的脉冲流，你就可以连续滑动时间，找到最精彩的瞬间。发明了能够连续摄影的脉冲相机，马上会想到第二个发明，那就是相机的对称装置——显示屏：相机把超高速光子流变成高速脉冲流，显示器就把脉冲流再转换成高速光子流。现在的显示器刷新率来自接收的视频帧率，只有几十赫兹，变成高速显示器后，就能重现车轮旋转等高速过程，看这样的屏幕，就像透过玻璃看窗外景物一样自然。再接着想，把脉冲相机和脉冲显示器背靠背连通，就是第三个发明：单向透明电子玻璃。车辆、飞机、墙壁等外侧装上脉冲相机，内侧装上脉冲显示屏，从内向外看，就像透明玻璃；从外向内看，只是隐藏了摄像头的墙壁。再进一步，把电子透明玻璃做成虚拟现实眼镜。现在无论是VR、AR还是MR，都还是采用视频，最快也就是每秒120帧，头部转动时往往会模糊眩晕，因为这个原因，VR眼镜很难成为消费电子产品。脉冲相机和显示屏可以从根本上解决这个问题，刷新率达到亚毫秒，就像佩戴了一个玻璃眼镜一样舒适自然，让你自由出入元宇宙虚拟世界和熟悉的物理世界，分不清楚身处虚拟还是现实之中，这时真正的数字时代就到来了。通过这个例子我想传达的是，发明无处不在。只要思维不僵化，对习以为常的基本原理和标准答案不简单接受，多问几个为什么，每个人都可能做出原始创新。牛顿重新思考苹果落地和地球的关系，发现了万有引力定律。爱因斯坦质疑时间和空间的绝对性，提出了相对论。科技创新就要刨根问底，你质疑的原理越基础，创新的颠覆性就越强，期望中国出现越来越多的原始创新！