小心!墙面正在监视你!

猜不出就对了!粗糙的墙面对物体的反射叫做漫反射。当屏幕上的光投射到墙面上时,光线会往各个方向反射,所以我们只能看到模糊的光影,很难辨别那究竟是什么。

有什么方法能够透过漫反射的光影,“看到”原始画面嘛?

2019年,波士顿大学的CHARLES SAUNDERS,JOHN MURRAY-BRUCE等人就利用了AI算法复原了漫反射图像。

这简直就是把墙面变成了一面镜子,只不过这面镜子,肉眼看不见。

这是怎么做到的呢?首先,在房间中放置一块显示图案的屏幕,使屏幕和墙壁相对。再在屏幕和墙壁之间增加一些遮挡物体,比如椅子、桌子。然后,用一台摄像机对着墙面拍摄。

静态的遮挡物体好比一个定标物,它可以阻挡一部分光线到达墙壁。墙壁上的光影会随着屏幕显示的变化而变化,摄像机可以捕捉这些变化,生成一系列图像。

1)对相机所拍摄的图像进行去交错处理;

3)对相机拍摄的图像和估计的遮挡位置进行计算,重建隐藏场景。

CHARLES SAUNDERS等人对图像的重构依赖于已知的遮挡物或者可控光源。近期,MIT研究团队的PRAFULL SHARMA等人提出了一种更先进的非视线法,他们通过观察房间中空白墙,便可推断房间中人物的数量和具体活动。

实验模拟了人物在房间内运动的场景,灯光通过多条路径到达左侧的墙壁。实际上,墙壁上形成的光影是沿着不同路径反射的复杂混合光,包括来自光源本身的直接照明,场景中物体的反射光,以及经过多次反射的光。

房间中,人物的移动会影响光路,产生新的相互反射,改变墙与场景其他部分之间的相互可见性,从而导致到达墙壁的光线发生微妙的时间变化。

研究者试图用AI算法去分析墙上的光影变化——将拍摄的白墙视频输入至一个网络中,通过网络提取特征,对视频中的人物数目和人物活动进行识别。

下图展示了不同场景下,人物活动(无活动、蹲伏、步行、挥手、跳跃)时,网络提取到的水平和竖直轴上的特征。

人物步行的时候,信号主要在水平轴上发生变化;人物做其他动作时,信号在水平轴和竖直轴上都会有变化。比如,蹲伏的时候,时空图一开始会出现与步行相似的特征,然后运动特征消失,这就表明蹲伏位置固定。挥手和跳跃的时候,水平和竖直轴上都会有快速的、重复的运动特征。

虽然现阶段的算法仅可以识别5种人物活动,但是随着技术的发展,白墙必然会告诉我们更多的信息。试想一下,如果一辆汽车在路上行驶,此时突然一个小孩将要从巷子里冲上车道,那么利用这个AI技术,便可预知人物的出现,避免事故的发生。

抬头看看屋内的墙,可能有人会担心会不会暴露隐私。但其实,大家不用过于恐慌。这种非视线图像复原法仅存在于实验室较为理想的条件下,想让白墙真正变为一面镜子,还有很长的路要走。