今天,谷歌发表了最新的夜间视觉(Night Sight)功能AI算法。

△照片为The Verge

你觉得这张照片是一天中什么时候拍的?

阴天的傍晚?

乌云遮住了白天吗?

看下面的“原图”就知道了。

△照片从The Verge开始

是的,这张照片是晚上拍的。用普通模式拍摄的话,只能拍到勉强能看到的玻璃杯和水果。在谷歌的暗视模式下,像白天一样,所有东西的详细情况都很清楚。

类似的例子还有很多:

△照片为The Verge

△照片为The Verge

前置摄像头也能起到很好的效果

△照片为The Verge

无论是哪张照片,天空的颜色往往会从黑色变成暗蓝色,照片的效果和白天差不多,可以说比人眼看到的夜晚更明亮多彩。

这是因为在非常黑暗的环境下,人类视网膜的视锥细胞停止,无法区分不同波长的光,所以只能看到黑暗的场景。

但这并不意味着夜晚只是黑暗。谷歌像暗视功能一样能看到这些人看不见的颜色,把夜晚拍得像白天一样明亮。

色调amp;如果你看到这些在白天拍摄清晰度满分的夜晚的照片,认为暗视只是一个“昼夜转换器”,那就大错特错了。

在照片的色调和清晰度方面,与谷歌的夜视功能一样,也曾与其他的旗舰西普斯马霍竞争。

让我们来看看开启了夜视功能的谷歌Pixel3和苹果的iPhone XS Max,华为Mate20,三星Galaxy Note9拍摄同一景色的对比吧。

谷歌暗视PK iPhone XS Max

首先,让开启了夜间视觉功能的谷歌Pixel3和iPhone XS Max对决,拍摄晚上送来的披萨的外卖吧。

额……明暗度完全不同。Pixel3以鲜艳的色调拍摄,披萨肉粒清晰,勾起食欲。

用iPhone XS Max拍的披萨太暗了。你也可以看到披萨上的肉粒,但只限于昏暗的效果,你不会想吃披萨。

相比之下,如此惨状,苹果可以洗洗睡觉。

谷歌夜间视觉PK华为Mate20Pro

然后,来到PK华为Mate 20Pro。

打开了夜间视觉功能的Pixel3和华为Mate20Pro拍摄了城市的景象。

Pixel3看起来有点尖锐,天空的处理不像Mate20Pro那么柔软,但附近的光线处理更好,路灯照亮的部分看起来更明亮。

谷歌夜间视觉PK三星Galaxy Note9

下面的比较对象是三星Galaxy Note9。我们拍酒吧的视频吧。

整体上看起来没有太大差别。Galaxy Note9在暗光下无法避免画面变黄的问题,但带有暗视功能的Pixel3不同。

但如果你放大看细节,你会发现Pixel3拍摄的细节更加清晰。酒啊右上墙上的孕妇不要一个人喝酒的告示板上有几行小字。在Pixel3拍摄的照片中,这几行小字清晰可见,Note9却相当模糊。

总结一下,开启了夜视功能的谷歌Pixel3已经稳赢iPhone XS Max,小胜三星Galaxy Note9和华为Mate 20Pro各有优劣。

重点是Pixel3只有一个相机。其他三家公司既不是双重拍摄也不是三重拍摄,硬件已经满了。

在拍摄夜景方面,一些相机似乎不是最重要的,也要看算法能力。

谷歌的技术储备其实,谷歌在2010年开始研究手机图像的优化算法。Pixel一代手机问世后,“谷歌”拍照“黑科技”一发不可收拾。

到了8102年,谷歌还在使用单摄像头,为什么价格不输给iPhone呢?当然是对强大算法的自信。

即使是上一代旗舰机Pixel2,如今DxO Mark排名也稳居前十:

2014年,谷歌HDR+技术上市。捕捉多帧照片,然后用软件将它们对齐并合并,以拍摄画面明暗对比度大的图像。

上个月,谷歌还面向Pixel3手机发售了Super Res Zoom。通过重叠多个帧获取超采样照片,可以降低噪音,使图像更加清晰。

现在解决夜景问题就不用说了。

在作为夜间摄影难点的低照度条件下,照相机面临入射光线的波动引起的散粒噪声和传感器变换电信号引起的读取噪声这两种噪声问题。这在镜头和传感器尺寸小的手机上更严重。

有两种方法可以解决噪音问题。合成多张短曝光照片,增加一张照片的曝光时间。

上述HDR+是多个图像的集成,主要目的是改善动态范围,解决摄影画面明暗对比度大的问题。

事实证明,HDR+还可以降低快照噪声和读取噪声的影响,从而改善暗光下的s/n比。

另外,延长曝光时间也是解决方案,但有两个问题。

首先,Pixel手机的默认拍摄模式是使用零延迟快门。当用户打开相机应用程序时,手机开始拍摄图像帧,并将其保存在缓冲区中。按下快门后,相机会将最近的9帧或15帧发送到HDR+或超级Res Zoom进行处理。

HDR+需要在屏幕上实时显示图像以帮助拍摄,因此无论场景多么暗,都将曝光限制在最多66毫秒,以便取景器至少保持15帧/秒的刷新速率。

其次,长时间曝光会模糊动作。这是由于抖动和场景中物体的运动。光学手震修正(OIS)可以延长手持相机的曝光时间(最大约1/8秒),但对长时间曝光和物体移动没有效果。

为了对抗无法通过光学抖动补偿修复的运动模糊,Pixel3的默认摄影模式使用“运动测量”,例如使用“光流方法”测量最近场景的运动,并选择最小化模糊的曝光时间。

如果没有大的移动,每帧的曝光时间将增加到333毫秒。如果相机稳定,如靠墙或使用三脚架,则每帧曝光将增加到1秒。

谷歌除了改变每帧的曝光时间外,还改变拍摄的帧数。把手机放在三脚架上的话选择6格,手持摄影的话最多选择15格。

以下是检测到手持摄影时的照片:

左边的照片是用相机拍摄的15个画面的动画,中央的照片是在运动测量关闭时拍摄的图像,右边的照片是打开运动测量后拍摄的照片。因为曝光时间很短,所以右图看起来更清晰。

以下是检测到三脚架拍摄时的照片:

左图为手持摄影,333毫秒曝光×15帧=5秒;右图是三脚架摄影,曝光1秒×6帧=6秒。你会发现右边的图像更清晰,能看到更多的星星。

最后,谷歌手机通过HDR+(pixel一代和二代)或superRESzoom)pixel三代),经过修改和重新调整,合成多帧图像。

谷歌夜间白平衡和颜色除了图像拍摄时的噪声和模糊问题外,还面临两大挑战:

低亮度下的白平衡不正确

为了解决这些问题,谷歌开发了一种基于学习的自动白平衡(AWB)算法。该算法被训练以区分白平衡准确或偏移的图像。

如果拍摄的图像白平衡错误,算法可以提出如何改变颜色使照明看起来呈中性。

为了训练这个算法,你需要使用Pixel手机拍摄各种场景,在彩色校准显示器上看照片时手动修改白平衡。

△【用算法修正暗处的白平衡】

光线太暗,得不到准确的色调

谷歌在夜间视觉中,参考一部分画师的技巧,通过s曲线提高夜间图像的对比度。下图显示了采用该方法的效果。

△【夜间拍摄的颜色】

得益于这些技术,谷歌可以大胆地在旗舰智能手机上使用单摄像头。还有4个镜头的手机制造商是怎么想的呢?