智能手机拍照进化论：从传感器到算法摄影

古城微笑少年丶 2022-02-23 15:24 213阅读 0赞

在智能手机时代，摄影已经发生了变化。不仅人们的拍照姿势变了，手机摄像机捕获的光线的整个过程也发生了翻天覆地的变化。

相机不再只是一个镜头和一个传感器，还是一系列算法的体现，它们可以以最快的速度处理图像以获得最好的摄影效果。手机摄影已经进化成为算法摄影。

人工智能机器学习的不断进步将带来更多不同的功能，技术更新迭代的速度之快，或许很快就会让今天的手机摄影效果看起来过时了。

比如谷歌Pixel 3和iPhone X的手机拍照功能发生的一些新变化。谷歌可以利用机器学习在弱光条件下捕捉更多细节，可以让夜景拍摄效果看起来像白天拍出来的效果一样。

从2017年推出iPhone X开始，苹果开始在手机中添加了“bokeh”，巧妙地模糊了焦点之外的元素。这种效果并不是像传统摄影那样依靠镜头本身，而是通过对捕捉到图像进行像素计算调整来实现的。

2019年到2020年，摄影的突破性进展很有可能来自于改善处理图像的视角。这很有可能会纠正智能手机摄影中固有的失真，这些失真使得智能手机在数码单反(DSLR)相机照片面前显得相形见绌。

![\\"image\\"][image]

卷积神经网络(CNN)是如何通过一张图片重建现实的。来自查尔默斯理工大学的Torsten Sattler，慕尼黑理工大学的Qunjie Zhou和Laura Leal-Taixe，苏黎世理工学院和微软的Marc Pollefeys所著的《理解基于卷积神经网络的绝对相机姿态回归的局限性》。

事实上，它们可以达到接近于“移轴摄影”相机的效果。在移轴摄影相机中，镜头的角度是为了弥补一个人站在相机前的角度，从而纠正由于个人与场景之间的角度造成的图像失真。数码单反用户可以很容易买到各种可拆卸镜头，实现移轴摄影功能。

一般的手机相机镜头筒非常小，捕捉到的所有图像都是扭曲的。对应现实世界，手机拍到的图像形状几乎都有偏差。大多数人可能不会注意到或在意这一点，因为他们已经习惯了Instagram上的自拍。但如果能改善这些畸变就好了。如果可以，这将成为谷歌、苹果等公司下一轮智能手机的卖点。

iPhone和其他相机将越来越多地搭载带有3D传感器的后置摄像头。这些传感器由鲁门特姆控股（Lumentum Holdings）和其他芯片供应商等公司制造，通过计算发出光束从物体上反射回来的时间来测量手机周围环境的深度。“飞行时间法”（time-of-flight）等技术可以让手机详细测量周围环境的三维结构。

这些传感器利用基于近年来为解二维图像和现实世界之间的关系而进行的大量统计工作。

![\\"image\\"][image 1]

谷歌Pixel 3智能手机上的“夜视”功能

人们做了大量的统计工作来实现移轴摄影镜头的物理特性，包括带有或没有特殊摄像装置的方案。例如，一项名为“随机样本一致性”(RANSAC)的技术可以追溯到1981年，专门用于寻找三维世界中的地标，这些地标可以映射到二维图像平面上的点，以了解二维图像与三维现实之间的关系。使用这种技术，我们可以更好地理解二维表示如何与现实世界相对应。

2015年，佛罗伦萨大学(University of Florence)的一组研究人员在RANSAC的基础上，通过对相机拍摄的照片进行逆向推理，推断出了平移变焦相机的结构。他们能够通过软件来分析不同位置的相机的失真程度，从而控制相机的制动器调整至最佳状态。他们可以用它来制作视频，而不仅是静止的图像。

2017年，德国埃尔兰根-纽伦堡大学(University of Erlangen-Nurnberg)和伍兹霍尔海洋学研究所(Woods Hole Oceanographic Institution)的研究人员公布了一个名为CameraTransform的Python库，它可以让人们通过对拍摄的图像进行逆向计算，来估算物体的真实尺寸。

![\\"image\\"][image 2]

四角观察:研究人员创建的一种神经网络，用于推断图片中被遮挡的物体，由编码-解码器和对抗性网络组成。由慕尼黑工业大学的Helisa Dhamo、Keisuke Tateno、Iro Laina、Nassir Navab和Federico Tombari提供，佳能公司提供支持。

去年，德国慕尼黑工业大学(Technical University of Munich)和佳能公司(Canon, Inc.)的研究人员表示，用一张图片就可以推断出被另一个物体遮挡的场景中有什么。它被称为“分层深度图像”，可以通过从照片中删除一个对象来创建新的场景，显示相机从未见过的背景，但这是通过图像计算得到的。该方法使用了许多神经网络应用中常见的编码-解码器方法来估计场景的深度，以及“生成对抗网络”(GAN)来构造场景中在拍摄照片时从未实际出现在视野中的部分。

各种新的研究在不断涌现，并将在下一代配备3D传感器的智能手机相机上呈现井喷之势。这些研究将会带来惊人的成果。在未来，至少用智能手机拍摄的人像不再会出现奇怪的面部扭曲。通过平衡镜头上的线条畸变创建出平行线，我们可能会得到超分辨率的建筑图片。智能手机行业将能够在与数码单反市场的对战中再次胜出，因为手机将生产出大量精确而逼真的照片。

当然，智能手机摄影的长期趋势是远离现实主义，达到在计算摄影之前不可能实现的更加惊艳的效果。因此，我们可能会看到3D传感技术的应用趋向于超现实主义。

未来，在推进机器学习技术之路，还会经历一个意义重大的阶段。我们有可能放弃使用三维传感器，仅用卷积神经网络(CNN)来推断物体在空间中的坐标。这将节省在手机中安装传感器的费用。

参考链接：

https://www.zdnet.com/article/artificial-intelligence-and-the-future-of-smartphone-photography/

[image]: /images/20220223/9b7f1a4814d94d289cd301b7c78e746d.png
[image 1]: /images/20220223/4aa0c6212d52471ea4b82c6dfd9d30cd.png
[image 2]: /images/20220223/f867ebde23ae4f419751393d911c8f38.png