多相机算法

㈠ 想搞懂诺基亚9 PureView 就得先了解Light

虽然命运坎坷，经历了不少变故，但挑战拍照极限的冲动一直都埋藏在诺基亚品牌之中。从2006年诺基亚N93的三倍光学变焦，到2009年诺基亚N86 8MP的800万像素、机械快门蔡司镜头，再到诺基亚808 PureView和Lumia 1020的4100万像素摄像头，诺基亚对手机摄影的追求一直在延续。6年之后的现在，重组之后的诺基亚发布了世界上首款后置五摄手机——诺基亚9 PureView。

诺基亚9 PureView不仅摄像头数量众多，每个摄像头的工作角色也和传统多摄像头手机不同。该机对摄像头的独特控制和照片算法源自于和一家名叫“Light”的公司的合作。本文就将会给大家介绍诺基亚9 PureView背后的Light。

■Light是一家什么样的公司?

Light是一家美国相机解决方案公司，致力于通过多摄像头和强大的软件算法来让体积小、便携性高的相机获得堪比单反的拍照性能。

Light的首要研发领域是手机和便携相机，之后也在 汽车 、安全监控、无人机和机器人自动化生产领域有所涉及。

■合作伙伴众多

作为相机解决方案供应商，Light与许多大家耳熟能详的公司都有投资或合作关系。投资方代表有莱卡和软银，合作方则有诺基亚、高通和索尼半导体等。

由于索尼半导体出品的相机传感器统治了智能手机行业，所以双方刚刚宣布的合作非常让人期待。这次合作的目的是让4个摄像头以上的相机系统出现在更多的手机上。配以足够优秀的软件算法，Light可以利用索尼的传感器及技术支持把多镜头手机摄影优化并普及。

■有16颗摄像头的Light L16相机

为了推销自己的技术，Light在2015年10月发布了自己的硬件产品——Light L16。Light L16是一部具备了16颗摄像头的数码相机。这16颗摄像头的像素都是1300万，由5颗焦距28毫米，光圈f/2.0镜头、5颗焦距70毫米，光圈f/2.0镜头和6颗焦距150毫米，光圈f/2.4镜头组成。

整个相机系统能够实现5倍光学变焦，有效像素5200万。L16的成像处理硬件为高通骁龙820芯片组和Light ASIC，和诺基亚9 PureView是相同的套路（注：诺基亚9 PureView的五摄为等焦距）。

L16和诺基亚9 PureView的这颗Light ASIC是专门为了控制多摄像头相机而设计的，能和高通骁龙系列芯片组、TOF传感器和闪光灯等元器件相互兼容。

L16能够通过程序来后期调节照片对焦和虚化，与诺基亚9 PureView的功能类似。L16支持的RAW图片格式也和诺基亚9 PureView一样，为DNG格式。

由于16颗摄像头的缘故，L16的厚度达到了2.39厘米，电池容量为4120mAh。此次诺基亚9 PureView仅为3320mAh的电池容量也许是因为后置五摄以及额外的Light ASIC芯片占据了一部分机身空间的缘故。

从网上的评测和用户反馈来看，L16总体来讲并不是个成功的产品。L16的软件体验（尤其是桌面配套软件）、人体工程学设计、续航和成像水准的不稳定性成为了最大诟病。既然Light的多摄像头系统这么不给力，为什么索尼和诺基亚都要和Light合作呢？因为在L16的众多缺点中，有几个突出优点让人们看到了希望。

由于每次按下快门时都有最多10枚镜头同时拍照，照片捕捉的信息和细节非常丰富。依靠丰富的信息，用户可以通过后期随心所欲地把照片调节到自己想要的样子。但是只有懂得如何去做后期的专业用户才能利用这个优势。除此之外，相比于单反，L16的便携性好了太多。

■Light需要合作伙伴来进行优势互补

刚刚 我们提到了Light在做硬件产品时犯下的各种基本性错误，比如人体工程学和软件体验等、如果Light不自己做硬件，而是把相机系统放进别人的硬件，让别人处理擅长的硬件工业设计和软件交互界面，Light就能扬长避短，发挥多相机系统的优势。这里的“别人”就是现在的诺基亚。

而且不得不提的是， Light本身是个规模很小的创业公司，人力、物力和财力都无法和大牌手机或相机厂商相提并论。所以对于Light来说，处理好技术难度极高的多相机成像合成算法是一件非常难的事。与诺基亚、索尼、高通和谷歌等公司的合作能够帮助Light加速解决这些问题 ，从而真正实现Light创立的初衷：致力于通过多摄像头和强大的软件算法来让体积小、便携性高的相机获得堪比单反的拍照性能。

■如果合理利用，Light多相机系统前途无量

在计算摄影学（Computational Photography）当道的手机行业，Light在相机系统和配套算法上的远见十分了得。从目前网上的诺基亚9 PurevVew样张来看，五摄的威力也是初见端倪。如果Light能与合作伙伴们走向正确的道路，坚持下去，也许诺基亚9 PureView就是手机相机又一次革命的开始。

㈡ 聊聊手机的摄像头和算法优化

  现在市面上大多数的手机摄像头都是定焦镜头。一般的做法是长焦镜头+广角镜头（24mm-28mm）。这其实算不得真正的变焦，只能说基于多个 定焦 镜头，使用软件实现 平滑变焦 。而平滑那部分，一般表现不如真实光学变焦好，原因下文详述。

以华为p30 pro 为例，HUAWEI P30 Pro 的配置 ：

后置徕卡 [1] 三摄像头:

华为p30 在不同的倍数下，使用不同的相机

  华为p30 pro在3X 模式下，采用 1X 镜头和5X镜头。1X镜头的照片放大为3X，很模糊；5X镜头的相片拍摄的内容缩小为3X，非常清晰，但是不够大。这时候 软件算法 会 合并 这两张图片，中间部分属于 画面主体 ，是由5X拍摄的，保证了主体的清晰。边缘部分很 模糊 但不至于没有图像，细节由 算法补齐 。

  对于10X,50X，单独5X拍摄，直接放大（和我们拉图放大一样），细节由算法插值，最终生成结果图。这里的问题是，算法其实也是不知道真正的细节是什么的，靠的是推导，平滑。没有足够的数据，再强的算法也无法以假乱真，所以这种图片边缘只是看起来高清，实际上 细节表现非常差 。

  综上，如果手头的手机是这种变焦手机，为了拍出优质的照片，必须先了解每个镜头的参数。 尽量不要被混合变焦 。比如p30 pro, 尽量1X，2X，5X，不要3X。

  首先，要明确变焦的对比方法是 等效焦距 。因为 感光元件的大小 不一样，实际上得到的图片大小是不一样的。等效焦距就是转化为 135相机上 的 24X36mm 同样成像视角所对应的镜头焦距。

等效焦距=等效系数*镜头焦距

  华为官网给出的数据就是等效焦距，和提测数据也一致。再以Oppo Reno 为例，官网bolg给出的镜头信息：

  我们说的变焦范围，华为p30 pro 是16mm-127mm, oppo reno 是 15.9-159mm

  变焦多少倍，应该是长焦焦距/主摄焦距，华为是 4.63倍变焦。oppo是5.68倍变焦。哪有按照微距焦距来算的，都是商业噱头。

EIS (Electronic anti shake)。电子防抖主要指在 数码照相机 上采用 强制提高CCD 感光参数同时加快快门并针对CCD上取得的图像进行分析，然后利用边缘图像进行补偿的防抖，电子防抖实际上是一种通过 降低画质 来 补偿抖动 的技术，此技术试图在画质和画面抖动之间取得一个平衡点。与光学防抖比较，此技术 成本要低 很多（实际上只需要对普通数码相机的内部软体作些调整就可做到）， 效果也要差

OIS (Optical Image Stabilization 光学防抖）是利用内置的镜片(Lens-Shift Optical Image Stabilization)或感光元件(Senor-Shift Optical Image Stabilization)来对相机水平或上下的动作来逆向修正，可以用于照相及摄影的防手震上。OIS 优点是可靠性较高且不会牺牲影像的分辨率，效果比 EIS 好，但缺点 成本较贵 、镜头机身没办法做很薄且有边缘解析力下降的问题。

AIS :算法防抖，就是算法自动补齐模糊区域。

3D成像三大主流技术

  双目成像的基础原理是三角测距算法，类似模拟人眼观看3D电影（左右眼看到的场景略有差异），从而带来具有空间感的立体深度信息。

  结构光是通过红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集反射的结构光图案，根据三角测量原理进行深度信息的计算

  飞行时间测距法（Time Of Flight）。通过红外发射器发射调制过的 光脉冲 ，遇到物体反射后，用接收器接收反射回来的光脉冲，并根据光脉冲的往返时间计算与物体之间的距离。这种调制方式对发射器和接收器的要求较高，光速那么快，对于时间的测量有极高的精度要求。

应用：

  明确一点，人眼其实也是基于 算法优化 的。来看一下人眼的结构和一些值得吐槽的设计。

我们的视网膜大致由3层细胞组成，分别为感光细胞、双极细胞和节细胞。

感光细胞可将光信号转化为电信号，双极细胞则负责分类处理这些电信号。最后节细胞会把这些分类好的电信号传输至大脑，形成最终影像。

这里感光细胞就相当于 感官原件的受光面，节细胞就相当于数据线，那么问题来了，电线在受光面之上，挡住了光。

图：1为感光细胞，2为双极细胞，3为节细胞

当光线射入瞳孔时，要先 经过 节细胞和双核细胞，最后才能到达感光细胞。那么这些“ 挡 ”在感光结构前的细胞，就会反射或折射光线，使感光细胞成像的质量下降。 这就如同在照相机的胶片前面，外贴了一张半透明薄膜。

模糊是应该的，可我们看到的画面并不模糊，这是基于大脑的最强图片优化算法 自动脑补 的。

由于节细胞位于光线进入的方向。所以它发出的神经纤维必然会汇聚成一束，反穿眼球再绕回大脑。而在此处，感光细胞是没有落脚之地的，被称为视神经乳头。

所以这才导致了我们视网膜中有一块区域无法感光，从而形成 盲点 。

所幸我们由一双眼睛而不是一只，两个眼球看到的画面会在大脑中互补。大脑本身就有一套经过千万年进化而来的图像重叠算法，这就是算法优化嘛。

tips：人眼存在盲点。怎么测试？把下面的图往左横过来看，用手遮住自己的左眼，视线集中看圆圈，你会发现 加号 在某个位置走着走着就消失了。

我们在嵌满的盲点测试中，如果闭上左眼后直接盯着+号，是不会看到消失的。

主要是因为，对于盲点，人类还进化出了相应的优化措施——黄斑。

黄斑 是视网膜上的特殊区域，当我们 凝视 某一点时，它的图像就正好聚焦在黄斑上。

而在黄斑处，双极细胞、节细胞连同它们发出的神经纤维，以及 视网膜表面的血管网和神经纤维等，都会向四周避开 。

所以当我们瞄准某一区域时，其分辨率和成像能力能达到“高清”级别。而我们平时检查视力，查的便是黄斑区的 中心视力 。

鹰和人一样都“贴反”了视网膜，但通过黄斑和晶状体，它们看在几百米甚至上千米处的猎物都毫无压力。这说明了“反贴”视网膜，通过“优化”后并不妨碍高度清晰的图片形成。

这个属于不改变硬件架构的情况下，做硬件优化

综上所述，我们的大脑本身自带了最强的算法优化，我们之所见，经过 脑补 才得到所感知的画面。所以，算法并非不好，只是说算法不够好，结果不够接近大脑算法的执行结果。比如拍个月亮变成PS，那就过分了。

参考：