多相機演算法

㈠ 想搞懂諾基亞9 PureView 就得先了解Light

雖然命運坎坷，經歷了不少變故，但挑戰拍照極限的沖動一直都埋藏在諾基亞品牌之中。從2006年諾基亞N93的三倍光學變焦，到2009年諾基亞N86 8MP的800萬像素、機械快門蔡司鏡頭，再到諾基亞808 PureView和Lumia 1020的4100萬像素攝像頭，諾基亞對手機攝影的追求一直在延續。6年之後的現在，重組之後的諾基亞發布了世界上首款後置五攝手機——諾基亞9 PureView。

諾基亞9 PureView不僅攝像頭數量眾多，每個攝像頭的工作角色也和傳統多攝像頭手機不同。該機對攝像頭的獨特控制和照片演算法源自於和一家名叫「Light」的公司的合作。本文就將會給大家介紹諾基亞9 PureView背後的Light。

■Light是一家什麼樣的公司?

Light是一家美國相機解決方案公司，致力於通過多攝像頭和強大的軟體演算法來讓體積小、便攜性高的相機獲得堪比單反的拍照性能。

Light的首要研發領域是手機和便攜相機，之後也在 汽車 、安全監控、無人機和機器人自動化生產領域有所涉及。

■合作夥伴眾多

作為相機解決方案供應商，Light與許多大家耳熟能詳的公司都有投資或合作關系。投資方代表有萊卡和軟銀，合作方則有諾基亞、高通和索尼半導體等。

由於索尼半導體出品的相機感測器統治了智能手機行業，所以雙方剛剛宣布的合作非常讓人期待。這次合作的目的是讓4個攝像頭以上的相機系統出現在更多的手機上。配以足夠優秀的軟體演算法，Light可以利用索尼的感測器及技術支持把多鏡頭手機攝影優化並普及。

■有16顆攝像頭的Light L16相機

為了推銷自己的技術，Light在2015年10月發布了自己的硬體產品——Light L16。Light L16是一部具備了16顆攝像頭的數碼相機。這16顆攝像頭的像素都是1300萬，由5顆焦距28毫米，光圈f/2.0鏡頭、5顆焦距70毫米，光圈f/2.0鏡頭和6顆焦距150毫米，光圈f/2.4鏡頭組成。

整個相機系統能夠實現5倍光學變焦，有效像素5200萬。L16的成像處理硬體為高通驍龍820晶元組和Light ASIC，和諾基亞9 PureView是相同的套路（註：諾基亞9 PureView的五攝為等焦距）。

L16和諾基亞9 PureView的這顆Light ASIC是專門為了控制多攝像頭相機而設計的，能和高通驍龍系列晶元組、TOF感測器和閃光燈等元器件相互兼容。

L16能夠通過程序來後期調節照片對焦和虛化，與諾基亞9 PureView的功能類似。L16支持的RAW圖片格式也和諾基亞9 PureView一樣，為DNG格式。

由於16顆攝像頭的緣故，L16的厚度達到了2.39厘米，電池容量為4120mAh。此次諾基亞9 PureView僅為3320mAh的電池容量也許是因為後置五攝以及額外的Light ASIC晶元占據了一部分機身空間的緣故。

從網上的評測和用戶反饋來看，L16總體來講並不是個成功的產品。L16的軟體體驗（尤其是桌面配套軟體）、人體工程學設計、續航和成像水準的不穩定性成為了最大詬病。既然Light的多攝像頭系統這么不給力，為什麼索尼和諾基亞都要和Light合作呢？因為在L16的眾多缺點中，有幾個突出優點讓人們看到了希望。

由於每次按下快門時都有最多10枚鏡頭同時拍照，照片捕捉的信息和細節非常豐富。依靠豐富的信息，用戶可以通過後期隨心所欲地把照片調節到自己想要的樣子。但是只有懂得如何去做後期的專業用戶才能利用這個優勢。除此之外，相比於單反，L16的便攜性好了太多。

■Light需要合作夥伴來進行優勢互補

剛剛 我們提到了Light在做硬體產品時犯下的各種基本性錯誤，比如人體工程學和軟體體驗等、如果Light不自己做硬體，而是把相機系統放進別人的硬體，讓別人處理擅長的硬體工業設計和軟體交互界面，Light就能揚長避短，發揮多相機系統的優勢。這里的「別人」就是現在的諾基亞。

而且不得不提的是， Light本身是個規模很小的創業公司，人力、物力和財力都無法和大牌手機或相機廠商相提並論。所以對於Light來說，處理好技術難度極高的多相機成像合成演算法是一件非常難的事。與諾基亞、索尼、高通和谷歌等公司的合作能夠幫助Light加速解決這些問題 ，從而真正實現Light創立的初衷：致力於通過多攝像頭和強大的軟體演算法來讓體積小、便攜性高的相機獲得堪比單反的拍照性能。

■如果合理利用，Light多相機系統前途無量

在計算攝影學（Computational Photography）當道的手機行業，Light在相機系統和配套演算法上的遠見十分了得。從目前網上的諾基亞9 PurevVew樣張來看，五攝的威力也是初見端倪。如果Light能與合作夥伴們走向正確的道路，堅持下去，也許諾基亞9 PureView就是手機相機又一次革命的開始。

㈡ 聊聊手機的攝像頭和演算法優化

  現在市面上大多數的手機攝像頭都是定焦鏡頭。一般的做法是長焦鏡頭+廣角鏡頭（24mm-28mm）。這其實算不得真正的變焦，只能說基於多個 定焦 鏡頭，使用軟體實現 平滑變焦 。而平滑那部分，一般表現不如真實光學變焦好，原因下文詳述。

以華為p30 pro 為例，HUAWEI P30 Pro 的配置 ：

後置徠卡 [1] 三攝像頭:

華為p30 在不同的倍數下，使用不同的相機

  華為p30 pro在3X 模式下，採用 1X 鏡頭和5X鏡頭。1X鏡頭的照片放大為3X，很模糊；5X鏡頭的相片拍攝的內容縮小為3X，非常清晰，但是不夠大。這時候 軟體演算法 會 合並 這兩張圖片，中間部分屬於 畫面主體 ，是由5X拍攝的，保證了主體的清晰。邊緣部分很 模糊 但不至於沒有圖像，細節由 演算法補齊 。

  對於10X,50X，單獨5X拍攝，直接放大（和我們拉圖放大一樣），細節由演算法插值，最終生成結果圖。這里的問題是，演算法其實也是不知道真正的細節是什麼的，靠的是推導，平滑。沒有足夠的數據，再強的演算法也無法以假亂真，所以這種圖片邊緣只是看起來高清，實際上 細節表現非常差 。

  綜上，如果手頭的手機是這種變焦手機，為了拍出優質的照片，必須先了解每個鏡頭的參數。 盡量不要被混合變焦 。比如p30 pro, 盡量1X，2X，5X，不要3X。

  首先，要明確變焦的對比方法是 等效焦距 。因為 感光元件的大小 不一樣，實際上得到的圖片大小是不一樣的。等效焦距就是轉化為 135相機上 的 24X36mm 同樣成像視角所對應的鏡頭焦距。

等效焦距=等效系數*鏡頭焦距

  華為官網給出的數據就是等效焦距，和提測數據也一致。再以Oppo Reno 為例，官網bolg給出的鏡頭信息：

  我們說的變焦范圍，華為p30 pro 是16mm-127mm, oppo reno 是 15.9-159mm

  變焦多少倍，應該是長焦焦距/主攝焦距，華為是 4.63倍變焦。oppo是5.68倍變焦。哪有按照微距焦距來算的，都是商業噱頭。

EIS (Electronic anti shake)。電子防抖主要指在 數碼照相機 上採用 強制提高CCD 感光參數同時加快快門並針對CCD上取得的圖像進行分析，然後利用邊緣圖像進行補償的防抖，電子防抖實際上是一種通過 降低畫質 來 補償抖動 的技術，此技術試圖在畫質和畫面抖動之間取得一個平衡點。與光學防抖比較，此技術 成本要低 很多（實際上只需要對普通數碼相機的內部軟體作些調整就可做到）， 效果也要差

OIS (Optical Image Stabilization 光學防抖）是利用內置的鏡片(Lens-Shift Optical Image Stabilization)或感光元件(Senor-Shift Optical Image Stabilization)來對相機水平或上下的動作來逆向修正，可以用於照相及攝影的防手震上。OIS 優點是可靠性較高且不會犧牲影像的解析度，效果比 EIS 好，但缺點 成本較貴 、鏡頭機身沒辦法做很薄且有邊緣解析力下降的問題。

AIS :演算法防抖，就是演算法自動補齊模糊區域。

3D成像三大主流技術

  雙目成像的基礎原理是三角測距演算法，類似模擬人眼觀看3D電影（左右眼看到的場景略有差異），從而帶來具有空間感的立體深度信息。

  結構光是通過紅外激光器，將具有一定結構特徵的光線投射到被拍攝物體上，再由專門的紅外攝像頭進行採集反射的結構光圖案，根據三角測量原理進行深度信息的計算

  飛行時間測距法（Time Of Flight）。通過紅外發射器發射調制過的 光脈沖 ，遇到物體反射後，用接收器接收反射回來的光脈沖，並根據光脈沖的往返時間計算與物體之間的距離。這種調制方式對發射器和接收器的要求較高，光速那麼快，對於時間的測量有極高的精度要求。

應用：

  明確一點，人眼其實也是基於 演算法優化 的。來看一下人眼的結構和一些值得吐槽的設計。

我們的視網膜大致由3層細胞組成，分別為感光細胞、雙極細胞和節細胞。

感光細胞可將光信號轉化為電信號，雙極細胞則負責分類處理這些電信號。最後節細胞會把這些分類好的電信號傳輸至大腦，形成最終影像。

這里感光細胞就相當於 感官原件的受光面，節細胞就相當於數據線，那麼問題來了，電線在受光面之上，擋住了光。

圖：1為感光細胞，2為雙極細胞，3為節細胞

當光線射入瞳孔時，要先 經過 節細胞和雙核細胞，最後才能到達感光細胞。那麼這些「 擋 」在感光結構前的細胞，就會反射或折射光線，使感光細胞成像的質量下降。 這就如同在照相機的膠片前面，外貼了一張半透明薄膜。

模糊是應該的，可我們看到的畫面並不模糊，這是基於大腦的最強圖片優化演算法 自動腦補 的。

由於節細胞位於光線進入的方向。所以它發出的神經纖維必然會匯聚成一束，反穿眼球再繞回大腦。而在此處，感光細胞是沒有落腳之地的，被稱為視神經乳頭。

所以這才導致了我們視網膜中有一塊區域無法感光，從而形成 盲點 。

所幸我們由一雙眼睛而不是一隻，兩個眼球看到的畫面會在大腦中互補。大腦本身就有一套經過千萬年進化而來的圖像重疊演算法，這就是演算法優化嘛。

tips：人眼存在盲點。怎麼測試？把下面的圖往左橫過來看，用手遮住自己的左眼，視線集中看圓圈，你會發現 加號 在某個位置走著走著就消失了。

我們在嵌滿的盲點測試中，如果閉上左眼後直接盯著+號，是不會看到消失的。

主要是因為，對於盲點，人類還進化出了相應的優化措施——黃斑。

黃斑 是視網膜上的特殊區域，當我們 凝視 某一點時，它的圖像就正好聚焦在黃斑上。

而在黃斑處，雙極細胞、節細胞連同它們發出的神經纖維，以及 視網膜表面的血管網和神經纖維等，都會向四周避開 。

所以當我們瞄準某一區域時，其解析度和成像能力能達到「高清」級別。而我們平時檢查視力，查的便是黃斑區的 中心視力 。

鷹和人一樣都「貼反」了視網膜，但通過黃斑和晶狀體，它們看在幾百米甚至上千米處的獵物都毫無壓力。這說明了「反貼」視網膜，通過「優化」後並不妨礙高度清晰的圖片形成。

這個屬於不改變硬體架構的情況下，做硬體優化

綜上所述，我們的大腦本身自帶了最強的演算法優化，我們之所見，經過 腦補 才得到所感知的畫面。所以，演算法並非不好，只是說演算法不夠好，結果不夠接近大腦演算法的執行結果。比如拍個月亮變成PS，那就過分了。

參考：