Google Camera的 HDR+算法有多厲害？

gulugulugulu · 發(fā)表于 2018-12-3 10:15

有很多手機(jī)用了Google Camera之后拍照提升立竿見影。

技術(shù)大牛阿怡 · 發(fā)表于 2018-12-3 10:23

本帖最后由 libaizibubai 于 2018-12-3 10:37 編輯

HDR+ 有多厲害，當(dāng)然是超厲害啦~！
官方集錦 Photos and Videos from Pixel 2 (404 Not Found 注意)
文中部分配圖：
https://photos.app.goo.gl/Ht0KGsYff7X46nMu2

(同樣是 404 Not Found 注意，我不清楚在網(wǎng)頁上放大是什么質(zhì)量，但可以在菜單中點(diǎn)擊下載原圖)
可以直觀地看到，Pixel 2 的 IMX362 CMOS 在 HDR+ 的加持下，照片的動(dòng)態(tài)范圍更強(qiáng)，高光過渡更好、暗部噪點(diǎn)更少，各種條件下都能保留很好的細(xì)節(jié)。另外，HDR+ 還能一定程度的去抖動(dòng)、鬼影、優(yōu)化膚色。
First Edition

由于 HDR+ 基于多幀單曝光堆棧，拍攝時(shí)需要花費(fèi) Google Camera的 HDR+算法有多厲害？

倍快門的時(shí)間，為了能夠抓拍，谷歌提供了零快門時(shí)滯（ zero shutter lag, ZSL ）的HDR+ 突發(fā)模式 ( 在現(xiàn)在的谷歌相機(jī)里稱為 HDR+ on，默認(rèn)開啟 )，其原理是相機(jī)取景時(shí)后臺(tái)就已經(jīng)開始預(yù)拍，按下快門時(shí)取出這些照片進(jìn)行處理，此模式下無論是否合焦都會(huì)立即拍攝，快門速度也會(huì)比較保守（最低 Google Camera的 HDR+算法有多厲害？

）。而完整模式 ( HDR+ enhanced ) 則是按下快門后，完成對(duì)焦過程（無論成功與否）才開始拍攝。在 Pixel 2 上，此模式的最低快門速度是 Google Camera的 HDR+算法有多厲害？

。

Google HDR+ 完整管線
如果要說缺點(diǎn)的話，照片在高感下的噪點(diǎn)不均勻，不太好看。這應(yīng)該是 RAW 轉(zhuǎn)換為 JPEG 時(shí)的問題，以及一些色調(diào)映射上的小瑕疵。還有，拍分辨率一般的顯示器的的時(shí)候有可能會(huì)出現(xiàn)奇怪的網(wǎng)格（在畫面中是完美的方形，應(yīng)該也是堆棧過程中的問題）?？梢云诖雀韬笃诟倪M(jìn)。

此前，經(jīng)過不同開發(fā)者的努力，谷歌相機(jī)已經(jīng)能夠安裝在部分其他品牌機(jī)型上使用 HDR+ Google Camera的 HDR+算法有多厲害？

，并且拯救了不少機(jī)型原本糟糕的畫質(zhì)。但也有效果不明顯，甚至變得更加糟糕的（比如 LG G5）。原因是谷歌只為自家機(jī)型做了優(yōu)化配置，其他機(jī)型或多或少都會(huì)有瑕疵，無法發(fā)揮全部實(shí)力。來自烏克蘭的開發(fā)者 B-S-G 率先在自己的移植版中加入了 HDR+ RAW 輸出，經(jīng)過在 Pixel 2 上的測(cè)試，帶來了不少驚喜。
Google Camera的 HDR+算法有多厲害？

Google Camera B-S-G Mod settings
以下是 Pixel 2 的實(shí)際體驗(yàn)，如未作說明，圖片均為 RAW 拍攝并后期出圖，調(diào)整可能有曝光、曲線與白平衡。

感謝評(píng)論區(qū) @曦瓜同學(xué)的提醒，我應(yīng)該分享一份原圖。另外，Waiting for Google is never fun. 對(duì)于暗光拍攝，大家可以嘗試提高堆棧張數(shù)：將移植版相機(jī)設(shè)置里的 HDR+ parameters ( 或舊版的 Buffers size ) 調(diào)為更高級(jí)別。

嘟嘟嚕~

首先，HDR+ JPEG 直出的效果已經(jīng)非常好了，Pixel 2 在 DxOMark Mobile Photo 拿了99分（丟分在噪點(diǎn)與偽像。模擬虛化的實(shí)現(xiàn)不屬于 HDR+ 的范疇），動(dòng)態(tài)范圍等等都是最優(yōu)秀的。但使用 HDR+ RAW 后才發(fā)現(xiàn)，它原本更加優(yōu)秀！

與直出 JPEG 相比，HDR+ RAW 還能提供更高的動(dòng)態(tài)范圍，同時(shí)噪點(diǎn)更少且十分均勻，是 Lossless JPEG Compressed DNG 格式，在 Pixel 2 的 12MP 每張約 10MB，不會(huì)占用過多空間。

在 JPEG 下過曝的高光，可以再期待一下 RAW 的表現(xiàn)，基本都能拉回來一檔。

經(jīng)過 RawDigger 查看，Pixel 2 的 HDR+ RAW 的數(shù)據(jù)范圍是 0~16368 ，也就是 Google Camera的 HDR+算法有多厲害？

，并且無跳值（關(guān)聯(lián)閱讀：索尼相機(jī)的raw是有損的，究竟和無損的raw 差多少？），其他手機(jī)的 RAW 多數(shù)為 Google Camera的 HDR+算法有多厲害？

，于是調(diào)整余地就非常大了。盡管沒有嚴(yán)謹(jǐn)測(cè)試，但它至少有 13 EV 的動(dòng)態(tài)范圍，拉曝光的時(shí)候，會(huì)給你一種全畫幅 RAW 的錯(cuò)覺……
以下是一個(gè)大光比場(chǎng)景：
Google Camera的 HDR+算法有多厲害？

HDR+ RAW -4 EV / +3 EV 效果對(duì)比
Google Camera的 HDR+算法有多厲害？

HDR+ RAW 直方圖（13.9 bit）
Google Camera的 HDR+算法有多厲害？

JPEG 直出效果
（這張照片的 JPEG 與 RAW 的快門速度不一樣，以各自的EXIF為準(zhǔn)了）
同樣場(chǎng)景下，多數(shù)算法不夠好的手機(jī)的效果已經(jīng)是一片慘白或死黑了。
Google Camera的 HDR+算法有多厲害？

HDR+ RAW 調(diào)整后效果
經(jīng)過了調(diào)整，還能獲得更好的效果。

Google Camera的 HDR+算法有多厲害？

早上擼貓

中午擼貓

下午擼貓（JPEG 直出）
Google Camera的 HDR+算法有多厲害？

晚上擼貓（輕微降噪）
優(yōu)秀的手機(jī)拍照，是能夠從早到晚高清擼貓的~
無論何時(shí)都能夠提供驚人的銳度，特別是晚上，極其優(yōu)秀的表現(xiàn)（注意這張的曝光參數(shù)）。
作為對(duì)比，請(qǐng)來了退休在家的LG G5：
Google Camera的 HDR+算法有多厲害？

LG G5 RAW / Google Pixel 2 HDR+ RAW 效果對(duì)比 (1：1裁剪無調(diào)整)
Google Camera的 HDR+算法有多厲害？

LG G5 RAW 直方圖（9.8 bit）
Google Camera的 HDR+算法有多厲害？

Google Pixel 2 HDR+ RAW 直方圖（12.5 bit）
沒有多幀算法的 LG G5 慘敗。噪點(diǎn)非常多，16MP 沒有帶來更多的細(xì)節(jié)，遠(yuǎn)景近景區(qū)分已經(jīng)不明顯，黑位偏移，幾乎丟失了天空的顏色。

Google Camera的 HDR+算法有多厲害？

城市夜景
在城市夜景的通常亮度下，快門速度還非常充裕，不用擔(dān)心出片問題。
Google Camera的 HDR+算法有多厲害？

更加黑暗的環(huán)境，噪點(diǎn)開始變得明顯（上傳的圖片本身還有 JPEG 壓縮過多造成的偽像）。
HDR+ RAW 完整模式的最高曝光值為，可能需要通過對(duì)畫面暗部對(duì)焦同時(shí)手動(dòng)調(diào)整曝光補(bǔ)償才能達(dá)到（此時(shí)對(duì)焦本身可能不太容易）。
Google Camera的 HDR+算法有多厲害？

HDR+ RAW 下 Pixel 2 的極限水平
即使在這種曝光下，HDR+ RAW 也能提供不錯(cuò)的細(xì)節(jié)，噪點(diǎn)是比較容易后期抹去的，而此時(shí)的 JPEG 直出效果就不盡如人意了。
補(bǔ)上一些日景：
Google Camera的 HDR+算法有多厲害？

表現(xiàn)動(dòng)態(tài)范圍的一張（JPEG 直出效果）
自從加入 HDR+ 大法，我?guī)鄼C(jī)出門的次數(shù)更少了……
其實(shí) Pixel 2 的視頻錄像和閃光燈質(zhì)量也非常好，不過不是問題的討論范圍，正文里就沒有提相關(guān)部分。現(xiàn)有的 HDR+ 在高光與暗部交界處的光環(huán)（ ringing ）略明顯，據(jù)朋友說比曾經(jīng)的版本更明顯。Google 真正厲害的地方是把堆棧的過程高效地實(shí)現(xiàn)了（如果你的機(jī)型支持 Adobe Photoshop Lightroom Mobile 的 HDR 拍攝，可以去感受一下從按下快門到成圖的時(shí)間相比之下有多漫長）。
另外，Google HDR+ 并不依賴于Pixel Visual Core。在 Pixel 2 的 Android 8.1 上，它能使其他 app 拍照（例如 QQ 內(nèi)置的拍照）也有 HDR+ 突發(fā)模式的效果，處理速度還快了很多?？傊蠹也挥脫?dān)心以后沒有移植版用~
補(bǔ)充：
Adobe 已經(jīng)為 Pixel 2 系列做好了 Camera RAW Profile，包括 Camera Profile 和 Lens Profile，可以用于色彩與鏡頭畸變校正。但官方版本僅適用于使用 Camera2 API 拍攝的單幀 RAW，并不能適用于 mod 拍攝的 HDR+ RAW（其實(shí) Lens Profile 可以，但需要每次手動(dòng)選擇鏡頭），我已經(jīng)做好了修改，以及一個(gè)添加了配置文件的 Lightroom Mobile 數(shù)據(jù)包，非 root 用戶需要需要配合 AppCloner（付費(fèi)app）導(dǎo)入應(yīng)用數(shù)據(jù)。挖坑睡覺，改天來填～
（考慮到實(shí)際需求太少，宣布棄坑……挖一個(gè)新坑，幾個(gè)月過去，谷歌相機(jī)魔改達(dá)到新高度，會(huì)上傳一組新照片）已填：
Second Edition

距離本回答發(fā)出的時(shí)間已經(jīng)三個(gè)月了，盡管谷歌在這段時(shí)間并沒有對(duì) HDR+ 進(jìn)行優(yōu)化，可是網(wǎng)絡(luò)上的一眾開發(fā)者可沒閑著，他們繼續(xù)為移植版 Google Camera 添加更多可調(diào)參數(shù)，讓更多手機(jī)使用 HDR+ 有更好的效果。當(dāng)然，也包括了 Pixel 2。
這段時(shí)間內(nèi)最有用的改進(jìn)莫過于加入了曝光參數(shù)調(diào)整。前文提到過 Google Camera 最高會(huì)使用曝光?，F(xiàn)在我們可以加倍曝光時(shí)間，同時(shí)降低感光度。目前的移植版可以調(diào)節(jié)至 8 倍曝光，即最高 Google Camera的 HDR+算法有多厲害？

。
當(dāng)然了，這時(shí)候你就需要足夠穩(wěn)定的機(jī)身了（不一定上架，因地制宜選擇支撐 / 手持都可行）。由于感光度大幅下降，畫質(zhì)也肉眼可見地提升了。在此補(bǔ)充一組照片，拍攝于這三個(gè)月期間，部分照片使用了加倍曝光，可以從曝光參數(shù)來分辨。
Google Camera的 HDR+算法有多厲害？

拍攝于當(dāng)?shù)貢r(shí)間凌晨1點(diǎn)

Pixel 2 依舊是目前最強(qiáng)呀……
關(guān)聯(lián)閱讀：DxOMark Mobile 分?jǐn)?shù)的回歸和再解讀
開頭已提到谷歌 HDR+ 基于單曝光堆棧，目前為止谷歌并沒有為 Google Camera 開啟 Pixel Visual Core 加速。而蘋果 / 三星 / Vivo SuperHDR 等均使用包圍曝光來提升動(dòng)態(tài)范圍，但為何 Pixel 2 依舊效果優(yōu)秀呢，只能說 Google 真的強(qiáng)吧…… 因此非常期待多曝光 HDR+ 的出現(xiàn)，而 Pixel Visual Core 提供的加速完全能夠勝任可能因?yàn)槎嗥毓舛黾拥倪\(yùn)算量，甚至可能最終比現(xiàn)在處理速度更快且更省電……
參考：
[1] raw .DNG from Huawei P10 Plus, Kodak Ektra, Lumia 950 XL. And: Google Snapseed!
文中關(guān)于其他機(jī)型的 RAW 位深，使用了這里的文件作為參考。這三款都是。
[2] Google Camera Port with HDR+, 60fps video and slow motion
這里收集了不同開發(fā)者的 Google Camera mod，大家可以下載適合自己的版本。

特約詞人ming · 發(fā)表于 2018-12-3 10:42

HDR+ 的基本原理在樓上的回答內(nèi)已經(jīng)解釋的相當(dāng)清晰了，一句話解釋就是拍一打照片（Burst），然后把各張的噪聲平均掉，包括讀出噪聲和散粒噪聲都可以相當(dāng)程度的降低，理論上無法逾越的界限就是傳感器本身的 fixed-pattern 噪聲。算法本身的原理其實(shí)天文攝影中用了很久了，真正厲害的地方是在于整個(gè) software-defined 的管線在 Nexus 6 上都能順溜的跑，而且是從開始拍攝最開始就著手為畫質(zhì)優(yōu)化了。由于數(shù)碼傳感器的原理，clip 掉的高光是怎么都救不回來的，所以測(cè)光階段，HDR+ 就會(huì)直接讀 RAW 來計(jì)算曝光值，跟一般的中央重點(diǎn)、分區(qū)測(cè)光等都不同，它是直接用整張 RAW 的數(shù)據(jù)來計(jì)算，通過 ETTR 來防止高光溢出。于此同時(shí)，它也密切的監(jiān)視著手震，在手按下快門的一瞬間后會(huì)等手穩(wěn)定再開始拍攝，拍攝那一打照片期間依然會(huì)根據(jù)機(jī)身的抖動(dòng)放棄并重拍模糊的張。通過完整的一套拍攝管線來從采集階段之初就保障曝光的健全，HDR+ 才能正確合并結(jié)果并 tone map 出好看的結(jié)果。
整套管線由于對(duì)硬件的依賴并不強(qiáng)，最基礎(chǔ)的版本基本上只需要支持 Neon 就能運(yùn)行，所以才能被 port 得遍地開花。不過由于第三方設(shè)備缺少對(duì)應(yīng)的 profile 適配（例如 noise model 校準(zhǔn)不對(duì)等）等，還無法達(dá)到最佳的效果，比如會(huì)被涂抹得一塌糊涂、畫面某些部分有詭異的偏色等等。目前可以代表這個(gè)管線最佳效果的設(shè)備應(yīng)該是 Pixel 2 系列了。Pixel 2 堆棧后的數(shù)據(jù)質(zhì)量好到內(nèi)置的 tone mapping 已經(jīng)開始拖后腿了，如果想要發(fā)揮該設(shè)備的潛力，推薦使用第三方修改版的 Google Camera，改高連拍張數(shù)的同時(shí)啟用 HDR+ RAW+JPEG，這個(gè) RAW 是貨真價(jià)實(shí)的堆棧 14 bit。
最佳效果有多好呢？我拿出了我這里有的三款設(shè)備在都輸出 DNG 的情況下對(duì)比了一下，處理軟件均為 Lightroom Classic CC 7.1。
Google Camera的 HDR+算法有多厲害？

Pixel 2 XL, 1/5s ISO 4800, f/1.8
Google Camera的 HDR+算法有多厲害？

Pixel XL, 1/5s ISO 4800, f/2.0
Google Camera的 HDR+算法有多厲害？

Galaxy S7 Edge, 1/7s ISO 1430, f/1.7
關(guān)于作為對(duì)比的 Galaxy S7 Edge 為什么是 1/7s，因?yàn)榈谌杰浖?RAW 快門速度已經(jīng)放不慢了。至于選擇 ISO 1430 的原因，這里是出于高光檔位的考慮，請(qǐng)看下圖
Google Camera的 HDR+算法有多厲害？

方便對(duì)比較低的數(shù)值，這邊Y軸設(shè)成了對(duì)數(shù)坐標(biāo)系?？梢钥吹綄?shí)際上 Pixel 2 XL 在這個(gè) ISO rating 下 clip 的像素已經(jīng)比 S7 Edge 少了不少了，真的要一樣的話 S7 Edge 的 ISO 還得降降。出圖的時(shí)候通過 Lightroom 拉成了類似的亮度，說實(shí)話不同 Exposure Index （或者說 EV0 定義不同）的設(shè)備在比較 RAW 數(shù)據(jù)的時(shí)候 ISO 是沒有任何意義的，它一般只代表 jpeg 直出的亮度，設(shè)備內(nèi)部對(duì)應(yīng)的增益完全不同。
顏色不同？對(duì)，顏色不同，暗部偏色導(dǎo)致的。Pixel XL 初代的高感輝光已經(jīng)導(dǎo)致整張圖都有點(diǎn)偏色了，S7 Edge 也歪，只有 Pixel 2 XL 毫無壓力……
Pixel 2 XL 的 HDR+ 同初代還有一個(gè)區(qū)別就是，零延遲快門模式（現(xiàn)在叫 HDR+ On，原完整管線改稱 HDR+ Enhanced）下依然是完整的測(cè)光管線，初代是完全依賴 ISP 的返回值的，會(huì)造成高光炸成一片。
Emmmm 然后我就開始好奇這玩意在極限情況下到底有多強(qiáng)，于是跑進(jìn)了半夜一片漆黑的人民公園。
Google Camera的 HDR+算法有多厲害？

現(xiàn)場(chǎng)的肉眼亮度差不多是這個(gè)樣子的，可能還要暗一些？然后我對(duì)著 RAW 猛力拉了一氣：
Google Camera的 HDR+算法有多厲害？

Pixel 2 XL, 1/5s ISO 4538, f/1.8
Google Camera的 HDR+算法有多厲害？

HDR+ 直出JPEG
對(duì)比一下這張 HDR+ 直接機(jī)內(nèi)直出的 jpeg，可以看到浪費(fèi)了不少高光檔位，另外 RAW 在處理的時(shí)候也根據(jù)記憶調(diào)整了一下白平衡。在日間大光比場(chǎng)景下，HDR+ 直出的 tone mapping 容易弄出邊緣假亮，主要是因?yàn)樵?HDR+ 的算法是為了性能優(yōu)化的，這次 Pixel 2 系列用的參數(shù)比較激進(jìn)，容易出問題，讓整張照片看起來非常不自然，而且高光依然是硬 clip，并沒有做高光混合，在一個(gè)及以上通道溢出的時(shí)候會(huì)出現(xiàn)色相偏移（皮膚高光焦黃、天空亮的地方變成青色等）。
Google Camera的 HDR+算法有多厲害？

Pixel 2 XL, 1/5s ISO 4800, f/1.8
看起來挺慘的……不過等一下
Google Camera的 HDR+算法有多厲害？

猛力拉低曝光一看，我靠……它到底保留了多少高光信息
以下是樣張時(shí)間：
Google Camera的 HDR+算法有多厲害？

又一張1/5s ISO 4800
Google Camera的 HDR+算法有多厲害？

來放肆吸貓
我還真沒在白天拍到什么好的樣張，再加上近期上?？諝赓|(zhì)量一般……下次再更新吧
期待一下在不久的將來 Pixel Visual Core 被 Google Camera 用來加速的時(shí)候，先前對(duì)處理速度妥協(xié)的地方能有較大的提升吧，目前版本的 Google Camera 依然是 HVX 加速。
順便，求全景能上 HDR+ 和 optical flow ?。。?！

› 你問我答 / 玩機(jī)教程 / 固件 › 你問我答 › 精選網(wǎng)友問答

Google Camera的 HDR+算法有多厲害？

Google Camera的 HDR+算法有多厲害？

Google Camera的 HDR+算法有多厲害？

Google Camera的 HDR+算法有多厲害？