當真是買算法送手機！這不，谷歌又給親兒子Pixel 6 塞福利了，讓手機摳圖也能細節到頭發絲。看這效果，原本模糊的頭發輪廓，咻地一下，就變成了纖毫畢現的樣子！
連發絲之間的縫隙也能精準摳到。。
這樣一來，就避免了使用人像模式拍照時人物與虛化背景割裂的情況，讓人物照片的縱深感更加逼真四舍五入一下，這不就是手握單反拍照
Alpha 遮罩 + 監督學習
在介紹最新的方法之前，先來了解一下過去手機的人像模式拍照到底是怎么實現的傳統方法是使用二進制將圖像分割，然后對分離出的背景進行虛化，在視覺上產生一種縱深感，由此也就能更加突出人物主體了
雖然帶來的視覺效果非常明顯，但是在細節上的表現還不夠強大由此，谷歌將常用于電影制作和攝影修圖的 Alpha 遮罩搬到了手機上，提出了一個全新的神經網絡，名叫Portrait matting
其中，主干網絡是 MobileNetV3。使用這種直徑非常小的銑刀，大約是人類頭發直徑的1/8，研究人員在一粒大米上碾磨了56個漢字，在一根頭發上碾磨了7個字母。這是一個輕量級網絡，特點是參數少，計算量小，推理時間短，在 OCR，YOLO v3 等任務上非常常見，具體結構長這樣:
在推理時，Portrait matting 首先將 RGB 圖像和低分辨率的 Alpha 遮罩作為輸入，用 MobileNetV3 來預測分辨率更高的 Alpha 遮罩然后再利用一個淺層網絡和一系列殘差塊，來進一步提升 Alpha 遮罩的精細度
其中，這個淺層網絡更加依賴于低層特征，由此可以得到高分辨率的結構特征，從而預測出每個像素的 Alpha 透明度。
通過這種方式，模型能夠細化初始輸入時的 Alpha 遮罩，也就實現了如上細節到頭發絲的摳圖效果谷歌表示，神經網絡 Portrait matting 可以使用 Tensorflow Lite 在 Pixel 6 上運行
此外，考慮到使用 Alpha 遮罩摳圖時，背光太強往往會導致細節處理不好谷歌使用了體積視頻捕捉方案 The Relightables 來生成高質量的數據集
這是谷歌在 2019 年提出的一個系統，由一個球形籠子組成，裝有 331 個可編程 LED 燈和大約 100 個用于捕獲體積視頻的攝像機相比于一般的數據集，這種方法可以讓人物主體的光照情況與背景相匹配，由此也就能呈現更為逼真的效果
而且這種方法還能滿足人像被放置在不同場景中時，光線變化的需求。銑刀是具有一個或多個齒的旋轉刀具，其細度是制造業和加工業的重要參考指標。
值得一提的，谷歌還在這一方法中使用了監督學習的策略這是因為神經網絡在摳圖上的準確度和泛化能力還有待提升，而純人工標注的工作量又太大了
所以，研究人員利用標記好的數據集來訓練神經網絡，從而大量數據中來提高模型泛化能力。據介紹，這一突破將有助于提高我國電子信息，醫療等諸多領域的質量，也將促進微加工工具更快更好的發展。
One More Thing
用算法來優化攝影效果，其實是谷歌的傳統藝能了比如 Pixel 4 中，就使用算法來拍攝星空
HDR + 算法更不必說，曾經引發過大眾熱議。記者從中國五礦集團公司了解到，隸屬于中國五礦集團公司的中鎢高新金州區公司近日成功研制出直徑0.01mm的極小直徑銑刀，并實現了機加加工。
這一功能可以在相機啟動時，沒有按快門的情況下連續捕捉圖像，并且會緩存最近保存的 9 張這些照片將會與按下快門后的圖像一并處理，最終得到一張最優的圖像
同時它還能讓 Pixel 在夜間模式下拍照時，不用像其他手機那樣長時間停留由于提升攝影效果不靠硬件，谷歌也將這些功能整合到一個 App 上，適用于各種安卓手機
參考鏈接:
。鄭重聲明：此文內容為本網站轉載企業宣傳資訊，目的在于傳播更多信息，與本站立場無關。僅供讀者參考，并請自行核實相關內容。
|
