為什麼說：模糊對VR同樣重要？

一直以來，大家都在圍繞著如何讓VR接近現實。首當其衝的就是關於顯示效果，包括提升螢幕清晰度，改變VR頭顯內部結構等；其次就是更多擬人化的支援，包括了眼球追蹤，手勢識別，體感背心，氣味模擬器，跑步模擬器等等，目的就是在VR獲得“真實化”的體驗。

提升“真實化”的體驗，當前主要集中突破的工作就是提升清晰度。因此，我們先來看看有哪些提升清晰度和觀感的技術。

提升顯示：提高解析度

提升螢幕解析度最為直接，我們知道螢幕的ppi直接代表著螢幕的細膩程度。此前谷歌和LG合作推出1443 ppi的VR專用螢幕為例，它的效果足夠驚豔。據青亭瞭解，這是一塊4。3英寸的OLED顯示屏，解析度為4800×3840，ppd接近40。

左：LG與谷歌合作1443 ppi螢幕實拍，右：常規538 ppi螢幕實拍

即便如此，根據公佈的訊息來看，人類視覺系統（HVS）視場角水平約160度、垂直約150度，ppd約60，這也意味著在VR環境中至少達到9600×9600解析度才有可能達到接近清晰的顯示效果。

當然，達到人眼的清晰度可能還難以實現，但最終目標就是無限接近人眼的清晰度。

提升顯示：改變VR顯示結構

除了提升螢幕的清晰度外，還有幾種技術也值得談一談。首先，是Oculus在今年F8大會上展示的Half Dome原型機。

Half Dome原型機

Half Dome頭顯特點是採用了變焦顯示系統，機身內建了一個機械結構，作用就是根據你眼鏡注視到的區域去移動頭顯內的顯示屏，以此來移動光學系統的焦點，代替模仿你的眼睛變焦的過程。

Half Dome變焦系統展示

這樣做的優勢是，可以實現更清晰的影象效果，即便是近距離的虛擬物體，例如手中的物體進行移動，總之保持較清晰的狀態。

其次，還有一個解決思路就是採用雙顯示屏的組合，Varjo就是一個典型的代表，該公司旨在開發一款“人眼級”解析度的VR硬體。

Varjo Bionic雙屏VR頭顯原型機

考慮到當前可能沒有較好的適用於VR的超高ppi顯示屏，因此在自家Bionic VR原型機給每隻眼睛配備了兩個顯示屏：一塊1080×1200解析度的副顯示屏，一塊尺寸更小的1920×1080解析度的微顯示屏作為主螢幕。

左：Vive Pro，右：Varjo Bionic

這樣做有什麼好處呢？由於眼睛自身特性是保持在中間區域，因此透過中間的高ppi微顯示屏提供更高的畫質，而眼睛的餘光區域則用解析度較低的副顯示屏填充，讓每塊螢幕物盡其用，而且還擁有更為清晰的觀看體驗。

模糊對VR來講同樣重要

前面講了很多提升VR清晰度和觀看體驗的案例，那麼今天我們為什麼又說模糊對VR來講同樣重要呢？

Tobii眼球追蹤演示

這裡就不得不提到另外一項技術：眼球追蹤。眼球追蹤技術對VR來說有以下幾個好處就是儘可能模模擬實世界中你的狀態，可應用在VR社交、遊戲、系統UI，其中更重要的功能就是注視點渲染以及相關的“動態模糊渲染”（這裡是我為了好理解自己起的詞，並非常說的由於重新整理率等導致的動態模糊，英文原詞為defocus effect，即散焦效應，也可理解為聚焦過程的反動作，非注視區域的虛化效果）。

也就是說，這裡指的“模糊”，指的是非焦點區域外的模糊。

注視點渲染就是著重渲染你眼睛注意區域，而非注視區域則進行次要渲染，以此來達到節省硬體計算資源的目的。

而動態模糊渲染，就是實時渲染讓非注視區域保持模糊狀態，其和注視點渲染是個相反的過程。

一直以來，動態模糊渲染都被忽視的一項特性，究其原因一是當前主要任務是提升VR清晰度，二是該特性帶來的改善並沒有提升ppi那麼直觀。

既然這樣一項不那麼直觀的特性還被拿來說呢？

接下來我用一個有關單反相機和手機攝影的案例來分析一下。我認為，人類總是在追求視覺上更舒適的場景，例如綠色背景讓人放鬆。對於一張照片或一段影片而言，焦點突出以及自然的背景模糊能夠更好的突出主體，從而更利於創作者表達自己的東西。

大小光圈效果展示，圖片來自網路

單反相機之所被很多人喜歡，那是因為它能夠拍攝出具備自然虛化的照片，而不是經過後期處理，這樣的照片看上去足夠自然，適合人像、風景等場景。通常來講，單反鏡頭的光圈越大，就能拍出虛化效果更好的照片。

而到了智慧手機時代，其受限於手機體積、感測器尺寸等物理因素，所拍攝的照片往往不能達到單反相機級別的虛化效果，即便照片很清晰。

vivo手機人像虛化效果展示

為了實現更好的虛化效果，手機廠商也會採用一些方法，包括所謂的“人像”模式，其中最有效的莫過於演算法，透過演算法去對照片進行模糊渲染，已達到更理想的視覺效果。當然，很多機器學習演算法並不理想，仔細觀看其模糊並不如物理大光圈效果真實，例如人像演算法並不能完美的呈現出人物邊緣，甚至錯誤識別等等。

iPhone Xs可調景深功能

甚至，蘋果今年新推出的iPhone Xs主打功能之一就是先拍照後對焦，其支援先拍照，然後再透過編輯進行模糊渲染，而且速度足夠快，效果理想。實際上，該功能和我們所講的VR中的動態模糊渲染原理相似。當然，這相功能對硬體依賴也很大，憑藉A12處理器強大的AI能力，該功能才得以實現，以至於iPhone X就不支援。

之所以人類喜歡帶有虛化效果的圖片和影片，那是因為人類的眼睛本身就具備這樣的特性，這樣做能夠儘可能接近真實。

今天Oculus公佈了一項名為“DeepFocus”的最新研究，這是一個能夠提供逼真視覺效果、眼神凝視效果，以及上面提到的支援偶然和實時性的動態模糊效果。

DeepFocus動態模糊渲染演示

從過上圖來看，DeepFocus呈現的視覺效果足夠理想，其能夠很好的把眼睛的注視點進行清晰的渲染，而其它區域則進行模糊化渲染。

DeepFocus動態模糊渲染演示

DeepFocus出自Facebook Reality Labs（以下簡稱：FRL），其研發總監Douglas Lanman表示：這套系統是提供未來全天候使用VR的基礎，因為這是基於人類眼睛特性而言的，即便長時間觀看VR也會比較自然。

據悉，這套動態模糊渲染的開發過程並不順利，起初就是因為不夠自然，尤其是在VR遊戲中，這些都是經過遊戲引擎的，另外就是偶然性的模糊效果並不理想，速度不夠快，因此我們並不確定眼睛下一秒將會盯向何方。

DeepFocus深度資訊效果演示

為了解決這個問題，FRL決定透過給這套系統融入AI技術。據悉其中負責參與深度學習開發的研究員名為雷曉（音譯，Lei Xiao），應該是一名華裔，其博士階段研究包括了計算機攝影的機器學習技術。

最終，經過眾多開發人員的努力，打造出的DeepFocus具備效果逼真的模糊效果，並且適用於Oculus商店所有遊戲，無需應用開發者做任何修改。據悉，未來DeepFocus還支援多焦點和光場影象合成的能力。

當然，AI計算需要強大的算力，而當前DeepFocus系統演示是在一臺4塊GPU的計算機上執行，未來就是著手讓這套系統變得更易用，例如用一臺常規的遊戲PC就能驅動，已降低實現難度。

顯然，這套動態模糊渲染讓我們看到了未來VR該有的樣子，被看作是下一代VR頭顯的必備技術。

雖然本次的演示基於DeepFocus和Hals Dome頭顯，但是基於機器學習的動態模糊渲染技術和硬體無關。重要的是，Facebook已經開源了DeepFocus原始碼和訓練資料，所以一起感謝Facebook吧。