谷歌VR光場(chǎng)技術(shù)實(shí)驗(yàn)
發(fā)布時(shí)間:2018-06-26 來源: 美文摘抄 點(diǎn)擊:
直以來,人們相信VR(虛擬現(xiàn)實(shí))可以讓我們身臨其境,足不出戶就可游歷大千世界。正因如此,我們創(chuàng)造了VR探險(xiǎn),人們只需戴上VR設(shè)備,五光十色或奇幻、或險(xiǎn)峻、亦或是難以觸及的精彩場(chǎng)面就可近在眼前。此后,谷歌進(jìn)一步推出了“Jump”——一項(xiàng)實(shí)現(xiàn)360全景拍攝的完整VR錄制系統(tǒng)。而VR180全新視頻格式的推出,更是一次全新的體驗(yàn),即使對(duì)那些不熟悉VR技術(shù)的人來說,也能夠用它輕松制作出VR內(nèi)容,留住生活中每一個(gè)珍貴的瞬間。
不過,想要?jiǎng)?chuàng)造出最真實(shí)的存在感,我們?cè)赩R中所呈現(xiàn)的景象就需要盡可能地近距離呈現(xiàn),猶如你置身其中所看到的一切一樣。當(dāng)你真實(shí)地站在一個(gè)地方,只要頭來回轉(zhuǎn)動(dòng),整個(gè)世界就會(huì)回應(yīng)你:光以不同方式從各個(gè)物體表面被折射出來,觀眾就可以從不同角度看到物體。為在VR中營(yíng)造更加逼真的存在感,谷歌一直在進(jìn)行“光場(chǎng)”(Light Fields)技術(shù)實(shí)驗(yàn)。
光場(chǎng)的本質(zhì)
光場(chǎng)是捕捉、線跡和渲染等一系列計(jì)算的組合。目前仍有許多部分有待完善,不過由于運(yùn)動(dòng)視差的產(chǎn)生以及超真實(shí)的紋理和光照,它們呈現(xiàn)的效果仍然能夠給你一種極高品質(zhì)的存在感。我們生活在一個(gè)充滿光線的世界,無論來自太陽(yáng)還是人造光源,光線在我們周圍沿著每一個(gè)方向傳播,形成一個(gè)連續(xù)的光場(chǎng)。簡(jiǎn)單來說,光場(chǎng)是整個(gè)三維空間內(nèi)所有光線的總和,如果能將光線的傳播過程記錄下來,并且能在顯示端還原,就是完整的光場(chǎng)技術(shù)。
事實(shí)上,人眼對(duì)感知深度信息是非常敏感的,這包括雙目視差、運(yùn)動(dòng)視差、遮擋和聚散度等幾種方式。當(dāng)人在自然狀態(tài)下觀察目標(biāo)物體時(shí),眼睛是在不斷變焦的,并且能夠通過前庭視反射消除畫面切換時(shí)的抖動(dòng)和模糊。
而現(xiàn)在的一些電影中采用了120幀4K的拍攝手法,本以為可以滿足人眼的要求,卻忽略了投影的電影屏幕是一個(gè)固定焦距,迫使觀眾長(zhǎng)時(shí)間將眼睛固定在一個(gè)焦距上而產(chǎn)生大量的不適感?梢,只有當(dāng)我們能真正采集和顯示完整的光場(chǎng)信息,才能創(chuàng)造真正的虛擬世界。
而與全景視頻相比,VR視頻允許人們?cè)谝曨l里自由移動(dòng)觀看——提供場(chǎng)景中任意位置的360度自由視角。而全景視頻是傳統(tǒng)視頻單一的觀看視角,拍攝機(jī)位在哪兒,觀看者就必須在哪兒。而如果是一部VR電影,那么傳統(tǒng)的“鏡頭運(yùn)動(dòng)、場(chǎng)景切換”可能都將被取代,由觀眾來決定鏡頭位置。你可以把VR視頻看成是“3D全景視頻+自由移動(dòng)”。
為驗(yàn)證光場(chǎng)技術(shù)的市場(chǎng)潛力,谷歌推出了“歡迎來到光場(chǎng)”App——在HTC VIVE、Oculus Rift和Windows 混合現(xiàn)實(shí)耳機(jī)上均可使用。下面我們來看一下它具體是怎樣操作的。
捕捉和處理光場(chǎng)
光場(chǎng)的特別之處在于,可以生動(dòng)地呈現(xiàn)現(xiàn)實(shí)中捕捉的2D連續(xù)鏡頭,并形成VR體驗(yàn),因?yàn)楣鈭?chǎng)可以記錄進(jìn)入空間體量中的所有不同光線。同時(shí),VR頭顯還可以支持定位追蹤。
這款相機(jī)設(shè)備僅需1分鐘就能四周擺動(dòng),記錄下70厘米范圍內(nèi)數(shù)以千計(jì)的對(duì)外視角,這些提供了2英尺寬直徑的光線體量,同時(shí)決定了頂部空間的大小,一旦畫面處于處理狀態(tài),用戶就需要轉(zhuǎn)動(dòng)頭顯捕捉畫面。從球體表面上的相機(jī)定點(diǎn)抽取光線,構(gòu)建一種從球體內(nèi)部向外看的獨(dú)特視角,配合用戶頭部的轉(zhuǎn)動(dòng)。它們被排列好,壓縮進(jìn)一個(gè)定制的數(shù)據(jù)庫(kù)中,由專業(yè)的繪制軟件讀取。目前谷歌已經(jīng)將它應(yīng)用于一項(xiàng)統(tǒng)一游戲引擎的插件中。
光場(chǎng)記錄世界
我們選擇了一些特別的地方試驗(yàn)光場(chǎng)記錄相機(jī)。其中,最喜歡加州帕薩迪納市的蓋博住宅中,那些用上漆柚木和紅木裝潢的室內(nèi),威尼斯馬賽克房子上光滑的陶瓷片和閃耀的鏡子,西班牙格拉納達(dá)山上的St.tephen教堂里畫滿太陽(yáng)的彩色玻璃窗。最重要的是,在史密森學(xué)會(huì)航空航天博物館和3D 數(shù)字化辦公室的幫助下,我們進(jìn)入了NASA的發(fā)現(xiàn)號(hào)宇宙飛船內(nèi)。他們提供給我們?cè)谌嗽煨l(wèi)星駕駛艙內(nèi)宇航員的視角,這是之前從未對(duì)公眾開放過的。此外,谷歌還記錄了多種光場(chǎng),并試驗(yàn)眼神交互如何能夠應(yīng)用在六自由度的物體空間內(nèi)。
“歡迎來到光場(chǎng)”試水
在《歡迎來到光場(chǎng)》中,7分鐘的導(dǎo)視體驗(yàn),幫助用戶學(xué)到更多關(guān)于這項(xiàng)技術(shù)和位置的知識(shí)。之后,他們可以在走廊上自由地探索空間。
作為虛擬現(xiàn)實(shí)領(lǐng)域最具有變革性的新技術(shù),光場(chǎng)同時(shí)提供雙目視差、移動(dòng)視差、選擇性聚焦三方面的視覺信息,從傳統(tǒng)的2D平面圖像提升到了4D光場(chǎng)圖像,極大地提升沉浸感和逼真度,模糊了虛擬和現(xiàn)實(shí)的邊界。盡管只是處于實(shí)驗(yàn)階段,但光場(chǎng)仍然達(dá)到了體驗(yàn)虛擬現(xiàn)實(shí)的新高度,希望“歡迎來到光場(chǎng)”得到大家的認(rèn)可。目前這款A(yù)pp已經(jīng)在Steam VR上推出。
可是,光場(chǎng)技術(shù)從拍攝到重建,再到顯示都需要從軟硬件各方面的共同配合。而如何從冗余的光場(chǎng)信息中實(shí)現(xiàn)超分辨率光場(chǎng)成像,也是亟待解決的一個(gè)問題。不過,現(xiàn)在我們由衷地為VR向更真實(shí)畫面邁進(jìn)了一步,感到無比興奮。
編譯自《谷歌博客》《Tech crunch》
。ㄘ(zé)任編輯 姜懿翀)
相關(guān)熱詞搜索:實(shí)驗(yàn) 技術(shù) 谷歌 VR
熱點(diǎn)文章閱讀