當前位置:資訊 > 正文

MIT新技術可根據影子還原電視畫面

2020-01-09 11:07:47  來源:機器之心

自古以來,偷窺的方法層出不窮:在窗戶上戳個洞;在適當的角度擺一個鏡子;安針孔攝像機……但你有沒有想過,有一天,你家的墻甚至雜物堆也能當鏡子用,看見你在房間里的一舉一動。

影子出賣你了?MIT新技術可根據影子還原電視畫面

近日,MIT 的研究人員借助一臺攝像機,錄下視頻或人的動作在墻角雜物堆里投下的影子,就能大致還原出原始畫面。

如下圖所示,屏幕上正在播放一個人操作積木的視頻,對面是一個雜物堆,屏幕發出的光投射在雜物堆里。研究人員就對著這個雜物堆進行拍攝,記錄下視頻的影子。

影子出賣你了?MIT新技術可根據影子還原電視畫面

記錄下來的畫面如下所示(左1)。如果僅憑肉眼觀察,這些影子非常雜亂,對我們幾乎毫無意義。但研究人員可以利用神經網絡對其進行還原。還原效果如下圖(右1)所示。甚至顏色都能捕捉到。

影子出賣你了?MIT新技術可根據影子還原電視畫面

影子出賣你了?MIT新技術可根據影子還原電視畫面

具體來說,MIT 的一個研究團隊七年前創造了一種新的成像系統,可使用地板、門和墻作為「鏡子」來理解不在視線范圍內的場景。使用特殊的激光來生成可識別的3D 圖像,該研究開啟了新的可能性,讓我們可以更好地理解視線范圍之外的東西。

影子出賣你了?MIT新技術可根據影子還原電視畫面

最近,MIT 計算機科學與人工智能實驗室(CSAIL)的一組科學家團隊在這項研究上更進了一步,不過這一次他們沒有使用任何特殊裝備。

他們開發了一種可通過觀察亂物堆上的微妙影子和反射影像重建視頻的方法。這意味著,只需房間中有一個開著的攝像機,就可以重建出房間中看不見的角落的視頻,即使這個區域在相機視野之外也無妨。

通過觀察視頻中影子和幾何結構的交織情況,該團隊的算法可以預測光線在場景中移動的方式,他們將此稱為「光傳輸(light transport)」。然后,該系統可根據觀察到的影子來估計隱藏的視頻——它甚至可以重建實景運動的輪廓。

可用于自動駕駛等場景

這種類型的圖像重建可以有利于社會的很多方面:自動駕駛汽車可以更好地理解轉角處會出現什么、老年人護理中心可以提升居民的安全性、搜救團隊也能提升自己在危險和有障礙區域中的能力。

這項技術是「被動式的」,也就是說,場景中沒有激光和其它干擾。不過,目前的處理時間還依然長達大約兩個小時,但研究者表示這項技術最終能夠用于上述應用,為它們重建不在典型視線內的場景。

雜物堆≈針孔攝影機

「你可以使用激光等非視線成像設備實現一些東西,但在我們的方法中,你只需要有自然到達相機的光線,然后盡可能地提取出其中的稀有信息即可?!骨?CSAIL 博士后及英偉達現任研究科學家 Miika Aittala 說,他現在主導著這項新技術的研究?!缚紤]到近段時間神經網絡領域進展頗豐,現在看起來像是個解決這一領域之前被認為不可解決的難題的好時候?!?/p>

為了獲取這種不可見的信息,該團隊使用了微妙的、簡潔的光線線索,比如被觀察區域中雜物的影子和高光部分。

從某種程度上講,一堆雜物的作用就像是一個針孔相機,這類似于你可能在小學科學課上造過的東西:它會遮蔽一些光線,但也會允許其它一些光線通過,這些能夠描繪出它們所觸及的周遭環境的圖像。但是,這里不是借助讓部分光線通過來形成一個可讀圖像的針孔相機,而是使用了一堆普通的雜物,它們會產生一副被擾亂(由于光傳輸)得無法識別的圖像,這幅圖像是影子和陰影的復雜交互。

你可以將這堆雜物視為一面鏡子,為你提供周遭環境的經過擾亂的視圖——舉個例子,這能讓你看見你無法直接看見的角落。

用到的算法

該團隊的算法解決的難題是解析這些擾亂的結果,從而理解這些光線線索。具體來說,該算法的目標將隱藏場景中的活動恢復成人類可讀的視頻,這是光傳輸與隱藏視頻的乘積。

但是,解析這些擾亂的線索實際上是一個經典的「先有雞還是先有蛋」的問題。為了分析清楚擾亂的模式,用戶需要已知隱藏視頻;或者反過來,為了知道隱藏視頻,用戶需要已知擾亂的模式。

「從數學上看,這就像是如果我告訴你我腦子里悄悄想著兩個數,而且它們的積是80。你能猜出它們是什么數嗎?也許是40和2?或者是371.8和0.2152?在我們的問題中,每個像素都面臨著類似的情況?!笰ittala 說,「幾乎任意隱藏視頻都可用對應的擾動線索來解釋,反過來也同樣成立。如果我們讓計算機選擇,它只會做簡單的工作,為我們提供一大堆看起來什么也不像的本質上是隨機的圖像?!?/p>

知道了這一點,該團隊將研究重心放在了避免歧義性上,他們的做法是通過算法指定他們想要的一種對應于合理的真實世界影子和陰影的「擾亂」模式,從而恢復看起來有能一致運動的邊緣和物體的隱藏視頻。

該團隊也利用了一個讓人驚訝的事實,即神經網絡自然地偏好表達「類圖像」的內容,即使它們從未為此訓練過也是如此,這有助于消除歧義。該算法會同時訓練兩個神經網絡,它們都使用了一個名為深度圖像先驗(Deep Image Prior)的機器學習概念,僅為一個目標視頻進行了特殊化處理。其中一個網絡用于產生擾亂模式,另一個則用于估計隱藏視頻。當這兩個因子組合重現了雜物記錄的視頻時,這兩個網絡會獲得獎勵,從而驅使它們使用合理的隱藏數據來對觀察進行解釋。

為了測試該系統,該團隊首先在一面墻前堆了一堆東西,然后在對面的墻上投射視頻以及親自在墻前面移動?;诖?,他們能夠重建出能讓你對房間中隱藏區域所發生的運動有大概了解的視頻。

該團隊希望未來能提升該系統的整體分辨率,并最終在非受控環境中測試檢驗這項技術。

原文鏈接:https://news.mit.edu/2019/using-computers-view-unseen-computational-mirrors-mit-csail-1206

推薦閱讀

"薅羊毛"黑產被曝光!500多萬臺老人機被植木馬病毒

在網絡上有些人專門搜集各類商家的優惠信息,注冊后領取各類優惠券、獎勵金。人們把這種行為稱為薅羊毛。要想薅羊毛,就要注冊,注冊就需要 【詳細】

楊元慶:5G最大的價值在商用IoT

第一款5G電腦來了 5G對聯想是一個機會一年一度的CES大戲在拉斯維加斯拉開,聯想推出了世界首臺5G筆記本Yoga 5G引發關注。在對話中,楊元 【詳細】

百億流量扶持創作者 火山小視頻升級為抖音火山版

1月8日下午消息,火山小視頻和抖音正式宣布品牌整合升級,火山小視頻更名為抖音火山版,并啟用全新圖標。據介紹,截至2019年底,火山小視頻 【詳細】

詹克團稱比特大陸內斗拖累公司發展

裁員的事情從吳忌寒回歸后就啟動了,去年12月逐漸有人被裁,正式啟動確實是從今年1月6日開始。一位剛從比特大陸離職的員工告訴第一財經。但 【詳細】

周鴻祎回應發放“免裁券”:自編黑段子

1月8日晚間消息,360董事長兼CEO周鴻祎今日在朋友圈透露,今年360年會設置特等獎為免裁券,獲此券的員工可抵消一次裁員。有網友認為,此舉 【詳細】



科技新聞網版權
南通金游世界手机版下载