你隨便動幕布，投影跟不上算我輸，動態(tài)投影黑科技，AE特效秒變成真

十三 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI

這個黑科技，讓AE特效秒成真。

前不久，AE一個名為Lockdown的插件火了：任你再動再不平坦，圖案都能無縫緊貼。

其實，這個魔法特效已經(jīng)走進(jìn)現(xiàn)實。

這個黑科技其實就是我們熟知的投影。但不同于以往，這次是動態(tài)投影。

這款高速投影儀名叫DynaFlash。

投影的畫面不需要平整，任畫面扭曲、被遮擋，影像都能被完整的打出來。

要想有一個較好的投影體驗，那么投出來的影像肯定得是“快、準(zhǔn)、狠”。

也就是需要高幀頻和低延遲。

而這款高速動態(tài)投影儀，在延遲3ms的情況下可以投射8位圖像，最高可達(dá)1000 fps。

這一話題也在Hacker News上火了，熱度高達(dá)1000+點。

許多網(wǎng)友驚呼這項技術(shù)“簡直太棒了”！

我估計像迪士尼這樣的公司會對這個技術(shù)非常感興趣。

我從事實時投影工作很多年了，延遲就是這個工作的殺手，任何大于1000/90ms的延遲都會特別影響效果。這項技術(shù)就能允許快速移動。

炫酷黑科技

這個黑科技有多神奇？

圖像投影到一張紙上，無論讓它怎么晃動，圖像都會隨著紙的變形同步發(fā)生變化。

就好像圖像貼到了紙上一樣。

為了展示這個技術(shù)的高幀頻和低延遲，研究團隊還把視頻放慢了速度。

慢鏡頭下的動態(tài)投影也做到了完美的貼合。

當(dāng)然，旋轉(zhuǎn)也不在話下。

更神奇的是，投影畫面不同，圖像竟然能切換自如！

什么原理？

視頻中展示的黑科技，其實是用紅外墨水在目標(biāo)上繪制了標(biāo)記。

這種標(biāo)記是人眼看不見的。

這就是研究人員提出的可變形點簇標(biāo)記(Deformable Dot Cluster Marker，DDCM)。

DDCM具有三個優(yōu)勢：

1、即使是在強烈變形的情況下，它也是可以被檢測到的；
2、即使存在外部或者自遮擋，它也可以實現(xiàn)魯棒性跟蹤；
3、它允許毫秒級的計算速度。

下圖就展示了DDCM的一個例子。

△一個DDCM的例子。點簇以數(shù)組結(jié)構(gòu)分布。

DDCM由四種類型的點簇組成，它們以數(shù)組結(jié)構(gòu)分布。如下圖所示。

△點簇的四種類型。m代表點的數(shù)量。每個點簇包含1-4個點。

每個點簇中的點都是具有拓?fù)洳蛔冃缘?，也就是說，在任何變形的情況下都不會發(fā)生改變。

點的數(shù)量是隨機且排他分布的。識別是從p x p點簇(識別窗口)的四個角開始的。

并且為了增強逐幀跟蹤的魯棒性，相鄰的點簇，點的數(shù)量不會相同。

△無論從哪個角開始識別窗口，都沒有相互重合的序列。

下圖展示了處理的流程。

△處理流程

主要包括檢測和跟蹤兩個步驟。

檢測過程包括從單個幀中識別點簇的ID。

△檢測流程

檢測的過程大致如下：

a)從二值化圖像中提取關(guān)鍵點；
b)將a)中所示的位于同一網(wǎng)格中且彼此相鄰的關(guān)鍵點視為點集群，紅、綠、藍(lán)、黃圓點分別代表m = 1,2,3,4個點簇;
c)計算提取的點簇的Delauney三角剖分;
d)基于廣度優(yōu)先搜索獲得點簇之間的連通性;
e)最后根據(jù)預(yù)先準(zhǔn)備的哈希表根據(jù)點編號識別每個點簇的ID，紅色數(shù)字表示已識別的點簇的ID。

跟蹤過程是指通過圖像序列對每個點簇進(jìn)行獨立、逐幀跟蹤。主要包括以下幾個流程：

a)更新被跟蹤的點集群的位置；

△根據(jù)ROI更新跟蹤的點簇位置，以紅色方塊表示。

b)跟蹤丟失點簇的恢復(fù)(recovery)；

△基于DDCM的陣數(shù)組結(jié)構(gòu)跟蹤恢復(fù)。

c)False-positive 跟蹤檢測；
d)丟失點簇的插值。

更多打開方式

以為黑科技只能做到這些？

上面所展示的動態(tài)投影還只停留在黑白顏色階段。接下來的打開方式就更加炫酷了。

隨著“3，2，1”的倒計時，衣服突然出現(xiàn)了色澤鮮明、紋理復(fù)雜的動態(tài)投影，依舊是任你拉扯，我如影隨形。

當(dāng)然還有一秒變裝的拉風(fēng)操作。

紋理的質(zhì)感也可以變換，而且隨著動作、角度的不同，光感等因素也會隨之變換。

裸眼3D也不在話下！

One More Thing

這樣的黑科技確實非常的拉風(fēng)、炫酷。

但萬萬沒想到的是，這些視頻和論文，早在2015、2016的時候就已經(jīng)公布了。

而在近日Hacker News上發(fā)布相關(guān)話題，依舊能引發(fā)不少的關(guān)注，可見其吸睛程度不一般。

正如網(wǎng)友所評論：

哇！鏈接里的原貼竟然是2016年的！

那么，你想體驗這樣的黑科技嗎？

傳送門

博客地址：
http://www.k2.t.u-tokyo.ac.jp/vision/DPM/

視頻地址：
https://www.youtube.com/watch?v=-bh1MHuA5jU&feature=emb_logo