你隨便動(dòng)幕布，投影跟不上算我輸，動(dòng)態(tài)投影黑科技，AE特效秒變成真

十三 2019-11-29 12:53:21 來(lái)源：量子位

十三發(fā)自凹非寺
量子位報(bào)道 | 公眾號(hào) QbitAI

這個(gè)黑科技，讓AE特效秒成真。

前不久，AE一個(gè)名為L(zhǎng)ockdown的插件火了：任你再動(dòng)再不平坦，圖案都能無(wú)縫緊貼。

你隨便動(dòng)幕布，投影跟不上算我輸，動(dòng)態(tài)投影黑科技，AE特效秒變成真

其實(shí)，這個(gè)魔法特效已經(jīng)走進(jìn)現(xiàn)實(shí)。

這個(gè)黑科技其實(shí)就是我們熟知的投影。但不同于以往，這次是動(dòng)態(tài)投影。

這款高速投影儀名叫DynaFlash。

投影的畫(huà)面不需要平整，任畫(huà)面扭曲、被遮擋，影像都能被完整的打出來(lái)。

要想有一個(gè)較好的投影體驗(yàn)，那么投出來(lái)的影像肯定得是“快、準(zhǔn)、狠”。

也就是需要高幀頻和低延遲。

而這款高速動(dòng)態(tài)投影儀，在延遲3ms的情況下可以投射8位圖像，最高可達(dá)1000 fps。

這一話(huà)題也在Hacker News上火了，熱度高達(dá)1000+點(diǎn)。

許多網(wǎng)友驚呼這項(xiàng)技術(shù)“簡(jiǎn)直太棒了”！

我估計(jì)像迪士尼這樣的公司會(huì)對(duì)這個(gè)技術(shù)非常感興趣。

我從事實(shí)時(shí)投影工作很多年了，延遲就是這個(gè)工作的殺手，任何大于1000/90ms的延遲都會(huì)特別影響效果。這項(xiàng)技術(shù)就能允許快速移動(dòng)。

炫酷黑科技

這個(gè)黑科技有多神奇？

圖像投影到一張紙上，無(wú)論讓它怎么晃動(dòng)，圖像都會(huì)隨著紙的變形同步發(fā)生變化。

就好像圖像貼到了紙上一樣。

為了展示這個(gè)技術(shù)的高幀頻和低延遲，研究團(tuán)隊(duì)還把視頻放慢了速度。

慢鏡頭下的動(dòng)態(tài)投影也做到了完美的貼合。

當(dāng)然，旋轉(zhuǎn)也不在話(huà)下。

更神奇的是，投影畫(huà)面不同，圖像竟然能切換自如！

什么原理？

視頻中展示的黑科技，其實(shí)是用紅外墨水在目標(biāo)上繪制了標(biāo)記。

這種標(biāo)記是人眼看不見(jiàn)的。

這就是研究人員提出的可變形點(diǎn)簇標(biāo)記(Deformable Dot Cluster Marker，DDCM)。

DDCM具有三個(gè)優(yōu)勢(shì)：

1、即使是在強(qiáng)烈變形的情況下，它也是可以被檢測(cè)到的；
2、即使存在外部或者自遮擋，它也可以實(shí)現(xiàn)魯棒性跟蹤；
3、它允許毫秒級(jí)的計(jì)算速度。

下圖就展示了DDCM的一個(gè)例子。

△一個(gè)DDCM的例子。點(diǎn)簇以數(shù)組結(jié)構(gòu)分布。

DDCM由四種類(lèi)型的點(diǎn)簇組成，它們以數(shù)組結(jié)構(gòu)分布。如下圖所示。

△點(diǎn)簇的四種類(lèi)型。m代表點(diǎn)的數(shù)量。每個(gè)點(diǎn)簇包含1-4個(gè)點(diǎn)。

每個(gè)點(diǎn)簇中的點(diǎn)都是具有拓?fù)洳蛔冃缘模簿褪钦f(shuō)，在任何變形的情況下都不會(huì)發(fā)生改變。

點(diǎn)的數(shù)量是隨機(jī)且排他分布的。識(shí)別是從p x p點(diǎn)簇(識(shí)別窗口)的四個(gè)角開(kāi)始的。

并且為了增強(qiáng)逐幀跟蹤的魯棒性，相鄰的點(diǎn)簇，點(diǎn)的數(shù)量不會(huì)相同。

△無(wú)論從哪個(gè)角開(kāi)始識(shí)別窗口，都沒(méi)有相互重合的序列。

下圖展示了處理的流程。

△處理流程

主要包括檢測(cè)和跟蹤兩個(gè)步驟。

檢測(cè)過(guò)程包括從單個(gè)幀中識(shí)別點(diǎn)簇的ID。

△檢測(cè)流程

檢測(cè)的過(guò)程大致如下：

a)從二值化圖像中提取關(guān)鍵點(diǎn)；
b)將a)中所示的位于同一網(wǎng)格中且彼此相鄰的關(guān)鍵點(diǎn)視為點(diǎn)集群，紅、綠、藍(lán)、黃圓點(diǎn)分別代表m = 1,2,3,4個(gè)點(diǎn)簇;
c)計(jì)算提取的點(diǎn)簇的Delauney三角剖分;
d)基于廣度優(yōu)先搜索獲得點(diǎn)簇之間的連通性;
e)最后根據(jù)預(yù)先準(zhǔn)備的哈希表根據(jù)點(diǎn)編號(hào)識(shí)別每個(gè)點(diǎn)簇的ID，紅色數(shù)字表示已識(shí)別的點(diǎn)簇的ID。

跟蹤過(guò)程是指通過(guò)圖像序列對(duì)每個(gè)點(diǎn)簇進(jìn)行獨(dú)立、逐幀跟蹤。主要包括以下幾個(gè)流程：

a)更新被跟蹤的點(diǎn)集群的位置；