你隨便動幕布，投影跟不上算我輸，動態投影黑科技，AE特效秒變成真

十三 2019-11-29 12:53:21 來源：量子位

十三發自凹非寺
量子位報道 | 公眾號 QbitAI

這個黑科技，讓AE特效秒成真。

前不久，AE一個名為Lockdown的插件火了：任你再動再不平坦，圖案都能無縫緊貼。

其實，這個魔法特效已經走進現實。

這個黑科技其實就是我們熟知的投影。但不同于以往，這次是動態投影。

這款高速投影儀名叫DynaFlash。

投影的畫面不需要平整，任畫面扭曲、被遮擋，影像都能被完整的打出來。

要想有一個較好的投影體驗，那么投出來的影像肯定得是“快、準、狠”。

也就是需要高幀頻和低延遲。

而這款高速動態投影儀，在延遲3ms的情況下可以投射8位圖像，最高可達1000 fps。

這一話題也在Hacker News上火了，熱度高達1000+點。

許多網友驚呼這項技術“簡直太棒了”！

我估計像迪士尼這樣的公司會對這個技術非常感興趣。

我從事實時投影工作很多年了，延遲就是這個工作的殺手，任何大于1000/90ms的延遲都會特別影響效果。這項技術就能允許快速移動。

炫酷黑科技

這個黑科技有多神奇？

圖像投影到一張紙上，無論讓它怎么晃動，圖像都會隨著紙的變形同步發生變化。

就好像圖像貼到了紙上一樣。

為了展示這個技術的高幀頻和低延遲，研究團隊還把視頻放慢了速度。

慢鏡頭下的動態投影也做到了完美的貼合。

當然，旋轉也不在話下。

更神奇的是，投影畫面不同，圖像竟然能切換自如！

什么原理？

視頻中展示的黑科技，其實是用紅外墨水在目標上繪制了標記。

這種標記是人眼看不見的。

這就是研究人員提出的可變形點簇標記(Deformable Dot Cluster Marker，DDCM)。

DDCM具有三個優勢：

1、即使是在強烈變形的情況下，它也是可以被檢測到的；
2、即使存在外部或者自遮擋，它也可以實現魯棒性跟蹤；
3、它允許毫秒級的計算速度。

下圖就展示了DDCM的一個例子。

△一個DDCM的例子。點簇以數組結構分布。

DDCM由四種類型的點簇組成，它們以數組結構分布。如下圖所示。

△點簇的四種類型。m代表點的數量。每個點簇包含1-4個點。

每個點簇中的點都是具有拓撲不變性的，也就是說，在任何變形的情況下都不會發生改變。

點的數量是隨機且排他分布的。識別是從p x p點簇(識別窗口)的四個角開始的。

并且為了增強逐幀跟蹤的魯棒性，相鄰的點簇，點的數量不會相同。

△無論從哪個角開始識別窗口，都沒有相互重合的序列。

下圖展示了處理的流程。

△處理流程

主要包括檢測和跟蹤兩個步驟。

檢測過程包括從單個幀中識別點簇的ID。

△檢測流程

檢測的過程大致如下：

a)從二值化圖像中提取關鍵點；
b)將a)中所示的位于同一網格中且彼此相鄰的關鍵點視為點集群，紅、綠、藍、黃圓點分別代表m = 1,2,3,4個點簇;
c)計算提取的點簇的Delauney三角剖分;
d)基于廣度優先搜索獲得點簇之間的連通性;
e)最后根據預先準備的哈希表根據點編號識別每個點簇的ID，紅色數字表示已識別的點簇的ID。

跟蹤過程是指通過圖像序列對每個點簇進行獨立、逐幀跟蹤。主要包括以下幾個流程：

a)更新被跟蹤的點集群的位置；