清華“天眸芯”登Nature封面！全球首款類腦互補視覺芯片，施路平團隊最新成果

西風 2024-05-31 14:28:39 來源：量子位

繼“天機芯”后，第二次登Nature封面

西風發自凹非寺

量子位 | 公眾號 QbitAI

清華類腦計算研究中心施路平團隊新成果，登上最新一期Nature封面。

團隊研發出世界首款類腦互補視覺芯片——“天眸芯”。

“天眸芯”實現了一種基于視覺原語的互補雙通路類腦視覺感知新范式，模仿了人類視覺系統特征。

性能上，“天眸芯”能夠以每秒10000幀的高速、10bit的高精度、130dB的高動態范圍進行視覺信息采集，并大幅減少帶寬需求。

△圖源：清華大學官方公眾號

將“天眸芯”集成到自動駕駛系統中，即使面對突然閃光干擾、隧道等高動態范圍場景、異常物體移動等復雜情況，配合互補多通路算法，系統也能實現精準認知和快速響應。

這回是真開“眸”了～

“天眸芯”長啥樣？

隨著自動駕駛、機器人、AI等開放世界應用的發展，現有圖像傳感器面臨諸多挑戰，難以處理超出其傳感范圍的動態、多樣化和不可預測的情況。

比如快速騎自行車的人、意外行為、光線從明亮到陰暗的快速變化……

然鵝，圖像傳感器要向高速度、高分辨率、大動態范圍和高精度發展，還受功率和帶寬限制。

反觀人類視覺系統（HVS），具有超強的適應能力和魯棒性。

人類視覺系統將視覺刺激解析為多種視覺原語，比如顏色、方向、動作等，并以互補的方式將它們分配到腹側路徑（what）和背側路徑（where、how）這兩條神經通路，有效地提供了視覺場景的統一表征。

受此啟發，清華類腦計算研究中心團隊提出了一種基于視覺原語的互補雙通路類腦視覺感知范式。

如下圖所示，此范式中的原語包括顏色、精度、靈敏度、空間分辨率、速度、絕對強度、空間差分（SD）和時序差分（TD）。

兩條互補的視覺路徑（CVP）為面向認知的路徑（COP）和面向行動的路徑（AOP），對應人類視覺系統的腹側和背側路徑。

COP使用顏色、強度、高空間分辨率和高精度的原語來實現準確的認知，最小化空間混疊和量化錯誤；AOP使用SD、TD和高速度的原語來實現快速響應。

為實現上述范式，研究團隊設計了視覺芯片“天眸芯”。

“天眸芯”整體架構設計如下圖所示，包含兩個核心組件：

混合像素陣列（Hybrid Pixel Array），用于將光學信息轉換為電信號；
并行異構讀出架構（parallel-and-heterogeneous readout architecture），用于構建兩條互補視覺路徑。

其中，混合像素陣列由錐狀像素和桿狀像素組成，具有不同的顏色、響應模式、分辨率和靈敏度特性。

這些像素可以將視覺信息解析為特定顏色（紅、綠和藍）和白光譜，作為顏色對立原語，還可以通過使用高增益或低增益的電荷轉換模式來調節靈敏度，擴展動態范圍。

錐狀像素采用4μm的細粒度間距實現絕對強度感測，桿狀像素有兩種不同的8μm和16μm的感受野（指一個神經元或神經元集群能夠響應的特定區域內的刺激），用于檢測時序差分和空間差分。

此外，桿狀像素內嵌高密度存儲器，使用“乒乓行為”（ping-pong behaviour）緩沖歷史電壓，以連續計算時序差分。

再來看并行異構讀出架構。

其中，COP采用單斜率模數轉換器，對密集的絕對強度信號進行高精度編碼。

AOP使用專門的讀出架構，通過可編程閾值濾波器（programmable threshold filter）來最小化冗余和噪聲，同時保留關鍵信息；采用具有可配精度的快速自適應數模轉換器（fast polarity-adaptive digital-to-analog converter）進行信號量化；使用數據打包器（data packetizer）實現稀疏可變精度時序差分和空間差分信號的無損壓縮，以統一協議進行打包。

并行讀出電路分別對應COP和AOP，COP使用高精度并行ADC,AOP使用多精度自適應ADC和稀疏編碼器,支持可重構速度/精度并減少帶寬需求。