復旦博士開發類視網膜傳感器，直接將無人車視覺感光性能提升1萬億倍！已被華為收編 | Nature
已確定入職華為
賈浩楠 發自 副駕寺智能車參考 | 公眾號 AI4Auto
脫口秀演員搞自動駕駛？
不但搞出了成果，還被Nature在研究亮點（RESEARCH HIGHLIGHT）專欄報道！
香港理工大學博士后、深圳某脫口秀俱樂部現役演員廖付友年初八在《自然·電子》上以一作身份發表名為Bioinspired in-sensor visual adaptation for accurate perception的文章。
文章介紹了一種新型傳感器，模仿了人類視網膜工作原理，有效感知范圍達到199bB。
這是什么概念？
現在絕大部分智能汽車上的自動駕駛系統在弱光、雨雪條件下能力大打折扣，主要原因之一就是常用的硅基CMOS圖像傳感器通常只有 70dB 的感知范圍，遠低于自然場景的光強變化范圍。
而新的類視網膜傳感器，直接將感知范圍提升1萬億倍！大大增強自動駕駛在感知端的準確性。
而且這位業余說脫口秀的廖付友，已被華為收編，確定即將入職繼續從事半導體研究。
有效感光范圍提升1萬億倍！
在地球普遍環境中，自然光強度的分布超過280dB，遠超民用級別CMOS感光元件的70dB范圍。
具體到自動駕駛上，且不論算法性能，攝像頭捕捉的圖像數據有效范圍就大大縮小，不但是弱光會影響識別，強光也不行。
比人眼強，但應付自然光還是不夠。
從這個角度看，也能理解特斯拉代表的純視覺自動駕駛路線，和國內廠商走的激光雷達+視覺混合路線的緣由。
一個是死磕算法提高圖像識別準確度，另一個是通過雷達點云圖彌補圖像數據的不足。
手段不同，但問題根源都在圖像捕捉的限制。
而廖付友博士所在的香港理工大學團隊，利用二硫化鉬作為基礎材料，模仿人類視網膜的工作原理，設計出了一種新的光傳感器，能夠有效感知199dB范圍的光線。
在實驗中，科研人員分別于弱光和強光背景下映出數字“8”，再由環境光照射背景板：
之后，將感光信號輸入神經網絡進行識別：
實驗結果表明，ANN網絡對于數字“8”的識別準確度穩定在97%左右，同等條件下使用CMOS傳感器的系統幾乎無法識別。
上圖中有目標識別率有明顯的隨時間漸變的趨勢，這就是所謂“類視網膜”的核心。
基于二硫化鉬的感光陣列無論對于弱光還是強光都會隨時間適應，就像人眼會逐漸適應光照強度一樣。
輸出的圖像信號也會從剛開始的一團黑或白逐漸清晰顯出目標特征。
好了，我知道你們想搞清楚1萬億倍是怎么來的，但首先還要解釋一下光功率的概念。
dB是指光功率的單位，表示光在單位時間內所做的功。
簡單理解，光功率大小直接反映了光照的強弱。
一般光功率單位常用為毫瓦(mw)和分貝毫瓦(dBm)，其中兩者關系為：1mw=0dBm。
但工程學中，dB是一個純計數單位，代表兩個功率的比值大小，具體數值為10*log(A/B)。
也就是說，工程上dB只有加減，實際代表了兩個功率相除，得出的結果是增益或減益的倍數。
所以按照這樣計算，港理工團隊的新型類視網膜傳感器，有效工作范圍比傳統CMOS圖像傳感器提升了129dB，也就是至少提升1012倍。
1萬億倍！
會說脫口秀的科研人員果然強。
提升1萬億倍如何實現？
人眼的光接收細胞感知范圍比較有限，只有40dB。
但是人眼的視覺適應功能讓我們可以感知和識別不同光照條件下的各種物體，哪怕是快速在明暗差別很大環境中轉換。
人眼應對光線明暗變化的機制，關鍵是水平細胞和光接收細胞的結構。
其中，視錐細胞在強光條件下敏感度更高，視桿細胞在暗光條件下敏感度更高。
所以光照條件發生變化時，視網膜的水平細胞會控制感光點在視錐和視桿細胞之間的轉換、以及光色素的產生和消失來適應。
基于此，團隊研發出一種基于二硫化鉬底柵光電晶體管陣列的仿生視覺適應傳感器。
在二硫化鉬表面，科研人員有意引入電荷陷阱態，使得光信息的存儲成為可能。
（電荷陷阱態：電子被不飽和鍵所捕獲。）
而通過調節柵極電壓，這陷阱態可以捕獲或釋放通道的電子。
（通道：施加電壓后，電子會被排斥或吸引從而形成翻轉層，導通半導體源級和汲極，形成通道。）
在不同的柵極電壓下，通道的電子可以被捕獲或釋放，這就可以定量地動態調節器件的電導率。
所以光線強弱變化時，只需要調節柵極電壓就能實現感光元件的范圍調整。
另外，二硫化鉬材料本身具有獨特性質，根據柵極電壓不同，會隨時間對電流產生激勵或抑制作用。這一點正好模擬了視網膜光色素的產生和消失。
所謂高感光范圍的“人造視網膜”，核心是利用電荷陷阱態對電子的捉放效應以及二硫化鉬本身的“時間——抑制激勵”作用，從而達到人為控制感光半導體電導率的目的。
在把這項技術應用到自動駕駛的視覺傳感器中，無需經過后端圖像處理器或云端信息處理，就能大大提升了系統的信息處理效率和識別準確度。
另外人臉識別也是一個重要應用場景，無論是白天的強光還是夜間的黑暗，視覺傳感器能根據背景光強度，去調節光靈敏度從而準確識別人臉。
在太空探測領域，把具有視覺適應功能的視覺傳感器應用在探測設備上，除了正常光照條件下的感知外，還可以在極端光照條件下（極弱或者極強光）探測外界環境和識別目標。
作者介紹
一作廖付友，博士畢業于復旦大學，目前在香港理工大學做博士后。主要研究方向為半導體器件與工藝。他已經確定將入職華為，繼續半導體方面研究。
廖付友除了是一名科研工作者，還是一名業余脫口秀演員，在深圳某俱樂部駐場演出。
本文通訊作者柴揚副教授，博士畢業于香港科技大學。主要從事低維材料的電子器件及其在能源領域應用的研究工作，其主要研究方向包括低維材料的可控生長與電子器件，能量轉換與存儲，以及柔性電子器件。
論文地址：https://www.nature.com/articles/s41928-022-00713-1
- 中國汽車一哥加持，自動駕駛界「大疆」估值沖破百億2025-11-26
- 神盾金磚電池成功挑戰行業首個“整車+整包”帶電六大極端測試2025-09-02
- 對話吉利技術一號位：VLA大模型打底，沖刺全球最大機器人公司2025-09-02
- 全新嵐圖知音正式上市，20.29萬元起2025-08-28
相關閱讀
一文看懂麒麟9000：153億晶體管，刷新5G速度，還有更強游戲體驗，并且會“繼續前行”
麒麟9000采用全球頂級5nm工藝制程，集成153億晶體管。基于此，CPU、GPU、NPU、ISP，到所有的外置接口、內存、存儲接口、安全接口，在麒麟9000上都得到了全面升級優化。
