復(fù)旦博士開發(fā)類視網(wǎng)膜傳感器，直接將無人車視覺感光性能提升1萬億倍！已被華為收編 | Nature

賈浩楠 2022-02-21 14:10:21 來源：量子位

賈浩楠 發(fā)自 副駕寺智能車參考 | 公眾號(hào) AI4Auto

脫口秀演員搞自動(dòng)駕駛？

不但搞出了成果，還被Nature在研究亮點(diǎn)（RESEARCH HIGHLIGHT）專欄報(bào)道！

香港理工大學(xué)博士后、深圳某脫口秀俱樂部現(xiàn)役演員廖付友年初八在《自然·電子》上以一作身份發(fā)表名為Bioinspired in-sensor visual adaptation for accurate perception的文章。

文章介紹了一種新型傳感器，模仿了人類視網(wǎng)膜工作原理，有效感知范圍達(dá)到199bB。

這是什么概念？

現(xiàn)在絕大部分智能汽車上的自動(dòng)駕駛系統(tǒng)在弱光、雨雪條件下能力大打折扣，主要原因之一就是常用的硅基CMOS圖像傳感器通常只有 70dB 的感知范圍，遠(yuǎn)低于自然場景的光強(qiáng)變化范圍。

而新的類視網(wǎng)膜傳感器，直接將感知范圍提升1萬億倍！大大增強(qiáng)自動(dòng)駕駛在感知端的準(zhǔn)確性。

而且這位業(yè)余說脫口秀的廖付友，已被華為收編，確定即將入職繼續(xù)從事半導(dǎo)體研究。

有效感光范圍提升1萬億倍！

在地球普遍環(huán)境中，自然光強(qiáng)度的分布超過280dB，遠(yuǎn)超民用級(jí)別CMOS感光元件的70dB范圍。

具體到自動(dòng)駕駛上，且不論算法性能，攝像頭捕捉的圖像數(shù)據(jù)有效范圍就大大縮小，不但是弱光會(huì)影響識(shí)別，強(qiáng)光也不行。

比人眼強(qiáng)，但應(yīng)付自然光還是不夠。

從這個(gè)角度看，也能理解特斯拉代表的純視覺自動(dòng)駕駛路線，和國內(nèi)廠商走的激光雷達(dá)+視覺混合路線的緣由。

一個(gè)是死磕算法提高圖像識(shí)別準(zhǔn)確度，另一個(gè)是通過雷達(dá)點(diǎn)云圖彌補(bǔ)圖像數(shù)據(jù)的不足。

手段不同，但問題根源都在圖像捕捉的限制。

而廖付友博士所在的香港理工大學(xué)團(tuán)隊(duì)，利用二硫化鉬作為基礎(chǔ)材料，模仿人類視網(wǎng)膜的工作原理，設(shè)計(jì)出了一種新的光傳感器，能夠有效感知199dB范圍的光線。

在實(shí)驗(yàn)中，科研人員分別于弱光和強(qiáng)光背景下映出數(shù)字“8”，再由環(huán)境光照射背景板：

之后，將感光信號(hào)輸入神經(jīng)網(wǎng)絡(luò)進(jìn)行識(shí)別：

實(shí)驗(yàn)結(jié)果表明，ANN網(wǎng)絡(luò)對(duì)于數(shù)字“8”的識(shí)別準(zhǔn)確度穩(wěn)定在97%左右，同等條件下使用CMOS傳感器的系統(tǒng)幾乎無法識(shí)別。

上圖中有目標(biāo)識(shí)別率有明顯的隨時(shí)間漸變的趨勢(shì)，這就是所謂“類視網(wǎng)膜”的核心。

基于二硫化鉬的感光陣列無論對(duì)于弱光還是強(qiáng)光都會(huì)隨時(shí)間適應(yīng)，就像人眼會(huì)逐漸適應(yīng)光照強(qiáng)度一樣。

輸出的圖像信號(hào)也會(huì)從剛開始的一團(tuán)黑或白逐漸清晰顯出目標(biāo)特征。

好了，我知道你們想搞清楚1萬億倍是怎么來的，但首先還要解釋一下光功率的概念。

dB是指光功率的單位，表示光在單位時(shí)間內(nèi)所做的功。

簡單理解，光功率大小直接反映了光照的強(qiáng)弱。

一般光功率單位常用為毫瓦(mw)和分貝毫瓦(dBm)，其中兩者關(guān)系為：1mw=0dBm。

但工程學(xué)中，dB是一個(gè)純計(jì)數(shù)單位，代表兩個(gè)功率的比值大小，具體數(shù)值為10*log(A/B)。

也就是說，工程上dB只有加減，實(shí)際代表了兩個(gè)功率相除，得出的結(jié)果是增益或減益的倍數(shù)。

所以按照這樣計(jì)算，港理工團(tuán)隊(duì)的新型類視網(wǎng)膜傳感器，有效工作范圍比傳統(tǒng)CMOS圖像傳感器提升了129dB，也就是至少提升1012倍。

1萬億倍！

會(huì)說脫口秀的科研人員果然強(qiáng)。

提升1萬億倍如何實(shí)現(xiàn)？

人眼的光接收細(xì)胞感知范圍比較有限，只有40dB。

但是人眼的視覺適應(yīng)功能讓我們可以感知和識(shí)別不同光照條件下的各種物體，哪怕是快速在明暗差別很大環(huán)境中轉(zhuǎn)換。

人眼應(yīng)對(duì)光線明暗變化的機(jī)制，關(guān)鍵是水平細(xì)胞和光接收細(xì)胞的結(jié)構(gòu)。

其中，視錐細(xì)胞在強(qiáng)光條件下敏感度更高，視桿細(xì)胞在暗光條件下敏感度更高。

所以光照條件發(fā)生變化時(shí)，視網(wǎng)膜的水平細(xì)胞會(huì)控制感光點(diǎn)在視錐和視桿細(xì)胞之間的轉(zhuǎn)換、以及光色素的產(chǎn)生和消失來適應(yīng)。

基于此，團(tuán)隊(duì)研發(fā)出一種基于二硫化鉬底柵光電晶體管陣列的仿生視覺適應(yīng)傳感器。

在二硫化鉬表面，科研人員有意引入電荷陷阱態(tài)，使得光信息的存儲(chǔ)成為可能。

（電荷陷阱態(tài)：電子被不飽和鍵所捕獲。）

而通過調(diào)節(jié)柵極電壓，這陷阱態(tài)可以捕獲或釋放通道的電子。

（通道：施加電壓后，電子會(huì)被排斥或吸引從而形成翻轉(zhuǎn)層，導(dǎo)通半導(dǎo)體源級(jí)和汲極，形成通道。）

在不同的柵極電壓下，通道的電子可以被捕獲或釋放，這就可以定量地動(dòng)態(tài)調(diào)節(jié)器件的電導(dǎo)率。

所以光線強(qiáng)弱變化時(shí)，只需要調(diào)節(jié)柵極電壓就能實(shí)現(xiàn)感光元件的范圍調(diào)整。

另外，二硫化鉬材料本身具有獨(dú)特性質(zhì)，根據(jù)柵極電壓不同，會(huì)隨時(shí)間對(duì)電流產(chǎn)生激勵(lì)或抑制作用。這一點(diǎn)正好模擬了視網(wǎng)膜光色素的產(chǎn)生和消失。

所謂高感光范圍的“人造視網(wǎng)膜”，核心是利用電荷陷阱態(tài)對(duì)電子的捉放效應(yīng)以及二硫化鉬本身的“時(shí)間——抑制激勵(lì)”作用，從而達(dá)到人為控制感光半導(dǎo)體電導(dǎo)率的目的。

在把這項(xiàng)技術(shù)應(yīng)用到自動(dòng)駕駛的視覺傳感器中，無需經(jīng)過后端圖像處理器或云端信息處理，就能大大提升了系統(tǒng)的信息處理效率和識(shí)別準(zhǔn)確度。

另外人臉識(shí)別也是一個(gè)重要應(yīng)用場景，無論是白天的強(qiáng)光還是夜間的黑暗，視覺傳感器能根據(jù)背景光強(qiáng)度，去調(diào)節(jié)光靈敏度從而準(zhǔn)確識(shí)別人臉。

在太空探測領(lǐng)域，把具有視覺適應(yīng)功能的視覺傳感器應(yīng)用在探測設(shè)備上，除了正常光照條件下的感知外，還可以在極端光照條件下（極弱或者極強(qiáng)光）探測外界環(huán)境和識(shí)別目標(biāo)。

作者介紹

一作廖付友，博士畢業(yè)于復(fù)旦大學(xué)，目前在香港理工大學(xué)做博士后。主要研究方向?yàn)榘雽?dǎo)體器件與工藝。他已經(jīng)確定將入職華為，繼續(xù)半導(dǎo)體方面研究。

廖付友除了是一名科研工作者，還是一名業(yè)余脫口秀演員，在深圳某俱樂部駐場演出。

本文通訊作者柴揚(yáng)副教授，博士畢業(yè)于香港科技大學(xué)。主要從事低維材料的電子器件及其在能源領(lǐng)域應(yīng)用的研究工作，其主要研究方向包括低維材料的可控生長與電子器件，能量轉(zhuǎn)換與存儲(chǔ)，以及柔性電子器件。

論文地址：https://www.nature.com/articles/s41928-022-00713-1