索尼發(fā)布全球首款內(nèi)置AI傳感器，1200萬像素，660元起售

十三 2020-05-15 09:20:55 來源：量子位

十三發(fā)自凹非寺
量子位報道 | 公眾號 QbitAI

全球第一款內(nèi)置AI的圖像傳感器問世。

這就是近日來自索尼的重磅消息：

宣布即將發(fā)布兩款智能視覺傳感器——IMX500和IMX501。

它們集成了一個邏輯處理器和存儲器，因此每個模組都可以作為一個微型計算機(jī)工作。

目前這款傳感器已經(jīng)能夠以 1200 萬像素捕捉靜態(tài)圖像，支持 4K@60fps 視頻拍攝。

IMX500 和 IMX501的出貨時間分別為今年4月和6月，稅后價格分別為10000日元?(約661元人民幣)和20000日元?(約1323元人民幣)。

新款傳感器具有如下特點：

像素芯片和邏輯芯片組成的堆疊式結(jié)構(gòu)，在邏輯芯片上配備了AI圖像分析和處理功能的圖像傳感器。
像素芯片獲取的信號通過傳感器上的AI進(jìn)行處理，無需高性能處理器或外部存儲，可助力邊緣AI系統(tǒng)的開發(fā)。傳感器輸出元數(shù)據(jù)(屬于圖像數(shù)據(jù)的語義信息)而不是圖像信息，從而減少了數(shù)據(jù)量并保證了隱私安全。
此外，AI能夠為廣泛應(yīng)用領(lǐng)域提供多樣化的功能，例如高速AI處理下進(jìn)行實時目標(biāo)跟蹤。也可以根據(jù)用戶的需求或系統(tǒng)，使用位置重新編寫內(nèi)存，來選擇不同的AI模型。

據(jù)索尼介紹，新發(fā)布的圖像傳感器，極大地拓寬了AI攝像頭的研發(fā)空間，將有望廣泛應(yīng)用于零售和工業(yè)設(shè)備行業(yè)，并有助于構(gòu)建與云端連接的優(yōu)化系統(tǒng)。

首款內(nèi)置AI圖像傳感器主要功能

接下來就是IMX500和IMX501的四大主要功能。

像素芯片是背照式進(jìn)光的，有效像素約為1230萬，可以捕捉廣闊視角的圖像信息。

除了傳統(tǒng)的圖像傳感器操作電路外，其邏輯芯片還配備了索尼原發(fā)的DSP，專門用于AI信號處理，并為AI模型存儲。

這種配置無需高性能處理器或外部存儲，使其成為邊緣AI系統(tǒng)的理想選擇。

像素芯片采集的信號通過ISP進(jìn)行處理，并在邏輯芯片的處理層進(jìn)行AI運算，將提取的信息作為元數(shù)據(jù)輸出，可以減少需要處理的數(shù)據(jù)量。

同時，不輸出圖像信息有助于降低安全風(fēng)險和保證隱私安全。

除了傳統(tǒng)圖像傳感器捕捉的圖像外，用戶還可以根據(jù)自己的需要和用途選擇數(shù)據(jù)輸出格式，包括ISP格式輸出圖像(YUV/RGB)和ROI特定區(qū)域提取圖像。

當(dāng)使用傳統(tǒng)的圖像傳感器錄制視頻時，需要發(fā)送每一幀的視頻數(shù)據(jù)進(jìn)行AI處理，導(dǎo)致數(shù)據(jù)傳輸量大，難以實時呈現(xiàn)結(jié)果。

索尼的新款傳感器產(chǎn)品在邏輯芯片上進(jìn)行ISP處理和高速AI運行(處理MobileNet V1只需3.1毫秒)，在一個視頻幀內(nèi)完成整個過程。這種設(shè)計可以在錄制視頻的同時保證高精度、實時的目標(biāo)追蹤。

用戶可以將自己選擇的AI模型寫入嵌入式內(nèi)存中，并根據(jù)其需求或系統(tǒng)使用位置，對其進(jìn)行改寫和更新。

例如，當(dāng)多個搭載新款傳感器的攝像頭被安裝在零售場所時，某個單一類型的攝像頭可以在不同的地點、環(huán)境、時間或目的下使用：

此外，指定相機(jī)中的AI模型可以被改寫，從一個用于檢測熱力圖的模型，變成一個用于識別消費者行為的模型。

最后，奉上IMX500和IMX501的主要參數(shù)。

那么，這樣的傳感器，猜猜誰會最先用上呢？

參考鏈接：

https://www.sony.net/SonyInfo/News/Press/202005/20-037E/https://www.anzhuo.cn/news/p_40263

版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。