看下巴識(shí)心情，這個(gè)AI項(xiàng)鏈掛胸前也能識(shí)別面部表情

明敏 2021-08-08 12:45:51 來源：量子位

興坤 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

瞄一瞄你的下巴，就知道你有沒有在難過。

這個(gè)溫馨的場(chǎng)景對(duì)應(yīng)的不是窩在懷里的小貓咪，而是……

Neck Face，一款用于監(jiān)控情緒的智能工具。

它被設(shè)計(jì)成項(xiàng)鏈及頸帶樣式，AI只需要看到使用者的下巴，就可以獲取面部表情數(shù)據(jù)。

這款設(shè)備的面部識(shí)別原理，不僅打破了必須在正面放置攝像頭的局限，而且還能做到在運(yùn)動(dòng)過程中持續(xù)捕捉表情信息。

智能項(xiàng)鏈Neck Face

項(xiàng)鏈?zhǔn)絻x器包含一組Neck Face，由紅外攝像頭OV5647、近紅外LED和紅外帶通濾波器組成，佩戴時(shí)位于下巴正下方；頸帶式儀器包含兩組，佩戴時(shí)分別位于兩側(cè)鎖骨位置。

攝像頭位置這么靠下，能看到我們的表情嗎？

如此低的機(jī)位，自然看不到完整的面部表情，只能獲得包含下巴部分下半張臉的輪廓圖像。

AI通過對(duì)這部分圖像的信息提取，以算法推測(cè)出完整面部表情。

當(dāng)我們做面部表情時(shí)，面部肌肉會(huì)拉伸和收縮，推拉皮膚影響附近面部肌肉的張力，這種效果會(huì)導(dǎo)致臉頰輪廓發(fā)生變化。

Neck Face從頸部和下巴下方角度，用紅外相機(jī)記錄面部肌肉運(yùn)動(dòng)，以及所引起的面部輪廓變化。

獲得臉部輪廓紅外圖像后，通過卷積神經(jīng)網(wǎng)絡(luò)幫助將二維圖像輪廓重構(gòu)為完整信息，并利用計(jì)算機(jī)視覺和深度學(xué)習(xí)模型，找到頸部和下巴紅外圖像與完整面部的聯(lián)系。

結(jié)合ARKit，從深度相機(jī)中提取了52個(gè)混合形狀參數(shù)(blend-shape)，以及頭部偏轉(zhuǎn)角度數(shù)據(jù)，重構(gòu)出完整的表情。

經(jīng)過這樣的處理過程，能夠從下巴角度圖像獲得完整面部表情。并且可以在佩戴過程中，連續(xù)記錄表情變化。

為驗(yàn)證這款設(shè)備監(jiān)測(cè)結(jié)果準(zhǔn)不準(zhǔn)確，研究人員使用了蘋果手機(jī)深度相機(jī)作對(duì)比分析。

測(cè)試者被要求在靜坐和行走過程做出八種不同的表情，并且包含了上下左右四個(gè)方向轉(zhuǎn)動(dòng)頭部的過程。

對(duì)比各種情況下手機(jī)和可穿戴儀器表情識(shí)別的差異，計(jì)算所得出的混合形狀參數(shù)（分值0-1000）平均絕對(duì)誤差。

通過對(duì)測(cè)試結(jié)果總結(jié)分析，可穿戴表情監(jiān)測(cè)儀器誤差在20-35之間。且可識(shí)別頭部轉(zhuǎn)動(dòng)角度，角度誤差在2-4.5度。

△左側(cè)為手機(jī)攝像頭識(shí)別處理的結(jié)果，右側(cè)為NeckFace面部重建的結(jié)果。

兩種設(shè)計(jì)相比，頸帶式設(shè)備性能優(yōu)于項(xiàng)鏈?zhǔn)?，原因可能在于兩?cè)攝像頭能夠捕獲更多信息。

應(yīng)用優(yōu)勢(shì)

現(xiàn)代人對(duì)自身健康越來越重視，不僅是身體機(jī)能的健康，心理健康也逐漸得到了更多關(guān)注。

以科學(xué)的方法對(duì)情緒進(jìn)行監(jiān)控，可以更好地掌握自身狀況，及時(shí)做出調(diào)整或治療，避免影響到身體機(jī)能。

記錄情緒及心理狀態(tài)建立起數(shù)據(jù)庫，還可以方便個(gè)體追蹤自身行為，有利于就醫(yī)等社會(huì)活動(dòng)。

提到大數(shù)據(jù)，一定會(huì)有人擔(dān)心隱私泄漏的問題，由于Neck Face都是從頭部下方對(duì)面部表情進(jìn)行檢測(cè)，而僅僅通過下半張臉無法識(shí)別到用戶全部面部信息。

另外，Neck Face是紅外成像，對(duì)環(huán)境不作識(shí)別，可以很好地隱藏環(huán)境信息。

對(duì)Neck Face的測(cè)試過程中也提到了，設(shè)備可以在行走中保持工作，這就大大解放了遠(yuǎn)程辦公或視頻會(huì)議時(shí)對(duì)使用者的局限，可以更自由地參與線上討論。

研究團(tuán)隊(duì)

本研究主要由北京大學(xué)學(xué)生陳拓潮，麥吉爾大學(xué)學(xué)生Yaxuan Li完成，參與單位還有康奈爾大學(xué)SciFi實(shí)驗(yàn)室，康奈爾信息科學(xué)學(xué)院研究人員等。

康奈爾大學(xué)計(jì)算機(jī)與信息科學(xué)學(xué)院Cheng Zhang教授研發(fā)出可穿戴傳感器C-Face。在此基礎(chǔ)上，陳拓潮等人做出改進(jìn)，開發(fā)出這款更方便穿戴，性能更好的Neck Face。

△左側(cè)為使用者佩戴C-Face，右側(cè)為3D模型反饋的面部表情。

參考文獻(xiàn)
https://dl.acm.org/doi/10.1145/3463511

參考鏈接
https://news.cornell.edu/stories/2021/08/smart-necklace-could-track-your-detailed-facial-expressions?fbclid=IwAR1RXF6iBQ3SkQn3cJUjFkGYEJktitIeHnT2B6x1aT7nW4bfP3heUqMuOlo