谷歌開源手勢識別器，手機(jī)能用，運(yùn)行流暢，還有現(xiàn)成的App，但是被我們玩壞了
郭一璞 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
借助TensorFlow Lite和MediaPipe，谷歌剛剛開源了一款手勢識別器，可以直接在手機(jī)上運(yùn)行，實(shí)時跟蹤，并且已經(jīng)開源。
官方說，效果長這樣：
有了這項(xiàng)應(yīng)用，你可以開發(fā)手語識別、AR游戲，甚至用它來玩石頭剪刀布。
有App可玩
谷歌已經(jīng)把這款手勢識別器做成了一款名為“Hand Tracking GPU”的App，在安卓端有對應(yīng)的apk安裝包，下載到手機(jī)上，安裝成功后，無需聯(lián)網(wǎng)就可以直接用了。
當(dāng)然，iOS用戶也可以安裝，但是沒有現(xiàn)成的安裝包，可以下載源代碼自行編譯。
App默認(rèn)調(diào)用前置攝像頭，如果屏幕中出現(xiàn)的是你的臉，它是沒有反應(yīng)的。
伸手到屏幕前，就可以和官方演示的一樣，識別出手部的各種姿勢，123456789都可以識別：
或者比個“OK”：
點(diǎn)個贊：
反應(yīng)還是非常敏銳的，效果不錯。不過，不知是什么原因，有時候玩著玩著，屏幕也會突然“放空”，只能看到手，識別不出手勢，這也被推特上的網(wǎng)友抓了包：
另外，這個App只支持一只手的手勢識別，如果你把兩只手都放到攝像頭前，它只能識別一只：
說好的石頭剪刀布呢？
當(dāng)然，想想辦法還是能讓它識別兩只手的，比如這樣：
△?它不知道我換了一只手
悄咪咪的，就把識別出的手勢框圖從一只手轉(zhuǎn)移到了另一只手上。
△?它也不知道我換回來了
當(dāng)然，你也可以換回來，來去切換自如，仿佛背后的模型已經(jīng)被忽悠瘸了。
三大模型
不過，被“忽悠瘸了”的鍋，可不能讓一個模型背，因?yàn)椋@款應(yīng)用的背后有3個模型。
BlazePalm
從整個圖像中界定手部輪廓，找到手掌的位置，檢測平均精度達(dá)到95.7%。
Hand Landmark
前一個模型找到手掌之后，這個模型負(fù)責(zé)定位關(guān)鍵點(diǎn)，它可以找到手掌上的21個關(guān)節(jié)坐標(biāo)。
在訓(xùn)練過程中，研究人員們用到了將近30000張真實(shí)世界的標(biāo)注過的手掌圖片，來獲取ground truth數(shù)據(jù)。
之后，用混合訓(xùn)練的方式訓(xùn)練模型。
Gesture Recognition
現(xiàn)在，手部關(guān)鍵點(diǎn)檢測結(jié)果出來之后，需要判斷比劃出來的手勢是什么意思，也就是識別出??是2，這里包含各種手勢，除了123456789之外，還有yeah、ok等。
不過，遺憾的是似乎App里沒有這個功能。
借助MediaPipe實(shí)現(xiàn)
最后的實(shí)現(xiàn)，借助了MediaPipe，這是一個構(gòu)建機(jī)器學(xué)習(xí)pipeline的框架。用于手勢識別的MediaPipe圖長這樣：
前面的各種模型，都融入到了這張整體的圖里，可以看到從拍攝到出結(jié)果的全過程。
另外，借助MediaPipe，還可以做人臉檢測：
頭發(fā)分割：
物體檢測：
具體內(nèi)容，可以進(jìn)入傳送門體驗(yàn)：
傳送門
MediaPipe
https://github.com/google/mediapipe
手部跟蹤
https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md
手勢識別apk/源代碼
https://drive.google.com/file/d/1uCjS0y0O0dTDItsMh8x2cf4-l3uHW1vE/view
相關(guān)閱讀
