谷歌開源手勢識別器，手機能用，運行流暢，還有現(xiàn)成的App，但是被我們玩壞了
郭一璞 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
借助TensorFlow Lite和MediaPipe，谷歌剛剛開源了一款手勢識別器，可以直接在手機上運行，實時跟蹤，并且已經開源。
官方說，效果長這樣：
有了這項應用，你可以開發(fā)手語識別、AR游戲，甚至用它來玩石頭剪刀布。
有App可玩
谷歌已經把這款手勢識別器做成了一款名為“Hand Tracking GPU”的App，在安卓端有對應的apk安裝包，下載到手機上，安裝成功后，無需聯(lián)網就可以直接用了。
當然，iOS用戶也可以安裝，但是沒有現(xiàn)成的安裝包，可以下載源代碼自行編譯。
App默認調用前置攝像頭，如果屏幕中出現(xiàn)的是你的臉，它是沒有反應的。
伸手到屏幕前，就可以和官方演示的一樣，識別出手部的各種姿勢，123456789都可以識別：
或者比個“OK”：
點個贊：
反應還是非常敏銳的，效果不錯。不過，不知是什么原因，有時候玩著玩著，屏幕也會突然“放空”，只能看到手，識別不出手勢，這也被推特上的網友抓了包：
另外，這個App只支持一只手的手勢識別，如果你把兩只手都放到攝像頭前，它只能識別一只：
說好的石頭剪刀布呢？
當然，想想辦法還是能讓它識別兩只手的，比如這樣：
△?它不知道我換了一只手
悄咪咪的，就把識別出的手勢框圖從一只手轉移到了另一只手上。
△?它也不知道我換回來了
當然，你也可以換回來，來去切換自如，仿佛背后的模型已經被忽悠瘸了。
三大模型
不過，被“忽悠瘸了”的鍋，可不能讓一個模型背，因為，這款應用的背后有3個模型。
BlazePalm
從整個圖像中界定手部輪廓，找到手掌的位置，檢測平均精度達到95.7%。
Hand Landmark
前一個模型找到手掌之后，這個模型負責定位關鍵點，它可以找到手掌上的21個關節(jié)坐標。
在訓練過程中，研究人員們用到了將近30000張真實世界的標注過的手掌圖片，來獲取ground truth數(shù)據(jù)。
之后，用混合訓練的方式訓練模型。
Gesture Recognition
現(xiàn)在，手部關鍵點檢測結果出來之后，需要判斷比劃出來的手勢是什么意思，也就是識別出??是2，這里包含各種手勢，除了123456789之外，還有yeah、ok等。
不過，遺憾的是似乎App里沒有這個功能。
借助MediaPipe實現(xiàn)
最后的實現(xiàn)，借助了MediaPipe，這是一個構建機器學習pipeline的框架。用于手勢識別的MediaPipe圖長這樣：
前面的各種模型，都融入到了這張整體的圖里，可以看到從拍攝到出結果的全過程。
另外，借助MediaPipe，還可以做人臉檢測：
頭發(fā)分割：
物體檢測：
具體內容，可以進入傳送門體驗：
傳送門
MediaPipe
https://github.com/google/mediapipe
手部跟蹤
https://github.com/google/mediapipe/blob/master/mediapipe/docs/hand_tracking_mobile_gpu.md
手勢識別apk/源代碼
https://drive.google.com/file/d/1uCjS0y0O0dTDItsMh8x2cf4-l3uHW1vE/view
相關閱讀
谷歌大模型研究陷重大爭議：訓練數(shù)據(jù)之外完全無法泛化？網友：AGI奇點推遲了
網友找出論文中更多關鍵卻被忽略的細節(jié)，比如只做了GPT-2規(guī)模的試驗等
