谷歌發(fā)布人體圖像分割工具BodyPix 2.0，支持多人識(shí)別，可在iPhone上流暢運(yùn)行
曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
今天，Google官方推出了使用TensorFlow.js的人體圖像分割工具BodyPix 2.0，對(duì)該工具進(jìn)行了一次重大升級(jí)，加入多人支持，并提高了準(zhǔn)確率。
BodyPix能將圖像分割為屬于人的和不屬于人的像素，屬于人的部分可以進(jìn)一步分類(lèi)為二十四個(gè)身體部位之一。
BodyPix可以直接在瀏覽器中運(yùn)行，開(kāi)發(fā)者只需加入幾行代碼，即可與電腦或手機(jī)的攝像頭配合使用。
在使用默認(rèn)設(shè)置的情況下，BodyPix可以在15寸MacBook Pro上以25 fps的速度估計(jì)，并渲染人和身體部位的分割。而在iPhone X上，BodyPix能以21 fps的速度進(jìn)行估計(jì)。
BodyPix于今年2月推出，本次2.0版的主要更新有：對(duì)多人圖像的支持、增加基于ResNet-50的模型、新的API、權(quán)重量化以及對(duì)不同尺寸圖像的支持。
功能演示
在項(xiàng)目的GitHub主頁(yè)上，TensorFlow給出了BodyPix 2.0軟件的一些基本用法演示，還有網(wǎng)頁(yè)版Demo供用戶(hù)體驗(yàn)。
人像分割
對(duì)于給定具有一個(gè)或多個(gè)人的圖像，人像分割可預(yù)測(cè)所有人的分割。segmentPerson返回PersonSegmentation，對(duì)應(yīng)于圖像中人物分割的對(duì)象。
segmentPerson默認(rèn)不會(huì)在不同的個(gè)人之間消歧義。因此如果您需要對(duì)不同的人進(jìn)行區(qū)分，請(qǐng)使用segmentMultiPerson，不過(guò)引入此方法會(huì)導(dǎo)致運(yùn)行速度變慢。
以上結(jié)果返回的是一組0和1的數(shù)組，用于表示該像素點(diǎn)是否屬于人。
身體部位細(xì)分
BodyPix的segmentPersonParts方法可以預(yù)測(cè)所有人的24個(gè)身體部位分割。
PartSegmentation會(huì)所有合并的人，返回值是每個(gè)像素與身體部位相對(duì)應(yīng)的編碼。同樣的，如果需要區(qū)分多人，請(qǐng)使用segmentMultiPersonParts。
身體不同部位對(duì)應(yīng)的編碼如下表所示：
把結(jié)果輸出到圖像上
BodyPix還包含其他實(shí)用程序功能，可以將輸出結(jié)果與原始圖像合成，得到你所需的渲染圖像。
bodyPix.toMask可以給人和背景加上一層蒙版，指定渲染像素的顏色和不透明度。
bodyPix.toColoredPartMask可以給人體部位分割加上一個(gè)24色的顏色數(shù)組，每個(gè)身體部位都對(duì)應(yīng)著數(shù)組中的一個(gè)顏色。
以上是BodyPix的基礎(chǔ)功能的用法。
既然BodyPix可以區(qū)分出人體和背景 ，我們就可以用它實(shí)現(xiàn)實(shí)時(shí)的背景虛化，調(diào)用的API方法是bodyPix.drawBokehEffect。
利用BodyPix識(shí)別出身體不同部位的功能，可以調(diào)用bodyPix.blurBodyPart給人臉打上馬賽克。
此外還有更多的圖像繪制API，在此就不一一列舉了。
安裝方法
BodyPix使用非常簡(jiǎn)便，用戶(hù)可以將其與腳本標(biāo)簽一起嵌入HTML使用：
<html>
<body>
<!-- Load TensorFlow.js -->
<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@0.13.3"></script>
<!-- Load BodyPix -->
<script src="https://cdn.jsdelivr.net/npm/@tensorflow-models/body-pix"></script>
bodypix.load().then(function(net) {
// BodyPix model loaded
});
</script>
</body>
</html>
或者通過(guò)npm方式安裝：
npm install @tensorflow-models/body-pix
然后使用es6模塊導(dǎo)入：
import * as bodyPix from '@tensorflow-models/body-pix';
async function loadAndUseBodyPix() {
const net = await bodyPix.load();
// BodyPix model loaded
}
如何讓BodyPix運(yùn)行更快
BodyPix帶有不同尺寸的模型，具有不同的性能。通過(guò)設(shè)定模型的大小和輸出步長(zhǎng)，可以在運(yùn)行速度和準(zhǔn)確性之間進(jìn)行權(quán)衡。
默認(rèn)情況下，BodyPix加載的是0.75倍的MobileNetV1架構(gòu)，適合中低端GPU的計(jì)算機(jī)使用，而導(dǎo)入0.50倍的模型可以用于移動(dòng)設(shè)備。
const net = await bodyPix.load({
architecture: 'MobileNetV1',
outputStride: 16,
multiplier: 0.75,
quantBytes: 2
});
倍率的數(shù)值越大，神經(jīng)網(wǎng)絡(luò)中層的尺寸也越大，準(zhǔn)確率更高、推理速度更慢。不同倍率模型的性能對(duì)比如下：
對(duì)于具有更強(qiáng)大GPU的計(jì)算機(jī)，官方建議使用ResNet架構(gòu)，這一部分也是2.0版加入的新功能。
const net = await bodyPix.load({
architecture: 'ResNet50',
outputStride: 32,
quantBytes: 2
});
原理簡(jiǎn)介
BodyPix的核心是執(zhí)行人體分割的算法，對(duì)輸入圖像的每個(gè)像素執(zhí)行二進(jìn)制決策，以估計(jì)該像素是否屬于某個(gè)人。
圖像通過(guò)MobileNet網(wǎng)絡(luò)饋送，并且使用S型激活函數(shù)將輸出轉(zhuǎn)換為0到1之間的值。
為了估計(jì)身體部位的分割，BodyPix使用相同的MobileNet表示，但是這次通過(guò)預(yù)測(cè)額外的24個(gè)通道輸出張量P來(lái)重復(fù)上述過(guò)程，其中二十四是身體部位的數(shù)量。每個(gè)通道編碼身體某部位是否存在的概率。
輸出張量P中有24個(gè)通道，因此需要在24個(gè)通道中找到最佳部分。在推斷期間，對(duì)于輸出身體部位張量P的每個(gè)像素位置（u，v），body_part_id使用以下公式選擇屬于第i個(gè)部位概率最高的像素：
這將產(chǎn)生一個(gè)二維圖像，每個(gè)像素都包含一個(gè)整數(shù)，該整數(shù)表示該像素屬于哪個(gè)身體部位。通過(guò)將值設(shè)置為-1，可以把不屬于人體的部分剔除掉。
傳送門(mén)
試玩Demo：
https://storage.googleapis.com/tfjs-models/demos/body-pix/index.html
官方博客：
https://blog.tensorflow.org/2019/11/updated-bodypix-2.html
GitHub地址：
https://github.com/tensorflow/tfjs-models/tree/master/body-pix
- 腦機(jī)接口走向現(xiàn)實(shí)，11張PPT看懂中國(guó)腦機(jī)接口產(chǎn)業(yè)現(xiàn)狀｜量子位智庫(kù)2021-08-10
- 張朝陽(yáng)開(kāi)課手推E=mc2，李永樂(lè)現(xiàn)場(chǎng)狂做筆記2022-03-11
- 阿里數(shù)學(xué)競(jìng)賽可以報(bào)名了！獎(jiǎng)金增加到400萬(wàn)元，題目面向大眾公開(kāi)征集2022-03-14
- 英偉達(dá)遭黑客最后通牒：今天必須開(kāi)源GPU驅(qū)動(dòng)，否則公布1TB機(jī)密數(shù)據(jù)2022-03-05
相關(guān)閱讀
CLIP當(dāng)RNN用入選CVPR：無(wú)需訓(xùn)練即可分割無(wú)數(shù)概念｜牛津大學(xué)&谷歌研究院
開(kāi)放詞匯量圖像分割領(lǐng)域新突破
給自動(dòng)駕駛AI搞個(gè)“外掛”，0.1M就能顯著提升運(yùn)動(dòng)狀態(tài)判別力，來(lái)自港大&TCL丨開(kāi)源
論文被CVPR 2023收錄
嬴徹科技拿下SemanticKITTI榜單兩項(xiàng)第一
SemanticKITTI是激光雷達(dá)語(yǔ)義分割的重要基準(zhǔn)之一
比Meta「分割一切AI」更全能！港科大版圖像分割A(yù)I來(lái)了：實(shí)現(xiàn)更強(qiáng)粒度和語(yǔ)義功能
多個(gè)粒度上分割和識(shí)別物體的通用圖像分割模型
