谷歌發(fā)布人體圖像分割工具BodyPix 2.0，支持多人識別，可在iPhone上流暢運行
曉查 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
今天，Google官方推出了使用TensorFlow.js的人體圖像分割工具BodyPix 2.0，對該工具進(jìn)行了一次重大升級，加入多人支持，并提高了準(zhǔn)確率。
BodyPix能將圖像分割為屬于人的和不屬于人的像素，屬于人的部分可以進(jìn)一步分類為二十四個身體部位之一。
BodyPix可以直接在瀏覽器中運行，開發(fā)者只需加入幾行代碼，即可與電腦或手機的攝像頭配合使用。
在使用默認(rèn)設(shè)置的情況下，BodyPix可以在15寸MacBook Pro上以25 fps的速度估計，并渲染人和身體部位的分割。而在iPhone X上，BodyPix能以21 fps的速度進(jìn)行估計。
BodyPix于今年2月推出，本次2.0版的主要更新有：對多人圖像的支持、增加基于ResNet-50的模型、新的API、權(quán)重量化以及對不同尺寸圖像的支持。
功能演示
在項目的GitHub主頁上，TensorFlow給出了BodyPix 2.0軟件的一些基本用法演示，還有網(wǎng)頁版Demo供用戶體驗。
人像分割
對于給定具有一個或多個人的圖像，人像分割可預(yù)測所有人的分割。segmentPerson返回PersonSegmentation，對應(yīng)于圖像中人物分割的對象。
segmentPerson默認(rèn)不會在不同的個人之間消歧義。因此如果您需要對不同的人進(jìn)行區(qū)分，請使用segmentMultiPerson，不過引入此方法會導(dǎo)致運行速度變慢。
以上結(jié)果返回的是一組0和1的數(shù)組，用于表示該像素點是否屬于人。
身體部位細(xì)分
BodyPix的segmentPersonParts方法可以預(yù)測所有人的24個身體部位分割。
PartSegmentation會所有合并的人，返回值是每個像素與身體部位相對應(yīng)的編碼。同樣的，如果需要區(qū)分多人，請使用segmentMultiPersonParts。
身體不同部位對應(yīng)的編碼如下表所示：
把結(jié)果輸出到圖像上
BodyPix還包含其他實用程序功能，可以將輸出結(jié)果與原始圖像合成，得到你所需的渲染圖像。
bodyPix.toMask可以給人和背景加上一層蒙版，指定渲染像素的顏色和不透明度。
bodyPix.toColoredPartMask可以給人體部位分割加上一個24色的顏色數(shù)組，每個身體部位都對應(yīng)著數(shù)組中的一個顏色。
以上是BodyPix的基礎(chǔ)功能的用法。
既然BodyPix可以區(qū)分出人體和背景 ，我們就可以用它實現(xiàn)實時的背景虛化，調(diào)用的API方法是bodyPix.drawBokehEffect。
利用BodyPix識別出身體不同部位的功能，可以調(diào)用bodyPix.blurBodyPart給人臉打上馬賽克。
此外還有更多的圖像繪制API，在此就不一一列舉了。
安裝方法
BodyPix使用非常簡便，用戶可以將其與腳本標(biāo)簽一起嵌入HTML使用：
<html>
<body>
<!-- Load TensorFlow.js -->
<script src="https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@0.13.3"></script>
<!-- Load BodyPix -->
<script src="https://cdn.jsdelivr.net/npm/@tensorflow-models/body-pix"></script>
bodypix.load().then(function(net) {
// BodyPix model loaded
});
</script>
</body>
</html>
或者通過npm方式安裝：
npm install @tensorflow-models/body-pix
然后使用es6模塊導(dǎo)入：
import * as bodyPix from '@tensorflow-models/body-pix';
async function loadAndUseBodyPix() {
const net = await bodyPix.load();
// BodyPix model loaded
}
如何讓BodyPix運行更快
BodyPix帶有不同尺寸的模型，具有不同的性能。通過設(shè)定模型的大小和輸出步長，可以在運行速度和準(zhǔn)確性之間進(jìn)行權(quán)衡。
默認(rèn)情況下，BodyPix加載的是0.75倍的MobileNetV1架構(gòu)，適合中低端GPU的計算機使用，而導(dǎo)入0.50倍的模型可以用于移動設(shè)備。
const net = await bodyPix.load({
architecture: 'MobileNetV1',
outputStride: 16,
multiplier: 0.75,
quantBytes: 2
});
倍率的數(shù)值越大，神經(jīng)網(wǎng)絡(luò)中層的尺寸也越大，準(zhǔn)確率更高、推理速度更慢。不同倍率模型的性能對比如下：
對于具有更強大GPU的計算機，官方建議使用ResNet架構(gòu)，這一部分也是2.0版加入的新功能。
const net = await bodyPix.load({
architecture: 'ResNet50',
outputStride: 32,
quantBytes: 2
});
原理簡介
BodyPix的核心是執(zhí)行人體分割的算法，對輸入圖像的每個像素執(zhí)行二進(jìn)制決策，以估計該像素是否屬于某個人。
圖像通過MobileNet網(wǎng)絡(luò)饋送，并且使用S型激活函數(shù)將輸出轉(zhuǎn)換為0到1之間的值。
為了估計身體部位的分割，BodyPix使用相同的MobileNet表示，但是這次通過預(yù)測額外的24個通道輸出張量P來重復(fù)上述過程，其中二十四是身體部位的數(shù)量。每個通道編碼身體某部位是否存在的概率。
輸出張量P中有24個通道，因此需要在24個通道中找到最佳部分。在推斷期間，對于輸出身體部位張量P的每個像素位置（u，v），body_part_id使用以下公式選擇屬于第i個部位概率最高的像素：
這將產(chǎn)生一個二維圖像，每個像素都包含一個整數(shù)，該整數(shù)表示該像素屬于哪個身體部位。通過將值設(shè)置為-1，可以把不屬于人體的部分剔除掉。
傳送門
試玩Demo：
https://storage.googleapis.com/tfjs-models/demos/body-pix/index.html
官方博客：
https://blog.tensorflow.org/2019/11/updated-bodypix-2.html
GitHub地址：
https://github.com/tensorflow/tfjs-models/tree/master/body-pix
相關(guān)閱讀
