AI如何變革家居軟裝？拍圖就能搜商品，深度學(xué)習(xí)平臺飛槳新玩法

智能車參考 2019-06-04 07:41:32 來源：量子位

允中 發(fā)自 凹非寺

量子位 編輯 | 公眾號 QbitAI

隨著消費(fèi)互聯(lián)網(wǎng)流量紅利的逐漸殆盡，移動互聯(lián)網(wǎng)的主戰(zhàn)場轉(zhuǎn)向產(chǎn)業(yè)互聯(lián)網(wǎng)，家居行業(yè)3D數(shù)字化進(jìn)程高歌猛進(jìn)，行業(yè)開始沉淀下了大量的與真實商品對應(yīng)3D模型數(shù)據(jù)，如何應(yīng)用真實商品的3D數(shù)據(jù)的多維度特點(diǎn)，來改善消費(fèi)者的購物體驗具有重要意義。

國內(nèi)地產(chǎn)交付房子時存在毛坯房和精裝房的區(qū)分。

△?圖（毛坯房）

△?圖（精裝房）

根據(jù)次元視界2018年上百家一二線城市的消費(fèi)者調(diào)查數(shù)據(jù)（來源：http://wap.panguvr.com/docs/detail/134）顯示，90%的消費(fèi)群體會在軟裝裝修前上網(wǎng)搜圖。但如今，線下實體店仍然占據(jù)80%的銷售額，線上流量無法直接轉(zhuǎn)化成消費(fèi)行為是行業(yè)中的一大痛點(diǎn)。如何將線上線下的優(yōu)勢結(jié)合，優(yōu)化資源配置，快速實現(xiàn)線下家居實體業(yè)的「進(jìn)化」，成為家居企業(yè)發(fā)展的重中之重。

但實現(xiàn)線下家居實體業(yè)的進(jìn)化存在諸多難點(diǎn)：

從消費(fèi)者角度看信息大爆炸時代內(nèi)容龐雜，很難利用效果圖在線上直接搜索到，或在線下快速找到想要家居產(chǎn)品。即使搜索到，也難以想象其實際的大小、擺放效果等。而逛實體店“按圖索驥”，又會有店鋪分散、產(chǎn)品分散，費(fèi)時費(fèi)力的問題。

從家居行業(yè)商戶角度看，線上銷售渠道雖然逐漸豐富， 但隨之而來的也是大量賣家涌入線上平臺，線上流量爭奪激烈、紅利減少，產(chǎn)品大概率為2D圖片，用戶體驗差。

總結(jié)來說，隨著新零售、大家居、互聯(lián)網(wǎng)家裝等新理念席卷，“線上+線下”雙融合的家裝營銷模式更符合行業(yè)發(fā)展趨勢。引導(dǎo)消費(fèi)者通過效果圖來直接展開消費(fèi)行為為產(chǎn)業(yè)革新的關(guān)鍵。

這些問題，隨著近年來卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）為代表的深度學(xué)習(xí)模型的廣泛應(yīng)用，有了很好的解決方法。

次元視界應(yīng)用飛槳（PaddlePaddle），將Faster R-CNN應(yīng)用于效果圖真實商品檢測，并結(jié)合可視化技術(shù)（Web3D、混合現(xiàn)實、全景云圖），為消費(fèi)者帶來高品質(zhì)的視覺感知服務(wù)，實現(xiàn)以圖搜商品。

飛槳（PaddlePaddle）是百度自研的集深度學(xué)習(xí)框架、工具組件和服務(wù)平臺為一體的技術(shù)領(lǐng)先、功能完備的開源深度學(xué)習(xí)平臺，有全面的官方支持的工業(yè)級應(yīng)用模型，涵蓋自然語言處理、計算機(jī)視覺、推薦引擎等多個領(lǐng)域，并開放多個領(lǐng)先的預(yù)訓(xùn)練中文模型。

有關(guān)飛槳（PaddlePaddle）的更多信息，請查看：

http://www.paddlepaddle.org/

在下文中，我們將詳細(xì)介紹飛槳（PaddlePaddle）如何與Faster R-CNN結(jié)合起來，實現(xiàn)以圖搜商品的功能。

什么是Faster R-CNN

Faster R-CNN可以看作特征提取網(wǎng)絡(luò)、Fast R-CNN和區(qū)域建議網(wǎng)絡(luò)（Region Proposal Network, RPN）的組合。根據(jù)相關(guān)資料顯示，以圖搜商品的搜索準(zhǔn)確率，會根據(jù)物體類別有所不同，大致分為三個類別：

1. 平面物體，如畫報、裝飾畫等，準(zhǔn)確率可達(dá)到 95%以上；
2. 三維剛性物體，如立體家居模型，準(zhǔn)確率在 80%以上；
3. 對于柔性或紋理單一物體，如紡織類、紋理單一的物品等，識別相對困難。

目前，圖像搜索在某些垂直領(lǐng)域已經(jīng)可以成熟應(yīng)用，然而面向“萬物搜索”，仍有較大的提升空間。不過，對于家居行業(yè)來說，商品基本上是在平面物體、三維剛性物體上展示，因而在搜索時可以達(dá)到較高的準(zhǔn)確率。

家居商品檢測方法

效果圖Object Detection

以圖搜商品將解決文字搜索無法精確描述場景的問題，如海淘搜索商品時語種不對稱、實時場景中看到心儀商品但信息不對稱的情況等。不過，想要對效果圖進(jìn)行解鎖提取家具的單品圖，我們需要采用目標(biāo)檢測（Object Detection），目的是將效果圖中的每個家具獨(dú)立框選出來，并且識別出框中的是沙發(fā)、茶幾、電視柜、床等家具類別。

△?圖（效果圖框選家具標(biāo)識類別）

目標(biāo)檢測的第一步是要區(qū)域提名（Region Proposal）,類似于光學(xué)字符識別（OCR），簡單的說就是盡量切碎到小的連通域，然后再根據(jù)相鄰塊的一些形態(tài)學(xué)特征進(jìn)行合并，所以一定程度上可以說區(qū)域提名是更難的一個問題。

從機(jī)器學(xué)習(xí)的角度來說，問題的核心在于如何有效地去冗余候選區(qū)域，其實冗余候選區(qū)域大多是發(fā)生了重疊，選擇性搜索利用這一點(diǎn)，自底向上合并相鄰的重疊區(qū)域，從而減少冗余。

單品圖特征檢索

通過Object Detection我們可以提取效果圖獲得家具單品圖和單品類型，假設(shè)我們提取了類型為床的單品圖。

△?圖（床搜索原圖）

輸入單品圖和類型，快速找到相似的商品

感知哈希（hash）算法的應(yīng)用

感知哈希（hash）算法是一個有可比較的哈希函數(shù)的類，圖像特征被用于生成獨(dú)特（但不是唯一）的指紋，而這些指紋是可比較的。提取家具圖像hash值的我們需要進(jìn)行如下步驟：

1. 縮小尺寸：去除高頻和細(xì)節(jié)的最快方法是縮小圖片，將圖片縮小到8×8的尺寸，總共64個像素；
2. 簡化色彩:將8*8的小圖片轉(zhuǎn)換成灰度圖像；
3. 計算平均值：計算所有64個像素的灰度平均值；
4. 比較像素灰度：將每個像素的灰度，與平均值進(jìn)行比較。大于或等于平均值，記為1；小于平均值，記為0；
5. 計算hash值：組合在一起，就構(gòu)成了一個64位的整數(shù)，這就是這張圖片的指紋。

3D數(shù)據(jù)采集

通過實時渲染技術(shù)快速生成每個家居3D模型不同角度的幾十張圖像數(shù)據(jù),并且混合復(fù)雜背景提升訓(xùn)練后的識別準(zhǔn)確率。

△?圖（多角度圖片示例）

基于3D模型我們還可以采集商品的搭配色彩表、材質(zhì)信息、尺寸信息等更多維度的數(shù)據(jù)集，為之后的軟裝搭配智能推薦算法打下基礎(chǔ)。

用不同深度學(xué)習(xí)框架的體驗

首先我們先嘗試的是谷歌的TensorFlow 深度學(xué)習(xí)框架，但在衡量本土化支持、開發(fā)者支持以及之后的商業(yè)化潛力后，我們決定無縫遷移到百度的飛槳（PaddlePaddle）。

由于之前《次元視界》已經(jīng)基于TF 的Fast RCNN 做了將近三個月的大量數(shù)據(jù)聯(lián)系，遷移到飛槳（PaddlePaddle）后我們有了以下發(fā)現(xiàn)——飛槳（PaddlePaddle） 更完美地支持了模型并行和數(shù)據(jù)并行多機(jī)訓(xùn)練。由于我們的數(shù)據(jù)，是每個家居3D模型不同角度的幾十張圖像數(shù)據(jù)、海量模型，包括大家居所有品類，這就意味著需要處理大于幾個Terabyte的數(shù)據(jù)。

飛槳（PaddlePaddle）的運(yùn)算占用內(nèi)存小、速度快、支持并行，對我們的工作量非常適合。經(jīng)過一周的訓(xùn)練，我們的模型輪廓識別準(zhǔn)確率已達(dá)到89%，高于TF11%的識別率，并且其中的False Positive Rate (FPR) 也比之前減少了32%。

總結(jié)

產(chǎn)業(yè)互聯(lián)網(wǎng)時代，互聯(lián)網(wǎng)平臺掌握更多的數(shù)據(jù)量，與之相關(guān)的處理、計算、分析等實踐基礎(chǔ)更完善，從而幫助企業(yè)實現(xiàn)數(shù)字化轉(zhuǎn)型。而卷積神經(jīng)網(wǎng)絡(luò)具有多層次語義表達(dá)能力，不同層所提取的圖像特征具有不同含義，選擇不同卷積層會提取出不同層次的特征，在未來發(fā)展上極具優(yōu)勢。

本應(yīng)用以家居行業(yè)效果圖和真實商品庫為研究對象，綜合考慮消費(fèi)者軟裝搭配選購的特點(diǎn)，展開以效果圖搜索家居3D商品庫數(shù)據(jù)集，通過3D模型的多維度特性增強(qiáng)擴(kuò)大樣本規(guī)模，實現(xiàn)對效果圖的快速解鎖、檢索和匹配。

結(jié)合次元視界的3D模型自動化處理技術(shù)，全球各類模型共享網(wǎng)站都可作為數(shù)據(jù)集構(gòu)建，該數(shù)據(jù)集可獲取幾百萬家居模型和幾百種分類，可覆蓋全球家居的商品類別和外觀。

未來基于3D數(shù)據(jù)構(gòu)建的樣本系統(tǒng)，可將積累的用戶數(shù)據(jù)最大化的利用，計算機(jī)將建立和推測用戶的需求模型以及各種解的模型，從而主動篩選出最佳內(nèi)容，即未來將擴(kuò)展為精準(zhǔn)的可結(jié)合戶型、喜好的家居軟裝搭配智能推薦系統(tǒng)，成為一個全新的家居流量入口。