掃地機(jī)器人“離家出走”的真實(shí)原因找到了：差個(gè)自動(dòng)駕駛算法

蕭簫 2020-11-03 12:41:45 來源：量子位

蕭簫 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI

這家公司，竟然將自動(dòng)駕駛算法用在了他們的掃地機(jī)器人上。

大材小用？

還真沒有，雖然道路交通很復(fù)雜，但家里也一樣。

不僅要在靠近柜腳床腳時(shí)減速，還要在“看見”障礙物（掉在地上的襪子、纏繞的數(shù)據(jù)線）時(shí)來個(gè)急剎車。

還得肩負(fù)起逗貓遛狗的責(zé)任，給上班的你直播寵物的“作案現(xiàn)場(chǎng)”。

問題來了，機(jī)器人想要避開物體（如數(shù)據(jù)線、貓狗），用目標(biāo)檢測(cè)算法不就行了？

但目標(biāo)檢測(cè)算法只能識(shí)別已知物體，無法識(shí)別、測(cè)量未知物體的距離。

想讓機(jī)器避障，除了檢測(cè)特殊目標(biāo)，還需要自動(dòng)駕駛技術(shù)中的一項(xiàng)核心算法三維感知，即判斷障礙物距離和三維尺寸（體積大小）的能力。

人眼會(huì)下意識(shí)地判斷物體與自己的距離。

機(jī)器要想“學(xué)會(huì)”這種能力，同樣需要先擁有“眼睛”。

自動(dòng)駕駛避障核心：雙目視覺算法

深度感知用到的測(cè)距方法有很多，包括紅外、超聲波、激光、3D結(jié)構(gòu)光、3D ToF、單目視覺、雙目視覺等。

那么，為什么要選擇雙目視覺算法？

簡(jiǎn)單來說，就是讓機(jī)器像人一樣，用兩只眼睛看世界，產(chǎn)生“深度”感。不然，機(jī)器人看著你和身后的花瓶，會(huì)認(rèn)為是你正頂著一個(gè)花瓶，而不會(huì)產(chǎn)生“深度”感。

△錯(cuò)位圖

如果只有單目（只用一只眼睛，利用時(shí)間和判定框大小變化去測(cè)量距離）的話，機(jī)器也有辦法判斷距離，但就與人一樣，沒辦法判斷得那么精確。

例如，左右手各舉一支筆，在閉上一只眼睛后，試著將筆尖對(duì)筆尖——是不是容易對(duì)不上？因?yàn)榫嚯x感變差了，所以筆尖總是容易互相錯(cuò)過。

那么，激光雷達(dá)呢？

這的確是一個(gè)好東西，如果多個(gè)雷達(dá)全方位感知，機(jī)器就擁有了“神之視角”，每個(gè)角落都能看得清清楚楚。

然而，它造價(jià)太昂貴。如果在機(jī)器人身上裝上可以無死角掃視房間的雷達(dá)數(shù)量，它就變成了“行走的小金庫”，價(jià)格讓人無法直視。

此外，如紅外、超聲波等算法，避障精度不如雙目準(zhǔn)確；至于3D ToF、結(jié)構(gòu)光等算法，不僅成本高，需要額外配攝像頭做目標(biāo)檢測(cè)，而且沒有區(qū)分物體的能力，只能通過大小判斷障礙物。（例如，薄薄的襪子可能就被誤吸了）

這也是為什么，雙目視覺算法在無人車與無人機(jī)領(lǐng)域“備受歡迎”。

而現(xiàn)在，雙目視覺算法也被用在了掃地機(jī)器人上。

3cm以上：結(jié)合LDS，障礙物全識(shí)別

機(jī)器的“眼睛”，通俗點(diǎn)來說就是各種大大小小的傳感器。（激光雷達(dá)、相機(jī)后面的傳感器）

傳感器通常的工作原理，是機(jī)器（在角α頂點(diǎn)處）發(fā)射紅外線、超聲波、激光，通過“眼睛”（下圖角β的頂點(diǎn)）接收到后，再根據(jù)反射回來的角度、相位或時(shí)間，來判斷距離（d）。

△考驗(yàn)高中數(shù)學(xué)知識(shí)的時(shí)候到了

而雙目視覺的根本原理，就像是將這個(gè)三角形變成了3D版：

它的原理就兩步：①確定視差，即將兩個(gè)相機(jī)拍下來的照片進(jìn)行對(duì)比，找出兩張照片中相同的點(diǎn)間像素差，②基于視差，通過已知的雙目空間幾何關(guān)系，計(jì)算立體空間中各點(diǎn)的距離。

但相比人腦的高精度計(jì)算，想要實(shí)現(xiàn)計(jì)算機(jī)的雙目識(shí)別，并不只有解三角形這么簡(jiǎn)單。

一個(gè)重要的原因，就是在步驟②這一塊，計(jì)算機(jī)本身并不知道攝像機(jī)拍的兩張照片哪里是一樣的。

△在計(jì)算機(jī)眼里，這些小黃鴨就是一堆數(shù)據(jù)

這就導(dǎo)致雙目視覺算法的開發(fā)變得非常困難，但帶來的收益也很高。

不過，雙目視覺算法仍然有缺點(diǎn)，它受光線影響依舊很大。

所以在光線不足時(shí)，就用算法去主動(dòng)“補(bǔ)上光線”。

以石頭T7 Pro掃地機(jī)器人的算法為例，雙目視覺模塊分為視覺控制和深度估計(jì)兩部分，一個(gè)智能補(bǔ)光，一個(gè)估計(jì)深度。（甚至專門做個(gè)紅外拍出的相片，搞成數(shù)據(jù)集，訓(xùn)練補(bǔ)光識(shí)別效果）

但自動(dòng)駕駛算法，也絕不僅僅只靠“兩只眼睛”。

與人類不同，無論是自動(dòng)駕駛汽車、無人機(jī)、還是掃地機(jī)器人，都可以說是“全身遍布”著眼睛。

其中就包括LDS（激光雷達(dá)）。

當(dāng)雙目視覺算法遇上激光雷達(dá)（能搞定所在高度的平面避障），在二者的結(jié)合之下，機(jī)器人不僅能完美避開3cm以上的障礙物，還能通過它們“找準(zhǔn)自身定位”。

此外，激光雷達(dá)也會(huì)用在SLAM的建圖和定位上。

3cm以下：目標(biāo)檢測(cè)算法的最強(qiáng)“輔助”

不過，在實(shí)際應(yīng)用中，單靠雙目視覺算法和激光雷達(dá)，還遠(yuǎn)遠(yuǎn)不夠。

小于3×5厘米的物體，會(huì)比較麻煩，既要區(qū)分出要清掃的部分（紙屑、地毯）、又要避開一些容易纏住的障礙（數(shù)據(jù)線）。

這種情況下，雙目視覺算法就成了最好的“輔助”：協(xié)助目標(biāo)識(shí)別算法，將需要避開的物體檢測(cè)出來，準(zhǔn)確地區(qū)分垃圾與障礙物。

目標(biāo)檢測(cè)模型上，T7 Pro自研的神經(jīng)網(wǎng)絡(luò)借鑒了SSD，YOLO，及CenterNet等多種新型模型，目前還在不斷地迭代。

算法上，石頭采用了“一分為二”的待遇：高于3厘米的物體，繞障礙物邊沿避障和清掃；

小于3厘米的物體，按種類進(jìn)行清掃（紙屑、地毯）或避障（寵物便便、數(shù)據(jù)線）。

數(shù)據(jù)集上，石頭也“別有用心”：選出了一些特殊的物體，進(jìn)行“有差別對(duì)待”。

例如，大家都有所擔(dān)心的動(dòng)物便便，石頭T7 Pro的算法中直接加入了便便的識(shí)別（同情做數(shù)據(jù)集的一秒鐘），在接觸之前，遠(yuǎn)遠(yuǎn)地就避開它。

哪怕不在家，掃地機(jī)器人也不會(huì)把寵物便便拖得滿地都是。

雖然算法目前已經(jīng)迭代到了能夠識(shí)別9種物體的“體量”（還在增加ing），但不是所有的物體都像寵物便便這樣，會(huì)受到“遠(yuǎn)遠(yuǎn)避開”的待遇。

9類常見障礙物：底座類（吧臺(tái)椅、風(fēng)扇、手持底座、平底座、燈底座）、體重秤、線團(tuán)、插線板、鞋子、粑粑、織物（如襪子）、易卡家具（ 如U型椅）、簸箕

例如鞋子、風(fēng)扇這種相對(duì)較為安全的物體，離得近一點(diǎn)再避障也沒什么問題（推開一點(diǎn)不重要，掃干凈就行）。

以及，這部分算法還有個(gè)小彩蛋。

在你上班的時(shí)候，這個(gè)掃地機(jī)器人就能化身小管家，“監(jiān)督”寵物：是不是又把食盆打翻了？

不過，視頻只有直播，沒有云存儲(chǔ)，也就是說，其他人甚至沒辦法竊取你家的數(shù)據(jù)，所以，不用擔(dān)心掃地機(jī)器人會(huì)“變身間諜”。

繼續(xù)“拆解”后的發(fā)現(xiàn)

從深度感知部分來看，掃地機(jī)器人深度感知的原理，與無人駕駛算法有著相似之處：

如下圖，算法包含三大部分，第一部分是傳感器數(shù)據(jù)的獲取，第二部分是信息的提取，第三部分是獨(dú)特導(dǎo)航算法的融合（后融合）。

但這并不意味著，掃地機(jī)器人的算法與無人駕駛汽車的算法一樣。

在實(shí)際應(yīng)用上，掃地機(jī)器人需要“近距離避障”（晚點(diǎn)剎車，掃得更干凈），自動(dòng)駕駛汽車則相反，需要以“安全”為主（盡早剎車）。

所以，雖然二者的避障核心都是自動(dòng)駕駛中的雙目視覺算法，但數(shù)據(jù)處理方式不同。

從根本上來說，它們都是智能機(jī)器人，為了讓生活變得更方便而存在。

“智能，讓人們更聚焦于生活”

石頭科技CTO、本碩畢業(yè)于浙大的吳震，在接受量子位采訪時(shí)表示，基于用戶場(chǎng)景持續(xù)迭代，掃地機(jī)器人才能更好地適應(yīng)千家萬戶的多樣性。

△石頭科技CTO吳震

例如，內(nèi)測(cè)的時(shí)候，先對(duì)身邊的人“下手”：

在我們第一代產(chǎn)品內(nèi)測(cè)時(shí)，我們發(fā)現(xiàn)有一位同事家里，一件老家具很容易卡住機(jī)器人。

后來我們就給這位同事買了一件相似的新家具，然后把這件老家具搬到實(shí)驗(yàn)室，作為我們標(biāo)準(zhǔn)測(cè)試項(xiàng)目。

而掃地機(jī)器人被發(fā)明出來的初衷，本質(zhì)上與無人駕駛汽車一樣，目的是將人類從勞動(dòng)（駕車、瑣碎的家務(wù)等）中解放出來，聚焦于生活。

吳震相信，伴隨著計(jì)算機(jī)視覺的發(fā)展，智能機(jī)器人的視覺算法也會(huì)變得越來越完善。

“掃地機(jī)器人，在我們看來是機(jī)器人技術(shù)在家庭環(huán)境下的第一個(gè)應(yīng)用，但不會(huì)是最后一個(gè)。它不是終點(diǎn)，而是開始、是未來?！?/p>

期待這些未來的智能機(jī)器人，能（讓我們變得更懶）更加解放我們的雙手。