「樹(shù)莓派+1萬(wàn)塊樂(lè)高」打造樂(lè)高分類器，樹(shù)莓派官方轉(zhuǎn)發(fā)，網(wǎng)友：我想借來(lái)用兩天
耗時(shí)2年
曉查 發(fā)自 凹非寺?量子位 報(bào)道 | 公眾號(hào) QbitAI
拼樂(lè)高最頭疼的問(wèn)題是什么？
當(dāng)然是苦苦尋找某個(gè)形狀的積木卻找不到。當(dāng)你興致勃勃地打開(kāi)包裝時(shí)，眼前的一切卻是這樣，內(nèi)心會(huì)作何感想？
現(xiàn)在好了，國(guó)外一位樂(lè)高愛(ài)好者Daniel West用AI解決了這個(gè)難題。他使用自己開(kāi)發(fā)的“樂(lè)高分類器”，不到2秒時(shí)間就能給一塊積木歸類。
（注：實(shí)際分類速度快一倍，為了方便展示，作者將動(dòng)圖速度減半。）
這個(gè)分類器由樹(shù)莓派和1萬(wàn)塊樂(lè)高積木組成，耗時(shí)2年打造，真的是“用樂(lè)高搞定樂(lè)高”，堪稱最硬核的“套娃”。
我們先來(lái)感受一下它龐大的外形：
最近，如此硬核的設(shè)備也得到了樹(shù)莓派官方轉(zhuǎn)發(fā)。
Daniel的技術(shù)是在前人的基礎(chǔ)上完成，但更加先進(jìn)：它可以識(shí)別出所有曾經(jīng)創(chuàng)建的樂(lè)高積木，甚至是從未見(jiàn)過(guò)的積木。
因此Daniel把它叫做世界上第一臺(tái)“通用樂(lè)高分類器”（universal LEGO sorting machine）。
工作過(guò)程
首先把一桶樂(lè)高積木倒入分類器中，在履帶的傳送下，積木分批少量地落入V形槽。
在V形槽的抖動(dòng)下，積木又被一塊塊分別抖入傳送帶中。
傳送帶上方的攝像頭會(huì)拍下多幀畫面，并在此過(guò)程中完成積木種類的識(shí)別。
而后，不同形狀的積木分裝在不同的桶里。
最后再根據(jù)拼裝的設(shè)定，將積木按照需要裝入各個(gè)物料盒中。
看完這套設(shè)備后，有網(wǎng)友表示：能不能借我回去用幾天？
技術(shù)實(shí)現(xiàn)
其實(shí)Daniel所用的技術(shù)并不復(fù)雜，他甚至還為此寫過(guò)兩篇教程。
這臺(tái)機(jī)器用到的硬件有：樹(shù)莓派3B+，樹(shù)莓派攝像頭模塊V2，9臺(tái)伺服電機(jī)，6臺(tái)樂(lè)高電機(jī)。不過(guò)，最復(fù)雜的硬件應(yīng)該是Daniel設(shè)計(jì)的1萬(wàn)塊積木的拼裝。
首先開(kāi)始的是圖像數(shù)據(jù)標(biāo)注工作，Daniel先讓機(jī)器運(yùn)行了幾天，收集了大約30萬(wàn)張未標(biāo)記的樂(lè)高積木圖像。
用手工給30萬(wàn)張圖片一一打上標(biāo)簽顯然是不切實(shí)際的，而相機(jī)會(huì)給一塊積木拍攝10~20張照片，通過(guò)打包標(biāo)注的方法，可以將效率提高10~20倍。
但即便如此，也有上萬(wàn)組照片需要標(biāo)記。一次次將標(biāo)簽內(nèi)容填入csv文件顯然是個(gè)笨辦法。而且樂(lè)高種類繁多，比如2×2的方塊種類就有很多，沒(méi)必要分得太細(xì)。
因此，Daniel決定利用自己的Web開(kāi)發(fā)經(jīng)驗(yàn)，花幾個(gè)小時(shí)來(lái)編寫了一個(gè)簡(jiǎn)單的Web應(yīng)用程序。速度又提高了2~5倍。
即便如此，效率仍然太低。Daniel再次想到用AI“打輔助”，讓AI給出TOP-5，自己在App里選中正確的選項(xiàng)，這樣每秒5就能標(biāo)記10張圖片，整體效率提升了40~1000倍。
在軟件的設(shè)計(jì)上，Daniel遇到了更大的挑戰(zhàn)，那就是樹(shù)莓派的AI運(yùn)算能力并不強(qiáng)，如何實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)檢測(cè)。
最初，他想到使用YOLO或Faster R-CNN，然而很難在樹(shù)莓派上達(dá)到90fps的處理速度，如果將圖像流式傳輸?shù)絇C上處理，網(wǎng)絡(luò)帶寬又會(huì)成為性能瓶頸。
Daniel不得不使用“老式”計(jì)算機(jī)視覺(jué)技術(shù)——OpenCV庫(kù)里的MOG2背景扣除器，即使在樹(shù)莓派3B+上它也能快速處理數(shù)據(jù)。
但是，直接將視頻幀發(fā)送到MOG2并不能正常工作。淺灰色和白色積木的亮度與傳送帶背景過(guò)于相似，難以識(shí)別。需要做的是在圖像傳遞給MOG2之前增加圖像的飽和度。
另外，RGB圖像的傳輸帶寬也太高，Daniel只好使用YUV格式將圖像帶寬壓縮一半，并把目標(biāo)檢測(cè)框外的像素裁剪掉。
經(jīng)過(guò)重重簡(jiǎn)化，這套系統(tǒng)達(dá)到了70~80fps的處理速度。
最后，在樹(shù)莓派的官方博客下面的回復(fù)中，還有一位高人。他在4年前就設(shè)計(jì)過(guò)一款分類器，給兩噸的樂(lè)高積木進(jìn)行分類。
這年頭，不懂點(diǎn)AI技術(shù)都不敢玩樂(lè)高了。
參考鏈接： https://www.raspberrypi.org/blog/raspberry-pi-lego-sorter/ https://towardsdatascience.com/how-i-created-over-100-000-labeled-lego-training-images-ec74191bb4ef https://towardsdatascience.com/a-high-speed-computer-vision-pipeline-for-the-universal-lego-sorting-machine-253f5a690ef4
版權(quán)所有，未經(jīng)授權(quán)不得以任何形式轉(zhuǎn)載及使用，違者必究。
- 腦機(jī)接口走向現(xiàn)實(shí)，11張PPT看懂中國(guó)腦機(jī)接口產(chǎn)業(yè)現(xiàn)狀｜量子位智庫(kù)2021-08-10
- 張朝陽(yáng)開(kāi)課手推E=mc2，李永樂(lè)現(xiàn)場(chǎng)狂做筆記2022-03-11
- 阿里數(shù)學(xué)競(jìng)賽可以報(bào)名了！獎(jiǎng)金增加到400萬(wàn)元，題目面向大眾公開(kāi)征集2022-03-14
- 英偉達(dá)遭黑客最后通牒：今天必須開(kāi)源GPU驅(qū)動(dòng)，否則公布1TB機(jī)密數(shù)據(jù)2022-03-05
相關(guān)閱讀
