谷歌都燒不動(dòng)了！自動(dòng)駕駛數(shù)據(jù)存儲之困：落地越多數(shù)據(jù)越大成本越高
自動(dòng)駕駛最新落地挑戰(zhàn)曝光
鄧思邈 發(fā)自 副駕寺
智能車參考 | 公眾號 AI4Auto
自動(dòng)駕駛最新的研發(fā)和落地挑戰(zhàn)曝光了：數(shù)據(jù)存儲成本高昂，自動(dòng)駕駛公司正在想辦法“節(jié)食”。
這不，谷歌旗下Waymo攤牌了——
現(xiàn)階段更注重自動(dòng)駕駛數(shù)據(jù)的質(zhì)量，而不是數(shù)量。
必須篩選出有保存價(jià)值的數(shù)據(jù)，丟掉沒有價(jià)值的數(shù)據(jù)。
其實(shí)，這也是在Robotaxi相繼落地鳳凰城、舊金山后，不得已做出的選擇。
很顯然越往后發(fā)展，數(shù)據(jù)成本會越大…這對于自動(dòng)駕駛是新的考驗(yàn)。
更加注重?cái)?shù)據(jù)質(zhì)量
對于自動(dòng)駕駛數(shù)據(jù)，Waymo定下了明確的要求。
根據(jù)最新消息，近日Waymo為負(fù)責(zé)計(jì)算基礎(chǔ)設(shè)施的團(tuán)隊(duì)設(shè)置了嚴(yán)格的數(shù)據(jù)上限。
他們現(xiàn)在只保存新采集的數(shù)據(jù)，將老的數(shù)據(jù)刪掉，因?yàn)榕c當(dāng)前的技術(shù)、實(shí)際情況和各項(xiàng)優(yōu)先級相比，之前的數(shù)據(jù)已經(jīng)過時(shí)了。
此外，Waymo公司從上到下都需要配合——各個(gè)團(tuán)隊(duì)被分配了不同的數(shù)據(jù)存儲限額。
例如，有的團(tuán)隊(duì)負(fù)責(zé)讓車輛識別周圍的環(huán)境（感知） ，有的團(tuán)隊(duì)則基于以往的乘坐經(jīng)歷來測試軟件更新（評估），這些小組都需要對數(shù)據(jù)進(jìn)行取舍。
如果他們選擇保留車輛應(yīng)急突發(fā)事件的數(shù)據(jù)，那么系統(tǒng)就會自動(dòng)過濾掉其他無關(guān)的數(shù)據(jù)。
Waymo做出這一改變后效果如何？
軟件工程師查塔姆透露，他們的“新政”非常奏效，隨著Robotaxi車隊(duì)規(guī)模的擴(kuò)大，他們必須盡快舍棄掉沒用的數(shù)據(jù)。而且他還說，對自動(dòng)駕駛數(shù)據(jù)的存儲量進(jìn)行節(jié)省，有時(shí)能激發(fā)創(chuàng)造力，并提供有價(jià)值的發(fā)現(xiàn)。
舉個(gè)例子，因?yàn)橐?jié)省存儲量，他們就會思考，下雨和下雪哪個(gè)天氣狀況下的數(shù)據(jù)，對于他們業(yè)務(wù)發(fā)展來說更重要？
最后他們得出的結(jié)果是下雪，一方面是他們現(xiàn)在采集的下雪數(shù)據(jù)量很有限，另一方面是他們的車輛應(yīng)對下雨天氣處理得更好了，因此不需要再花費(fèi)過多精力。
而且他們還發(fā)現(xiàn)與下雨有關(guān)的數(shù)據(jù)把停車時(shí)的數(shù)據(jù)也都采集來了，他們認(rèn)為這很沒有必要。
事實(shí)上，Waymo對待數(shù)據(jù)的態(tài)度，并非一成不變。
最開始十多年前，自動(dòng)駕駛還是谷歌內(nèi)部的一個(gè)小項(xiàng)目時(shí)，要想存儲更多的數(shù)據(jù)并不容易。
在當(dāng)時(shí)，沒有明確用途的數(shù)據(jù)會被他們刪掉，例如自動(dòng)駕駛操作失敗的記錄。
到了2016年12月，從谷歌獨(dú)立出來后，Waymo對于數(shù)據(jù)存儲有了更多獨(dú)立性和自主權(quán)。
當(dāng)時(shí)他們大幅增加了數(shù)據(jù)存儲容量，團(tuán)隊(duì)對保存的自動(dòng)駕駛數(shù)據(jù)也不那么挑剔了。
例如在2019年末，他們開始測試捷豹I-Pace這款Robotaxi時(shí)，由于配備了更先進(jìn)的傳感器，生成的數(shù)據(jù)量也更大了，以至于當(dāng)時(shí)測試車1個(gè)小時(shí)采集的數(shù)據(jù)量超過1100GB，足以填滿240張DVD光盤。
直到現(xiàn)在，又開始對數(shù)據(jù)進(jìn)行節(jié)制了。這個(gè)從緊到松再到緊的變化過程，根本上反映了Waymo目前的經(jīng)濟(jì)狀況。
今年年初面臨裁員、還收縮了自動(dòng)駕駛卡車業(yè)務(wù)，如今隨著Robotaxi服務(wù)范圍的擴(kuò)大，Waymo這時(shí)就需要從各方面來節(jié)流。
數(shù)據(jù)存儲就是一個(gè)重要切入口。簡單舉例，英特爾在2016年就估計(jì)，每臺無人車每天將產(chǎn)生4000GB的數(shù)據(jù)量，以亞馬遜目前的收費(fèi)標(biāo)準(zhǔn)計(jì)算，存儲一年的成本約為35萬美元（折合人民幣約為244萬元）。
隨著自動(dòng)駕駛技術(shù)的發(fā)展，如今的數(shù)據(jù)存儲成本已遠(yuǎn)遠(yuǎn)超過了這個(gè)數(shù)。
其他自動(dòng)駕駛公司怎么樣？
對數(shù)據(jù)越來越挑剔的，不止谷歌Waymo一家。
通用旗下Cruise表示，在舊金山采集的數(shù)據(jù)中，只有不到1%的數(shù)據(jù)被團(tuán)隊(duì)認(rèn)為有用，所以他們現(xiàn)在也不會選擇在云端存儲所有的數(shù)據(jù)。
隨著車隊(duì)規(guī)模的不斷擴(kuò)大，Cruise正致力于改進(jìn)其數(shù)據(jù)存儲系統(tǒng)，目的是使自動(dòng)駕駛落地變得更容易、成本更低。
現(xiàn)代汽車與安波福（Aptiv）合資組建的L4級自動(dòng)駕駛公司——Motional也存在類似的情況。
據(jù)Motional副總裁Balajee Kannan表示，那些罕見的東西和不太尋常的場景會被刪除掉，比如道路上的障礙物或帶有沖浪板的自行車。更繁忙場景的數(shù)據(jù)最有可能被保留下來。
除了刪除掉沒有價(jià)值的數(shù)據(jù)，另外一個(gè)辦法是對數(shù)據(jù)進(jìn)行分級存儲，對于那些訪問頻率較低的冷數(shù)據(jù)，可以存儲在性能合適、成本較低的基礎(chǔ)設(shè)施之上。
谷歌無人車開創(chuàng)者克里斯·厄姆森（Chris Urmson）創(chuàng)辦的Aurora，就用了這樣的辦法。
他們目前通過使用自動(dòng)化系統(tǒng)對無人駕駛卡車產(chǎn)生的數(shù)據(jù)進(jìn)行分類，而且工程師也會標(biāo)記關(guān)鍵的數(shù)據(jù)，例如最近發(fā)生的危險(xiǎn)事故等，以確保這些數(shù)據(jù)以常規(guī)的方式進(jìn)行存儲。
而那些不常用的數(shù)據(jù)，每個(gè)月都會陸續(xù)被轉(zhuǎn)移到較冷的存儲區(qū)。直到三個(gè)月后，才會對大量的數(shù)據(jù)進(jìn)行刪除?？傮w來說，只有大約15%的數(shù)據(jù)位于Aurora最容易訪問的存儲層。
另外，圖森也表示他們會在四年后，將大部分?jǐn)?shù)據(jù)轉(zhuǎn)換為冷存儲。
總的來說，日后隨著自動(dòng)駕駛技術(shù)的提高、傳感器數(shù)量的增多、車隊(duì)規(guī)模的擴(kuò)大，數(shù)據(jù)存儲的成本會只增不減。
誠然，自動(dòng)駕駛公司如果想要降本增效，就必須在節(jié)省流量費(fèi)用、節(jié)省存儲資源及計(jì)算資源上下功夫。
這是新的挑戰(zhàn)，也是新的機(jī)遇。
文章參考鏈接：
https://www.wired.com/story/self-driving-cars-are-being-put-on-a-data-diet/
https://baijiahao.baidu.com/s?id=1761056932090741984&wfr=spider&for=pc
相關(guān)閱讀
