用無人車硬件玩GTA 5，這個12歲孩子的外掛有點硬核
“我XXX沒有開掛！”
曉查 發(fā)自 凹非寺
量子位 報道 | 公眾號 QbitAI
現(xiàn)在用TensorFlow玩GTA5，你可以自豪地說：“我XXX沒有開掛！”
用物理外掛的事，怎么能叫開掛呢？我只是用攝像頭拍攝游戲畫面，然后把手柄操作交給AI操作而已。
不過這個外掛的硬件成本有點高，改裝部件299美元，夠買好幾個GTA5了。本來這套硬件是給汽車的自動駕駛改裝準(zhǔn)備的，現(xiàn)在卻被拿來玩游戲。
另外還要有一臺能流暢運行GTA5的Windows電腦，和一臺在Linux上流暢運行TensorFlow計算機視覺模型的電腦。
有錢有技術(shù)真的可以為所欲為。
你很難想象，這個給GTA5用來自動駕駛的外掛，竟是出自一位12歲少年Leon Hillmann之手，硬件則來自創(chuàng)業(yè)公司comma.ai的產(chǎn)品。
comma.ai你可能沒聽說過，這家公司的創(chuàng)始人是天才黑客George Hotz。
他曾是第一個破解iPhone的黑客，因為看不慣大公司作為，希望以一己之力改變自動駕駛行業(yè)，致力于通過低成本改裝，給傳統(tǒng)汽車加上自動駕駛功能。
既然comma.ai能用在汽車上，給GTA5加個物理外掛應(yīng)該不是問題。
在GTA中開掛
comma.ai的自動駕駛軟件叫做Openpilot，用TensorFlow實現(xiàn)，已經(jīng)在GitHub上開源，支持本田、豐田等品牌的40多款汽車。
要把汽車上用的Openpilot移植到游戲里沒那么容易。
和現(xiàn)實中的自動駕駛不同，GTA5中的汽車不會輸出任何傳感器數(shù)據(jù)，除了能看到周圍路況，其余的信息也就是地圖和車速了。
而comma.ai是給真實汽車準(zhǔn)備的，沒有汽車傳感器的數(shù)據(jù)就不能正常工作，所以Leon花了兩周的時間反向出方向盤、油門、剎車的輸出。
到這里，Leon覺得應(yīng)該差不多，他希望通過虛擬手柄實現(xiàn)對GTA的控制，最初用的是虛擬PS手柄，花了5天時間做了很多無用功，最后不得不轉(zhuǎn)而使用Xbox手柄。（Xbox黨的勝利！）
Leon的“行車記錄儀”，用的是羅技C920攝像頭，建議用1080p或更高清晰度。攝像頭截獲的視頻傳遞給TensorFlow模型，算出反饋數(shù)據(jù)。
下面是根據(jù)實拍汽車視頻得到的車道和軌跡輸出數(shù)據(jù)，Leon稍加改造用在GTA5上。
外掛的整個流程是：
游戲畫面 → Ubuntu筆記本電腦 → 模型預(yù)測 → 轉(zhuǎn)換控制輸出 → 通過本地網(wǎng)絡(luò)發(fā)送到游戲機 → 模擬Xbox控制器輸入 → 在GTA5中駕駛
試玩的輸出畫面像這樣：
物理外掛背后的自動駕駛
前面已經(jīng)說過，Openpilot由comma.ai開發(fā)，不尋常的是這款軟件完全開源。
難道創(chuàng)始人George Hotz做軟件不為賺錢，只為交個朋友，靠賣自動駕駛配件賺錢？
事實上是早在2016年，comma.ai已經(jīng)開始銷售999美元的自動駕駛配件Comma One。
然而，美國高速公路交通安全委員會（NHTSA）發(fā)出一封郵件警告，如果將未經(jīng)測試的無人駕駛汽車投放至道路，那么將按天處以罰款。
因此，Hotz把自己的自動駕駛技術(shù)開源，自動駕駛配件仍按照999美元價格銷售，現(xiàn)在已經(jīng)升級到Comma Two。
Comma Two主要依靠面向前方的攝像頭來觀察道路，而駕駛員則需要后方紅外攝像頭。但除此之外，Comma Two沒有什么特別之處。
為了控制真實的汽車，還需要通過特制線束在Openpilot和汽車之間建立物理接口。
除了傳感器和汽車接口外，Openpilot另外還需要足夠計算能力的Linux平臺。
算下來，Openpilot比特斯拉的Autopilot便宜不少，只是如此簡陋的硬件配置，真的有人敢給自己的車做改裝嗎？還是拿來做GTA外掛比較放心。
參考鏈接：
https://littlemountainman.github.io/2020/05/12/openpilot/
https://github.com/littlemountainman/modeld
https://medium.com/@comma_ai/self-driving-car-for-free-82e871fe0587
相關(guān)閱讀
Waymo起訴加州車管所，要求對無人車事故數(shù)據(jù)保密，網(wǎng)友：這事怕不是和特斯拉有關(guān)
Waymo將自動駕駛事故數(shù)據(jù)稱為“商業(yè)機密”
