用無人車硬件玩GTA 5，這個(gè)12歲孩子的外掛有點(diǎn)硬核
“我XXX沒有開掛！”
曉查 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號 QbitAI
現(xiàn)在用TensorFlow玩GTA5，你可以自豪地說：“我XXX沒有開掛！”
用物理外掛的事，怎么能叫開掛呢？我只是用攝像頭拍攝游戲畫面，然后把手柄操作交給AI操作而已。
不過這個(gè)外掛的硬件成本有點(diǎn)高，改裝部件299美元，夠買好幾個(gè)GTA5了。本來這套硬件是給汽車的自動(dòng)駕駛改裝準(zhǔn)備的，現(xiàn)在卻被拿來玩游戲。
另外還要有一臺能流暢運(yùn)行GTA5的Windows電腦，和一臺在Linux上流暢運(yùn)行TensorFlow計(jì)算機(jī)視覺模型的電腦。
有錢有技術(shù)真的可以為所欲為。
你很難想象，這個(gè)給GTA5用來自動(dòng)駕駛的外掛，竟是出自一位12歲少年Leon Hillmann之手，硬件則來自創(chuàng)業(yè)公司comma.ai的產(chǎn)品。
comma.ai你可能沒聽說過，這家公司的創(chuàng)始人是天才黑客George Hotz。
他曾是第一個(gè)破解iPhone的黑客，因?yàn)榭床粦T大公司作為，希望以一己之力改變自動(dòng)駕駛行業(yè)，致力于通過低成本改裝，給傳統(tǒng)汽車加上自動(dòng)駕駛功能。
既然comma.ai能用在汽車上，給GTA5加個(gè)物理外掛應(yīng)該不是問題。
在GTA中開掛
comma.ai的自動(dòng)駕駛軟件叫做Openpilot，用TensorFlow實(shí)現(xiàn)，已經(jīng)在GitHub上開源，支持本田、豐田等品牌的40多款汽車。
要把汽車上用的Openpilot移植到游戲里沒那么容易。
和現(xiàn)實(shí)中的自動(dòng)駕駛不同，GTA5中的汽車不會(huì)輸出任何傳感器數(shù)據(jù)，除了能看到周圍路況，其余的信息也就是地圖和車速了。
而comma.ai是給真實(shí)汽車準(zhǔn)備的，沒有汽車傳感器的數(shù)據(jù)就不能正常工作，所以Leon花了兩周的時(shí)間反向出方向盤、油門、剎車的輸出。
到這里，Leon覺得應(yīng)該差不多，他希望通過虛擬手柄實(shí)現(xiàn)對GTA的控制，最初用的是虛擬PS手柄，花了5天時(shí)間做了很多無用功，最后不得不轉(zhuǎn)而使用Xbox手柄。（Xbox黨的勝利！）
Leon的“行車記錄儀”，用的是羅技C920攝像頭，建議用1080p或更高清晰度。攝像頭截獲的視頻傳遞給TensorFlow模型，算出反饋數(shù)據(jù)。
下面是根據(jù)實(shí)拍汽車視頻得到的車道和軌跡輸出數(shù)據(jù)，Leon稍加改造用在GTA5上。
外掛的整個(gè)流程是：
游戲畫面 → Ubuntu筆記本電腦 → 模型預(yù)測 → 轉(zhuǎn)換控制輸出 → 通過本地網(wǎng)絡(luò)發(fā)送到游戲機(jī) → 模擬Xbox控制器輸入 → 在GTA5中駕駛
試玩的輸出畫面像這樣：
物理外掛背后的自動(dòng)駕駛
前面已經(jīng)說過，Openpilot由comma.ai開發(fā)，不尋常的是這款軟件完全開源。
難道創(chuàng)始人George Hotz做軟件不為賺錢，只為交個(gè)朋友，靠賣自動(dòng)駕駛配件賺錢？
事實(shí)上是早在2016年，comma.ai已經(jīng)開始銷售999美元的自動(dòng)駕駛配件Comma One。
然而，美國高速公路交通安全委員會(huì)（NHTSA）發(fā)出一封郵件警告，如果將未經(jīng)測試的無人駕駛汽車投放至道路，那么將按天處以罰款。
因此，Hotz把自己的自動(dòng)駕駛技術(shù)開源，自動(dòng)駕駛配件仍按照999美元價(jià)格銷售，現(xiàn)在已經(jīng)升級到Comma Two。
Comma Two主要依靠面向前方的攝像頭來觀察道路，而駕駛員則需要后方紅外攝像頭。但除此之外，Comma Two沒有什么特別之處。
為了控制真實(shí)的汽車，還需要通過特制線束在Openpilot和汽車之間建立物理接口。
除了傳感器和汽車接口外，Openpilot另外還需要足夠計(jì)算能力的Linux平臺。
算下來，Openpilot比特斯拉的Autopilot便宜不少，只是如此簡陋的硬件配置，真的有人敢給自己的車做改裝嗎？還是拿來做GTA外掛比較放心。
參考鏈接：
https://littlemountainman.github.io/2020/05/12/openpilot/
https://github.com/littlemountainman/modeld
https://medium.com/@comma_ai/self-driving-car-for-free-82e871fe0587
相關(guān)閱讀
小馬智行L4無人車今日量產(chǎn)下線，這比融資更具里程碑意義
剛官宣1億美元C+輪新融資…
10億美元打折賣身！騰訊IDG投資的無人車獨(dú)角獸Zoox，被亞馬遜收購
要知道，這家一度星光四溢、獲得騰訊、IDG押注的無人車公司，曾率先創(chuàng)下美國無人車創(chuàng)業(yè)公司最高估值——上一輪以32億美元完成5億美元融資。
