用無人車硬件玩GTA 5，這個12歲孩子的外掛有點硬核
“我XXX沒有開掛！”
曉查 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
現在用TensorFlow玩GTA5，你可以自豪地說：“我XXX沒有開掛！”
用物理外掛的事，怎么能叫開掛呢？我只是用攝像頭拍攝游戲畫面，然后把手柄操作交給AI操作而已。
不過這個外掛的硬件成本有點高，改裝部件299美元，夠買好幾個GTA5了。本來這套硬件是給汽車的自動駕駛改裝準備的，現在卻被拿來玩游戲。
另外還要有一臺能流暢運行GTA5的Windows電腦，和一臺在Linux上流暢運行TensorFlow計算機視覺模型的電腦。
有錢有技術真的可以為所欲為。
你很難想象，這個給GTA5用來自動駕駛的外掛，竟是出自一位12歲少年Leon Hillmann之手，硬件則來自創業公司comma.ai的產品。
comma.ai你可能沒聽說過，這家公司的創始人是天才黑客George Hotz。
他曾是第一個破解iPhone的黑客，因為看不慣大公司作為，希望以一己之力改變自動駕駛行業，致力于通過低成本改裝，給傳統汽車加上自動駕駛功能。
既然comma.ai能用在汽車上，給GTA5加個物理外掛應該不是問題。
在GTA中開掛
comma.ai的自動駕駛軟件叫做Openpilot，用TensorFlow實現，已經在GitHub上開源，支持本田、豐田等品牌的40多款汽車。
要把汽車上用的Openpilot移植到游戲里沒那么容易。
和現實中的自動駕駛不同，GTA5中的汽車不會輸出任何傳感器數據，除了能看到周圍路況，其余的信息也就是地圖和車速了。
而comma.ai是給真實汽車準備的，沒有汽車傳感器的數據就不能正常工作，所以Leon花了兩周的時間反向出方向盤、油門、剎車的輸出。
到這里，Leon覺得應該差不多，他希望通過虛擬手柄實現對GTA的控制，最初用的是虛擬PS手柄，花了5天時間做了很多無用功，最后不得不轉而使用Xbox手柄。（Xbox黨的勝利！）
Leon的“行車記錄儀”，用的是羅技C920攝像頭，建議用1080p或更高清晰度。攝像頭截獲的視頻傳遞給TensorFlow模型，算出反饋數據。
下面是根據實拍汽車視頻得到的車道和軌跡輸出數據，Leon稍加改造用在GTA5上。
外掛的整個流程是：
游戲畫面 → Ubuntu筆記本電腦 → 模型預測 → 轉換控制輸出 → 通過本地網絡發送到游戲機 → 模擬Xbox控制器輸入 → 在GTA5中駕駛
試玩的輸出畫面像這樣：
物理外掛背后的自動駕駛
前面已經說過，Openpilot由comma.ai開發，不尋常的是這款軟件完全開源。
難道創始人George Hotz做軟件不為賺錢，只為交個朋友，靠賣自動駕駛配件賺錢？
事實上是早在2016年，comma.ai已經開始銷售999美元的自動駕駛配件Comma One。
然而，美國高速公路交通安全委員會（NHTSA）發出一封郵件警告，如果將未經測試的無人駕駛汽車投放至道路，那么將按天處以罰款。
因此，Hotz把自己的自動駕駛技術開源，自動駕駛配件仍按照999美元價格銷售，現在已經升級到Comma Two。
Comma Two主要依靠面向前方的攝像頭來觀察道路，而駕駛員則需要后方紅外攝像頭。但除此之外，Comma Two沒有什么特別之處。
為了控制真實的汽車，還需要通過特制線束在Openpilot和汽車之間建立物理接口。
除了傳感器和汽車接口外，Openpilot另外還需要足夠計算能力的Linux平臺。
算下來，Openpilot比特斯拉的Autopilot便宜不少，只是如此簡陋的硬件配置，真的有人敢給自己的車做改裝嗎？還是拿來做GTA外掛比較放心。
參考鏈接：
https://littlemountainman.github.io/2020/05/12/openpilot/
https://github.com/littlemountainman/modeld
https://medium.com/@comma_ai/self-driving-car-for-free-82e871fe0587
- 腦機接口走向現實，11張PPT看懂中國腦機接口產業現狀｜量子位智庫2021-08-10
- 張朝陽開課手推E=mc2，李永樂現場狂做筆記2022-03-11
- 阿里數學競賽可以報名了！獎金增加到400萬元，題目面向大眾公開征集2022-03-14
- 英偉達遭黑客最后通牒：今天必須開源GPU驅動，否則公布1TB機密數據2022-03-05
