PyTorch大更新！谷歌出手幫助開發，正式支持TensorBoard | 附5大開源項目

曉查 乾明 2019-05-02 12:43:49 來源：量子位

邊策 乾明 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

大家又少了一個用TensorFlow的理由。

在一年一度的開發者大會F8上，Facebook放出PyTorch的1.1版本，直指TensorFlow“腹地”。

不僅宣布支持TensorFlow的可視化工具TensorBoard，還正式向工業界邁進，為生產環境改進了PyTorch處理分布式訓練的方式。

而且，根據Facebook介紹，開發這一版本的過程中谷歌還幫了不少忙。

科技媒體TechCrunch評論稱，雖然版本號只從1.0到1.1的變化，但依舊非常重要。

此外，圍繞著打造“開發和協作的AI社區”的愿景，Facebook還介紹了5大開源工具。

同時，他們也分享了Facebook在自家程序中應用AI的情況，以及對AI研究的展望。

下面，我們一個個來看~

Pytorch大更新

與2018年12月正式發布的Pytorch1.0相比，這次發布的1.1版本提高了性能，并增加了新的模型理解和可視化工具，來提高可用性，還提供了新的API。

其中，最重要的功能是支持TensorBoard，它是谷歌為TensorFlow打造的可視化工具，能夠幫助開發人員評估和調試模型。

根據Facebook介紹，在開發這一功能的時候，他們與谷歌有非常密切的合作。

現在，Pytorch使用一個簡單的“from torch.utils.TensorBoard import SummaryWriter”命令來支持TensorBoard。

其他的更新還有：

• Jit編譯器：改進了Just-in-time(JIT)編譯。包括各種錯誤的修復以及TorchScript中擴展的功能，例如對字典、用戶類和屬性的支持。
• 新API：支持布爾張量，更好地支持自定義循環神經網絡。
• 分布式訓練：改進了常見模型（如CNN）的性能，增加了對多設備模塊的支持，包括在仍使用分布式數據并行（DDP）的情況下跨GPU分割模型的能力，以及對并非所有參數都用于每次迭代的模塊的支持（如控制流，如自適應SoftMax等）。

關于本次更新，Pytorch在下面的GitHub文檔中進行了詳細的解釋，請收好傳送門：

https://github.com/pytorch/pytorch/releases/tag/v1.1.0

對于這次更新，PyTorch的產品經理Joe Spisa表示，他們并不是要將PyTorch變成金錢，而是希望PyTorch擁有一個社區。

他表示，現在這個社區正開始從一個以研究為中心的社區向生產型的社區轉變，而且轉變速度也在快速增長。

PyTorch路線圖的下一步是，以更少的比特數運行神經網絡，實現更快的CPU和GPU性能，并支持AI從業者創建命名張量維數。

5大開源工具

為了更好地建設AI社區，今年的F8大會上，Facebook還開源了5大工具：Ax、BoTorch、idb、Memscout、Mvfst。

Ax

Ax是一個可訪問的通用自適應實驗平臺，用于管理、部署和自動化實驗。

該平臺利用BoTorch提供的最新進展，使開發人員更容易優化其產品和基礎設施。Ax還降低了貝葉斯優化（Bayesian optimization）、多臂老虎機（multiarmed bandit）和其他復雜實驗技術的門檻，幫助研究人員將想法從研究轉向生產。

地址：https://ax.dev/

BoTorch

BoTorch是PyTorch上的貝葉斯優化軟件庫，為Ax優化模型參數提供支持。

BoTorch將模塊化設計和PyTorch的自動微分特性基于蒙特卡羅的提取函數使用相結合，顯著提高了開發人員的效率。

BoTorch具有與任何PyTorch模型集成的能力，在貝葉斯優化和深度學習中實現高度靈活性、便利的研究。

地址：https://botorch.org/

以上兩種工具已經在Facebook內部大規模部署，Facebook用它們改善信息流推薦和視頻播放。

idb

idb（iOS development bridge）是自動化iOS模擬器和設備的命令行界面。它提供的簡單原始的API，輕松構建復雜的工作流。idb還有客戶機-服務器架構，可以更容易地在一組機器之間分配工作。

地址：https://github.com/facebook/idb

Memscout

Memscout是一個分析工具，它是jemalloc內存分配器的伴侶。Memscout為正在運行的流程的解釋jemalloc統計文件（JSON格式）原始數據，并突出顯示相關指標。

它會發現分配器的低效率，并提供對流程內存分配模式的深入觀察，然后提供可用于快速診斷與內存相關的性能問題的統計信息。

地址：https://github.com/facebookincubator/memscout

Mvfst

Mvfst是QUIC傳輸協議的實現。mvfst的目標是構建最靈活、高性能的傳輸協議，讓應用程序可以適應互聯網上和數據中心內的用例。

它的特性包括流多路復用、0-RTT連接的建立，更好的損失恢復、從頭開始的安全性以及靈活的擁塞控制。

地址：https://github.com/facebookincubator/mvfst

用AI改善用戶體驗

Facebook信息流可以說是國外的“朋友圈”，里面有太多的假新聞和有害信息，扎克伯格也因此受到美國國會質詢。

所以Facebook的AI工具一個重要的用途就是用來識別和處理社交網絡上有害的言論、照片和視頻。

一個具體例子是新的“最近鄰”算法。Facebook用這種算法發現色情暴力圖片比以前快8.5倍。

另一個例子是開源工具包LASER。Facebook用它來訓練單一模型以理解大量不同語言，而不必為每一種語言使用不同的模型，它可以檢測用戶是否發布違反社交網絡政策的言論。

在視頻中發現有害信息的難度比照片高出幾個數量級，Facebook的新技術能將其分解為短片段，去掉其中冗余和不相關的內容。這種更有針對性的分析和訓練使得AI理解視頻更快，更準確。

One More Thing

目前，Facebook正在大力發展自監督學習技術，將未標記數據與少量標記數據結合使用，以提高機器學習的準確性。

所謂的“自監督學習”就是我們說的“無監督學習”。

Facebook首席AI科學家Yann LeCun說，把“自監督”說成“無監督”是具有誤導性的，因為自監督學習比監督學習使用更多的監督信號，并且遠遠超過強化學習。

自監督學習在自然語言處理方面取得了巨大成功。在LeCun看來，在圖像和視頻上使用這項技術是未來幾年ML和AI的最大挑戰。