單塊V100訓練模型提速72倍！尤洋團隊新成果獲AAAI 2023杰出論文獎

明敏 2023-02-06 16:24:50 來源：量子位

一作系南京大學校友

明敏金磊發自凹非寺

量子位 | 公眾號 QbitAI

就在剛剛，UC伯克利博士、新加坡國立大學校長青年教授尤洋發布最新消息——

斬獲AAAI 2023杰出論文獎（Distinguished Paper）！

研究成果一次性將模型的訓練速度，提升72倍。

甚至網友在拜讀完論文之后發出感慨：

從12小時到10分鐘，嫩牛（你們牛）啊！

尤洋博士曾在求學期間刷新ImageNet以及BERT訓練速度的世界紀錄。

他所設計的算法也是廣泛應用于谷歌，微軟，英特爾，英偉達等科技巨頭。

現如今，已經回國創業潞晨科技一年半的他，帶著團隊又做出了怎樣的算法，斬獲AI頂會如此殊榮呢？

訓練時長從12小時到10分鐘

在這項研究中，尤洋團隊提出了一種優化策略CowClip，能夠加速CTR預測模型的大批量訓練。

CTR（click-through rate）預測模型是個性化推薦場景下的一種常用算法。

它通常需要學習用戶的反饋（點擊、收藏、購買等），而每天在線產生的數據量又是空前龐大的。

因此，加快CTR預估模型的訓練速度至關重要。

一般來說，提高訓練速度會使用批量訓練，不過批量太大會導致模型的準確度有所降低。

通過數學分析，團隊證明了在擴大批次時，對于不常見特征的學習率（learning rate for infrequent features)不應該進行縮放。

通過他們提出的CowClip，可以簡單有效擴展批大小。

通過在4個CTR預估模型和2個數據集上進行測試，團隊成功將原始批大小擴大了128倍，并沒有造成精度損失。

特別是在DeepFM上，通過將批大小從1K擴大到128K，CowClip實現了AUC超過0.1%的改進。

并在單塊V100 GPU上，將訓練時長從原本的12小時，縮短至只需10分鐘，訓練提速72倍。

目前，項目代碼已開源。團隊表示該算法也適用于NLP等任務。

本文的一作是尤洋的博士生鄭奘巍，本科畢業于南京大學計算機精英班，博士畢業于新加坡國立大學。

其研究方向包括機器學習、計算機視覺和高性能計算。

參考鏈接：

[1] https://weibo.com/2082348875/MrJb5kHPt#comment
[2] https://arxiv.org/abs/2204.06240
[3]https://github.com/bytedance/LargeBatchCTR