8億參數，刷新ImageNet紀錄：何愷明團隊開源最強ResNeXt預訓練模型
ImageNet已經成了微調用的小數據集……
栗子 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
來自Facebook何愷明團隊，比以往都強大ResNeXt預訓練模型開源了。
它叫ResNeXt WSL，有超過8億個參數，用Instagram上面的9.4億張圖做了 (弱監督預訓練) ，用ImageNet做了微調。
注：WSL是弱監督學習，不是Windows里面的Linux。
ImageNet測試中，它的 (32×48d) 分類準確率達到85.4%?(Top-1) ，打破了從前的紀錄。
LeCun大佬作為公司首席AI科學家，轉推了開源的喜訊，而后眾人奔走相告，贊數已經超過1600。
評論區涌起了難以置信的聲音：
拿ImageNet做微調？？我頭一次聽說，在更大的預訓練集面前，ImageNet成了微調用的小語料庫。9.4億張圖？誰能做完這么多計算？
所以現在好了，你并不需要做這樣大大大量的計算，可以直接從預訓練的模型開始。
更好的是，開源的不止這一個模型。
究竟是有多強大
預警：先交代一下歷史，后面是最新的成績。
ResNeXt，其實誕生在2016年。
它的前輩是2015年發表的ResNet (殘差網絡) ，用“shortcut”這種能跳過一些層的連接方式，解決了梯度消失問題，訓練幾百上千層的網絡不是夢。
ResNet在圖像分類、目標檢測、定位、分割等等項目上完勝各路對手，拿下當年CVPR最佳論文，震動了學界和工業界。
后來，作為ResNet的一個高能進化版，ResNeXt在寬度和深度之外，引入了“基數(Cardinality) ”的概念。在網絡不加深不加寬的情況下，就能提升準確率，還能減少超參數的數量。
一個101層的ResNeXt，準確率已媲美200層的ResNet。于是，它也中選了CVPR。
而這一次，ResNeXt WSL系列是在當年的基礎上，又探索了弱監督?(Weakly Supervised Learning) 的可能性：
Instagram圖片，沒有經過特別的標注，只帶著用戶自己加的話題標簽 (#) ，就當做預訓練的數據集了。
經過9.4億張圖的預訓練，再拿ImageNet去微調，四個ResNeXt模型的考試成績如下：
團隊說，比起直接用ImageNet訓練，加上弱監督的預訓練步驟，分類準確率有明顯的提升。
其中，32×48d的準確率 (Top-1) 刷新了ImageNet的紀錄。
弱監督可行，今后AI就可以在更大規模的數據集上訓練/預訓練了。
一行代碼可調用
現在，四個預訓練模型都已經開源。加載只需：
import torch
model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x8d_wsl')
# or
# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x16d_wsl')
# or
# model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x32d_wsl')
# or
#model = torch.hub.load('facebookresearch/WSL-Images', 'resnext101_32x48d_wsl')
model.eval()說不定你已經看出來了，所有模型都已加入不久前剛發布的PyTorch Hub豪華彩蛋。所以，一小段代碼便可以輕松調用。
只有一點需要注意：這次開源的模型，要求所有輸入圖像，都用相同的方式歸一化(Normalization) 。
具體示例，可以從文下傳送門前往主頁觀摩。
One More Thing
在這樣雞凍人心的日子里，總有些小伙伴的關注點和其他人不一樣：
他們用Instagram啊，我以后是不是要把所有的圖都做個對抗樣本，再發狀態？(以達到欺騙AI的目的)
AI啊，你相信我，這真是一只長臂猿。(誤)
ResNeXt主頁：
https://pytorch.org/hub/facebookresearch_WSL-Images_resnext/
GitHub項目：
https://github.com/facebookresearch/WSL-Images/blob/master/hubconf.py
Colab Demo：
https://colab.research.google.com/github/pytorch/pytorch.github.io/blob/master/assets/hub/facebookresearch_WSL-Images_resnext.ipynb
ECCV論文：
https://arxiv.org/abs/1805.00932
—?完?—
- 馬云正式卸任后，阿里巴巴開盤跌0.87%2019-09-10
- AI獨角獸云知聲，已完成一期科創板IPO輔導2019-10-17
- 亞馬遜在華拓展云計算團隊，挑戰阿里巴巴和騰訊2019-10-16
- IDC：今年上半年中國公有云服務市場規模達54.2億美元2019-11-07
