Hinton團隊新作：無需重構，無監督比肩有監督，北郵畢業生一作
魚羊 發自 麥蒿寺
量子位 報道 | 公眾號 QbitAI
最新研究表明，無需重構，無監督表示學習也可以表現出色。
來自圖靈獎得主 Hinton 團隊的最新研究，提出了一種名為 SimCLR 的視覺表示對比學習簡單框架。
作者表示，SimCLR 簡化了自監督對比學習算法，使其不再依賴于專門的架構和存儲庫。
△灰色x表示有監督ResNet-50
SimCLR
SimCLR 學習表示的方式，是通過對比損失最大化了同一示例不同增強視圖的隱藏層之間的一致性。
使其表現出色的關鍵因素，有四點：
1. 多個數據增強的組合
研究人員發現，即使模型可以在對比任務中幾乎完美地識別出正對，也無法通過單個變換來學習良好的表示。
采用數據增強組合時，對比預測任務會變得更加困難，但表示質量會大大提高。
并且，研究還指出，比起監督學習，對比學習需要更強大的數據增強。
2. 在表示（the representation）和對比（the contrastive）之間引入可學習的非線性變換
下圖顯示了使用三種不同頭架構的線性評估結果。
非線性投影要好于線性投影，并且比沒有投影要好得多。
3. 更大的批處理規模和更多的訓練步驟
與監督學習相反，在對比學習中，較大的批處理量產生了更多的負面樣本，從而促進了收斂。
4. 溫度標度交叉熵損失的歸一化
實驗結果
在 ImageNet 上，SimCLR 方法訓練出的線性分類器與有監督的 ResNet-50 性能相匹配，達到了 76.5% 的 top-1 準確率。相比于 SOTA，提升了7個百分點。
僅對 1% 的標簽進行微調時，SimCLR 可以達到 85.8% 的 top-5 準確率。并且相比于 AlexNet，標簽數量減少了 100 倍。
一作：北郵畢業生
SimCLR 的研究團隊來自谷歌大腦，圖靈獎得主 Geoffrey Hinton 名列其中。
論文一作，則是本科畢業于北京郵電大學的 Ting Chen。
本科畢業后，Ting Chen 赴美留學，先在東北大學（Northeastern University），其后跟隨導師轉至加州大學洛杉磯分校獲得CS博士學位。
2017年開始，他先后在谷歌AI、谷歌大腦等部門實習，2019年正式成為谷歌大腦的研究科學家。
傳送門
論文地址：https://arxiv.org/abs/2002.05709
Ting Chen 推特：https://twitter.com/tingchenai/status/1228337240708874241
— 完 —
誠摯招聘
量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復“招聘”兩個字。
量子位 QbitAI · 頭條號簽約作者
?’?’ ? 追蹤AI技術和產品新動態
- 馬斯克把超聲波雷達也扔掉了！特斯拉再度減配：8攝像頭終極傳感器方案面世2022-10-05
- iPhone在6人死亡車禍中自動求救，網友：功能很好，但千萬別用上2022-10-04
- 漸進派破壁：西有特斯拉，東有毫末智行！用數據智能推動自動駕駛歷史進城2022-09-21
- 獨家 | 吉利控股集團擬收購圖森控股亞太地區業務全部股份，價格暫未公布2022-08-19
