用自然語言從GitHub搜代碼，跳過論壇提問環節，來自Facebook新研究
Facebook開發了一種代碼搜索工具，可將自然語言處理（NLP）和信息檢索（IR）技術直接應用于源代碼文本。
曉查 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
“如何關閉或隱藏Android軟鍵盤？”
如果你是個Android入門開發者，去Stack Overflow論壇去尋找上非常熱門的Android開發問題，很快會有別人貼出一段代碼。
遇到編程問題，程序員恐怕首先想到的是去技術論壇搜索結果，然后從回答中尋找代碼。
然而有很多冷門問題，通常并不會在論壇中討論，如果能在廣闊的GitHub代碼庫中快速找到答案就好了。
為此，Facebook開發了一種代碼搜索工具，可將自然語言處理（NLP）和信息檢索（IR）技術直接應用于源代碼文本。
這套工具稱為神經代碼搜索（NCS），它接受自然語言形式的查詢，并直接從GitHub庫中檢索返回相關代碼片段。
除了NCS之外，另外還有一種用監督數據提高網絡性能的UNIF。
小試牛刀
Facebook使用Stack Overflow上Android開發的問題評估NCS的性能，看看模型是否能夠從GitHub中找到正確的答案。
在Stack Overflow評估數據集中的287個問題中，NCS的前10個查詢結果能夠正確回答175個問題，占整個數據集的60％以上。與傳統的信息檢索技術BM25相比，有了非常大的提升。
我們將NCS和UNIF與Stack Overflow評估數據集進行比較，證實UNIF改善了大大超過NCS回答的問題數量。
結果顯示監督技術在獲得理想的訓練語料庫時可以提供的更優的搜索性能。
例如，搜索查詢“如何退出應用程序并顯示主屏幕”這個問題，NCS返回：
public void showHomeScreenDialog(View view) {
Intent nextScreen = new Intent(getApplicationContext(), HomeScreenActivity.class);
startActivity(nextScreen);
}
而UNIF提供了更適合的代碼段：
public void clickExit(MenuItem item) {
Intent intent=new Intent(Intent.ACTION_MAIN);
intent.addCategory(Intent.CATEGORY_HOME);
intent.setFlags(Intent.FLAG_ACTIVITY_NEW_TASK);
metr.stop();
startActivity(intent);
finish();
}
原理
Facebook利用了開源AI工具fastText、FAISS和PyTorch，NCS和UNIF將自然語言查詢和代碼片段表示為向量，然后訓練網絡，使得語義相似的代碼片段和查詢的向量表示緊密相連在向量空間。
通過這些模型，可以直接從代碼語料庫中找到代碼片段，有效地回答程序員的問題。
NCS
NCS模型通過使用嵌入來獲取程序語義，在向量空間中語義相似的實體具有彼此接近的期望屬性。在下面的例子里，有兩個不同的代碼，它們都與關閉或隱藏Android鍵盤有關。由于它們具有相似的語義含義，即使它們代碼不完全相同，再向量空間中的距離也很近。
Facebook使用這個概念來構建NCS模型。在高級別中，模型生成的每個代碼片段以方法級粒度嵌入到向量空間中。構建模型后，某個查詢將映射到同一向量空間，向量距離用于估計代碼段與查詢的相關性。
要生成模型，NCS必須提取單詞，構建單詞嵌入，然后構建文檔嵌入。
為了生成表示代碼的向量，Facebook將源代碼視為文本，并從以下語法類別中提取：方法名稱，方法調用，枚舉，字符串文字和注釋。然后我們根據標準英語慣例（例如空格，標點符號）和與代碼相關的標點符號對其進行標記。
例如，對于上圖中的方法體“pxToDp”，可以將源代碼視為單詞集合：“將dp px中的px轉換為dp獲取資源、獲取顯示指標”。
fastText為詞匯語料庫中的所有單詞構建單詞嵌入。fastText使用兩層密集神經網絡計算向量表示，該網絡可以在大型語料庫上無人監督地進行訓練。
而UNIF是NCS的擴展，當有監督數據可用于訓練時，可以用來提高性能。
在GitHub上挑選26,109個最受歡迎的Android項目，直接在搜索語料庫上訓練我們的無監督模型NCS。這也成為NCS返回代碼片段的搜索語料庫。
至于UNIF模型，我Facebook提取Stack Overflow論壇中問題標題和代碼片段來獲取數據集。在使用各種啟發式過濾問題后，最終得到451,000個訓練樣本。
論文地址：
https://arxiv.org/pdf/1905.03813.pdf
- 腦機接口走向現實，11張PPT看懂中國腦機接口產業現狀｜量子位智庫2021-08-10
- 張朝陽開課手推E=mc2，李永樂現場狂做筆記2022-03-11
- 阿里數學競賽可以報名了！獎金增加到400萬元，題目面向大眾公開征集2022-03-14
- 英偉達遭黑客最后通牒：今天必須開源GPU驅動，否則公布1TB機密數據2022-03-05
