PLNLP算法OGB獲佳績,落地應用提升用戶體驗
在比賽中,微信支付與微信看一看Embedding聯合團隊根據邊預測的特性,提出了一種更優的圖神經網絡邊預測模型的學習算法,PLNLP。該算法通過利用Pairwise Learning to Rank的思路而非傳統的二分類思路,對圖神經網絡邊預測模型進行參數優化學習,并基于EmbedX大規模表示學習框架,實現了PLNLP算法的分布式版本,能夠支持在十億級節點,千億級邊的圖數據上訓練模型。最終在學者合作網絡、學術引用網絡以及藥物反應網絡三個數據集的邊預測競賽中,聯合團隊成果分列第一名、第一名和第二名。
OGB Link Property Prediction榜單鏈接:Leaderboards for Link Property Prediction | Open Graph Benchmark(https://ogb.stanford.edu/docs/leader_linkprop/)
學者合作網絡(ogbl-collab) 取得第一名
藥物反應網絡(ogbl-ddi) 取得第一名
學術引用網絡(ogbl-citation2) 取得第二名
據介紹,比賽中使用到的鄰域編碼、邊預測、負采樣等通用技術,已經在微信支付反欺詐、商戶風控、營銷發券等多個場景落地。其中反欺詐場景致力于打擊欺詐交易,基于有向圖、異構圖等模型,挖掘用戶多階復雜關系,在線上交易風險模型應用,準確度提升30%+。在商戶風控場景下,基于半監督對比學習模型,與下游業務模型融合建模,整體模型KS提升10%+。
而比賽中使用到的圖模型技術均已沉淀到分布式表示學習框架EmbedX之中,EmbedX在騰訊內部服務于看一看、搜一搜、視頻號、微信支付、安全、微信表情、騰訊新聞、應用寶、信息安全、QQ音樂、騰訊課堂、騰訊課堂、領航平臺、Joox音樂等多個關鍵業務,幫助業務大幅提升用戶體驗。
微信支付×微信看一看,組Embedding聯合團隊共研算法
OGB(Open Graph Benchmark)是目前公認最權威的國際頂級圖學習基準評測榜單,由斯坦福大學Jure Leskovec教授團隊建立并開源,Yoshua Bengio、Will Hamilton與Max Welling等學術界大牛也出任OGB的指導委員會成員,吸引了斯坦福大學、康奈爾大學、北京大學、Facebook、NVIDIA、百度等國際頂尖高校與科技巨頭參與。
該數據集涵蓋了生物網絡、分子圖、學術網絡和知識圖譜等領域,且囊括了基本的節點預測、邊預測、圖預測等圖學習任務,數據真實、極具挑戰性,素有圖神經網絡領域“ImageNet”之稱,已成為全球圖神經網絡研究者檢驗自身功力的“試劍石”。
本次參賽團隊為微信支付和微信看一看Embedding聯合團隊。微信支付Embedding團隊致力于前沿Graph Embedding算法的研究與落地,目前結合支付業務特性自研圖對比學習、半監督Graphsage、有向圖、動態圖等多個算法,基于EmbedX框架提供大規模訓練能力。團隊成果在多個業務場景落地,效果提升顯著,并沉淀一系列高質量文章。
微信看一看Embedding團隊深耕于大規模機器學習系統設計與模型應用領域。團隊研發成果EmbedX系統不僅支持十億級節點、千億級邊的圖模型訓練與推理,還支持百億級樣本、百億級特征的傳統Embedding模型,包括排序、召回等的訓練與推理。該系統應用于微信的搜索、推薦、支付等領域,并在此過程中,研發并沉淀了一套通用可遷移的模型庫。
參賽方案已整理成論文:Pairwise Learning for Neural Link Prediction (https://arxiv.org/pdf/2112.02936.pdf)
— 完 —




