把1個(gè)腦洞發(fā)展成1場(chǎng)頂會(huì)workshop，阿里媽媽只用了1年｜直擊NeurIPS’24

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

學(xué)術(shù)打野NeurIPS 2024，好多人啊（發(fā)出周迅的聲音）！

最熱鬧最值得回味的，咱都總結(jié)好了：

• 學(xué)術(shù)追星：和Ilya、FeiFei、Kaiming、Saining拘謹(jǐn)?shù)皇ФY貌地合照。
• 現(xiàn)場(chǎng)開吃：分為吃瓜Bengio和OpenAI員工吵起來版 & “學(xué)術(shù)蝗蟲”狂炫會(huì)上的飯和下午茶版。
• 勇闖Workshop：收獲最新insight，收集五花八門貼紙，搶各種周邊。

該說不說，今年NeurIPS開了好幾個(gè)新的workshop，其中有一場(chǎng)還挺特別的，值得一聊。

特別就特別在，它是咱中國公司提出概念，然后咱中國公司圍繞該概念為題主辦的。

而且NeurIPS期間同題競(jìng)賽也被pick——這賽題它還跟這家中國公司有關(guān)系，是該公司作為第一單位，同北京大學(xué)鄧小鐵教授、盧宗青教授研究團(tuán)隊(duì)聯(lián)合提報(bào)的。

答案揭曉！

這場(chǎng)Workshop就是Auto-Bidding in Large-Scale Auctions（大規(guī)模拍賣中的自動(dòng)出價(jià)），從AIGB（AI-Generated Bidding）Bidding模型訓(xùn)練新范式延展而來。

去年4月，阿里媽媽在業(yè)界首提Bidding模型訓(xùn)練新范式：阿里媽媽生成式出價(jià)模型AIGB（AI-Generated Bidding），創(chuàng)新地將自動(dòng)出價(jià)建模為生成式序列決策問題。

這是生成式模型在該領(lǐng)域的首次應(yīng)用，而且一年來在阿里媽媽的業(yè)務(wù)場(chǎng)景實(shí)操效果非常不錯(cuò)。

因此賽題入選后，拿到主辦權(quán)的阿里媽媽特別設(shè)置了AIGB賽道（也成為國內(nèi)工業(yè)界今年唯一一家獲得NeurIPS比賽主辦權(quán)的組織）。

說起來，主辦Workshop、提報(bào)賽題入選，在NeurIPS這個(gè)level的頂會(huì)上夠可以了吧？

結(jié)果阿里媽媽還在Workshop上還放了一招彩蛋：

為了讓更多的研究者進(jìn)入這個(gè)領(lǐng)域并激發(fā)更多諸如AIGB這樣的算法誕生，開源了世界首個(gè)包含了大規(guī)模模擬競(jìng)價(jià)系統(tǒng)和博弈數(shù)據(jù)集的Benchmark，即AuctionNet。

敲黑板，AuctionNet不僅適用于自動(dòng)出價(jià)決策算法研究，還適用于大型博弈的廣泛的決策智能領(lǐng)域。強(qiáng)化學(xué)習(xí)、生成模型、運(yùn)籌學(xué)和機(jī)制設(shè)計(jì)等更廣泛領(lǐng)域的研究人員也能受益，一整個(gè)非常nice。

就庫庫一鍵三連唄？

從一個(gè)腦洞到一場(chǎng)workshop

OK，咱們先來厘清AIGB的概念。

展開來說，AIGB是一種基于Transformer、Diffusion Model等生成式模型的自動(dòng)出價(jià)問題新的解決范式。

出價(jià)問題一般是廣告主很頭疼的事情，簡(jiǎn)單理解就是他們得在平臺(tái)上通過競(jìng)價(jià)的方式，進(jìn)行廣告投放、精準(zhǔn)營銷。

并且是盡可能在預(yù)期成本下達(dá)到最好效果那種。

在用AI大模型自動(dòng)出價(jià)之前，整個(gè)出價(jià)領(lǐng)域業(yè)界其實(shí)已經(jīng)在用第三代辦法了，靠的是RL（強(qiáng)化學(xué)習(xí)）。但這種方式也有不足，比如在自動(dòng)出價(jià)這種長序列決策場(chǎng)景下，會(huì)出現(xiàn)訓(xùn)練誤差累積過多的問題。

與以往解決序列決策問題的RL思路不同，AIGB將Auto-Bidding視為一個(gè)策略生成問題。

也就是說，AIGB通過生成模型強(qiáng)大的特征關(guān)聯(lián)以及分布擬合能力，直接捕捉歷史Bidding數(shù)據(jù)集中優(yōu)化目標(biāo)和出價(jià)策略之間的相關(guān)性從而優(yōu)化策略。

相比于傳統(tǒng)的RL方法，AIGB避免了價(jià)值函數(shù)預(yù)估和自舉法所所造成的誤差，而且尤其擅長處理Bidding所面對(duì)的長序列稀疏回報(bào)的問題。

阿里媽媽決策智能技術(shù)團(tuán)隊(duì)負(fù)責(zé)人介紹，AIGB在實(shí)際在線廣告平臺(tái)預(yù)算AB測(cè)試中取得了顯著效果，并已在阿里媽媽廣告場(chǎng)景實(shí)現(xiàn)大規(guī)模商業(yè)化落地，商家經(jīng)營效果提升顯著。

更詳細(xì)的內(nèi)容大家可以去看看之前KDD 2024接收的《AIGB: Generative Auto-bidding via Conditional Diffusion Modeling》，這里不多贅述了。

昨天，阿里媽媽在NeurIPS 2024現(xiàn)場(chǎng)組織的workshop，就是圍繞一種典型情況的AIGB話題展開——大規(guī)模拍賣中的自動(dòng)出價(jià)。

這場(chǎng)workshop邀請(qǐng)了來自Google Research、Amazon、Purdue University在內(nèi)的學(xué)界和工業(yè)界嘉賓來分享交流決策智能領(lǐng)域的最前沿技術(shù)。

據(jù)淘天集團(tuán)技術(shù)副總裁、算法技術(shù)負(fù)責(zé)人，阿里媽媽CTO鄭波透露，AIGB居然是從他的一個(gè)腦洞開始的。

鄭波表示，去年年初，阿里媽媽的技術(shù)同學(xué)們?cè)谏墒匠鰞r(jià)這個(gè)方向探索和實(shí)踐，并在業(yè)界首次提出了出價(jià)算法新范式：AIGB（AI- Generated Bidding），他相信 AIGB有潛力成為自動(dòng)出價(jià)和大規(guī)模拍賣領(lǐng)域的下一代最先進(jìn)技術(shù)。

阿里媽媽首席算法架構(gòu)師、資深總監(jiān)璽羽則表示，自動(dòng)出價(jià)是廣告最具特色的技術(shù)領(lǐng)域之一，一直以來都希望能吸引更多的從業(yè)者和非從業(yè)者關(guān)注這個(gè)領(lǐng)域。

阿里媽媽依托NeurIPS舉辦的這次workshop，為大家提供了一個(gè)交流的平臺(tái)。

而與會(huì)嘉賓中的大多數(shù)，不僅對(duì)AIGB技術(shù)本身的前沿性和創(chuàng)新性給予了高度評(píng)價(jià)，還對(duì)其在各行各業(yè)中的廣泛應(yīng)用價(jià)值及未來潛力表示了非常充分的肯定與期待。

來自Google Reasearch的Dr. Zhao以《Auto-bidding in Online Advertising》為話題，簡(jiǎn)明扼要分享了自己對(duì)于最新的自動(dòng)出價(jià)技術(shù)的見見解。

“生成模型和大型模型促進(jìn)該領(lǐng)域的快速發(fā)展并帶來新的突破。“Dr. Zhao表達(dá)了自己的看法，”我可以看到將生成模型應(yīng)用于自動(dòng)出價(jià)的各種潛在優(yōu)勢(shì)。生成模型可以幫助廣告商更好地了解他們的偏好，并幫助生成更復(fù)雜和更具適應(yīng)性的出價(jià)策略。“

全球1500多支隊(duì)伍角逐，會(huì)上放榜

這場(chǎng)workshop上也有“大規(guī)模拍賣中的自動(dòng)出價(jià)”賽題參賽選手們和團(tuán)隊(duì)的閃耀時(shí)刻。

選手們基于不同的基礎(chǔ)生成模型，提出了一批不同于DiffBid（基于Diffusion Model的出價(jià)算法）的AIGB解決方案，迸發(fā)出諸多亮點(diǎn)。

賽題總共分為兩個(gè)賽道，分別是：

• AIGB賽道：利用生成式模型學(xué)習(xí)自動(dòng)出價(jià)Agent
• 通用賽道：含不確定性的自動(dòng)出價(jià)

AlGB Track Winner兩個(gè)團(tuán)隊(duì)，KGAB Team和CleanDiffuser Team作為獲獎(jiǎng)團(tuán)隊(duì)代表在workshop上做了pre～

參賽團(tuán)隊(duì)也有代表闡述了對(duì)AIGB的觀點(diǎn)及對(duì)未來的判斷。

一位來自國內(nèi)學(xué)界的助理教授表示自己非常肯定AIGB的價(jià)值，在他看來，AI-generated Bidding技術(shù)正迅速成為廣告投放與出價(jià)優(yōu)化領(lǐng)域的核心驅(qū)動(dòng)力，“隨著廣告生態(tài)系統(tǒng)的復(fù)雜性和動(dòng)態(tài)性不斷提高，傳統(tǒng)規(guī)則驅(qū)動(dòng)的出價(jià)方法逐漸顯現(xiàn)局限，而基于人工智能的出價(jià)技術(shù)能夠通過實(shí)時(shí)數(shù)據(jù)處理、動(dòng)態(tài)預(yù)測(cè)和自適應(yīng)策略制定，實(shí)現(xiàn)更高效和精準(zhǔn)的資源分配。”

基于自己的研究和學(xué)術(shù)視野，他很樂意地分享了一點(diǎn)自己已經(jīng)洞察的先機(jī)：

未來的發(fā)展中，我認(rèn)為個(gè)性化出價(jià)策略，基于廣告主行為數(shù)據(jù)構(gòu)建高度定制化的出價(jià)模型會(huì)是一個(gè)比較有趣的方向。

多位來自于國內(nèi)頂級(jí)互聯(lián)網(wǎng)的算法專家談道，不論是基于Transformer還是Diffusion的探索都會(huì)促進(jìn)生成式技術(shù)在bidding方向的全面落地，相信隨著眾多從業(yè)者的探索與完善，AIGB技術(shù)會(huì)變得更加成熟并解決傳統(tǒng)方法所無法解決的問題。

其中一位算法專家表示，他所在的團(tuán)隊(duì)正探索AIGB模型的落地，旨在實(shí)現(xiàn)從復(fù)雜環(huán)境上下文出發(fā)的端到端智能出價(jià)，并已經(jīng)取得不錯(cuò)的成果。

從業(yè)界人士了解到，比賽的成果與阿里媽媽去年提出的DiffBid在效果上旗鼓相當(dāng)。而AIGB范式下技術(shù)迭代很快，據(jù)阿里媽媽算法專家介紹，阿里媽媽在DiffBid基礎(chǔ)上，經(jīng)過近一年的努力又研發(fā)了新一代的出價(jià)算法，在自動(dòng)出價(jià)比賽激戰(zhàn)正酣之時(shí)，已經(jīng)在雙十一期間悄然上線，拿到了顯著的效果。

官方統(tǒng)計(jì)數(shù)據(jù)顯示，本次比賽總報(bào)名人次共1861人，AIGB賽道948人（海外70人），通用賽道913人（海外90人），包括全球范圍的頂尖高校、研究機(jī)構(gòu)和科技、金融公司團(tuán)隊(duì)，以及很多跨組織和個(gè)人名義參賽團(tuán)隊(duì)。

最后組成了793支AIGB賽道隊(duì)伍和729支通用賽道隊(duì)伍，共計(jì)1522支隊(duì)伍參與賽題角逐，報(bào)名參賽隊(duì)伍中包括北大、清華、哥大、UCSD、慕尼黑工業(yè)大學(xué)、南洋理工、首爾大學(xué)等全球知名高校團(tuán)隊(duì)，以及微軟、騰訊、螞蟻集團(tuán)、快手、蝦皮、中國建設(shè)銀行、字節(jié)跳動(dòng)、阿里巴巴等科技或金融公司團(tuán)隊(duì)。

還有很多跨組織團(tuán)隊(duì)和個(gè)人名義團(tuán)隊(duì)參賽。

淺劃一個(gè)令人羨慕的非重點(diǎn)，2個(gè)賽道共12支隊(duì)伍都有賽事獎(jiǎng)金拿，最高6000刀！

當(dāng)然了，因?yàn)槭前⒗飲寢屌e辦，所以優(yōu)勝者會(huì)有阿里巴巴的實(shí)習(xí)機(jī)會(huì)、校招綠色通道以及訪問學(xué)者資格。

“源神”啟動(dòng)，正式開源自動(dòng)出價(jià)決策領(lǐng)域的 Benchmark

最后聊聊Auto-Bidding in Large-Scale Auctions上一個(gè)比較驚喜的點(diǎn)——

“源神”啟動(dòng)！

阿里媽媽宣布，計(jì)劃正式開源自動(dòng)出價(jià)領(lǐng)域的Benchmark「AuctionNet」，包含48個(gè)不同Agent互相競(jìng)價(jià)的軌跡，共有超過5億條記錄，占用80GB的存儲(chǔ)空間。

這是世界首個(gè)標(biāo)準(zhǔn)化的大規(guī)模競(jìng)價(jià)模擬系統(tǒng)和大規(guī)模博弈數(shù)據(jù)集，相關(guān)成果已被NeurIPS 2024收錄為Spotlight論文（錄取率在3%左右）。

特別強(qiáng)調(diào)一下，AuctionNet不僅適用于廣告競(jìng)拍中出價(jià)決策算法的研究，還適用于大規(guī)模博弈中決策的研究。

這是因?yàn)樽詣?dòng)出價(jià)屬于決策智能范疇，可以廣泛應(yīng)用在游戲、自動(dòng)駕駛、市場(chǎng)營銷、推薦系統(tǒng)、金融量化投資等領(lǐng)域。

在來自Google Reasearch的Dr. Zhao看來，開源Benchmark的標(biāo)準(zhǔn)化評(píng)估和可重復(fù)性，將推動(dòng)這一領(lǐng)域的推動(dòng)學(xué)術(shù)研究和實(shí)際應(yīng)用的技術(shù)創(chuàng)新。

不僅如此，還將有助于協(xié)作和知識(shí)共享幫助該領(lǐng)域更多人受益。

講道理，阿里媽媽開源自動(dòng)出價(jià)決策領(lǐng)域的Benchmark，真的為搭起一座多方共贏的橋梁砌上了最重要的第一塊磚。

畢竟時(shí)至今日，在線廣告依然扮演著互聯(lián)網(wǎng)經(jīng)濟(jì)中至關(guān)重要的角色：

統(tǒng)計(jì)數(shù)據(jù)顯示，2023年全球在線廣告市場(chǎng)規(guī)模超過了6000億美元；縱觀全球，Google、Meta、TikTok、Alibaba都有相應(yīng)的在線廣告平臺(tái)，就連AI 2.0時(shí)代弄潮兒OpenAI也在近日傳出考慮在產(chǎn)品中引入在線廣告的消息。

這個(gè)領(lǐng)域內(nèi)，自動(dòng)出價(jià)模式的出現(xiàn)打破了傳統(tǒng)廣告技術(shù)體系，成為驅(qū)動(dòng)當(dāng)前在線廣告發(fā)展的核心動(dòng)力。

但一切事情都不會(huì)完美無瑕。作為近年來工業(yè)界的研究焦點(diǎn)，自動(dòng)出價(jià)領(lǐng)域仍然存在許多頗具挑戰(zhàn)性、有價(jià)值的科研問題。

比如因?yàn)檗D(zhuǎn)化稀疏、轉(zhuǎn)化率預(yù)測(cè)不確定性等問題，仍然需要精心設(shè)計(jì)如何在投放終點(diǎn)恰當(dāng)?shù)貪M足成本約束；比如時(shí)過境遷，工業(yè)界的競(jìng)拍環(huán)境已經(jīng)不再是傳統(tǒng)的單一坑位下的GSP拍賣機(jī)制，如何在更復(fù)雜的競(jìng)拍環(huán)境中找到最優(yōu)的出價(jià)策略仍然是尚未解決的難題。

明面上，解決這些問題是在助推商業(yè)收益，但從深層次來說，更是可以推動(dòng)相關(guān)技術(shù)領(lǐng)域的持續(xù)發(fā)展。

然而研究探討自動(dòng)出價(jià)領(lǐng)域的難點(diǎn)不僅僅在技術(shù)本身，由于各平臺(tái)對(duì)數(shù)據(jù)的嚴(yán)格保護(hù)，且缺乏和工業(yè)界比較接近的廣告競(jìng)價(jià)環(huán)境，目前針對(duì)其高價(jià)值問題的研究主要集中在少數(shù)幾家機(jī)構(gòu)。

就，層層加碼，難上加難。

其中，阿里媽媽就是為數(shù)不多能夠?qū)L在自動(dòng)出價(jià)領(lǐng)域大規(guī)模落地的公司之一，且一直以來都活躍推動(dòng)自動(dòng)出價(jià)技術(shù)發(fā)展，先后發(fā)布了多個(gè)算法的升級(jí)。

當(dāng)然了，當(dāng)RL不夠好用的時(shí)候，阿里媽媽敢站出來、愿意站出來，開源數(shù)據(jù)集，期待更多人參與研究，共同推動(dòng)，優(yōu)勢(shì)也不僅僅在技術(shù)本身。

從行業(yè)江湖的視角來看，它是中國領(lǐng)先的營銷平臺(tái)、擁有數(shù)百萬的廣告主，并且超過80%的廣告主使用了自動(dòng)出價(jià)服務(wù)，它有完整的數(shù)據(jù)鏈路閉環(huán)，從用戶點(diǎn)擊到下單過程路徑中的數(shù)據(jù)都能獲取到。

阿里媽媽技術(shù)同學(xué)介紹，為了讓更多研究者深入了解廣告平臺(tái)的運(yùn)作細(xì)節(jié)，并參與廣告平臺(tái)最核心的自動(dòng)出價(jià)算法的研究，團(tuán)隊(duì)建設(shè)了一個(gè)標(biāo)準(zhǔn)的廣告競(jìng)價(jià)環(huán)境，并設(shè)置了多種貼近工業(yè)界真實(shí)場(chǎng)景的特性，包括多坑、多樣化的流量價(jià)值分布、轉(zhuǎn)化預(yù)估不確定性、稀疏轉(zhuǎn)化等。

一位阿里媽媽技術(shù)同學(xué)對(duì)量子位表示：“希望此Benchmark能為學(xué)界和工業(yè)界提供強(qiáng)有力的支持，也期待通過開源推動(dòng)決策智能領(lǐng)域的AI技術(shù)和應(yīng)用快速向前發(fā)展。”

不得不多說兩句，開源的意義，從來都包含共享、協(xié)作、共同探索。

還包括一種自信，一種立足前沿頭部的自信，一種不懼挑戰(zhàn)的自信，一種自己就是“源頭活水”且愿意營造更好生態(tài)氛圍的自信。

從去年的DiffBid，到今年在雙十一中得到驗(yàn)證的新一代出價(jià)算法，阿里媽媽持續(xù)引領(lǐng)著行業(yè)的創(chuàng)新和變革。

正如在RL方法時(shí)代一樣，阿里媽媽又將在AIGB方法時(shí)代，以自動(dòng)出價(jià)技術(shù)發(fā)展的領(lǐng)航者身份再次啟航。

GitHub鏈接：

https://github.com/alimama-tech/AuctionNet