用貝葉斯優(yōu)化做巧克力曲奇，谷歌這項(xiàng)研究登上了NeurIPS

豐色 2022-10-06 14:30:00 來(lái)源：量子位

豐色 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

用貝葉斯優(yōu)化來(lái)改良餅干配方，還順便發(fā)了個(gè)頂會(huì)？！

這樣的跨學(xué)科研究你玩過(guò)嗎？

這不，谷歌大腦的幾位研究人員就干了這么一件事。

他們和人類廚師、評(píng)分員一起，一共進(jìn)行了144次實(shí)驗(yàn)，摸索出了人們最喜歡的巧克力曲奇配方。

還順便發(fā)現(xiàn)不同地區(qū)的人對(duì)口味也有著細(xì)微的偏好：

比如加州的顧客更喜歡不那么甜的，匹茲堡的則喜歡cayenne（紅辣椒，一種香料）多一點(diǎn)的（我也不知道為什么餅干里要加辣椒）。

當(dāng)然，最厲害的是，這款“機(jī)器學(xué)習(xí)曲奇”的做法得到了谷歌自助餐廳廚師們的認(rèn)可，因此還簽上了協(xié)議，直接用上實(shí)際“開(kāi)發(fā)”！

這也太有意思了吧～

那么，具體怎么個(gè)“玩法”呢？

貝葉斯優(yōu)化vs巧克力曲奇

貝葉斯優(yōu)化很多人都熟悉，它是機(jī)器學(xué)習(xí)中超參數(shù)優(yōu)化的常用技術(shù)之一，適用于求解目標(biāo)函數(shù)表達(dá)式未知、非凸、多峰和評(píng)估代價(jià)高昂的復(fù)雜優(yōu)化問(wèn)題。

之所以要在餅干配方上進(jìn)行貝葉斯優(yōu)化，谷歌大腦的研究人員解釋道：

這主要是因?yàn)樽鲲灨傻目烧{(diào)參數(shù)相對(duì)較少，就面粉、糖等10種左右的配料，以及每次實(shí)驗(yàn)迭代的成本相對(duì)較高，因?yàn)樾枰斯せ旌喜牧稀l(fā)面、烘焙，然后再品嘗并報(bào)告分?jǐn)?shù)。

研究人員先在匹茲堡的谷歌分辦公室進(jìn)行了一場(chǎng)小規(guī)模的實(shí)驗(yàn)。

首先，他們清點(diǎn)出了一份配料清單，并為每種材料的克數(shù)限定了范圍，讓機(jī)器在這個(gè)范圍內(nèi)隨意發(fā)揮（其中面粉的克數(shù)是固定的）。

接著，為了配置初始范圍，他們從網(wǎng)上找到了幾個(gè)配方進(jìn)行參照，然后使用谷歌自己開(kāi)發(fā)的黑盒優(yōu)化工具Vizier來(lái)提出新配方。

其中，Vizier工具利用了遷移學(xué)習(xí)的思想，在目標(biāo)函數(shù) f(x)的高斯過(guò)程模型F(x)上運(yùn)用貝葉斯優(yōu)化bandit算法，可以在預(yù)期改善最大的地方上提出新的想法。

最后，研究人員利用優(yōu)化過(guò)的配方和參照組的配方分別烤出20塊餅干，隨機(jī)邀請(qǐng)了一些員工進(jìn)行品嘗和打分。

得到一些味道還不錯(cuò)的成品之后，研究人員決定擴(kuò)大試驗(yàn)規(guī)模，來(lái)到位于加州山景城的谷歌總部。

在這里，實(shí)驗(yàn)規(guī)則有了一些變化：

1、總部的餐廳廚師本著對(duì)食客負(fù)責(zé)的態(tài)度，表示要對(duì)機(jī)器優(yōu)化配方進(jìn)行審查，并擁有一票否決權(quán)和“編輯”權(quán)。

一開(kāi)始，機(jī)器給出的配方基本都會(huì)被廚師修修改改；后來(lái)，廚房們就開(kāi)始信任機(jī)器食譜，即使某些組合看起來(lái)就不同尋常。

2、每個(gè)配方做出的餅干從20塊變?yōu)榇蠹s1000塊，畢竟嘗的人更多了結(jié)果才更有說(shuō)服力。

3、評(píng)分從5分制變?yōu)榱?分制：0表示“太難吃了下次不要做了”，7表示“這是我吃過(guò)的最好吃的”。

最終，在加州山景城這里，研究人員得到了一款平均分為5.4的成品，該成品受到了最多人的喜愛(ài)。

研究人員介紹，相對(duì)于通過(guò)在可行區(qū)域內(nèi)隨機(jī)抽樣目標(biāo)值分布，他們通過(guò)計(jì)算目標(biāo)函數(shù)F(x)在Vizer內(nèi)部模型峰值的z分?jǐn)?shù)（z-score），來(lái)尋找每次研究中的增益（gains）（詳細(xì)步驟可以查看論文）。

下表給出了每個(gè)配方中F(x) 的最大值和實(shí)際烘培值的z分?jǐn)?shù)。前三個(gè)來(lái)自匹茲堡，后一個(gè)來(lái)自山景城。

總的來(lái)看，Max欄的z分?jǐn)?shù)基本上為正，表明每次給出的配方都取得了進(jìn)步。

其中，Pgh-2的max值都很低，說(shuō)明當(dāng)唯一的可調(diào)節(jié)配料是香草精和橙香精時(shí)，做出來(lái)的巧克力曲奇都不會(huì)太差。

而Pgh-3的max值中的大值可能意味著在配方中添加過(guò)多的辣椒會(huì)導(dǎo)致餅干味道變差。

……

有意思的是，研究人員發(fā)現(xiàn)，山景城的最佳配方與匹茲堡比起來(lái)，有兩處不同：

一是辣椒更少，基本為0；

二是糖含量也更低。

這個(gè)差異讓研究團(tuán)隊(duì)意識(shí)到，人們可以用貝葉斯優(yōu)化為不同城市、公司中的烘焙店提供“個(gè)性化”產(chǎn)品。

此外，他們將這兩配方和參照組進(jìn)行比較，發(fā)現(xiàn)含糖量都比較低——這說(shuō)明機(jī)器學(xué)習(xí)給的配方可能有一個(gè)重要的優(yōu)勢(shì)：

相比烹飪書(shū)作者，它們更懂得食客真正喜歡什么樣的餅干。

研究人員還表示，讓人類廚師修改機(jī)器配方也是山景城實(shí)驗(yàn)成功的關(guān)鍵，這可以作為未來(lái)工作的一個(gè)有趣方向。

當(dāng)然，最可喜可賀的還是谷歌自助餐廳的廚師們?cè)诹私饬诉@個(gè)優(yōu)化器的工作流程和原理后給予了認(rèn)可，“熱情地”簽署了合作協(xié)議。

不知道現(xiàn)在，谷歌員工吃上了這樣高大上的“機(jī)器學(xué)習(xí)曲奇”沒(méi)（doge）？

配方在此

所以，這么好吃的巧克力曲奇到底應(yīng)該怎么做？

所幸作者沒(méi)有吝嗇，在附錄中進(jìn)行了配方大公開(kāi)。

首先是匹茲堡的，需要：

• 167克通用面粉
• 196克黑巧克力片
• 1/2茶匙小蘇打
• 1/4茶匙鹽
• 1/4茶匙辣椒（cayenne pepper）
• 108克糖（88%紅糖，12%白糖）
• 30克雞蛋
• 129克黃油
• 3/8茶匙橙香精（orange extract）
• 1/2茶匙香草精

其次是山景城的，需要：

• 167克通用面粉
• 245克牛奶巧克力片
• 0.6茶匙小蘇打
• 0.5茶匙鹽
• 0.125茶匙辣椒（cayenne pepper）
• 127克糖（31%紅糖，69%白糖）
• 25.7克雞蛋
• 81.3克黃油
• 0.12茶匙橙香精（orange extract）
• 0.75茶匙香草精

細(xì)看確實(shí)基本每一種配料都有不少改動(dòng)。

不知道這倆口味是否符合我們的胃口？

有意思的是，這篇研究中了當(dāng)時(shí)的NeurIPS后，團(tuán)隊(duì)還專門(mén)又做了一批出來(lái)，在會(huì)議現(xiàn)場(chǎng)進(jìn)行分發(fā)。

這不，就有人嘗到了成品，還說(shuō)真的很美味。

最后，有人看了這款貝葉斯優(yōu)化餅干，表示迫不及待想在濃縮咖啡上試試了～

你有沒(méi)有做過(guò)類似有意思的跨學(xué)科研究？

論文地址：
https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/46507.pdf

參考鏈接：
https://twitter.com/lauretig/status/1569147105490395136?s=46&t=kXyj0z9hCjlXlxrs_Ze_XA