你玩的音游可能真是AI生成的，Love Live!工作室發(fā)了篇論文，用AI節(jié)省50%作譜時(shí)間
已生成110首曲子，其他音游也通用
蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
現(xiàn)在，你打的音游曲譜，還真有可能是AI生成的！
像下面這些根據(jù)節(jié)拍生成音符的操作，也就是譜面?（chart），現(xiàn)在AI也能搞出來(lái)了：
這是發(fā)生在著名偶像音游Love Live!系列上的真事兒。
開發(fā)它的音游工作室KLab聯(lián)合九州大學(xué)，搞出了一個(gè)名叫GenéLive!的“AI譜面協(xié)作工具”，已經(jīng)生成了110首曲子。
作者之一高田敦史（Atsushi Takada）對(duì)此表示：
原本我們給一首曲子制作譜面大約需要40小時(shí)，現(xiàn)在能節(jié)省大約50%的時(shí)間。
畢竟對(duì)于音游玩家來(lái)說(shuō)，譜面確實(shí)非常影響體驗(yàn)。
即使是音樂團(tuán)隊(duì)，一不留神也會(huì)做出非常卡手的譜面，也就是玩家們調(diào)侃的“糞譜”。
△圖源TapTap社區(qū)@coook
讓AI來(lái)協(xié)助參與的話，究竟能不能提升效率？
增加AI對(duì)節(jié)拍和樂曲的理解
在了解譜面AI協(xié)助工具之前，先簡(jiǎn)單看看音游的譜面都有哪些常見參數(shù)。
例如，一分鐘節(jié)拍數(shù)?（BPM，Beats per minute）。這是一個(gè)樂曲的屬性，數(shù)值越大，代表這首樂曲的速度越快。
又例如，音符?（Note），包括各種不同種類的音符。
更具體來(lái)說(shuō)，音符又分為兩個(gè)屬性，一個(gè)是起點(diǎn)（onset），決定音符生成的速度；另一個(gè)是類型（sym），決定了音符的操作方式（例如點(diǎn)按、長(zhǎng)按等）。
在GenéLive!出現(xiàn)之前，業(yè)內(nèi)其實(shí)已經(jīng)有一個(gè)叫做DDC（Dance Dance Convolution）的譜面AI模型。
這個(gè)模型結(jié)合了RNN和CNN架構(gòu)，能夠自動(dòng)生成音游譜面。
然而DDC存在一個(gè)問(wèn)題，也就是當(dāng)譜面難度增加的時(shí)候，AI就容易生成低質(zhì)量的譜面。
針對(duì)這一問(wèn)題，GenéLive!做了兩方面的改進(jìn)：
- 利用卷積堆棧（conv-stack）進(jìn)一步提取音頻特征，加深A(yù)I對(duì)樂曲本身的理解
- 增加專門用于分析節(jié)拍等信息的Bi-LSTM，以便于AI生成更能表達(dá)情緒的譜面
具體來(lái)說(shuō)，改進(jìn)后的AI模型細(xì)節(jié)如下：
那么，這樣的效果在評(píng)估中的質(zhì)量如何呢？
已生成110首曲子，其他音游也通用
事實(shí)上，據(jù)KLab透露，從2020年7月開始，團(tuán)隊(duì)就已經(jīng)在用這個(gè)AI工具生成譜面了。
截至2022年1月，他們一共用AI生成了110首曲目！其中的82首還是已經(jīng)發(fā)行的。
也就是說(shuō)，玩《LoveLive！》系列音游的玩家們，很可能已經(jīng)玩過(guò)AI生成的作品了，尤其是低難度的關(guān)卡。
具體到生成質(zhì)量上，作者們先是將GenéLive!和DDC進(jìn)行了對(duì)比。
結(jié)果顯示，無(wú)論是低難度還是專家難度上，GenéLive譜面的評(píng)分都要比DDC更高。
據(jù)作者表示，他們?cè)赨tapri等其他音游上試了試，表現(xiàn)出來(lái)的效果也非常不錯(cuò)：
至于操作上，也比較簡(jiǎn)單。
作者們給這個(gè)工具做了個(gè)操作界面，即使制作者不會(huì)AI，也能用它自動(dòng)生成譜面：
由于GenéLive!主要是作為AI協(xié)助工具，因此音樂團(tuán)隊(duì)也會(huì)在AI生成的基礎(chǔ)上進(jìn)行微調(diào)。
目前，從難度較高的曲目來(lái)看，需要微調(diào)的地方已經(jīng)很少了（紅色是AI生成，綠色是微調(diào)過(guò)后的）：
搞出這個(gè)論文的機(jī)構(gòu)之一KLab，是日本有名的游戲工作室。
即使你沒有聽過(guò)偶像游戲Love Live!系列，也可能見過(guò)這個(gè)家喻戶曉的鬼畜偶像角色矢澤妮可：
△“妮可妮可妮”
這樣看來(lái)，音游里一些“反人類”的關(guān)卡，說(shuō)不定真是用AI做的……（手動(dòng)狗頭）
論文地址：
https://arxiv.org/abs/2202.12823
DDC項(xiàng)目地址：
https://github.com/chrisdonahue/ddc
參考鏈接：
[1]https://www.itmedia.co.jp/news/articles/2108/30/news088.html
[2]https://www.taptap.com/topic/14437458
[3]https://arxiv.org/pdf/1703.06891.pdf
