月之暗面Kimi模型升級：200萬字窗口版可申請，新增“繼續(xù)”功能
多模態(tài)模型年內(nèi)推出
衡宇 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
繼2月以投后約25億美金估值炸場后，楊植麟的大模型公司月之暗面終于有了一次公開對媒體的活動。
雖然楊植麟本人并未露面，但是發(fā)布了更長上下文窗口的版本：
200萬字上下文版本，今天即刻在Kimi上開啟內(nèi)測。
并且在與Kimi對話過程中，加入了（不打斷模型思路的）“繼續(xù)”功能按鈕。
月之暗面工程副總裁許欣然（同時也是Infra負(fù)責(zé)人）在會議室咚、咚、咚把好幾摞厚厚的打印紙重重地放在桌面上，分別是打印出來的《中醫(yī)中醫(yī)內(nèi)科學(xué)》《中醫(yī)診斷學(xué)》、英偉達(dá)2023年年度財(cái)報(bào)、《甄嬛傳》劇本版。
一摞比一摞厚。
現(xiàn)場放話：“歡迎大家體驗(yàn)”。
去年10月，月之暗面第一次公開亮相，發(fā)布了20萬字上下文窗口的Kimi模型。
5個月過去——5個月，對AI世界已經(jīng)是非常久的時間了，Kimi主要在3個方面有所提升：
- 遵循更復(fù)雜的指令
- 更強(qiáng)的信息檢索能力
- 網(wǎng)頁版、Android、iOS、小程序
提出“Kimi 10分鐘速成定律”
此次月之暗面最主要的動作，就是將自家模型的上下文窗口提升了一個數(shù)量級。
即從發(fā)布之初的20萬字，拓展到200萬字。
同時據(jù)許欣然透露，5個月過去，相同成本、相同設(shè)備情況下，模型響應(yīng)速度提升了3倍左右。
為了達(dá)到更好的長窗口無損壓縮性能，月之暗面的研發(fā)和技術(shù)團(tuán)隊(duì)從模型預(yù)訓(xùn)練到對齊、推理環(huán)節(jié)均進(jìn)行了原生的重新設(shè)計(jì)和開發(fā)，不走“滑動窗口”、“降采樣”等技術(shù)捷徑，攻克了很多底層技術(shù)難點(diǎn)。
200萬字上下文窗口，意味著Kimi模型能夠吃下更長的文檔內(nèi)容，完成更長和更復(fù)雜的任務(wù)。
包括但不限于，快速整理N多文件，如從500份簡歷中提取信息：
現(xiàn)場月之暗面還提出了“Kimi 10分鐘速成定律”。
即無關(guān)領(lǐng)域大眾小眾，也無關(guān)資料或多或少，只要把資料一股腦丟給模型，10分鐘內(nèi)，Kimi都能快速入門一個新領(lǐng)域。
比如德州撲克、中醫(yī)內(nèi)科、開（某個特定型號的）飛機(jī)、大模型推理……
現(xiàn)場還演示了Kimi模型挖掘長篇故事情節(jié)中深層次信息的能力。
案例自然是被人類開發(fā)程度不足10%的甄嬛傳（笑死）。
值得注意的是，月之暗面在媒體溝通會現(xiàn)場提出了一個新說法，即大模型們最近的新競速賽道，“大海撈針”功能，恐怕全綠也沒什么太大意義了。
最初，大海撈針其實(shí)是一個非常好的評測標(biāo)準(zhǔn)，因?yàn)楫?dāng)時大家都沒有針對這個case去優(yōu)化過。
但現(xiàn)在它已經(jīng)不是一個很好的評測指標(biāo)了，當(dāng)大家都去關(guān)注它的時候，就一定會想盡辦法去優(yōu)化它，慢慢就失去了原本的參考意義。
如果大海撈針不行了，有什么新的評測標(biāo)準(zhǔn)能夠檢測模型長文本能力嗎？
“暫時還沒有。”許欣然笑道。
他表示，模型窗口越來越長，評測的緯度變得非常非常多，不過團(tuán)隊(duì)已經(jīng)在和學(xué)術(shù)界團(tuán)隊(duì)共同探討這個開放性的問題。
期望打造“個人麥肯錫”
從20萬字上下文窗口，迭代為今天開始內(nèi)測的200萬字上下文窗口，具體的模型應(yīng)用場景又有什么新的亮眼之處？會不會只是從“處理50封簡歷”到“處理500封簡歷”的簡單線性外擴(kuò)？
一味拓展大模型上下文窗口的邊界，會不會打造出一把普通人想象中的“皇帝的金鋤頭”？
“實(shí)際上，可能會不斷地出現(xiàn)更多的現(xiàn)實(shí)場景，只有足夠長的context才能完成。”月之暗面表示，在200萬字版本推出后，接下來Kimi模型會在以下幾個方向發(fā)展：
第一，領(lǐng)域?qū)＜摇?/strong>
利用長文本能力吃掉一個領(lǐng)域里幾乎所有的相關(guān)資料，使調(diào)研一個行業(yè)成為簡單的事情。
第二，可完成復(fù)雜多步任務(wù)的Agent，月之暗面內(nèi)部稱之為“個人麥肯錫”。
希望模型未來不只是像能處理“幫我翻譯一下這個PDF”這類非常具體的任務(wù)，也能自動完成抽象、復(fù)雜的任務(wù)。
第三，多模態(tài)能力。
Context長了之后，Kimi模型可以容納更多高清的、時間更長的這種視頻，從而讓我們模型很方便地去拓展到更多的模態(tài)。
據(jù)月之暗面聯(lián)合創(chuàng)始人周昕宇現(xiàn)場的答復(fù)，Sora出來以前，月之暗面就在根據(jù)自己的節(jié)奏推進(jìn)多模態(tài)能力的研發(fā)，Sora的出現(xiàn)也并沒有打亂原有的安排。
“預(yù)計(jì)今年會推出我們自己的多模態(tài)模型/產(chǎn)品。”
One More Thing
最后，他家大模型還悄么聲地改名了：
Kimi Chat??Kimi智能助手
Moonshot大模型??Kimi大模型
相關(guān)閱讀
