大模型預(yù)測，下一個token何必是文字？

十三 2024-03-29 17:39:09 來源：量子位

明敏 金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

太快了太快了…

大模型的生成技能，已經(jīng)到了普通人看不懂的境界！

它可以根據(jù)用戶過去5年的體檢報告，生成未來第1年、第2年、第3年的體檢報告。

你看，這個生成的過程，是不是像極了ChatGPT，根據(jù)歷史單詞預(yù)測下一個單詞。

它能查看過去7天機組子部件的運行情況，生成未來3天每小時的子部件報告 。

還能基于歷史水文數(shù)據(jù)和未來7天氣象數(shù)據(jù)，生成未來第1天、第2天……至第7天的每小時降水分析報告，包括詳細(xì)降水量、降水分布。

如今，大模型的生成內(nèi)容，早已不只是文字/圖像/視頻了。

如上生成的這些報告分析涉及諸多專業(yè)知識，普通人很難基于自己的知識儲備評價其合理性和正確性。

最多只能評價一句：不明覺厲！

怎么說呢？“AI似乎正在生成一切”。

LLM+行業(yè)數(shù)據(jù)，路走錯了？

簡單理解大模型，就是Predict the Next “X”。ChatGPT是Predict the Next “Word”。

但行業(yè)需要的往往不是預(yù)測下一個字。

比如對于慢性病患者的健康管理規(guī)劃，它需要基于一系列生理指標(biāo)數(shù)據(jù)，從醫(yī)學(xué)角度進行數(shù)據(jù)預(yù)測。舉個不恰當(dāng)?shù)睦樱@更像是用數(shù)學(xué)方法解題。

如果在大語言模型基礎(chǔ)上投喂大量專業(yè)的醫(yī)學(xué)語料，更像是用語文方法讀題。盡管能理解相關(guān)的術(shù)語和指標(biāo)，可是給出的預(yù)測結(jié)果大概率不準(zhǔn)確。因為問題本身超出了“語言”范疇，不能用語文方法求解。

如果“X“的模態(tài)從“文字Word”變成了“體檢報告”，模型則可以根據(jù)歷史體檢報告數(shù)據(jù)去預(yù)測下一個體檢報告，這才是一個健康管理大模型。

它的邏輯更像是“種瓜得瓜、種豆得豆”。即輸入“X”、輸出“X”。

這里的“X”可能包含水文數(shù)據(jù)、健康報告、設(shè)備監(jiān)測數(shù)值、設(shè)計推演等不同樣式的專業(yè)數(shù)據(jù)。

它能基于音樂廳的幾何模型和房間數(shù)據(jù)，從聲源發(fā)射5000Hz頻率射線，生成射線分布圖，找到聽覺最佳的音源擺放位置。

如何預(yù)測“X”？

所以，這些能預(yù)測下一個X的行業(yè)大模型，如何構(gòu)建出來？

通過剛剛發(fā)布的先知AIOS 5.0。其核心特點是基于各行各業(yè)場景的X模態(tài)數(shù)據(jù)，構(gòu)建行業(yè)基座大模型。

解決了當(dāng)前行業(yè)大模型只能將行業(yè)文本數(shù)據(jù)喂給大語言模型、生成下一個字的問題，讓大模型能來到的領(lǐng)域更加廣泛。

先知是AI公司第四范式的核心產(chǎn)品。2015年，先知AIOS 1.0版本首次發(fā)布，通過高維、實時、自學(xué)習(xí)框架提升模型精度；2017年，先知AIOS 2.0版本利用自動建模工具HyperCycle，降低模型開發(fā)門檻；2020年發(fā)布的先知AIOS 3.0版本規(guī)范AI數(shù)據(jù)治理和上線投產(chǎn)；2022年，先知AIOS 4.0版本引入北極星指標(biāo)，更大化發(fā)揮AI應(yīng)用價值。

AIOS 5.0版本則從生成式AI+行業(yè)這一角度出發(fā)，給行業(yè)大模型提出了一種新思路。

而在公認(rèn)的大模型應(yīng)用落地元年里，行業(yè)大模型的發(fā)展和影響一定是此前的數(shù)倍。這種更具規(guī)模化的動向，由此也形成了AIGC趨勢的下一個范式。

One More Thing：AIGC邁向新范式？

從圖片、文字、視頻，再到健康、水利……我們不難看出AIGC現(xiàn)在正以迅猛的速度朝著AI生成一切的方向飛奔。

通常來說，一切事物的發(fā)展似乎都需要一些范式來推動，而且不是新范式取代舊范式，而是它們之間互補使其更加深入和全面。

正如科學(xué)研究中的四種范式一般，即實驗歸納、理論推演、計算機仿真和數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)，它們相互補充，共同推動了科學(xué)研究的進步。

那么若是以這種邏輯來看待AIGC，似乎類似的四種范式也已經(jīng)開始出現(xiàn)。

AIGC的第一范式以文本生成為核心，通過智能客服、內(nèi)容續(xù)寫等應(yīng)用，展示了AI在理解和生成自然語言方面的能力。這一階段的AIGC技術(shù)，為后續(xù)的發(fā)展奠定了基礎(chǔ)，使得機器能夠與人類進行有效的交流和互動。

AIGC的第二范式將應(yīng)用領(lǐng)域擴展到了圖像生成。

如生成對抗網(wǎng)絡(luò)（GAN）、變分自編碼器（VAE）等，可以學(xué)習(xí)從隨機噪聲生成逼真圖像的映射。并能將輸出結(jié)果用于藝術(shù)創(chuàng)作、圖像增強、虛擬場景生成等領(lǐng)域。這一范式進一步展現(xiàn)了AI的想象力。

AIGC的第三范式則是聚焦在了視頻生成，例如Gen2，例如Sora。

視頻生成一定程度上反映了AI對于世界的理解。從Sora誕生以來，能否理解世界？是否是世界模擬器的說法一直爭論不休。因為如果確定Sora可以理解世界，將意味著AGI大門正式開啟。

而AIGC的第四范式，就是以行業(yè)為主，技術(shù)將全面滲透到各個行業(yè)之中。

這一階段的核心任務(wù)是將AI技術(shù)與行業(yè)知識深度融合。今年作為大模型應(yīng)用落地的元年，我們看到AIGC技術(shù)開始在醫(yī)療、教育、金融等關(guān)鍵領(lǐng)域發(fā)揮重要作用。

具體怎么做才能更快推進AIGC扎入行業(yè)？各路玩家都還在不斷嘗試中。以大語言模型為底座？還是直接訓(xùn)練行業(yè)大模型？不同路線都有各自的底層邏輯，誰的路線更能跑通，還言之過早。

但可以確定的是——

在AI生成一切的進程中，那些能夠率先利用AI技術(shù)的個人和行業(yè)，將能夠更早地享受到技術(shù)帶來的紅利。他們將有機會引領(lǐng)行業(yè)變革，塑造未來的社會和經(jīng)濟格局。

而且也只有AIGC進入到了第四范式，才意味著完成了技術(shù)創(chuàng)新到商業(yè)創(chuàng)業(yè)的飛輪轉(zhuǎn)換，意味著生成式AI開啟新質(zhì)生產(chǎn)力變革。