超級(jí)知識(shí)助手來了！訊飛星火支持長(zhǎng)文本長(zhǎng)圖文長(zhǎng)語(yǔ)音，生產(chǎn)力UP

白交 2024-04-26 21:00:42 來源：量子位

白交 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

這一次，大模型真的可以讓人類解放雙手了。

今天訊飛星火大模型V3.5春季上新，直戳辦公場(chǎng)景的痛點(diǎn)！

• 星火大模型能力升級(jí)，支持長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音……不僅能夠把各種來源的海量文本、圖文資料、會(huì)議錄音等進(jìn)行快速學(xué)習(xí)，還能夠在各種行業(yè)場(chǎng)景中給出專業(yè)、準(zhǔn)確回答。
• 還有專門為企業(yè)推出的“智能體平臺(tái)”，打造智能助手，解決大模型應(yīng)用企業(yè)落地的最后一公里難題。
• 另外訊飛星火語(yǔ)音交互能力進(jìn)一步升級(jí)，首發(fā)多情感超擬人聲音合成，AI能“情感共鳴”了，還上線“一句話聲音復(fù)刻”等功能。

好了，目前星火大模型已經(jīng)升級(jí)，這就來第一時(shí)間體驗(yàn)一下。

“超級(jí)知識(shí)助手”來了

在此前官方預(yù)告中，大家就對(duì)即將發(fā)布的三個(gè)“長(zhǎng)”功能頗為關(guān)注。科大訊飛推出這一系列新功能，背后有著怎樣的考慮？

據(jù)科大訊飛董事長(zhǎng)劉慶峰透露，他們看到一段時(shí)間以來，訊飛星火的開發(fā)者和用戶都高度關(guān)注知識(shí)的獲取和學(xué)習(xí)問題。

在知識(shí)獲取和學(xué)習(xí)的過程中，廣大用戶能拿到的資料往往不僅是現(xiàn)成的長(zhǎng)文本，還有隨手可見的報(bào)刊書籍內(nèi)容、各種研討會(huì)的PPT內(nèi)容，老師黑板上的板書、同學(xué)的筆記，以及各種會(huì)議錄音、訪談，各種網(wǎng)上的發(fā)布會(huì)、培訓(xùn)教育視頻等，能不能把這些文本、圖片、語(yǔ)音等都上傳到訊飛星火中，快速地獲取知識(shí)？

這就要求大模型不僅要解決長(zhǎng)文本、還有長(zhǎng)圖文、長(zhǎng)音頻以及各種企業(yè)和專業(yè)行業(yè)應(yīng)用的準(zhǔn)確率問題。

為此，科大訊飛推出首個(gè)支持長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音的大模型，來解決用戶真實(shí)場(chǎng)景中多源信息的獲取需求。

長(zhǎng)文本

據(jù)介紹，升級(jí)之后，當(dāng)前星火大模型通用長(zhǎng)文本能力，包括長(zhǎng)文檔信息抽取、長(zhǎng)文檔知識(shí)問答、長(zhǎng)文檔總結(jié)、長(zhǎng)文檔文本生成等，總體已經(jīng)達(dá)到GPT-4 Turbo 4月最新大模型版本的97%水平，而在銀行、保險(xiǎn)、汽車、電力等多個(gè)垂直領(lǐng)域的知識(shí)問答任務(wù)上，星火大模型長(zhǎng)文本總體水平已經(jīng)超過GPT-4 Turbo。

而為了應(yīng)對(duì)運(yùn)行效率問題，星火大模型特別進(jìn)行了剪枝和蒸餾，推出13B版本，效果損失僅3%以內(nèi)，但響應(yīng)時(shí)間、生成效果等方面的效率都有提升。

話不多說，這就來開始實(shí)際評(píng)測(cè)一番。

首先來看第一題開胃小菜，把費(fèi)曼物理學(xué)講義第一卷直接扔給他，也不告訴它書名叫啥，直接問書中講了什么。

嗯~還不錯(cuò)，大致方向是對(duì)的。

長(zhǎng)圖文

接下來，來看第二題，考驗(yàn)它長(zhǎng)圖文識(shí)別的能力。

據(jù)劉慶峰介紹，圖文識(shí)別大模型現(xiàn)在已經(jīng)覆蓋了31個(gè)最常見的典型場(chǎng)景，像教育類的書刊、學(xué)術(shù)論文、專利、報(bào)紙、海報(bào)、產(chǎn)品白皮書、PPT和菜單、APP截圖、演講照片等等都已經(jīng)進(jìn)行了覆蓋，以及18種版面要素（包括頁(yè)眉、頁(yè)腳、標(biāo)題、欄目、段落、表格、插圖等）

既然如此，那就扔給它一份最新量子位智庫(kù)出品的《中國(guó)AIGC應(yīng)用全景報(bào)告》PPT，并詢問相關(guān)細(xì)節(jié)問題。

結(jié)果不管是市場(chǎng)規(guī)模、商業(yè)模式、投融資情況都一一清楚的回答上來。

長(zhǎng)語(yǔ)音

最后再來考驗(yàn)一下它的長(zhǎng)語(yǔ)音能力。可以看到，訊飛星火可以支持多種音視頻格式，只要不超過1GB大小就好。

那么就扔給他這次科大訊飛官方發(fā)布長(zhǎng)語(yǔ)音能力的演示視頻試試。

結(jié)果：

甚至還包括像「劉慶峰做了什么」也都精準(zhǔn)回答了。

想象一下，在信息獲取或知識(shí)學(xué)習(xí)中，拿到的資料無非就是現(xiàn)成長(zhǎng)文本、論文書籍，又或者研討會(huì)PPT、筆記截圖，以及各種會(huì)議錄音、發(fā)布會(huì)、網(wǎng)上教學(xué)視頻等等。

而此次科大訊飛星火大模型的升級(jí)：“長(zhǎng)文本、長(zhǎng)圖文、長(zhǎng)語(yǔ)音”的支持，可以說把整個(gè)場(chǎng)景全覆蓋了。

用上了它，相當(dāng)于每個(gè)人都擁有了個(gè)知識(shí)助手，這不就是妥妥的學(xué)習(xí)工作小利器嘛~

多情感超擬人合成&一句話聲音復(fù)刻

除此之外，還有多情感超擬人合成功能、一句話復(fù)刻的功能的首發(fā)上新，可直接去星火APP上體驗(yàn)。

年初訊飛星火V3.5發(fā)布會(huì)上，科大訊飛推出的超擬人對(duì)話功能，如今該功能得以進(jìn)一步升級(jí)，不僅更逼真，情緒表達(dá)也更為豐富，包括高興、抱歉、安慰、撒嬌、困惑等情緒表達(dá)的可感知度達(dá)到85%以上。

與此同時(shí)還推出了一句話聲音復(fù)刻，一句話就可以定制你的AI助手聲音。這樣出差的時(shí)候，就還可以給孩子講故事，又或者給爺爺奶奶讀書讀報(bào)，給世界帶來更多溫度。

星火智能體平臺(tái)

辦公場(chǎng)景，長(zhǎng)期以來一直面臨一個(gè)痛點(diǎn)——如何高效地獲取和學(xué)習(xí)知識(shí)。此次推出的智能體平臺(tái)正是專門面對(duì)企業(yè)場(chǎng)景。

在訊飛星火智能體平臺(tái)上，首先，基于星火大模型，會(huì)自動(dòng)實(shí)現(xiàn)用戶輸入的精準(zhǔn)理解和任務(wù)規(guī)劃。解析完了相關(guān)的任務(wù)和對(duì)應(yīng)的工具之后，訊飛星火已構(gòu)建形成了包括天氣、航班、企查查等成體系的外部信息來源的對(duì)接；

同時(shí)，星火智能體平臺(tái)還通過互認(rèn)證的機(jī)制，實(shí)現(xiàn)了往往是獨(dú)立的、隔離的OA系統(tǒng)、CRM系統(tǒng)以及ERP系統(tǒng)的打通，完成相應(yīng)操作；最后，通過私域知識(shí)融入機(jī)制，智能體平臺(tái)很容易實(shí)現(xiàn)企業(yè)所屬行業(yè)以及企業(yè)私域知識(shí)的融入，實(shí)現(xiàn)更精準(zhǔn)的專業(yè)理解和知識(shí)問答。

此外，星火智能體平臺(tái)還可以通過拖拽方式實(shí)現(xiàn)新智能體的創(chuàng)建和多智能體的協(xié)作。用以上一套組合拳，敏捷觸達(dá)大模型應(yīng)用企業(yè)落地的最后一公里。

訊飛大模型的技術(shù)理念：從解決現(xiàn)實(shí)問題出發(fā)

可以看到的是，此次星火大模型的升級(jí)，更偏落地，更偏解決現(xiàn)實(shí)剛需，而非只是性能參數(shù)的升級(jí)。

一方面，訊飛星火大模型實(shí)際體驗(yàn)中，都是企業(yè)的剛需場(chǎng)景。

據(jù)七麥數(shù)據(jù)顯示，訊飛星火APP在安卓端的下載量已經(jīng)超過9600萬次，在國(guó)內(nèi)工具類通用大模型APP中排名第一。

從C端使用場(chǎng)景來看，訊飛星火的用戶主要集中在辦公領(lǐng)域。具體使用高峰期集中在工作日的上午9點(diǎn)半和下午的3點(diǎn)左右，以互聯(lián)網(wǎng)、科研、教育、傳媒行業(yè)為主。

這種用技術(shù)解決剛需的邏輯，也體現(xiàn)在科大訊飛的多項(xiàng)業(yè)務(wù)增長(zhǎng)中。

在大模型加持下，開放平臺(tái)與消費(fèi)者業(yè)務(wù)全年?duì)I收達(dá)到61.9億元，成為科大訊飛最大的業(yè)務(wù)板塊。智慧汽車、智慧醫(yī)療、智慧金融業(yè)務(wù)板塊則分別貢獻(xiàn)了7億元、5.4億元和2.9億元的營(yíng)收，同比分別增長(zhǎng)52.2%、14.9%及26.1%。在C端智能硬件領(lǐng)域，搭載訊飛星火的訊飛智能辦公本、訊飛智能錄音筆、訊飛智能翻譯機(jī)等消費(fèi)者硬件GMV同比大增84%。

另一方面，這也是訊飛一直以來所對(duì)外傳達(dá)的技術(shù)理念：先進(jìn)技術(shù)持續(xù)迭代的同時(shí)，也始終致力于去解決現(xiàn)實(shí)場(chǎng)景。

典型例子就是大模型的每次升級(jí)，訊飛星火都有會(huì)新的亮點(diǎn)行業(yè)應(yīng)用，比如今年1月發(fā)布首個(gè)語(yǔ)音大模型，以及此次首次亮相的圖文識(shí)別大模型。在底座大模型的加持下，不斷突破大模型能力的邊界。

但每次升級(jí)，同樣也都對(duì)應(yīng)了實(shí)際場(chǎng)景應(yīng)用，真正做到現(xiàn)實(shí)問題的解決。比如此次劉慶峰就重點(diǎn)介紹了在招投標(biāo)、合同、教育等場(chǎng)景下的應(yīng)用。

比如在招投標(biāo)場(chǎng)景中，科大訊飛和國(guó)家能源物資公司在企業(yè)采購(gòu)場(chǎng)景合作了智能無人評(píng)審系統(tǒng)，已經(jīng)在國(guó)資委網(wǎng)站上被作為典型案例推薦。

此次該系統(tǒng)還將進(jìn)一步疊加長(zhǎng)文本和長(zhǎng)圖文能力，可以讓評(píng)標(biāo)更便捷、更高效、更準(zhǔn)確。

還有合同助手。它可以對(duì)合同進(jìn)行風(fēng)險(xiǎn)審核、合同比對(duì)、摘要總結(jié)以及合同生成，迅速識(shí)別潛在風(fēng)險(xiǎn)和漏洞。除了工作中需要，在日常生活中買賣商品、裝修或者購(gòu)買保險(xiǎn)等場(chǎng)景也都完全用得上。

這種解決現(xiàn)實(shí)問題的大模型技術(shù)理念，也讓訊飛星火在業(yè)內(nèi)快速構(gòu)建起一定的影響力。

自今年1月30日發(fā)布以來，訊飛星火V3.5作為首個(gè)全國(guó)產(chǎn)算力訓(xùn)練的大模型，受到了各行業(yè)伙伴和開發(fā)者的廣泛歡迎。尤其在一些關(guān)鍵行業(yè)和重大戰(zhàn)略領(lǐng)域，星火大模型以“云、邊、端”的整體解決方案賦能到越來越多的行業(yè)，比如汽車、比如家電、比如運(yùn)營(yíng)商……在實(shí)體經(jīng)濟(jì)中發(fā)揮價(jià)值。

從開發(fā)者生態(tài)上來看，在過去不到3個(gè)月的時(shí)間里，訊飛新增了55萬實(shí)名認(rèn)證的開發(fā)者，其中一半以上來自企業(yè)。

大模型支撐起新質(zhì)生產(chǎn)力

今年，毫無疑問的是大模型應(yīng)用元年。大模型支撐起新質(zhì)生產(chǎn)力，幫助企業(yè)數(shù)字化轉(zhuǎn)型。

但企業(yè)到底應(yīng)該怎么用？如何去用？大模型發(fā)展到現(xiàn)在，大致可以梳理出這樣三種模式來。

一種簡(jiǎn)言之就是當(dāng)前大模型加持的通用AI原生APP，功能碎片化每次能調(diào)用的工具有限，還依賴于每次大模型公司的模型升級(jí)。

還有就是開源大模型或者接入API，但是通用大模型去落地真實(shí)應(yīng)用場(chǎng)景中間還有很長(zhǎng)一段距離，這需要技術(shù)與行業(yè)Know-how協(xié)同，對(duì)企業(yè)來說是個(gè)不小的挑戰(zhàn)。

再者就是超級(jí)APP，各種AI原生碎片化能力集成在一起，實(shí)現(xiàn)工作流程中溝通、執(zhí)行等方面的提效。但如果沒有計(jì)入內(nèi)部數(shù)據(jù)，實(shí)現(xiàn)內(nèi)外知識(shí)的打通，那么大模型的提效能力是有限的。

而訊飛星火此次展現(xiàn)了第四種模式——智能體平臺(tái)。AI Agent作為企業(yè)提效手段已經(jīng)成為確定的趨勢(shì)。而科大訊飛直接推出產(chǎn)品化的解決方式，并且整個(gè)流程低門檻，只需簡(jiǎn)單拖拽就可實(shí)現(xiàn)智能體構(gòu)建和多智能體的協(xié)同，企業(yè)可以更容易地直接上手使用，有助于實(shí)現(xiàn)智能體的規(guī)模化落地，實(shí)現(xiàn)大模型普惠價(jià)值。

最后可以看到，越來越多大模型升級(jí)朝著更落地的方向走去，其實(shí)也代表了一種特定的趨勢(shì)。

那就是大模型已經(jīng)走向我們?nèi)粘Ｉ睿斯ぶ悄艹鉀Q真實(shí)世界的問題的方向不斷深入。