天問大模型再升級(jí)，不僅能“看”懂視頻，更能快速實(shí)現(xiàn)小目標(biāo)識(shí)別、場(chǎng)景關(guān)系理解

西風(fēng) 2024-10-24 13:03:25 來源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

時(shí)隔四個(gè)月，天問大模型再次升級(jí)。

最近“中國(guó)國(guó)際社會(huì)公共安全產(chǎn)品博覽會(huì)”在北京中國(guó)國(guó)際展覽中心開展。

依圖科技以“天問大模型、智能新疆界”為主題，攜最新的依圖天問大模型4.5亮相本屆安博會(huì)E1館。

此次亮相的依圖天問4.5，視頻內(nèi)容理解性能進(jìn)一步提升，模型不僅能“看”懂視頻，更能快速實(shí)現(xiàn)小目標(biāo)識(shí)別、場(chǎng)景關(guān)系理解，在復(fù)雜場(chǎng)景下對(duì)目標(biāo)細(xì)節(jié)的理解、精準(zhǔn)布控能力大幅提升。

同時(shí)，支持基于無人機(jī)拍攝的小目標(biāo)視頻理解，能夠在動(dòng)態(tài)復(fù)雜的環(huán)境中實(shí)現(xiàn)快速響應(yīng)和精準(zhǔn)干預(yù)，極大地促進(jìn)了城市交通管控和安全管理的智能化升級(jí)，為城市智能化管理提供了更高效、更準(zhǔn)確的技術(shù)支持。

天問大模型還融合了自然語(yǔ)言與視覺搜索技術(shù)，可實(shí)現(xiàn)復(fù)雜語(yǔ)義理解與細(xì)微視頻理解的深度結(jié)合。

以“用戶”為主，深刻理解語(yǔ)境中的細(xì)微差別，快速實(shí)現(xiàn)對(duì)視頻內(nèi)容的的精細(xì)化檢索。復(fù)雜語(yǔ)義理解的增強(qiáng)，可以解鎖更多開放式的語(yǔ)義檢索場(chǎng)景。基于自然語(yǔ)言的簡(jiǎn)單、便捷的交互體驗(yàn)，不僅提升了視頻內(nèi)容搜索效率，也顯著加快了各類復(fù)雜業(yè)務(wù)的響應(yīng)速度。

大模型落地應(yīng)用的過程中，業(yè)務(wù)需求到算法任務(wù)編排的轉(zhuǎn)換是關(guān)鍵環(huán)節(jié)。此次亮相的天問大模型4.5，正式發(fā)布小明智能體。

通過一句話的簡(jiǎn)單任務(wù)需求描述，小明智能體便可輔助自動(dòng)拆解為多條件算法的布控任務(wù)，讓組合算法的復(fù)雜編排從專家化邁向平民化。

在算法的訓(xùn)練及優(yōu)化迭代方面，天問大模型4.5也進(jìn)一步升級(jí)。

啟動(dòng)算法迭代訓(xùn)練最少正例樣本數(shù)下降75%，在指標(biāo)訓(xùn)練達(dá)到相同的效果前提下，總樣本數(shù)據(jù)量大幅下降，算法迭代時(shí)間縮短到分鐘級(jí)，實(shí)戰(zhàn)水準(zhǔn)的新算法上線時(shí)間縮短到天級(jí)。

這種算法的高效迭代能力對(duì)于應(yīng)對(duì)突發(fā)事件等場(chǎng)景，提供了強(qiáng)大的支持與保障，使得城市管理決策更加智能化、靈活化。

天問賦能，萬(wàn)象新生

10月23日下午，依圖在北京臨空皇冠假日酒店舉辦2024依圖業(yè)務(wù)戰(zhàn)略發(fā)布會(huì)暨伙伴峰會(huì)。

依圖表示，AI1.0時(shí)代，傳統(tǒng)深度學(xué)習(xí)依賴訓(xùn)練數(shù)據(jù)量和場(chǎng)景覆蓋度，數(shù)據(jù)獲取難度大導(dǎo)致AI算法生產(chǎn)效率低，安防數(shù)智化挑戰(zhàn)大。

AI進(jìn)入2.0時(shí)代，跨領(lǐng)域的通用性和泛化性顯著增強(qiáng)?；谧员O(jiān)督學(xué)習(xí)的大模型與多模態(tài)AI通過通用數(shù)據(jù)預(yù)訓(xùn)練和領(lǐng)域數(shù)據(jù)后訓(xùn)練驅(qū)動(dòng)，可以實(shí)現(xiàn)跨領(lǐng)域智能，執(zhí)行五花八門的任務(wù)。

AI 2.0技術(shù)革命，為行業(yè)數(shù)智化帶來四大核心變化：

• 自學(xué)習(xí)與后訓(xùn)練：預(yù)訓(xùn)練+領(lǐng)域內(nèi)微調(diào)，提高跨場(chǎng)景、跨領(lǐng)域的適應(yīng)能力；長(zhǎng)尾新算法從月級(jí)到天級(jí)，提升AI生產(chǎn)效率
• 情境理解與空間智能：在3D空間和4D時(shí)空中感知、定位、評(píng)估，全場(chǎng)景全要素感知；從基礎(chǔ)安保防范
  到生產(chǎn)作業(yè)的智慧管理與運(yùn)營(yíng)，AI解鎖場(chǎng)景
• 多模態(tài)數(shù)據(jù)統(tǒng)一表征：跨模態(tài)數(shù)據(jù)融合、互檢、交互，增強(qiáng)感知能力、帶來交互革命；從“標(biāo)簽篩選”
  到自然語(yǔ)言交互，提升交互體驗(yàn)
• Agent智能體：分析和理解因果關(guān)系，調(diào)用工具推理規(guī)劃，從快思考到慢思考；從門檻高、落地難
  到人人都是算法工程師，創(chuàng)新平民化。

在依圖看來，AI安防2.0時(shí)代的最本質(zhì)的特征是：長(zhǎng)尾算法生產(chǎn)的邊際成本逐漸趨近于0。

在AI2.0時(shí)代，依圖的業(yè)務(wù)戰(zhàn)略是：

• 選擇場(chǎng)景，深耕行業(yè)垂類大模型：行業(yè)數(shù)智化 x AI2.0，場(chǎng)景解鎖快、空間大；解決場(chǎng)景痛點(diǎn)和業(yè)務(wù)閉環(huán)，為用戶創(chuàng)造價(jià)值
• 聚焦核心，優(yōu)先和伙伴聯(lián)合構(gòu)建完整方案：依圖聚焦提供類似PaaS的大模型平臺(tái)和能力；行業(yè)Know How+業(yè)務(wù)閉環(huán) +持續(xù)運(yùn)營(yíng)。
• 管用為王，打造極致性價(jià)比的AI產(chǎn)品：強(qiáng)調(diào)可落地 +“性價(jià)比”是規(guī)模應(yīng)用的基礎(chǔ)。

此外，依圖萬(wàn)象品牌正式發(fā)布，且正式發(fā)布依圖萬(wàn)象系列產(chǎn)品：

• 零樣本生成算法 : 一句話生成算法， 將用戶需求轉(zhuǎn)成算法任務(wù)
• 自然語(yǔ)言編排組合算法：將復(fù)雜算法轉(zhuǎn)為原子算法的組合
• 少樣板現(xiàn)場(chǎng)調(diào)優(yōu)：內(nèi)置AI數(shù)據(jù)推薦，可現(xiàn)場(chǎng)算法調(diào)優(yōu)

依圖表示將致力于搭建一個(gè)開放、多元的合作平臺(tái)，匯聚各方資源，增強(qiáng)市場(chǎng)競(jìng)爭(zhēng)力，推動(dòng)創(chuàng)新，共同應(yīng)對(duì)挑戰(zhàn)，實(shí)現(xiàn)互利共贏。