網盤用上大模型后「真香」！壓箱底黑照3秒找到，親朋好友都不淡定了

明敏 蕭簫 發自 凹非寺

量子位 | 公眾號 QbitAI

想不到，有了AI加持，我也有在我司鯊瘋的一天！

同事的壓箱底黑照，被我3秒鐘就翻了出來，光速做成表情包先發制人。

喏，只需要在網盤的搜索框里輸入“大笑的男人”，立馬就能檢索到相關圖像。

然后選中想要“攻擊”的對象、點擊編輯，就能一鍵加文字變表情包。

整個過程相當絲滑，我圖都做完了，同事那還在找圖呢（doge）。

而且這個搜索還能直接理解“什么是表情包”，可以一鍵找到之前做好的圖。

咱就是說，在堆滿陳年老照片和資料的網盤里用上精準搜索，斗圖大王舍我其誰。

除了照片，它甚至還能直接搜同事的視頻、或識別表情包中的文字，搜索靈活度很高。

所以，這個功能究竟在哪里開啟，相比傳統相冊搜索又有啥不一樣的地方？

典藏表情包搜索“神器”

首先，在百度網盤里啟用這個智能搜索功能。

打開網盤搜索框，輸入“高級圖片搜索”，就會顯示一個功能入口，進入后點擊“立即體驗”并等數據升級完成，系統就會發送通知，可以上手開玩了~

啟用高級圖片搜索功能后，在網盤主頁的搜索框里就能一鍵搜圖，不用再特意進入某個工具中。

怎么搜？“腦子里想啥就搜啥”。

以搜索單個詞匯為例，比如“比耶”和“擠眉弄眼”這種模糊的表達，智能搜索就秒懂：

像“修狗”這樣的網絡熱詞，也在它的掌握之中。

甚至還進化出了自己的“偏見”，比如和“發布會”關聯的往往是“PPT”（doge）：

不止是單個復雜詞匯或形容詞，搜圖時還可以直接說一整句描述，甚至加多個限定詞。

同時，隨著輸入的細節增加，它的搜索結果還會實時調整。

比如只輸入“睡覺的”，可以看到系統找到的第一張照片，是一張貓貓躺著的表情包。

但隨著關鍵詞完善到“睡覺的人”以后，這張貓片就馬上被系統篩了出去。

除了準確把握圖片精髓外，這個智能搜索還能識別圖片中的文字，搜索結果也很全面。

比如搜“繃不住了”，它不僅能給出圖文完全一致的表情包，還會放出其他相似圖片：

搜索范圍上，不止是找圖，這個功能就連視頻也能搜。

總之，網盤的智慧搜索新功能，讓找照片、視頻等文件不再是個費力的“提示詞工程”。

要想搜到自己的照片，只用和網盤“聊聊天”就行，它就能像人一樣準確get你要找的那張照片。

所以，這個功能究竟是怎么實現的？我們扒了扒背后的技術原理，發現還真沒那么簡單。

背后果然用上了大模型

智慧搜索，本質上有點像一個自帶圖片+視頻智能查找功能的“私人定制版”網盤搜索引擎。

但為了實現這個功能，百度網盤團隊甚至連大模型都用上了，核心目的，在于解決傳統圖片搜索的四大問題——

搜不到、搜不準、搜不快、搜索方式單一。

首先要解決的、也是最大的難點之一，是“搜不到”的問題。

傳統按標簽搜索的相冊，內置搜索引擎沒有真正將圖片和文字之間的“含義”關聯起來，換言之就是“文不對圖”。

為了解決這一問題，團隊選用了百度文心的多模態大模型VIMER-ViLP，并用海量圖片和文本數據對它進行了訓練，來實現基于向量的語義搜索。

這類方法的核心原理，是將文本和圖像的特征向量映射到同一個語義向量空間，向量之間距離越近，相似度就越高，同時也能避免語義丟失，降低“搜不到”的概率。

相比CLIP，VIMER-ViLP在訓練時采用的中文數據更多，因此搜特殊中文名詞也會更準確。例如，在博物館內拍攝的文物“中華第一龍”：

不過，雖然大模型能增強圖片的理解能力，但面對地點、時間、人名這類涉及照片拍攝的信息，它就無能為力了。

接下來，還需要結合照片本身的信息，解決“搜不準”的問題。

傳統標簽式搜索，需要精準到具體日期（年月日）和拍攝經緯度等照片拍攝數據，但用戶輸入的搜索詞往往比較模糊。

為此，團隊基于語義理解實現了組合查詢，也就是用AI將輸入文本和照片拍攝數據進行對應，相當于做了個翻譯。例如輸入“前年”，語義理解就會自動提供2021年拍攝的所有照片。

甚至更精細的某個具體地名，如“西單”也沒問題，還能將搜索范圍精準到“照片”，篩掉不想搜的資料：

準確度被解決后，就是這類智能搜索“搜不快”、成本高的問題了。

畢竟，光是給已有圖片建立索引就能讓手機算力爆炸，更別提還有新增圖片后重建索引、查詢期間使用大模型的成本。

因此在索引上，團隊設計了一套端云融合的語義檢索系統。首先用云端算力進行向量計算，再用終端設備部署本地索引并檢索，這樣既能降低終端計算量，又確保了搜索的速度；

為了進一步降低終端耗電量，團隊還對索引格式進行了壓縮優化，確保搜索時搜的是圖片中最“精華”的數據。

在算力上，團隊還開發了一套統一管理CPU、GPU等異構資源的調度系統，充分利用“閑置”資源來計算云盤上的數據。

這樣一來，即使你的網盤中珍藏了10萬張照片，搜索用時也在毫秒級——不到1秒就能找到想要的圖像。

解決了這三個問題，最后就是“錦上添花”，讓搜索方式更加多樣化了。

例如，網盤團隊還引入了以圖搜圖、OCR和視頻檢索等AI技術。

以圖搜圖可以直接上傳圖片，通過對比照片內容，來查找網盤內或是全網的相似圖片：

甚至還能連接百度百科：

OCR識別則可以通過AI識別圖片中的信息和知識，即使是標點符號很狂亂的圖片也OK：

至于視頻檢索技術，則是通過AI算法，先快速篩選出最能代表視頻的一張封面圖，以加速視頻搜索。

據了解，圖搜功能在百度網盤已經覆蓋千萬級用戶，一年累計圖片搜索服務超過2.5億次。即使在如此大的數據量下，百度網盤始終將用戶數據安全及隱私保護放在首位。

以存儲安全為例，百度網盤依托百度云計算（陽泉）中心，數據可靠性高達99.9999999999%（12個9），極大提升了用戶數據穩定性和可靠性。同時，也持續通過三項ISO安全認證的年度審核，全方位保障每位用戶的數據安全。

總結來看，百度網盤正是通過包括大模型等前沿技術來實現了核心功能的“進化”，從而在一眾相似APP中脫穎而出。

但為何大模型率先引發變革的領域，會是百度網盤這樣的APP？

大模型正在重寫所有應用

其實不止是百度網盤，市面上已經有不少應用開始吸納大模型這樣的新技術。

但無論從產品技術、行業，還是百度自身來看，網盤都必須是率先發力大模型的一個“立足點”。

從產品本身來看，網盤作為一個管理海量數據的在線存儲數據庫，必然和Excel等數據處理軟件一樣，面臨著更智能的交互方式需求。

正如一句話自動做圖成為Excel的剛需一樣，一句話“搜圖”也必然成為用戶使用數據庫的剛需。

大模型的出現，直接在文本和圖片之間架設了一座橋梁，使得網盤不再只是一個“硬盤”，而真正成為了用戶的“第二大腦”。

從行業發展趨勢來看，搜索本身也會成為大模型最先落地的領域。

包括谷歌AI snapshot和百度“AI伙伴”在內，國內外在線搜索引擎都已經迅速引入大模型能力。

但除了搜索外部知識以外，無論是網盤這樣的內部數據庫搜索、還是移動端本機搜索，對于智能數據搜索同樣有著極大需求。誰能率先將智能搜索技術引入產品，誰就能率先改善用戶體驗、吸引更多人使用產品。

最后從百度本身來看，在大模型最初火熱之時，CEO李彥宏就留下過名言：

要用大模型把所有應用重做一遍。

而網盤APP，正是百度最先拿出來、最有競爭力的大模型產品之一，其所變革的功能也不僅僅停留在智能搜索層面。

換而言之，智能搜圖、搜視頻，還只是百度網盤變革的開始。如今在大模型加持下，網盤具備的AI和數據處理能力被徹底激發出來，徹底成為用戶的智能助理。

它以大模型為核心大腦，通過調用知識、AI模型和API們，能快速實現個人知識管理，馬上還將實現多模態創作和多設備互聯互通——

• 個人知識管理：包括搜索在內，對網盤數據進行全方位智能管理。如對英文財報進行快速總結、依據文件中的資料回答問題、與用戶互動等。
• 多模態創作：網盤內的圖文視頻內容，都已經能用AI實現再創作。如圖片自動轉視頻、視頻字幕自動轉文本等。
• 多設備互聯互通：基于IoT，迅速將網盤內容在多個智能設備上互聯互通，傳輸文件非常方便。

這個智能助理，正是網盤前不久開啟內測的“云一朵”，有了它，找圖、摘要、翻譯等能力，都是一句話的事兒。

從智能搜索到百度網盤“云一朵”，被大模型“重寫”的百度網盤，已經率先走在了行業變革的前列。

感興趣的童鞋可以去體驗下啦~

參考鏈接：
https://mp.weixin.qq.com/s/D1miYkH1C6MstJsqx6XwXQ