網(wǎng)盤用上大模型后「真香」！壓箱底黑照3秒找到，親朋好友都不淡定了

明敏 蕭簫 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

想不到，有了AI加持，我也有在我司鯊瘋的一天！

同事的壓箱底黑照，被我3秒鐘就翻了出來，光速做成表情包先發(fā)制人。

喏，只需要在網(wǎng)盤的搜索框里輸入“大笑的男人”，立馬就能檢索到相關(guān)圖像。

然后選中想要“攻擊”的對象、點擊編輯，就能一鍵加文字變表情包。

整個過程相當絲滑，我圖都做完了，同事那還在找圖呢（doge）。

而且這個搜索還能直接理解“什么是表情包”，可以一鍵找到之前做好的圖。

咱就是說，在堆滿陳年老照片和資料的網(wǎng)盤里用上精準搜索，斗圖大王舍我其誰。

除了照片，它甚至還能直接搜同事的視頻、或識別表情包中的文字，搜索靈活度很高。

所以，這個功能究竟在哪里開啟，相比傳統(tǒng)相冊搜索又有啥不一樣的地方？

典藏表情包搜索“神器”

首先，在百度網(wǎng)盤里啟用這個智能搜索功能。

打開網(wǎng)盤搜索框，輸入“高級圖片搜索”，就會顯示一個功能入口，進入后點擊“立即體驗”并等數(shù)據(jù)升級完成，系統(tǒng)就會發(fā)送通知，可以上手開玩了~

啟用高級圖片搜索功能后，在網(wǎng)盤主頁的搜索框里就能一鍵搜圖，不用再特意進入某個工具中。

怎么搜？“腦子里想啥就搜啥”。

以搜索單個詞匯為例，比如“比耶”和“擠眉弄眼”這種模糊的表達，智能搜索就秒懂：

像“修狗”這樣的網(wǎng)絡熱詞，也在它的掌握之中。

甚至還進化出了自己的“偏見”，比如和“發(fā)布會”關(guān)聯(lián)的往往是“PPT”（doge）：

不止是單個復雜詞匯或形容詞，搜圖時還可以直接說一整句描述，甚至加多個限定詞。

同時，隨著輸入的細節(jié)增加，它的搜索結(jié)果還會實時調(diào)整。

比如只輸入“睡覺的”，可以看到系統(tǒng)找到的第一張照片，是一張貓貓?zhí)芍谋砬榘?/p>

但隨著關(guān)鍵詞完善到“睡覺的人”以后，這張貓片就馬上被系統(tǒng)篩了出去。

除了準確把握圖片精髓外，這個智能搜索還能識別圖片中的文字，搜索結(jié)果也很全面。

比如搜“繃不住了”，它不僅能給出圖文完全一致的表情包，還會放出其他相似圖片：

搜索范圍上，不止是找圖，這個功能就連視頻也能搜。

總之，網(wǎng)盤的智慧搜索新功能，讓找照片、視頻等文件不再是個費力的“提示詞工程”。

要想搜到自己的照片，只用和網(wǎng)盤“聊聊天”就行，它就能像人一樣準確get你要找的那張照片。

所以，這個功能究竟是怎么實現(xiàn)的？我們扒了扒背后的技術(shù)原理，發(fā)現(xiàn)還真沒那么簡單。

背后果然用上了大模型

智慧搜索，本質(zhì)上有點像一個自帶圖片+視頻智能查找功能的“私人定制版”網(wǎng)盤搜索引擎。

但為了實現(xiàn)這個功能，百度網(wǎng)盤團隊甚至連大模型都用上了，核心目的，在于解決傳統(tǒng)圖片搜索的四大問題——

搜不到、搜不準、搜不快、搜索方式單一。

首先要解決的、也是最大的難點之一，是“搜不到”的問題。

傳統(tǒng)按標簽搜索的相冊，內(nèi)置搜索引擎沒有真正將圖片和文字之間的“含義”關(guān)聯(lián)起來，換言之就是“文不對圖”。

為了解決這一問題，團隊選用了百度文心的多模態(tài)大模型VIMER-ViLP，并用海量圖片和文本數(shù)據(jù)對它進行了訓練，來實現(xiàn)基于向量的語義搜索。

這類方法的核心原理，是將文本和圖像的特征向量映射到同一個語義向量空間，向量之間距離越近，相似度就越高，同時也能避免語義丟失，降低“搜不到”的概率。

相比CLIP，VIMER-ViLP在訓練時采用的中文數(shù)據(jù)更多，因此搜特殊中文名詞也會更準確。例如，在博物館內(nèi)拍攝的文物“中華第一龍”：

不過，雖然大模型能增強圖片的理解能力，但面對地點、時間、人名這類涉及照片拍攝的信息，它就無能為力了。

接下來，還需要結(jié)合照片本身的信息，解決“搜不準”的問題。

傳統(tǒng)標簽式搜索，需要精準到具體日期（年月日）和拍攝經(jīng)緯度等照片拍攝數(shù)據(jù)，但用戶輸入的搜索詞往往比較模糊。

為此，團隊基于語義理解實現(xiàn)了組合查詢，也就是用AI將輸入文本和照片拍攝數(shù)據(jù)進行對應，相當于做了個翻譯。例如輸入“前年”，語義理解就會自動提供2021年拍攝的所有照片。

甚至更精細的某個具體地名，如“西單”也沒問題，還能將搜索范圍精準到“照片”，篩掉不想搜的資料：

準確度被解決后，就是這類智能搜索“搜不快”、成本高的問題了。

畢竟，光是給已有圖片建立索引就能讓手機算力爆炸，更別提還有新增圖片后重建索引、查詢期間使用大模型的成本。

因此在索引上，團隊設(shè)計了一套端云融合的語義檢索系統(tǒng)。首先用云端算力進行向量計算，再用終端設(shè)備部署本地索引并檢索，這樣既能降低終端計算量，又確保了搜索的速度；

為了進一步降低終端耗電量，團隊還對索引格式進行了壓縮優(yōu)化，確保搜索時搜的是圖片中最“精華”的數(shù)據(jù)。

在算力上，團隊還開發(fā)了一套統(tǒng)一管理CPU、GPU等異構(gòu)資源的調(diào)度系統(tǒng)，充分利用“閑置”資源來計算云盤上的數(shù)據(jù)。

這樣一來，即使你的網(wǎng)盤中珍藏了10萬張照片，搜索用時也在毫秒級——不到1秒就能找到想要的圖像。

解決了這三個問題，最后就是“錦上添花”，讓搜索方式更加多樣化了。

例如，網(wǎng)盤團隊還引入了以圖搜圖、OCR和視頻檢索等AI技術(shù)。

以圖搜圖可以直接上傳圖片，通過對比照片內(nèi)容，來查找網(wǎng)盤內(nèi)或是全網(wǎng)的相似圖片：

甚至還能連接百度百科：

OCR識別則可以通過AI識別圖片中的信息和知識，即使是標點符號很狂亂的圖片也OK：

至于視頻檢索技術(shù)，則是通過AI算法，先快速篩選出最能代表視頻的一張封面圖，以加速視頻搜索。

據(jù)了解，圖搜功能在百度網(wǎng)盤已經(jīng)覆蓋千萬級用戶，一年累計圖片搜索服務超過2.5億次。即使在如此大的數(shù)據(jù)量下，百度網(wǎng)盤始終將用戶數(shù)據(jù)安全及隱私保護放在首位。

以存儲安全為例，百度網(wǎng)盤依托百度云計算（陽泉）中心，數(shù)據(jù)可靠性高達99.9999999999%（12個9），極大提升了用戶數(shù)據(jù)穩(wěn)定性和可靠性。同時，也持續(xù)通過三項ISO安全認證的年度審核，全方位保障每位用戶的數(shù)據(jù)安全。

總結(jié)來看，百度網(wǎng)盤正是通過包括大模型等前沿技術(shù)來實現(xiàn)了核心功能的“進化”，從而在一眾相似APP中脫穎而出。

但為何大模型率先引發(fā)變革的領(lǐng)域，會是百度網(wǎng)盤這樣的APP？

大模型正在重寫所有應用

其實不止是百度網(wǎng)盤，市面上已經(jīng)有不少應用開始吸納大模型這樣的新技術(shù)。

但無論從產(chǎn)品技術(shù)、行業(yè)，還是百度自身來看，網(wǎng)盤都必須是率先發(fā)力大模型的一個“立足點”。

從產(chǎn)品本身來看，網(wǎng)盤作為一個管理海量數(shù)據(jù)的在線存儲數(shù)據(jù)庫，必然和Excel等數(shù)據(jù)處理軟件一樣，面臨著更智能的交互方式需求。

正如一句話自動做圖成為Excel的剛需一樣，一句話“搜圖”也必然成為用戶使用數(shù)據(jù)庫的剛需。

大模型的出現(xiàn)，直接在文本和圖片之間架設(shè)了一座橋梁，使得網(wǎng)盤不再只是一個“硬盤”，而真正成為了用戶的“第二大腦”。

從行業(yè)發(fā)展趨勢來看，搜索本身也會成為大模型最先落地的領(lǐng)域。

包括谷歌AI snapshot和百度“AI伙伴”在內(nèi)，國內(nèi)外在線搜索引擎都已經(jīng)迅速引入大模型能力。

但除了搜索外部知識以外，無論是網(wǎng)盤這樣的內(nèi)部數(shù)據(jù)庫搜索、還是移動端本機搜索，對于智能數(shù)據(jù)搜索同樣有著極大需求。誰能率先將智能搜索技術(shù)引入產(chǎn)品，誰就能率先改善用戶體驗、吸引更多人使用產(chǎn)品。

最后從百度本身來看，在大模型最初火熱之時，CEO李彥宏就留下過名言：

要用大模型把所有應用重做一遍。

而網(wǎng)盤APP，正是百度最先拿出來、最有競爭力的大模型產(chǎn)品之一，其所變革的功能也不僅僅停留在智能搜索層面。

換而言之，智能搜圖、搜視頻，還只是百度網(wǎng)盤變革的開始。如今在大模型加持下，網(wǎng)盤具備的AI和數(shù)據(jù)處理能力被徹底激發(fā)出來，徹底成為用戶的智能助理。

它以大模型為核心大腦，通過調(diào)用知識、AI模型和API們，能快速實現(xiàn)個人知識管理，馬上還將實現(xiàn)多模態(tài)創(chuàng)作和多設(shè)備互聯(lián)互通——

• 個人知識管理：包括搜索在內(nèi)，對網(wǎng)盤數(shù)據(jù)進行全方位智能管理。如對英文財報進行快速總結(jié)、依據(jù)文件中的資料回答問題、與用戶互動等。
• 多模態(tài)創(chuàng)作：網(wǎng)盤內(nèi)的圖文視頻內(nèi)容，都已經(jīng)能用AI實現(xiàn)再創(chuàng)作。如圖片自動轉(zhuǎn)視頻、視頻字幕自動轉(zhuǎn)文本等。
• 多設(shè)備互聯(lián)互通：基于IoT，迅速將網(wǎng)盤內(nèi)容在多個智能設(shè)備上互聯(lián)互通，傳輸文件非常方便。

這個智能助理，正是網(wǎng)盤前不久開啟內(nèi)測的“云一朵”，有了它，找圖、摘要、翻譯等能力，都是一句話的事兒。

從智能搜索到百度網(wǎng)盤“云一朵”，被大模型“重寫”的百度網(wǎng)盤，已經(jīng)率先走在了行業(yè)變革的前列。

感興趣的童鞋可以去體驗下啦~

參考鏈接：
https://mp.weixin.qq.com/s/D1miYkH1C6MstJsqx6XwXQ