網(wǎng)盤(pán)用上大模型后「真香」！壓箱底黑照3秒找到，親朋好友都不淡定了

明敏 蕭簫 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

想不到，有了AI加持，我也有在我司鯊瘋的一天！

同事的壓箱底黑照，被我3秒鐘就翻了出來(lái)，光速做成表情包先發(fā)制人。

喏，只需要在網(wǎng)盤(pán)的搜索框里輸入“大笑的男人”，立馬就能檢索到相關(guān)圖像。

然后選中想要“攻擊”的對(duì)象、點(diǎn)擊編輯，就能一鍵加文字變表情包。

整個(gè)過(guò)程相當(dāng)絲滑，我圖都做完了，同事那還在找圖呢（doge）。

而且這個(gè)搜索還能直接理解“什么是表情包”，可以一鍵找到之前做好的圖。

咱就是說(shuō)，在堆滿陳年老照片和資料的網(wǎng)盤(pán)里用上精準(zhǔn)搜索，斗圖大王舍我其誰(shuí)。

除了照片，它甚至還能直接搜同事的視頻、或識(shí)別表情包中的文字，搜索靈活度很高。

所以，這個(gè)功能究竟在哪里開(kāi)啟，相比傳統(tǒng)相冊(cè)搜索又有啥不一樣的地方？

典藏表情包搜索“神器”

首先，在百度網(wǎng)盤(pán)里啟用這個(gè)智能搜索功能。

打開(kāi)網(wǎng)盤(pán)搜索框，輸入“高級(jí)圖片搜索”，就會(huì)顯示一個(gè)功能入口，進(jìn)入后點(diǎn)擊“立即體驗(yàn)”并等數(shù)據(jù)升級(jí)完成，系統(tǒng)就會(huì)發(fā)送通知，可以上手開(kāi)玩了~

啟用高級(jí)圖片搜索功能后，在網(wǎng)盤(pán)主頁(yè)的搜索框里就能一鍵搜圖，不用再特意進(jìn)入某個(gè)工具中。

怎么搜？“腦子里想啥就搜啥”。

以搜索單個(gè)詞匯為例，比如“比耶”和“擠眉弄眼”這種模糊的表達(dá)，智能搜索就秒懂：

像“修狗”這樣的網(wǎng)絡(luò)熱詞，也在它的掌握之中。

甚至還進(jìn)化出了自己的“偏見(jiàn)”，比如和“發(fā)布會(huì)”關(guān)聯(lián)的往往是“PPT”（doge）：

不止是單個(gè)復(fù)雜詞匯或形容詞，搜圖時(shí)還可以直接說(shuō)一整句描述，甚至加多個(gè)限定詞。

同時(shí)，隨著輸入的細(xì)節(jié)增加，它的搜索結(jié)果還會(huì)實(shí)時(shí)調(diào)整。

比如只輸入“睡覺(jué)的”，可以看到系統(tǒng)找到的第一張照片，是一張貓貓?zhí)芍谋砬榘?/p>

但隨著關(guān)鍵詞完善到“睡覺(jué)的人”以后，這張貓片就馬上被系統(tǒng)篩了出去。

除了準(zhǔn)確把握?qǐng)D片精髓外，這個(gè)智能搜索還能識(shí)別圖片中的文字，搜索結(jié)果也很全面。

比如搜“繃不住了”，它不僅能給出圖文完全一致的表情包，還會(huì)放出其他相似圖片：

搜索范圍上，不止是找圖，這個(gè)功能就連視頻也能搜。

總之，網(wǎng)盤(pán)的智慧搜索新功能，讓找照片、視頻等文件不再是個(gè)費(fèi)力的“提示詞工程”。

要想搜到自己的照片，只用和網(wǎng)盤(pán)“聊聊天”就行，它就能像人一樣準(zhǔn)確get你要找的那張照片。

所以，這個(gè)功能究竟是怎么實(shí)現(xiàn)的？我們扒了扒背后的技術(shù)原理，發(fā)現(xiàn)還真沒(méi)那么簡(jiǎn)單。

背后果然用上了大模型

智慧搜索，本質(zhì)上有點(diǎn)像一個(gè)自帶圖片+視頻智能查找功能的“私人定制版”網(wǎng)盤(pán)搜索引擎。

但為了實(shí)現(xiàn)這個(gè)功能，百度網(wǎng)盤(pán)團(tuán)隊(duì)甚至連大模型都用上了，核心目的，在于解決傳統(tǒng)圖片搜索的四大問(wèn)題——

搜不到、搜不準(zhǔn)、搜不快、搜索方式單一。

首先要解決的、也是最大的難點(diǎn)之一，是“搜不到”的問(wèn)題。

傳統(tǒng)按標(biāo)簽搜索的相冊(cè)，內(nèi)置搜索引擎沒(méi)有真正將圖片和文字之間的“含義”關(guān)聯(lián)起來(lái)，換言之就是“文不對(duì)圖”。

為了解決這一問(wèn)題，團(tuán)隊(duì)選用了百度文心的多模態(tài)大模型VIMER-ViLP，并用海量圖片和文本數(shù)據(jù)對(duì)它進(jìn)行了訓(xùn)練，來(lái)實(shí)現(xiàn)基于向量的語(yǔ)義搜索。

這類方法的核心原理，是將文本和圖像的特征向量映射到同一個(gè)語(yǔ)義向量空間，向量之間距離越近，相似度就越高，同時(shí)也能避免語(yǔ)義丟失，降低“搜不到”的概率。

相比CLIP，VIMER-ViLP在訓(xùn)練時(shí)采用的中文數(shù)據(jù)更多，因此搜特殊中文名詞也會(huì)更準(zhǔn)確。例如，在博物館內(nèi)拍攝的文物“中華第一龍”：

不過(guò)，雖然大模型能增強(qiáng)圖片的理解能力，但面對(duì)地點(diǎn)、時(shí)間、人名這類涉及照片拍攝的信息，它就無(wú)能為力了。

接下來(lái)，還需要結(jié)合照片本身的信息，解決“搜不準(zhǔn)”的問(wèn)題。

傳統(tǒng)標(biāo)簽式搜索，需要精準(zhǔn)到具體日期（年月日）和拍攝經(jīng)緯度等照片拍攝數(shù)據(jù)，但用戶輸入的搜索詞往往比較模糊。

為此，團(tuán)隊(duì)基于語(yǔ)義理解實(shí)現(xiàn)了組合查詢，也就是用AI將輸入文本和照片拍攝數(shù)據(jù)進(jìn)行對(duì)應(yīng)，相當(dāng)于做了個(gè)翻譯。例如輸入“前年”，語(yǔ)義理解就會(huì)自動(dòng)提供2021年拍攝的所有照片。

甚至更精細(xì)的某個(gè)具體地名，如“西單”也沒(méi)問(wèn)題，還能將搜索范圍精準(zhǔn)到“照片”，篩掉不想搜的資料：

準(zhǔn)確度被解決后，就是這類智能搜索“搜不快”、成本高的問(wèn)題了。

畢竟，光是給已有圖片建立索引就能讓手機(jī)算力爆炸，更別提還有新增圖片后重建索引、查詢期間使用大模型的成本。

因此在索引上，團(tuán)隊(duì)設(shè)計(jì)了一套端云融合的語(yǔ)義檢索系統(tǒng)。首先用云端算力進(jìn)行向量計(jì)算，再用終端設(shè)備部署本地索引并檢索，這樣既能降低終端計(jì)算量，又確保了搜索的速度；

為了進(jìn)一步降低終端耗電量，團(tuán)隊(duì)還對(duì)索引格式進(jìn)行了壓縮優(yōu)化，確保搜索時(shí)搜的是圖片中最“精華”的數(shù)據(jù)。

在算力上，團(tuán)隊(duì)還開(kāi)發(fā)了一套統(tǒng)一管理CPU、GPU等異構(gòu)資源的調(diào)度系統(tǒng)，充分利用“閑置”資源來(lái)計(jì)算云盤(pán)上的數(shù)據(jù)。

這樣一來(lái)，即使你的網(wǎng)盤(pán)中珍藏了10萬(wàn)張照片，搜索用時(shí)也在毫秒級(jí)——不到1秒就能找到想要的圖像。

解決了這三個(gè)問(wèn)題，最后就是“錦上添花”，讓搜索方式更加多樣化了。

例如，網(wǎng)盤(pán)團(tuán)隊(duì)還引入了以圖搜圖、OCR和視頻檢索等AI技術(shù)。

以圖搜圖可以直接上傳圖片，通過(guò)對(duì)比照片內(nèi)容，來(lái)查找網(wǎng)盤(pán)內(nèi)或是全網(wǎng)的相似圖片：

甚至還能連接百度百科：

OCR識(shí)別則可以通過(guò)AI識(shí)別圖片中的信息和知識(shí)，即使是標(biāo)點(diǎn)符號(hào)很狂亂的圖片也OK：

至于視頻檢索技術(shù)，則是通過(guò)AI算法，先快速篩選出最能代表視頻的一張封面圖，以加速視頻搜索。

據(jù)了解，圖搜功能在百度網(wǎng)盤(pán)已經(jīng)覆蓋千萬(wàn)級(jí)用戶，一年累計(jì)圖片搜索服務(wù)超過(guò)2.5億次。即使在如此大的數(shù)據(jù)量下，百度網(wǎng)盤(pán)始終將用戶數(shù)據(jù)安全及隱私保護(hù)放在首位。

以存儲(chǔ)安全為例，百度網(wǎng)盤(pán)依托百度云計(jì)算（陽(yáng)泉）中心，數(shù)據(jù)可靠性高達(dá)99.9999999999%（12個(gè)9），極大提升了用戶數(shù)據(jù)穩(wěn)定性和可靠性。同時(shí)，也持續(xù)通過(guò)三項(xiàng)ISO安全認(rèn)證的年度審核，全方位保障每位用戶的數(shù)據(jù)安全。

總結(jié)來(lái)看，百度網(wǎng)盤(pán)正是通過(guò)包括大模型等前沿技術(shù)來(lái)實(shí)現(xiàn)了核心功能的“進(jìn)化”，從而在一眾相似APP中脫穎而出。

但為何大模型率先引發(fā)變革的領(lǐng)域，會(huì)是百度網(wǎng)盤(pán)這樣的APP？

大模型正在重寫(xiě)所有應(yīng)用

其實(shí)不止是百度網(wǎng)盤(pán)，市面上已經(jīng)有不少應(yīng)用開(kāi)始吸納大模型這樣的新技術(shù)。

但無(wú)論從產(chǎn)品技術(shù)、行業(yè)，還是百度自身來(lái)看，網(wǎng)盤(pán)都必須是率先發(fā)力大模型的一個(gè)“立足點(diǎn)”。

從產(chǎn)品本身來(lái)看，網(wǎng)盤(pán)作為一個(gè)管理海量數(shù)據(jù)的在線存儲(chǔ)數(shù)據(jù)庫(kù)，必然和Excel等數(shù)據(jù)處理軟件一樣，面臨著更智能的交互方式需求。

正如一句話自動(dòng)做圖成為Excel的剛需一樣，一句話“搜圖”也必然成為用戶使用數(shù)據(jù)庫(kù)的剛需。

大模型的出現(xiàn)，直接在文本和圖片之間架設(shè)了一座橋梁，使得網(wǎng)盤(pán)不再只是一個(gè)“硬盤(pán)”，而真正成為了用戶的“第二大腦”。

從行業(yè)發(fā)展趨勢(shì)來(lái)看，搜索本身也會(huì)成為大模型最先落地的領(lǐng)域。

包括谷歌AI snapshot和百度“AI伙伴”在內(nèi)，國(guó)內(nèi)外在線搜索引擎都已經(jīng)迅速引入大模型能力。

但除了搜索外部知識(shí)以外，無(wú)論是網(wǎng)盤(pán)這樣的內(nèi)部數(shù)據(jù)庫(kù)搜索、還是移動(dòng)端本機(jī)搜索，對(duì)于智能數(shù)據(jù)搜索同樣有著極大需求。誰(shuí)能率先將智能搜索技術(shù)引入產(chǎn)品，誰(shuí)就能率先改善用戶體驗(yàn)、吸引更多人使用產(chǎn)品。

最后從百度本身來(lái)看，在大模型最初火熱之時(shí)，CEO李彥宏就留下過(guò)名言：

要用大模型把所有應(yīng)用重做一遍。

而網(wǎng)盤(pán)APP，正是百度最先拿出來(lái)、最有競(jìng)爭(zhēng)力的大模型產(chǎn)品之一，其所變革的功能也不僅僅停留在智能搜索層面。

換而言之，智能搜圖、搜視頻，還只是百度網(wǎng)盤(pán)變革的開(kāi)始。如今在大模型加持下，網(wǎng)盤(pán)具備的AI和數(shù)據(jù)處理能力被徹底激發(fā)出來(lái)，徹底成為用戶的智能助理。

它以大模型為核心大腦，通過(guò)調(diào)用知識(shí)、AI模型和API們，能快速實(shí)現(xiàn)個(gè)人知識(shí)管理，馬上還將實(shí)現(xiàn)多模態(tài)創(chuàng)作和多設(shè)備互聯(lián)互通——

• 個(gè)人知識(shí)管理：包括搜索在內(nèi)，對(duì)網(wǎng)盤(pán)數(shù)據(jù)進(jìn)行全方位智能管理。如對(duì)英文財(cái)報(bào)進(jìn)行快速總結(jié)、依據(jù)文件中的資料回答問(wèn)題、與用戶互動(dòng)等。
• 多模態(tài)創(chuàng)作：網(wǎng)盤(pán)內(nèi)的圖文視頻內(nèi)容，都已經(jīng)能用AI實(shí)現(xiàn)再創(chuàng)作。如圖片自動(dòng)轉(zhuǎn)視頻、視頻字幕自動(dòng)轉(zhuǎn)文本等。
• 多設(shè)備互聯(lián)互通：基于IoT，迅速將網(wǎng)盤(pán)內(nèi)容在多個(gè)智能設(shè)備上互聯(lián)互通，傳輸文件非常方便。

這個(gè)智能助理，正是網(wǎng)盤(pán)前不久開(kāi)啟內(nèi)測(cè)的“云一朵”，有了它，找圖、摘要、翻譯等能力，都是一句話的事兒。

從智能搜索到百度網(wǎng)盤(pán)“云一朵”，被大模型“重寫(xiě)”的百度網(wǎng)盤(pán)，已經(jīng)率先走在了行業(yè)變革的前列。

感興趣的童鞋可以去體驗(yàn)下啦~

參考鏈接：
https://mp.weixin.qq.com/s/D1miYkH1C6MstJsqx6XwXQ