向量數(shù)據(jù)庫王冠易主！零一萬物新成果登頂權(quán)威榜單，比前SOTA領(lǐng)先最高286%

克雷西 2024-03-11 15:31:43 來源：量子位

克雷西 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

向量數(shù)據(jù)庫排行榜的頭號交椅，再次易主——

來自零一萬物最新研發(fā)的高性能向量數(shù)據(jù)庫笛卡爾（Descartes），登頂權(quán)威測評榜單。

在此之前，榜單里六個數(shù)據(jù)集的榜首分屬于兩家廠商，而笛卡爾的包攬結(jié)束了這種“分庭抗禮”的局面，成為了大一統(tǒng)的“新王”。

在權(quán)威的ANN-Benchmark榜單中（GitHub 4.4k星），笛卡爾直接包攬了六個數(shù)據(jù)集的第一名。

而且新前兩名的差距也被大幅拉開——相比比前SOTA，笛卡爾的成績最高提升了286%。

那么，笛卡爾在測試中到底交出了怎樣的答卷呢？

包攬權(quán)威榜單六項第一

笛卡爾登上的ANN-Benchmarks榜單，包含了六大測試數(shù)據(jù)集，可以展示不同算法在不同數(shù)據(jù)集下的表現(xiàn)。

而笛卡爾參與全部六個數(shù)據(jù)集評測，它們主要考察在不同召回下的查詢性能。

結(jié)果，笛卡爾（圖中右上紅色曲線）在這六個數(shù)據(jù)集的評測中，都取得了最好成績。

下圖為對數(shù)坐標(biāo)系，橫坐標(biāo)代表召回，縱坐標(biāo)代表QPS（每秒處理的請求數(shù)），越往右上角意味著算法性能越好。

而“吞吐量QPS” 是衡量信息檢索系統(tǒng)（例如搜索引擎或數(shù)據(jù)庫）查詢處理能力的重要指標(biāo)。

在原榜單TOP1基礎(chǔ)上，零一萬物笛卡爾向量數(shù)據(jù)庫實現(xiàn)了顯著性能提升，部分數(shù)據(jù)集上的性能提升超過2倍以上，在gist-960-euclidean數(shù)據(jù)集維度更大幅領(lǐng)先榜單原TOP1 286%。

那么，在笛卡爾優(yōu)異表現(xiàn)的背后，采用了哪些技術(shù)呢？

采用全棧向量技術(shù)增強性能

在零一萬物團隊看來，增強向量檢索能力，就是在解決兩個問題，一是減少考察的候選集，二是降低單個向量計算的復(fù)雜度。

針對其中第一個問題，零一萬物又采用了兩大策略來解決。

首先是采用全導(dǎo)航圖技術(shù)，構(gòu)建全局多層縮略圖，實現(xiàn)圖上坐標(biāo)系導(dǎo)航，既能保證精度，又能裁剪大量無關(guān)向量，解決了哈希、KD-Tree、VP-Tree等傳統(tǒng)方式導(dǎo)航效果不夠精確、裁剪力度不夠的問題。

另一方面，是零一萬物自研的自適應(yīng)鄰居選擇策略。

它突破了以往僅依賴真實top-k或固定邊選擇策略的局限，使每個節(jié)點可以根據(jù)自身及鄰居的分布特征，動態(tài)地選取最佳鄰居邊。

這種方式可以更快收斂接近目標(biāo)向量，從而讓RAG向量檢索性能提高15%-30%。

而針對第二個問題，零一萬物采取的是兩級量化方案，從而降低計算復(fù)雜度。

同時，利用列式存儲充分利用SIMD的并發(fā)能力，進一步發(fā)揮硬件能力，相比傳統(tǒng)PQ查表，性能還能大幅提升到2-3倍。

除此之外，零一萬物還有索引結(jié)構(gòu)優(yōu)化、連通性保障等全棧向量技術(shù)方案提高笛卡爾向量數(shù)據(jù)庫的性能。

最終，笛卡爾的檢索精度超過了99%，而千萬級數(shù)據(jù)庫響應(yīng)時間僅為毫秒量級。

零一萬物表示，笛卡爾向量數(shù)據(jù)庫將用在近期即將正式亮相的AI產(chǎn)品中，未來也將結(jié)合工具提供給開發(fā)者。

大模型重要的基礎(chǔ)設(shè)施

事實上，以笛卡爾為代表，向量數(shù)據(jù)庫在整個大模型行業(yè)中，本就是一項熱門技術(shù)。

它是檢索增強生成（RAG）技術(shù)的核心，用來存儲、管理、查詢和檢索向量化的非結(jié)構(gòu)化數(shù)據(jù)。

換言之，也就是大模型形成“長期記憶”的關(guān)鍵，因此也被稱為“大模型的海馬體”。

除了記憶能力，向量數(shù)據(jù)庫還解決了大模型實時信息更新的問題，還能提高推理效率并降低幻覺，同時在隱私數(shù)據(jù)不能用于訓(xùn)練時擔(dān)任信息傳遞載體……

作為大模型基礎(chǔ)設(shè)施，無論是在大廠還是初創(chuàng)公司，向量數(shù)據(jù)庫都是一個熱門的研究方向。

Google、微軟、Meta等傳統(tǒng)互聯(lián)網(wǎng)大廠，都相繼在其云服務(wù)平臺中推出了自己的相關(guān)產(chǎn)品。

初創(chuàng)公司方面，Zilliz、Pinecone、Weaviate、Qdrant等公司也是異軍突起。

比如成立于上海的Zilliz，其所研發(fā)的向量數(shù)據(jù)庫在笛卡爾出現(xiàn)之前就是ANN-Benchmark榜上的王者。

阿里云、騰訊云、微軟Azure、亞馬遜AWS等國內(nèi)外知名云服務(wù)廠商，都部署了Zilliz的產(chǎn)品。

而除了產(chǎn)業(yè)界，向量數(shù)據(jù)庫在投資人眼中同樣具有重要地位。

比如前面提到的Zilliz，總計融資金額就已經(jīng)超過了1.1億美元。

OpenAI的向量數(shù)據(jù)庫合作方Pinecone，成立至今一共完成四輪融資，總金額更是達到了1.38億美元。

而像Weaviate、Qdrant等小一些的創(chuàng)業(yè)公司，融資金額也都達到了數(shù)千萬美元。

總之，隨著大模型發(fā)展進入白熱化階段，零一萬物在這時加入這場競爭，向量數(shù)據(jù)庫之后格局會如何變化？值得期待。