GitHub痛改代碼搜索引擎，18小時(shí)給155億個(gè)文檔創(chuàng)建索引，背后技術(shù)原理已公開(kāi)

蕭簫 2023-02-08 09:33:03 來(lái)源：量子位

蕭簫 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

還記得GitHub發(fā)布的新版代碼搜索引擎嗎？

經(jīng)過(guò)一番測(cè)試優(yōu)化后，GitHub現(xiàn)在公開(kāi)了背后的技術(shù)原理。

最新版搜索引擎，不僅解決了之前搜代碼時(shí)“驢唇不對(duì)馬嘴”的情況，還可以直接用正則表達(dá)式搜索；此外也解決了部分項(xiàng)目上傳后搜不到等問(wèn)題……

網(wǎng)友們看完技術(shù)原理后感到驚喜：

這真不錯(cuò)！我看到了谷歌代碼搜索引擎的影子。

其實(shí)我知道，很少有做代碼搜索引擎的人愿意去GitHub，但很高興能看到這一功能將變得更好用。

要知道，此前GitHub的代碼搜索引擎，一度被用戶吐槽“形同虛設(shè)”。

有不少用戶直接自己找了更好用的代碼搜索引擎，專(zhuān)門(mén)搜索想要的代碼：

在這種情況下，新版GitHub代碼搜索引擎究竟采用了什么技術(shù)，做出了哪些改進(jìn)？

基于Rust語(yǔ)言的搜索引擎

GitHub新版代碼搜索引擎名叫Blackbird，它的關(guān)鍵在于重新構(gòu)建了一個(gè)索引。

這里主要實(shí)現(xiàn)兩類(lèi)索引，包括正向索引（Forward index）和反向索引（Inverted index）。

簡(jiǎn)單來(lái)說(shuō)，正向索引指先給數(shù)據(jù)庫(kù)中的各種內(nèi)容編號(hào)（ID），然后通過(guò)這些內(nèi)容ID來(lái)搜索對(duì)應(yīng)的具體內(nèi)容：

這種搜索方法雖然比較直觀，也容易理解，但搜索量太大了。如果我們只想通過(guò)關(guān)鍵字搜索對(duì)應(yīng)內(nèi)容，就需要用到反向索引。

反向索引即通過(guò)內(nèi)容中關(guān)鍵詞，直接搜到對(duì)應(yīng)的內(nèi)容ID，從而立刻定位到對(duì)應(yīng)的內(nèi)容。

具體到反向索引實(shí)現(xiàn)方法上，GitHub采用了一種名叫ngram索引的方法，可以很方便地查找內(nèi)容的子字符串。

這種方法怎么理解？

以limits這個(gè)字符串為例，如果ngram中的n=3，那么我們就可以將它分為lim、imi、mit、its四個(gè)子字符串。

這時(shí)候搜索任意一個(gè)字符串，都能找到對(duì)應(yīng)的內(nèi)容ID，從而定位到想要搜索的內(nèi)容。

但GitHub的程序員們也意識(shí)到，這樣構(gòu)建的索引太大了，要真這樣搜索的話會(huì)導(dǎo)致服務(wù)器不夠用，因此還需要對(duì)這種方法進(jìn)行優(yōu)化。

在Hacker News中有一位GitHub程序員對(duì)此做出了解釋?zhuān)床捎靡环N叫做覆蓋稀疏ngrams（covering sparse ngrams）的方法生成候選集，并搜索對(duì)應(yīng)內(nèi)容，其中9代表ch、6代表he、3表示es，以此類(lèi)推：

以這類(lèi)方法為基礎(chǔ)建立的系統(tǒng)如下：

所以，新版搜索引擎是否真的比之前更好用了？

測(cè)試版體驗(yàn)如何？

目前GitHub中有大約4500萬(wàn)個(gè)存儲(chǔ)庫(kù)、115TB代碼和155億個(gè)文檔。

據(jù)GitHub官方表示，原本在改進(jìn)之前，處理155億個(gè)文檔需要大約36個(gè)小時(shí)。

然而在重寫(xiě)代碼之后，需要抓取的文檔數(shù)量降低了50%以上，因此只需要18個(gè)小時(shí)左右就可以重新給整個(gè)語(yǔ)料庫(kù)創(chuàng)建索引。

除此之外，需要搜索的內(nèi)容量也降低了不少。

原本需要搜索的內(nèi)容在115TB左右，現(xiàn)在將重復(fù)內(nèi)容和數(shù)據(jù)刪除之后，包括索引和內(nèi)容壓縮副本加起來(lái)只有25TB大小，縮減到之前的25%左右。

目前測(cè)試版依舊在開(kāi)放申請(qǐng)中，有不少GitHub用戶已經(jīng)試用了一波。

雖然有不少用戶對(duì)新搜索引擎測(cè)試版反響不錯(cuò)，但也有人提出了一些建議。

例如目前這個(gè)代碼搜索引擎還沒(méi)辦法過(guò)濾fork項(xiàng)目，有時(shí)候用代碼搜索引擎，搜出來(lái)全是同一個(gè)項(xiàng)目。

對(duì)此GitHub程序員也給出了反饋，表示他們之前一直在調(diào)整索引這一塊，以后會(huì)考慮這樣的附加功能。

除此之外，也有用戶表示，GitHub新版搜索引擎依舊不好用，它從來(lái)不區(qū)分符號(hào)的定義和使用，有時(shí)候搜出來(lái)的結(jié)果，往往需要往后翻5頁(yè)左右，才能找到想要的結(jié)果。

對(duì)此，還有網(wǎng)友推薦了自己常用的代碼搜索引擎，如Sourcegraph。

你試用過(guò)GitHub的新代碼搜索引擎了嗎？或是還有什么其他好工具推薦？

新版代碼搜索引擎申請(qǐng)?jiān)囉茫?br /> https://github.com/features/code-search

參考鏈接：
[1]https://github.blog/2023-02-06-the-technology-behind-githubs-new-code-search/
[2]https://news.ycombinator.com/item?id=34680903