四個00后的瘋狂開源計劃：整個互聯(lián)網(wǎng)轉(zhuǎn)成大模型語料，1億token嵌入成本只需1美元
Arxiv上所有論文轉(zhuǎn)成Token，加起來不過14.1GB而已。
白交 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
Arxiv上所有論文轉(zhuǎn)成Token，加起來不過14.1GB而已。
這是最新爆火開源計劃亞歷山大完成的壯舉。
事實上，這還只是第一步。
他們最終是想要將整個互聯(lián)網(wǎng)變成Tokens，換言之全都轉(zhuǎn)化成ChatGPT等大模型理解這個世界的方式。
一旦這樣的數(shù)據(jù)集誕生，那豈不是為開發(fā)出GPT-4這樣的大模型又新增一大利器，上知天文下知地理指日可待了？！
消息一出，瞬間引發(fā)巨大關(guān)注。
網(wǎng)友們贊嘆，史詩般的。
而這背后僅是四個平均年齡20歲的少年發(fā)起，目前Arxiv所有論文數(shù)據(jù)集已經(jīng)發(fā)布，他們將于下周發(fā)布嵌入（Embedding）搜索平臺。
從Arxiv上所有論文開始
超過400萬個項目、6億個token，30.7億個向量維度。
這個名為亞歷山大的開源計劃，首先從Arxiv每篇論文上開始。
選擇的方式是嵌入，簡單來說，就是將現(xiàn)實世界的各種對象具象成計算機所能理解的向量。
最經(jīng)典的例子就是將原始圖像表示為灰度像素。
這種技術(shù)最大的特點就是能夠表示出人類感知到的語義相似性。
比如，當(dāng)有10個詞表示同一事物時，很難通過關(guān)鍵詞查找論文。但嵌入就可以完成，因此很適用于搜索、聚類、推薦和分類。
基于實用性和效率的考慮，開發(fā)團隊只選擇嵌入了論文的標(biāo)題和摘要。
在測試各種模型之后，最終選擇使用InstructorXL文本嵌入模型，通過簡單地提供任務(wù)指令，而無需任何微調(diào)，適合于多種任務(wù)（比如分類、檢索、聚類、文本評估等）和領(lǐng)域（比如科學(xué)、金融、醫(yī)學(xué)等）》
下周他們將發(fā)布Arxiv搜索。目前為止的流程是，首先對100篇最接近的文章進行相似性搜索，然后即時計算這些內(nèi)容的嵌入，并進行第二次更復(fù)雜的搜索。
最終目標(biāo)是一整個互聯(lián)網(wǎng)嵌入計劃。
20歲少年的瘋狂開源計劃
之所以要開展這樣一次瘋狂的開源計劃，主要有兩方面的原因。
一方面是嵌入巨大的價值。世界上很多問題只是搜索、 聚類、推薦或分類，而這些事情嵌入都非常擅長。而且也如前所述，可以解決一些復(fù)雜的難題。
另一方面成本是一次性的且很便宜。大多數(shù)情況下無需對同個文件進行二次計算。目前每1億個Token只需1美元。
但他們并沒有找到任何開放的嵌入數(shù)據(jù)集，因此這樣的組織應(yīng)運而生。
接下來他們還將開放更多的數(shù)據(jù)集，而這些均由這些用戶自行選擇。在官網(wǎng)上除了已公開的數(shù)據(jù)集，剩下的幾個待開源項目開啟了投票通道。
值得一提的是，背后是一群平均年齡僅為20歲的少年team完成的。
而他們的團隊名字同樣也很霸氣，Macrocosm（宏觀世界）聯(lián)盟。
只要你放大到足夠遠，人類就會成為一個單一的生物。
就官方介紹，他們致力于為ChatGPT和其他類似產(chǎn)品構(gòu)建插件，同時也在開發(fā)核心產(chǎn)品，基于大模型的個人研究助理，幫助學(xué)習(xí)、教學(xué)和科研。
感興趣的旁友可戳下方鏈接了解~
https://alex.macrocosm.so/download
參考鏈接：
[1]https://www.macrocosm.so/
[2]https://twitter.com/willdepue/status/1661781355452325889
[3]https://github.com/macrocosmcorp
[4]https://www.pinecone.io/learn/vector-embeddings/
- 英偉達最新芯片B30A曝光2025-08-20
- AI應(yīng)用如何落地政企？首先不要卷通用大模型2025-08-12
- 本科必學(xué)Dijkstra算法被超越！清華段然團隊打破圖靈獎得主證明的普遍最優(yōu)性2025-08-09
- 智能體邁入L4 時代！納米AI多智能體蜂群，可創(chuàng)作最長10分鐘AI視頻2025-08-06
相關(guān)閱讀
中國軟件評測中心最新報告：文心大模型技術(shù)、產(chǎn)品、應(yīng)用全面領(lǐng)跑
在智能體、多模型創(chuàng)新具備先發(fā)優(yōu)勢
