AI科學(xué)語言大模型火了，數(shù)學(xué)生物計算機樣樣行，編代碼寫綜述也不在話下

Pine 2022-11-16 13:23:39 來源：量子位

Pine 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

AI搜索引擎再度進化？！

給這個AI一個主題，分分鐘給你甩出一篇論文綜述，而且還會自己提供論文引文。

又或者輸入一個科學(xué)類的名詞，AI也能迅速生成這個名詞專屬的維基百科。

這個AI名叫Galactica?（簡稱：GAL），是最新開源的一個科學(xué)語言大模型，把AI轉(zhuǎn)化為科學(xué)生產(chǎn)力。

并且還實現(xiàn)了學(xué)科“大一統(tǒng)”，數(shù)學(xué)、物理、計算機…這個AI都能用。

模型剛一放出，就迅速引發(fā)網(wǎng)友熱議，目前相關(guān)推文已有近15萬瀏覽，累計點贊、轉(zhuǎn)發(fā)、引用也已破五千。

Facebook前技術(shù)官也出來為它來站臺。

還有網(wǎng)友親自體驗了一把，寫出來的文獻綜述“看起來相當(dāng)不錯”，甚至直呼：

下一步它是不是就能產(chǎn)生新想法了。

其實寫文獻綜述和生產(chǎn)維基百科還只是GAL功能的一部分，除去這些，它還能回答一些專業(yè)問題、編寫科學(xué)代碼、注釋分子和蛋白質(zhì)……

具體效果如何，一起來看看吧～

可以作為科學(xué)生產(chǎn)的工具

提到科學(xué)生產(chǎn)力，就肯定離不開論文的查找，這不，GAL幫你解決了。

它涵蓋了五種科學(xué)學(xué)科：機器學(xué)習(xí)、數(shù)學(xué)、計算機科學(xué)、生物以及物理。

選擇好學(xué)科，然后在左邊框輸入想要找的論文主題，右邊GAL便會推薦最合適的論文以供閱讀。

除了推薦論文之外，GAL還有一個更加實用的功能：生成講稿。

比如說要做個關(guān)于密度泛函理論（DFT）的pre，又懶得寫講稿，直接GAL一下，分分鐘搞定（手動狗頭）。

GAL還能夠用來注釋分子和蛋白質(zhì)，如下就是GAL生成的RDKit（可生成用于機器學(xué)習(xí)的分子描述符）操作手冊。

在一些細節(jié)問題上，GAL也狠狠拿捏了！

就比如說你看不懂一些復(fù)雜的數(shù)學(xué)公式和代碼，沒關(guān)系交給GAL來解決，它能直接給你翻譯成大白話。

不僅如此，它還能實現(xiàn)數(shù)學(xué)公式和代碼之間的相互轉(zhuǎn)換，或者不同類型代碼之間的轉(zhuǎn)換。

更重要的是，他還有簡化公式和查錯功能。

怎么做到的？

GAL能實現(xiàn)這么復(fù)雜的功能，就不得不提到它的訓(xùn)練數(shù)據(jù)集。

據(jù)官方消息，GAL是在一個名為NatureBook的新型高質(zhì)量科學(xué)數(shù)據(jù)集上進行訓(xùn)練的，這使模型能夠使用科學(xué)術(shù)語、數(shù)學(xué)和化學(xué)公式以及源代碼。

其中包括超過4800萬篇論文、教科書和課堂講稿，還有數(shù)百萬計的化合物和蛋白質(zhì)、科學(xué)網(wǎng)站以及百科全書等等。

除此之外，為了查找論文并規(guī)范化引用，GAL的數(shù)據(jù)集中包含超過3.6億條上下文引用和超過5000萬條跨不同來源規(guī)范化的獨特參考。

有了這么龐大的數(shù)據(jù)集之后，那接下來便面臨兩個問題。

第一個問題是如何管理這些高質(zhì)量的數(shù)據(jù)集，實現(xiàn)這點，GAL用了兩步：

• 所有數(shù)據(jù)都以一種通用的標記格式進行處理，打通各種來源數(shù)據(jù)之間的壁壘。
• 預(yù)訓(xùn)練中包含用于特定任務(wù)的數(shù)據(jù)集，這就能保證在處理特定任務(wù)時能夠更加專業(yè)。

還有一個問題是：如何設(shè)計界面交互？

首先就像上文提到的那樣，GAL能夠支持不同類型的任務(wù)。

因此在設(shè)計界面交互時便對各種任務(wù)進行分類，不同的分類會支持不同的類型的數(shù)據(jù)。

既然GAL擁有高度管理和高質(zhì)量的科學(xué)數(shù)據(jù)集，那和其他模型相比效果如何？

直接上數(shù)據(jù)！

推理方面，GAL的優(yōu)勢脫穎而出，在數(shù)學(xué)MMLU（大規(guī)模多任務(wù)語言理解）上，表現(xiàn)要優(yōu)于Chinchilla，數(shù)學(xué)方面，表現(xiàn)也優(yōu)于PalM 540B和GPT-3 175B。

盡管，GAL并沒有經(jīng)過一般數(shù)據(jù)集的訓(xùn)練，但它在BIG-bench上的表現(xiàn)仍舊優(yōu)于BLOOM和OPT-175B。

看完之后是不是也心癢癢了，先碼住再說！

傳送門：
https://galactica.org/

參考鏈接：
[1]https://twitter.com/paperswithcode/status/1592546933679476736
[2]https://github.com/paperswithcode/galai
[3]https://galactica.org/static/paper.pdf