上海AI實(shí)驗(yàn)室開源科學(xué)大模型，理科能力全線提升，免費(fèi)商用

明敏 2024-01-28 13:07:00 來(lái)源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

最新科學(xué)大模型浦科化學(xué)（ChemLLM），發(fā)布即開源！

這是上海AI實(shí)驗(yàn)室最新開源成果，它基于書生·浦語(yǔ)2.0強(qiáng)大的基座模型能力，通過(guò)注入海量化學(xué)專業(yè)數(shù)據(jù)，使大模型獲得理解和處理化學(xué)相關(guān)專業(yè)任務(wù)的知識(shí)與能力。

值得一提的是，在獲得化學(xué)能力同時(shí)，大模型的數(shù)理學(xué)科及推理能力還得到增強(qiáng)。

目前該模型支持免費(fèi)商用。

化學(xué)領(lǐng)域超越ChatGPT

浦科化學(xué)具備專業(yè)的化學(xué)知識(shí)能力。

可以精準(zhǔn)翻譯研究論文中的各種專業(yè)名詞：

還能回答高中化學(xué)試題，并給出解釋。

在多項(xiàng)測(cè)試中，浦科化學(xué)的表現(xiàn)都大幅超過(guò)其他模型。

研究人員通過(guò)3個(gè)任務(wù)來(lái)測(cè)試模型專業(yè)能力：

• 分子名稱轉(zhuǎn)換
• 分子性質(zhì)預(yù)測(cè)
• 反應(yīng)產(chǎn)物預(yù)測(cè)

這些任務(wù)分別涉及化學(xué)物質(zhì)的表示、性質(zhì)和轉(zhuǎn)化，是化學(xué)研究的基礎(chǔ)和核心。

分子名稱轉(zhuǎn)換要求模型能夠在不同分子表示方式之間進(jìn)行準(zhǔn)確轉(zhuǎn)換，如SMILES、IUPAC名稱、分子式等。

分子性質(zhì)預(yù)測(cè)方面，要求模型能根據(jù)分子的結(jié)構(gòu)和組成，預(yù)測(cè)其化學(xué)性質(zhì)，如沸點(diǎn)、密度、溶解度等。

反應(yīng)產(chǎn)物預(yù)測(cè)方面，要求模型能根據(jù)給定的反應(yīng)物和反應(yīng)條件預(yù)測(cè)反應(yīng)產(chǎn)物的結(jié)構(gòu)。

結(jié)果顯示，浦科化學(xué)在這三項(xiàng)任務(wù)上均表現(xiàn)出色，分別獲得22.0、49.0和7.0的分?jǐn)?shù)，遠(yuǎn)超過(guò)其他同規(guī)模模型的水平，并超越了GPT-3.5，證明浦科化學(xué)在理解和處理化學(xué)知識(shí)方面具備強(qiáng)大能力。

泛理科能力涌現(xiàn)

在化學(xué)能力提升的同時(shí)，浦科化學(xué)在數(shù)學(xué)、物理及推理方面的能力也都得到提升。

研究人員使用MMLU（大規(guī)模多任務(wù)語(yǔ)言理解數(shù)據(jù)集）作為測(cè)試集來(lái)評(píng)估浦科化學(xué)在通用場(chǎng)景下的性能，對(duì)語(yǔ)言模型的多項(xiàng)任務(wù)能力進(jìn)行測(cè)試評(píng)估，并將浦科化學(xué)與其他同等規(guī)模的模型進(jìn)行比較，以評(píng)估化學(xué)訓(xùn)練數(shù)據(jù)對(duì)基礎(chǔ)模型的影響。

評(píng)測(cè)結(jié)果顯示，浦科化學(xué)在大學(xué)化學(xué)任務(wù)上得分為47.0，超越了所有其他模型。

研究人員發(fā)現(xiàn)，盡管沒有對(duì)浦科化學(xué)進(jìn)行數(shù)學(xué)和物理學(xué)科的訓(xùn)練，模型在大學(xué)數(shù)學(xué)、大學(xué)物理、STEM（科學(xué)、技術(shù)、工程和數(shù)學(xué)）類等相關(guān)領(lǐng)域上也獲得了最佳成績(jī)。

同時(shí)，浦科化學(xué)在形式邏輯任務(wù)上也達(dá)到了最高水平。

上述結(jié)果表明，當(dāng)對(duì)大模型進(jìn)行進(jìn)行化學(xué)專業(yè)訓(xùn)練時(shí)，其數(shù)理及推理能力也能得到增強(qiáng)。

有趣的是，浦科化學(xué)在道德場(chǎng)景、人文科學(xué)類、社會(huì)科學(xué)類等分項(xiàng)任務(wù)上也展現(xiàn)了優(yōu)異的平均性能，這說(shuō)明，對(duì)大模型進(jìn)行專業(yè)某個(gè)學(xué)科的知識(shí)訓(xùn)練，不僅不會(huì)讓大模型“分心”，反而有助于其道德水平及一般任務(wù)水平的提升。

據(jù)了解，上海AI for Science團(tuán)隊(duì)面向化學(xué)、物理、生命、地球等科學(xué)領(lǐng)域，通過(guò)深入研究各學(xué)科基礎(chǔ)理論，結(jié)合最新人工智能理論，探索AI驅(qū)動(dòng)重大科學(xué)問(wèn)題的研究范式，加速人工智能在化學(xué)、藥物研發(fā)、新材料、氣象等領(lǐng)域的滲透與落地。

其中，AI for Chemistry方面的研究以語(yǔ)言模型為核心，通過(guò)大模型連接智能化實(shí)驗(yàn)設(shè)備，全方位提升實(shí)驗(yàn)效率，從而實(shí)現(xiàn)化學(xué)研究的自動(dòng)化和智能化。相關(guān)研究范式的創(chuàng)新，將助推科學(xué)發(fā)現(xiàn)速度，實(shí)現(xiàn)更大的社會(huì)效益。

未來(lái)，基于浦科化學(xué)模型，人工智能可為化學(xué)研究提供智能化輔助，如化學(xué)合成路徑規(guī)劃、化學(xué)反應(yīng)條件優(yōu)化、實(shí)驗(yàn)結(jié)果自動(dòng)化分析等，從而提升化學(xué)研究的效率和質(zhì)量。

開源地址：
https://huggingface.co/AI4Chem/ChemLLM-7B-Chat