英偉達發(fā)布大語言模型，專攻輔助芯片設(shè)計

十三 2023-10-31 13:12:13 來源：量子位

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

英偉達推出了自家最新430億參數(shù)大語言模型——ChipNeMo。

對于它的用途，英偉達在官方披露消息中也是非常的明確，劍指AI芯片設(shè)計。

具體而言，ChipNeMo可以幫助工作人員完成與芯片設(shè)計相關(guān)的任務(wù)——

包括回答有關(guān)芯片設(shè)計的一般問題、總結(jié)bug文檔，以及為EDA工具編寫腳本等等。

英偉達首席科學(xué)家Bill Dally對此表示：

我們的目標(biāo)是讓英偉達的設(shè)計師更有效率。

即使我們的生產(chǎn)率（因ChipNeMo）只提高了幾個百分點，這也是值得的。

以英偉達H100 Tensor Core GPU為例，它由數(shù)百億個晶體管組成，在顯微鏡下看著就像是一個精心規(guī)劃建設(shè)的城市一般。

這些晶體管連接在比人類頭發(fā)絲還細10000倍的“街道”上，需要多個工程團隊協(xié)作兩年多的時間來完成，其間繁瑣且龐大的工作量，可見一斑。

因此，在英偉達看來，隨著ChipNeMo這樣大語言模型的問世，所有的工作流程都將在效率上得以提升。

用Bill Dally的話來說：

這項工作標(biāo)志著將大語言模型應(yīng)用于半導(dǎo)體設(shè)計的復(fù)雜工作的重要第一步。

它展示了即使是高度專業(yè)化的領(lǐng)域，也可以使用其內(nèi)部數(shù)據(jù)來訓(xùn)練有用的生成式AI模型。

英偉達設(shè)計芯片有了新幫手

總體來看，ChipNeMo能夠幫助英偉達內(nèi)部的芯片設(shè)計師們完成三大方面的工作。

首先就是問答。

ChipNeMo包含一個原型聊天機器人，它可以回答有關(guān) GPU 架構(gòu)和設(shè)計的問題，幫助許多工程師在早期測試中快速找到技術(shù)文檔。

例如，你可以向它提問：

為什么我們要添加重新計時階段（retiming stages）？

ChipNeMo就會基于這個問題，給出精準(zhǔn)的答案：

重新計時階段的增加是為了改善設(shè)計的時序，并考慮到芯片不同部分之間的物理距離。

通過增加重定時級，我們可以減少信號在芯片不同部分之間傳輸所需的時間，這有助于提高設(shè)計的整體性能。

此外，重定時級還可以幫助減少信號上可能出現(xiàn)的噪聲和干擾的數(shù)量，從而進一步提高設(shè)計的性能。

其次是DEA腳本生成。

例如只需向ChipNeMo用自然語言提出想要生成代碼的要求即可：

在TOOL1中編寫代碼，輸出給定矩形（0,0,100,100）中觸發(fā)器單元的數(shù)量。

僅需靜候片刻，帶著注釋的代碼片段“啪的一下”就生成了。

據(jù)了解，英偉達目前還在對代碼生成器（如下圖所示）進行開發(fā)，它將來會和現(xiàn)有的工具做一個集成，好讓工程師用起來更加方便。

最后是Bug總結(jié)和分析。

芯片設(shè)計人員只需要向ChipNeMo描述一下情況即可，例如prompt的內(nèi)容可能包括Bug的ID、Synopsis、Module和Description等等。

而后ChipNeMo就會根據(jù)prompt，給出做好的技術(shù)總結(jié)和管理總結(jié)等。

ChipNeMo是怎么煉成的？

首先在數(shù)據(jù)集方面，英偉達主要采用的Bug總結(jié)、設(shè)計源（Design Source）、文檔以及維基百科、GitHub等硬件相關(guān)的代碼和自然語言文本。

再經(jīng)過一個集中的數(shù)據(jù)采集過程來收集，最終在清洗和過濾之后，形成了241億個token。

其次在算法、架構(gòu)設(shè)計方面，英偉達并沒有直接拿目前已商用、開源的大語言模型來做部署。

而是主要采用了這些領(lǐng)域自適應(yīng)（Domain-Adapted）技術(shù)，包括自定義標(biāo)記器、領(lǐng)域自適應(yīng)持續(xù)預(yù)訓(xùn)練、帶有領(lǐng)域特定指令的監(jiān)督微調(diào)（SFT），以及領(lǐng)域自適應(yīng)檢索模型。

在此方法之下，便提高了大語言模型在工程助理聊天機器人、EDA腳本生成和Bug摘要和分析等三個應(yīng)用中的性能。

結(jié)果顯示，這些領(lǐng)域自適應(yīng)技術(shù)使得大語言模型的性能超過通用基礎(chǔ)模型；同時模型大小最多可減少5倍，且保持相似或更好的性能。

不過論文作者也坦言：

雖然目前的結(jié)果已經(jīng)取得了一些進展，但與理想結(jié)果之間仍存在改進空間。進一步研究領(lǐng)域適應(yīng)的LLM方法將有助于縮小這一差距。

參考鏈接：
[1]https://blogs.nvidia.com/blog/2023/10/30/llm-semiconductors-chip-nemo/
[2]https://www.eetimes.com/nvidia-trains-llm-on-chip-design/
[3]https://d1qx31qr3h6wln.cloudfront.net/publications/ChipNeMo%20%2824%29.pdf