比如和OpenAI同臺競技，哪怕只是奮起追趕，也是競爭中的一環(huán)。

這里的追趕是在陳述過程，建立在認為OpenAI研究方向是通往更遠目標路徑上的必經(jīng)之路，但追趕上OpenAI并不是最終目的。

追趕上，不代表可以停下；追趕過程，不代表要原樣照搬硅谷模式，甚至可以發(fā)揮中國調(diào)動頂層設計集中力量辦大事的特色和優(yōu)勢，才有可能去彌補發(fā)展速度上的差異。

雖然有2019年至今4年多的經(jīng)驗，但智譜還不敢給出什么避坑指南。不過，智譜了解大致對的方向，這也是智譜透露的正在和CCF聊的共同想法——

大模型技術的誕生，是一個非常綜合、復雜的系統(tǒng)化工程。

它不再是幾個聰明的腦袋在實驗室里琢磨，掉幾根頭發(fā)，做點實驗，發(fā)點paper就了事。除了原始的理論創(chuàng)新，還需要很強的工程實現(xiàn)和系統(tǒng)化能力，甚至還需要很好的產(chǎn)品能力。

就像ChatGPT這樣，選擇合適場景，設定和封裝一個上到80歲、下到8歲都能接觸使用的產(chǎn)品。

算力、算法、數(shù)據(jù)，具體到背后都是人才，尤其是系統(tǒng)工程的從業(yè)者，重要程度遠遠大于往日。

基于這種認知，張鵬透露道，在大模型領域中加入知識系統(tǒng)（知識圖譜），讓二者像左右腦一樣系統(tǒng)工作，是智譜在研究和實驗當中的下一步。

GitHub最火雙語對話模型

ChatGLM整體參考了ChatGPT的設計思路。

也就是在千億雙語基座模型GLM-130B中注入代碼預訓練，通過有監(jiān)督微調(diào)等技術，實現(xiàn)人類意圖對齊（就是讓機器的回答符合人類價值觀、人類期望）。

背后1300億參數(shù)的GLM-130B，由智譜和清華大學KEG實驗室共同研發(fā)。不同于BERT、GPT-3以及T5的架構，GLM-130B是一個包含多目標函數(shù)的自回歸預訓練模型。

去年8月，GLM-130B對外發(fā)布，同時開源。Standford報告中，它的表現(xiàn)在多項任務上可圈可點。

對開源的堅持，源于智譜不想做通往AGI道路上孤獨的前行者。

這也是繼開源GLM-130B后，今年繼續(xù)開源ChatGLM-6B的原因。

ChatGLM-6B是模型的“縮小版”，62億參數(shù)大小，技術基底與ChatGLM相同，初具中文問答和對話功能。

持續(xù)開源，理由無外乎兩點。

一個是希望把預訓練模型的生態(tài)做大，吸引更多人投入大模型研究，解決現(xiàn)存的很多研究性問題；

另一個是希望大模型作為基礎設施沉淀下來，以幫助產(chǎn)生更大的后續(xù)價值。

加入開源社區(qū)確實很吸引人。ChatGLM內(nèi)測的幾天內(nèi)，ChatGLM-6B在GitHub上已有8.5k星標，一度躍升trending排行榜上的第一位。

從本次對話中，量子位還從眼前這位從業(yè)者身上聽到這樣的聲音：

同樣bug頻出，但人們對OpenAI推出的ChatGPT，和對谷歌對話機器人Bard、百度文心一言的容忍程度差別明顯。

這既公平，又不公平。

從純技術的角度來說，評判標準不一，這是不公平所在；但谷歌、百度之類的大廠，占據(jù)更多資源，大家天然覺得它們技術實力更強，做出更好的東西的可能性更高，期待值就更高。

“希望大家可以給更多的耐心，無論是對百度，對我們，還是其他機構?！?/p>

除了上述內(nèi)容，在本次談話中，量子位還和張鵬具體聊了聊ChatGLM的體驗感受。

下面附上對話實錄。為了方便閱讀，我們在不改變原意的基礎上做了編輯整理。

對話實錄

量子位：內(nèi)測版本給自己打的標簽好像沒那么“通用”，官網(wǎng)給它的適用領域框定了三個圈，教育、醫(yī)療和金融。

張鵬：這跟訓練數(shù)據(jù)沒什么關系，主要是考慮到它的應用場景。

ChatGLM和ChatGPT類似，是一個對話模型。哪些應用領域天然更接近對話場景？像客服，像醫(yī)生問診，或者比如線上金融服務。這些場景下，更適合ChatGLM的技術去發(fā)揮作用。

量子位：但醫(yī)療領域，要看病的人對AI的態(tài)度還是比較謹慎的。

張鵬：肯定不能直接拿大模型往上懟?。。ㄐΓ┫胍耆娲祟?，還是要慎重。

現(xiàn)階段不是用它去代替人工作，更多的是輔助作用，給從業(yè)者提供建議來提升工作效率。

量子位：我們把GLM-130B的論文鏈接扔給ChatGLM，讓它簡要概括一下主題，它叭叭半天，結果說的根本不是這篇。

張鵬：ChatGLM的設定就是不能獲取鏈接的東西。倒不是技術上的困難，而是系統(tǒng)邊界的問題，主要是從安全角度考慮，不希望它任意訪問外部鏈接。

可以試一下把130B的論文文字copy下來扔給輸入框，一般不會瞎說。

量子位：雞兔同籠我們也扔給它了，算出了-33只雞。

張鵬：在數(shù)學處理、邏輯推理方面，它確實還有一定缺陷，做不到那么好。內(nèi)測說明里我們其實寫了這件事。

量子位：知乎有人做了測評，寫代碼能力好像也一般。

張鵬：至于寫代碼的能力，我覺得還行??？不知道你們的測試方式是什么。但具體也要看跟誰比了，和ChatGPT比的話，ChatGLM本身在代碼數(shù)據(jù)的投入可能就沒有那么多。

就像ChatGLM和ChatGLM-6B比，后者只有6B（62億）的參數(shù)，整體能力，比如整體的邏輯性、回答時的幻覺和長度上，縮小版和原版的差距就很明顯。

但是“縮小版”能在普通電腦上部署，帶來的是更高的可用性和更低的門檻。

量子位：它有個優(yōu)點，對新信息的掌握度不錯，知道推特現(xiàn)在的CEO是馬斯克，也知道何愷明3月10日回歸學界的事情——雖然不知道GPT-4已經(jīng)發(fā)布了，哈哈。

張鵬：我們做了一些特殊的技術處理。

量子位：是什么？

張鵬：具體細節(jié)就不展開講了。但對時間比較近的新信息，是有辦法處理的。

量子位：那透露下成本？GLM-130B訓練一次的成本還是有幾百萬，ChatGLM進行一輪問答的成本目前壓到什么程度？

張鵬：我們大概測試和估算了一下，和OpenAI倒數(shù)第二次公布的成本差不多，比他們略低一些。

但OpenAI的最新報價縮減到原來的10%，只有0.002美元/750個單詞，這就比我們更低了。這個成本確實是很驚人的，估計他們做了模型壓縮、量化、優(yōu)化等工作，否則不可能降到這么低。

我們也在做相關的事情，期望能把成本壓下去。

量子位：假以時日，能和搜索成本一樣低嗎？

張鵬：什么時候能降到這么低？我也不知道。還需要一點時間。

我之前看過對每次搜索價格平均成本的計算，其實與主營業(yè)務相關。比如搜索引擎主要業(yè)務就是廣告，所以要用廣告總收入作為上限來計算成本。這樣計算的話，其實要考慮的并不是消耗的成本，而是企業(yè)盈利收益的平衡點。

做模型推理需要的是AI算力，肯定比搜索這類只用CPU算力的成本是要更高的。但大家也在努力吧，很多人提出一些想法，比如持續(xù)去做模型的壓縮量化。

甚至有人想把模型做一些轉(zhuǎn)化，讓它在CPU上跑，因為CPU更便宜，量更大，跑起來的話，成本下降就會很明顯。

量子位：最后還想聊兩句人才方面的話題，現(xiàn)在大家都在搶大模型人才，智譜怕招不到人嗎？

張鵬：我們從清華KEG的技術項目孵化出來，和各個高校的關系一直都不錯。而且公司對年輕人來說氛圍比較open，75%的同事都是年輕人，我這種已經(jīng)算老家伙了。大模型人才現(xiàn)在確實奇貨可居，但我們還沒什么招人方面的擔心。

反過來，其實我們現(xiàn)在比較擔心被別人撬墻角（狗頭）。