黑馬入局！昆侖萬維版ChatGPT「天工」通過自家程序員面試，首發(fā)就敢現(xiàn)場演示

夢晨 2023-04-20 17:17:16 來源：量子位

夢晨 金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

什么樣的AI，能通過自家公司的程序員面試？

剛剛出爐的國產(chǎn)大模型「天工」做到了，黑馬，絕對是黑馬。

其開發(fā)商昆侖萬維的CEO方漢在與量子位合作的首發(fā)直播中透露：

對天工模擬過校招算法工程師的第一輪面試，可以很流暢地通過。

△天工回答算法題示例

如果你開始好奇天工是什么，不如請先它來一段自我介紹：

除了在編程語言上經(jīng)受住面試級別的考驗之外，在自然語言上天工還特別修煉過中文。

天工團隊投入大量資源攻克了中文語料庫的質(zhì)量瓶頸,從數(shù)十萬億的數(shù)據(jù)中清洗、篩選出了3萬億個單詞數(shù)據(jù)用于訓(xùn)練大模型。

開發(fā)團隊認(rèn)為，優(yōu)質(zhì)的中文語料庫讓「天工」作為國產(chǎn)AI,在“更懂中文”這件事上具備天然的優(yōu)勢，更符合本土用戶的使用偏好。

天工自己倒是對此挺謙虛的，看來不僅學(xué)會了中文，還學(xué)會了謙虛的傳統(tǒng)美德。

那么天工的中文水平到底如何，在首發(fā)直播中就進行了現(xiàn)場實時演示，不是放錄像，是當(dāng)場把問題敲進去那種。

大模型作為新一代生產(chǎn)力工具，首先要考察的就是能不能在工作場景中幫到大家。

方漢表示天工在文本生成和文案撰寫上的表現(xiàn)令他驚喜，并現(xiàn)場展示了三個場景。

首先是很多人都頭疼的寫周報，可以讓天工直接搭一個框架出來，避免疏漏。

對于直接生成可用文本方面，選擇的問題是寫一個電商運營的招聘JD。

天工給出結(jié)果后，方漢評價“沒有一到兩年的HR工作經(jīng)驗是很難寫這么完整的”。

接下來要考驗的是天工的創(chuàng)意能力，畢竟新晉獨角獸Jasper.ai就是靠AI創(chuàng)意營銷起家，AI有了這方面能力商業(yè)化就有了保障。

直播中由于時間關(guān)系，只展示了編寫二次元mmorpg游戲廣告文案一個例子。

不過方漢補充道“由于每個人輸入的條件和上下文不同，生成的結(jié)果也會千差萬別，對廣告文案工作非常有幫助?！?/p>

直播過程中，除了官方準(zhǔn)備的問題，網(wǎng)友也在彈幕中提出各種刁鉆問題。

比如腦筋急轉(zhuǎn)彎問題，天工也沒有被難住，表現(xiàn)出一定邏輯能力。

還有一些靈魂拷問，天工給出的回答也都符合道德和人類價值觀。

更有意思的是，量子位CEO孟鴻在現(xiàn)場也向天工提出了一個尖銳的問題：

我是一個自媒體創(chuàng)作者，現(xiàn)在有個大公司請我評測他們的產(chǎn)品，但是這個產(chǎn)品客觀上有亮點也有不足，我應(yīng)該怎么做才能既不把自己的路走窄了，又堅守自己的節(jié)操？

從結(jié)果上來看，天工確實是做到了“既要又要”，是一個“三觀比較正”的AI了。

天工，是如何煉成的？

在看過天工的能力之后，想必很多朋友們都會好奇，它到底是如何煉成的。

對此，昆侖萬維也毫不掩飾地將背后的“秘笈”給亮了出來。

首先便是“大力出奇跡”的大模型，而且還是雙千億參數(shù)的那種：

• 千億預(yù)訓(xùn)練基座模型
• 千億RLHF模型

千億預(yù)訓(xùn)練基座模型，是指至少有一個千億參數(shù)的深度學(xué)習(xí)模型，可以游刃有余地應(yīng)對語言生成、文本分類、機器翻譯等自然語言處理任務(wù)。

千億RLHF模型，是指基于“Reinforcement Learning with Human Feedback（RLHF）”強化學(xué)習(xí)方法的一種模型。

RLHF模型可以視為一種特殊的交互式機器學(xué)習(xí)框架，可以通過人類的反饋來優(yōu)化模型的性能，由此可以更好地處理不確定性和稀疏性問題。

而在二者的“強強聯(lián)手”之下，大模型的優(yōu)勢便凸顯了出來。

例如預(yù)訓(xùn)練基座模型本身便具有很強的表征能力和泛化能力，加上RLHF模型可以吸收人類反饋的能力，讓整體模型的性能更上一層樓。

不僅如此，在決策過程的可解釋性、模型的魯棒性和穩(wěn)定性，以及處理更多的學(xué)習(xí)任務(wù)方面，這種方式的操作也起到了一定提高作用。

而除了模型層之外，在算法層方面，天工也有自己的獨到之處。

眾所周知，目前市面上許多類ChatGPT產(chǎn)品的背后，所采用的基本上都是Transformer架構(gòu)的自然語言處理模型。

簡單來說，它包括多層Transformer編碼器和解碼器，自注意力機制，預(yù)訓(xùn)練和微調(diào)等技術(shù)。

而天工團隊首次在此基礎(chǔ)之上，引入了蒙特卡洛搜索樹算法，名震一時的AlphaGo背后便是結(jié)合了這一算法。

其一般分為選擇、擴展、模擬和回溯四個過程，核心思想總結(jié)來說就是把資源放在更值得搜索的分枝上。

天工引入蒙特卡洛搜索樹算法主要應(yīng)用在了對話管理這個任務(wù)中，更能理解在對話中何時轉(zhuǎn)換話題，并且能懂得如何詢問更多信息等。

這也就是天工擁有超強記憶能力、能夠支持1萬字以上文本對話、20輪交互，而且過程可以非常自然的原因了。

但除了模型和算法之外，天工的“利刃”還不僅于此。

中國最大GPU集群加持

數(shù)據(jù)和算力，亦是這輪ChatGPT、大模型之戰(zhàn)的關(guān)鍵所在。

在數(shù)據(jù)方面，天工所采用的策略是“開源的力量”——凝聚了百位開源社區(qū)AI科學(xué)家。

也正因如此，天工從數(shù)十萬億的數(shù)據(jù)中，最終清洗、篩選出了近3萬億單詞的數(shù)據(jù)。

要知道，ChatGPT在訓(xùn)練過程中的單詞數(shù)據(jù)量也僅3千億；這也就是為何在使用天工過程中，會感覺更加流暢、理解力更強的原因了。

那么面對如此龐大的數(shù)據(jù)訓(xùn)練量，接踵而至的老大難問題，便是算力了。

對此，昆侖萬維方漢在直播過程中非常自信地表示：

天工的算力是基于中國最大的GPU集群之一。

這也就是ChatGPT在支持十輪對話的時候，天工能夠達(dá)到20多輪的原因所在了。

但若是縱覽昆侖萬維在技術(shù)上的布局，就不難發(fā)現(xiàn)，天工的誕生并非是一蹴而就的事情。

因為早在2020年昆侖萬維便已然入局，累計投入了已達(dá)數(shù)億元人民幣、數(shù)百人參與研發(fā)。

并且在2022年發(fā)布AIGC全系列算法模型的同時，就開源了百億級參數(shù)模型，積累了廣泛的開發(fā)者好評與社區(qū)共創(chuàng)。

而至于為何選擇在這個時間節(jié)點發(fā)布天工，方漢表示：

是綜合考慮了技術(shù)水平和用戶需求后做出的選擇。

我們的大模型在今年四月上旬取得了技術(shù)上的較大突破，國內(nèi)對類ChatGPT產(chǎn)品的關(guān)注度也達(dá)到了空前的關(guān)注，用戶的習(xí)慣已經(jīng)得到了初步的培養(yǎng)。

因此在這個時間節(jié)點推出，便可以很好地滿足用戶的現(xiàn)實需求。

據(jù)了解，目前昆侖萬維集團的各個業(yè)務(wù)均已經(jīng)在向AI化轉(zhuǎn)變，內(nèi)部的游戲設(shè)計、策劃、內(nèi)容運營、編輯、公關(guān)策劃等工種，是天工最早參與內(nèi)測的“用戶”。

在未來，昆侖萬維也有計劃向B端用戶開放API接口。

總而言之，有大數(shù)據(jù)、有大算力、有大模型，昆侖萬維在國產(chǎn)ChatGPT之戰(zhàn)上的前行道路，是值得期待一波了。

天工官方地址：
https://tiangong.kunlun.com/

直播回放地址：
https://live.baidu.com/m/media/pclive/pchome/live.html?room_id=8207784475