黑馬入局！昆侖萬(wàn)維版ChatGPT「天工」通過(guò)自家程序員面試，首發(fā)就敢現(xiàn)場(chǎng)演示

夢(mèng)晨 2023-04-20 17:17:16 來(lái)源：量子位

夢(mèng)晨 金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

什么樣的AI，能通過(guò)自家公司的程序員面試？

剛剛出爐的國(guó)產(chǎn)大模型「天工」做到了，黑馬，絕對(duì)是黑馬。

其開(kāi)發(fā)商昆侖萬(wàn)維的CEO方漢在與量子位合作的首發(fā)直播中透露：

對(duì)天工模擬過(guò)校招算法工程師的第一輪面試，可以很流暢地通過(guò)。

△天工回答算法題示例

如果你開(kāi)始好奇天工是什么，不如請(qǐng)先它來(lái)一段自我介紹：

除了在編程語(yǔ)言上經(jīng)受住面試級(jí)別的考驗(yàn)之外，在自然語(yǔ)言上天工還特別修煉過(guò)中文。

天工團(tuán)隊(duì)投入大量資源攻克了中文語(yǔ)料庫(kù)的質(zhì)量瓶頸,從數(shù)十萬(wàn)億的數(shù)據(jù)中清洗、篩選出了3萬(wàn)億個(gè)單詞數(shù)據(jù)用于訓(xùn)練大模型。

開(kāi)發(fā)團(tuán)隊(duì)認(rèn)為，優(yōu)質(zhì)的中文語(yǔ)料庫(kù)讓「天工」作為國(guó)產(chǎn)AI,在“更懂中文”這件事上具備天然的優(yōu)勢(shì)，更符合本土用戶(hù)的使用偏好。

天工自己倒是對(duì)此挺謙虛的，看來(lái)不僅學(xué)會(huì)了中文，還學(xué)會(huì)了謙虛的傳統(tǒng)美德。

那么天工的中文水平到底如何，在首發(fā)直播中就進(jìn)行了現(xiàn)場(chǎng)實(shí)時(shí)演示，不是放錄像，是當(dāng)場(chǎng)把問(wèn)題敲進(jìn)去那種。

大模型作為新一代生產(chǎn)力工具，首先要考察的就是能不能在工作場(chǎng)景中幫到大家。

方漢表示天工在文本生成和文案撰寫(xiě)上的表現(xiàn)令他驚喜，并現(xiàn)場(chǎng)展示了三個(gè)場(chǎng)景。

首先是很多人都頭疼的寫(xiě)周報(bào)，可以讓天工直接搭一個(gè)框架出來(lái)，避免疏漏。

對(duì)于直接生成可用文本方面，選擇的問(wèn)題是寫(xiě)一個(gè)電商運(yùn)營(yíng)的招聘JD。

天工給出結(jié)果后，方漢評(píng)價(jià)“沒(méi)有一到兩年的HR工作經(jīng)驗(yàn)是很難寫(xiě)這么完整的”。

接下來(lái)要考驗(yàn)的是天工的創(chuàng)意能力，畢竟新晉獨(dú)角獸Jasper.ai就是靠AI創(chuàng)意營(yíng)銷(xiāo)起家，AI有了這方面能力商業(yè)化就有了保障。

直播中由于時(shí)間關(guān)系，只展示了編寫(xiě)二次元mmorpg游戲廣告文案一個(gè)例子。

不過(guò)方漢補(bǔ)充道“由于每個(gè)人輸入的條件和上下文不同，生成的結(jié)果也會(huì)千差萬(wàn)別，對(duì)廣告文案工作非常有幫助。”

直播過(guò)程中，除了官方準(zhǔn)備的問(wèn)題，網(wǎng)友也在彈幕中提出各種刁鉆問(wèn)題。

比如腦筋急轉(zhuǎn)彎問(wèn)題，天工也沒(méi)有被難住，表現(xiàn)出一定邏輯能力。

還有一些靈魂拷問(wèn)，天工給出的回答也都符合道德和人類(lèi)價(jià)值觀。

更有意思的是，量子位CEO孟鴻在現(xiàn)場(chǎng)也向天工提出了一個(gè)尖銳的問(wèn)題：

我是一個(gè)自媒體創(chuàng)作者，現(xiàn)在有個(gè)大公司請(qǐng)我評(píng)測(cè)他們的產(chǎn)品，但是這個(gè)產(chǎn)品客觀上有亮點(diǎn)也有不足，我應(yīng)該怎么做才能既不把自己的路走窄了，又堅(jiān)守自己的節(jié)操？

從結(jié)果上來(lái)看，天工確實(shí)是做到了“既要又要”，是一個(gè)“三觀比較正”的AI了。

天工，是如何煉成的？

在看過(guò)天工的能力之后，想必很多朋友們都會(huì)好奇，它到底是如何煉成的。

對(duì)此，昆侖萬(wàn)維也毫不掩飾地將背后的“秘笈”給亮了出來(lái)。

首先便是“大力出奇跡”的大模型，而且還是雙千億參數(shù)的那種：

• 千億預(yù)訓(xùn)練基座模型
• 千億RLHF模型

千億預(yù)訓(xùn)練基座模型，是指至少有一個(gè)千億參數(shù)的深度學(xué)習(xí)模型，可以游刃有余地應(yīng)對(duì)語(yǔ)言生成、文本分類(lèi)、機(jī)器翻譯等自然語(yǔ)言處理任務(wù)。

千億RLHF模型，是指基于“Reinforcement Learning with Human Feedback（RLHF）”強(qiáng)化學(xué)習(xí)方法的一種模型。

RLHF模型可以視為一種特殊的交互式機(jī)器學(xué)習(xí)框架，可以通過(guò)人類(lèi)的反饋來(lái)優(yōu)化模型的性能，由此可以更好地處理不確定性和稀疏性問(wèn)題。

而在二者的“強(qiáng)強(qiáng)聯(lián)手”之下，大模型的優(yōu)勢(shì)便凸顯了出來(lái)。

例如預(yù)訓(xùn)練基座模型本身便具有很強(qiáng)的表征能力和泛化能力，加上RLHF模型可以吸收人類(lèi)反饋的能力，讓整體模型的性能更上一層樓。

不僅如此，在決策過(guò)程的可解釋性、模型的魯棒性和穩(wěn)定性，以及處理更多的學(xué)習(xí)任務(wù)方面，這種方式的操作也起到了一定提高作用。

而除了模型層之外，在算法層方面，天工也有自己的獨(dú)到之處。

眾所周知，目前市面上許多類(lèi)ChatGPT產(chǎn)品的背后，所采用的基本上都是Transformer架構(gòu)的自然語(yǔ)言處理模型。

簡(jiǎn)單來(lái)說(shuō)，它包括多層Transformer編碼器和解碼器，自注意力機(jī)制，預(yù)訓(xùn)練和微調(diào)等技術(shù)。

而天工團(tuán)隊(duì)首次在此基礎(chǔ)之上，引入了蒙特卡洛搜索樹(shù)算法，名震一時(shí)的AlphaGo背后便是結(jié)合了這一算法。

其一般分為選擇、擴(kuò)展、模擬和回溯四個(gè)過(guò)程，核心思想總結(jié)來(lái)說(shuō)就是把資源放在更值得搜索的分枝上。

天工引入蒙特卡洛搜索樹(shù)算法主要應(yīng)用在了對(duì)話管理這個(gè)任務(wù)中，更能理解在對(duì)話中何時(shí)轉(zhuǎn)換話題，并且能懂得如何詢(xún)問(wèn)更多信息等。

這也就是天工擁有超強(qiáng)記憶能力、能夠支持1萬(wàn)字以上文本對(duì)話、20輪交互，而且過(guò)程可以非常自然的原因了。

但除了模型和算法之外，天工的“利刃”還不僅于此。

中國(guó)最大GPU集群加持

數(shù)據(jù)和算力，亦是這輪ChatGPT、大模型之戰(zhàn)的關(guān)鍵所在。

在數(shù)據(jù)方面，天工所采用的策略是“開(kāi)源的力量”——凝聚了百位開(kāi)源社區(qū)AI科學(xué)家。

也正因如此，天工從數(shù)十萬(wàn)億的數(shù)據(jù)中，最終清洗、篩選出了近3萬(wàn)億單詞的數(shù)據(jù)。

要知道，ChatGPT在訓(xùn)練過(guò)程中的單詞數(shù)據(jù)量也僅3千億；這也就是為何在使用天工過(guò)程中，會(huì)感覺(jué)更加流暢、理解力更強(qiáng)的原因了。

那么面對(duì)如此龐大的數(shù)據(jù)訓(xùn)練量，接踵而至的老大難問(wèn)題，便是算力了。

對(duì)此，昆侖萬(wàn)維方漢在直播過(guò)程中非常自信地表示：

天工的算力是基于中國(guó)最大的GPU集群之一。

這也就是ChatGPT在支持十輪對(duì)話的時(shí)候，天工能夠達(dá)到20多輪的原因所在了。

但若是縱覽昆侖萬(wàn)維在技術(shù)上的布局，就不難發(fā)現(xiàn)，天工的誕生并非是一蹴而就的事情。

因?yàn)樵缭?020年昆侖萬(wàn)維便已然入局，累計(jì)投入了已達(dá)數(shù)億元人民幣、數(shù)百人參與研發(fā)。

并且在2022年發(fā)布AIGC全系列算法模型的同時(shí)，就開(kāi)源了百億級(jí)參數(shù)模型，積累了廣泛的開(kāi)發(fā)者好評(píng)與社區(qū)共創(chuàng)。

而至于為何選擇在這個(gè)時(shí)間節(jié)點(diǎn)發(fā)布天工，方漢表示：

是綜合考慮了技術(shù)水平和用戶(hù)需求后做出的選擇。

我們的大模型在今年四月上旬取得了技術(shù)上的較大突破，國(guó)內(nèi)對(duì)類(lèi)ChatGPT產(chǎn)品的關(guān)注度也達(dá)到了空前的關(guān)注，用戶(hù)的習(xí)慣已經(jīng)得到了初步的培養(yǎng)。

因此在這個(gè)時(shí)間節(jié)點(diǎn)推出，便可以很好地滿(mǎn)足用戶(hù)的現(xiàn)實(shí)需求。

據(jù)了解，目前昆侖萬(wàn)維集團(tuán)的各個(gè)業(yè)務(wù)均已經(jīng)在向AI化轉(zhuǎn)變，內(nèi)部的游戲設(shè)計(jì)、策劃、內(nèi)容運(yùn)營(yíng)、編輯、公關(guān)策劃等工種，是天工最早參與內(nèi)測(cè)的“用戶(hù)”。

在未來(lái)，昆侖萬(wàn)維也有計(jì)劃向B端用戶(hù)開(kāi)放API接口。

總而言之，有大數(shù)據(jù)、有大算力、有大模型，昆侖萬(wàn)維在國(guó)產(chǎn)ChatGPT之戰(zhàn)上的前行道路，是值得期待一波了。

天工官方地址：
https://tiangong.kunlun.com/

直播回放地址：
https://live.baidu.com/m/media/pclive/pchome/live.html?room_id=8207784475