大模型標(biāo)注員，本科率100%

西風(fēng) 2023-08-30 16:12:12 來(lái)源：量子位

西風(fēng) 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

首個(gè)大模型數(shù)據(jù)標(biāo)注基地，來(lái)了！

百度與海口市政府合作共建百度智能云（?？冢┤斯ぶ悄芑A(chǔ)數(shù)據(jù)產(chǎn)業(yè)基地，數(shù)百名標(biāo)注員100%本科及以上。

不同于以往比較常見(jiàn)的“打標(biāo)簽式”的文本數(shù)據(jù)標(biāo)注形式，現(xiàn)在數(shù)據(jù)標(biāo)注工作可以說(shuō)是大變樣——

要對(duì)大模型的回答進(jìn)行排序、打分、評(píng)估、多輪對(duì)話。

形象地來(lái)說(shuō)，以前是為了告訴模型“這個(gè)是什么”，而現(xiàn)在是為了告訴模型“這個(gè)對(duì)不對(duì)”。

為了更直觀地感受數(shù)據(jù)標(biāo)注工作，我們來(lái)到了百度智能云（海口）人工智能基礎(chǔ)數(shù)據(jù)產(chǎn)業(yè)基地，親身上手體驗(yàn)了一把。

大模型標(biāo)注有什么不同？

圍繞著大模型的訓(xùn)練模式，這也就決定了數(shù)據(jù)標(biāo)注工作將與傳統(tǒng)模型標(biāo)注有所不同。

具體來(lái)看，主要包括標(biāo)注方式、標(biāo)注內(nèi)容以及標(biāo)注規(guī)則要求和人員。

傳統(tǒng)數(shù)據(jù)標(biāo)注工作，以文本為例，就有語(yǔ)義識(shí)別、情緒識(shí)別、實(shí)體識(shí)別、轉(zhuǎn)寫(xiě)等。

比如，從“我在人民廣場(chǎng)吃著炸雞”這句話中標(biāo)出人名、地名；“我在人民廣場(chǎng)快樂(lè)地吃著炸雞”這句話情緒是積極的還是消極的。

可以看到的是，標(biāo)注要求客觀、標(biāo)準(zhǔn)可以定量化，標(biāo)注工作本身難度并不大。

但現(xiàn)在要想大模型迭代、應(yīng)用落地，離不開(kāi)監(jiān)督微調(diào)和基于人類(lèi)反饋的強(qiáng)化學(xué)習(xí)，這其中就決定了標(biāo)注數(shù)據(jù)的高質(zhì)量和專(zhuān)業(yè)化，操作流程上也比以往更為復(fù)雜。

也就是上面提到的要對(duì)模型回復(fù)排序、打分、評(píng)估，通過(guò)這種數(shù)據(jù)標(biāo)記讓模型的回答更符合人的認(rèn)知邏輯和習(xí)慣。

在標(biāo)注人員上面，百度?？跀?shù)據(jù)標(biāo)注基地對(duì)新員工入職安排了兩個(gè)月的專(zhuān)業(yè)化培訓(xùn)。新員工只有考核合格后才能正式上崗，在這期間需要做大量的測(cè)試題訓(xùn)練。

在百度看來(lái)，數(shù)據(jù)標(biāo)注師需要具有較高的理解力、邏輯思維、總結(jié)能力，甚至需要具備某一場(chǎng)景的行業(yè)知識(shí)。

對(duì)于特別專(zhuān)業(yè)的問(wèn)題，百度則是融入了智能化工具，人機(jī)協(xié)同標(biāo)注。

比如說(shuō)有一些題可能是偏計(jì)算機(jī)的。普通人來(lái)回答是很費(fèi)勁的，需要匹配給計(jì)算機(jī)專(zhuān)業(yè)的人來(lái)做答。所以百度這時(shí)就會(huì)用到內(nèi)容自動(dòng)識(shí)別，包括把內(nèi)容自動(dòng)歸類(lèi)、自動(dòng)分發(fā)給更專(zhuān)業(yè)的標(biāo)注師來(lái)做答，這樣效率就高了，準(zhǔn)確率、質(zhì)量方面也會(huì)提高。

目前?？诨厝蕴幱诮ㄔO(shè)的初期階段，也在孵化數(shù)據(jù)標(biāo)注企業(yè)，正式上崗的數(shù)據(jù)標(biāo)注師已有數(shù)百人。

“人工標(biāo)注不會(huì)被機(jī)器取代”

從百度智能云的案例不難看出，人工標(biāo)注目前不會(huì)被機(jī)器標(biāo)注取代，這是因?yàn)闄C(jī)器標(biāo)注有很多局限。百度智能云更希望在標(biāo)注過(guò)程中用到一些智能的手段輔助人工做標(biāo)注。

比如大模型回答問(wèn)題可能會(huì)有一兩千字，特別長(zhǎng)。標(biāo)注員要答（標(biāo)注）這個(gè)題，讀完所有內(nèi)容就要花很長(zhǎng)時(shí)間，成本可能很高。但是標(biāo)題、問(wèn)題里面可能會(huì)有些關(guān)鍵詞，這時(shí)百度通過(guò)算法，在答案中把跟問(wèn)題關(guān)鍵詞相關(guān)的語(yǔ)句，比如說(shuō)標(biāo)亮一下，換一個(gè)顏色等，用來(lái)幫助標(biāo)注員掌握這幾句話提到的標(biāo)題里的字，你不要錯(cuò)過(guò)了，要好好看。

未來(lái)，德勤預(yù)計(jì)5年內(nèi)，AI基礎(chǔ)數(shù)據(jù)服務(wù)總市場(chǎng)規(guī)模將突破150億元。

好了，你認(rèn)為人工標(biāo)注，會(huì)不會(huì)被機(jī)器取代呢？

以及最近量子位智庫(kù)《中國(guó)AIGC數(shù)據(jù)標(biāo)注全景報(bào)告》案例正在征集中，盡情關(guān)注后續(xù)進(jìn)展！有關(guān)AIGC數(shù)據(jù)標(biāo)注的發(fā)展趨勢(shì)，有什么想法歡迎分享~