零一萬(wàn)物API開(kāi)放平臺(tái)出場(chǎng)！通用Chat多模態(tài)通通開(kāi)放，還有200K超長(zhǎng)上下文版本

克雷西 衡宇 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

3月，國(guó)內(nèi)外模型公司動(dòng)作頻頻。國(guó)產(chǎn)大模型獨(dú)角獸“五小虎”之一零一萬(wàn)物也有諸多新動(dòng)作。

這不，前腳剛發(fā)布高性能向量數(shù)據(jù)庫(kù)，零一萬(wàn)物又立馬正式發(fā)布了自己的API開(kāi)放平臺(tái)，

共為開(kāi)發(fā)者提供三個(gè)版本的模型：

• Yi-34B-Chat-0205：支持通用聊天、問(wèn)答、對(duì)話、寫(xiě)作、翻譯等功能。
• Yi-34B-Chat-200K：200K上下文，多文檔閱讀理解、超長(zhǎng)知識(shí)庫(kù)構(gòu)建小能手。
• Yi-VL-Plus：多模態(tài)模型，支持文本、視覺(jué)多模態(tài)輸入，中文圖表體驗(yàn)超過(guò)GPT-4V。

去年11月，零一萬(wàn)物就正式開(kāi)源發(fā)布了首款預(yù)訓(xùn)練大模型Yi-34B，當(dāng)時(shí)的模型已經(jīng)能處理200K上下文窗口，約等同于20萬(wàn)字文本。這次開(kāi)放API平臺(tái)，在Yi-34B的基礎(chǔ)上，有什么新亮點(diǎn)？

要說(shuō)有什么獨(dú)特之處，我愿以五個(gè)“更”來(lái)概括。

分別是覆蓋更大的參數(shù)量、更強(qiáng)的多模態(tài)、更專業(yè)的代碼/數(shù)學(xué)推理模型、更快的推理速度、更低的推理成本。

并且！

Yi大模型API開(kāi)放平臺(tái)兼容OpenAI的API，可以隨心快速絲滑切換。

更多詳情，一起來(lái)看——

200K上下文窗口+多模態(tài)能力

此次API開(kāi)放，最亮眼的地方一共有兩點(diǎn)。

首先是200K的超長(zhǎng)上下文窗口，可以一口氣處理約30萬(wàn)個(gè)中英文字符，相對(duì)于讀完整本《哈利·波特與魔法石》小說(shuō)。

在大海撈針測(cè)試中，Yi-34B-Chat-200K取得了幾乎全綠的成績(jī)，準(zhǔn)確率高達(dá)99.8%。

實(shí)際測(cè)試中，篇幅近兩百頁(yè)、總字?jǐn)?shù)19萬(wàn)的《三體》第一部，Yi很快就能讀完并給出總結(jié)。

而且細(xì)節(jié)關(guān)注到位，能從故事中提取出主要角色信息和他們的事跡，然后直接用表格的形式呈現(xiàn)在我們面前。

我們又補(bǔ)充追問(wèn)了十個(gè)細(xì)節(jié)問(wèn)題，答案分散在整部小說(shuō)的各個(gè)位置，結(jié)果Yi全部答對(duì)。

另一大亮點(diǎn)，是Yi-VL-Plus強(qiáng)大的多模態(tài)能力。

多模態(tài)版本中，在保持LLM通用知識(shí)、推理等能力的前提下，圖片內(nèi)中文、符號(hào)識(shí)別能力大幅增強(qiáng)，體驗(yàn)超過(guò)了GPT-4V。

而且圖片輸入分辨率也提高到了1024×1024分辨率，并專門針對(duì)圖表、截屏等生產(chǎn)力場(chǎng)景進(jìn)行了優(yōu)化。

比如下面這張圖來(lái)自一篇文獻(xiàn)綜述，列舉了課題相關(guān)論文中被引量最高的10篇。

Yi-VL-Plus準(zhǔn)確地找到了目標(biāo)文獻(xiàn)，并準(zhǔn)確識(shí)別出了文章標(biāo)題，遇到“嗪”這種不常見(jiàn)的專業(yè)文字也沒(méi)掉鏈子。

再看看GPT-4V這邊，則是主打一個(gè)已讀亂回，給出的文章標(biāo)題不知道來(lái)自何處。

而除了識(shí)讀圖表和文字，Yi-VL-Plus還支持學(xué)習(xí)專業(yè)知識(shí)并立即用于圖像的解讀。

比如早期體驗(yàn)過(guò)的開(kāi)發(fā)者教給模型一些心理學(xué)知識(shí)后，Yi-VL-Plus就能根據(jù)孩子的鉛筆畫(huà)展開(kāi)一些基本的分析。

并且，模型給出的分析獲得了專業(yè)人士的認(rèn)可，給出了“較準(zhǔn)確”的評(píng)價(jià)。

△開(kāi)發(fā)者星云愛(ài)店CTO大董提供的測(cè)試資料，文圖數(shù)據(jù)均脫敏

總之，憑借強(qiáng)大的長(zhǎng)文本和多模態(tài)處理能力，無(wú)論是在to B還是to C場(chǎng)景，Yi都能構(gòu)建出高效的大模型應(yīng)用。

舉個(gè)例子??，在to C場(chǎng)景中，可以用基礎(chǔ)或多模態(tài)版本構(gòu)建智能對(duì)話助手，進(jìn)行深層次的對(duì)話問(wèn)答。

而在B端，可以把Yi整合到現(xiàn)有產(chǎn)品，搭建出Copilot類的應(yīng)用，抑或是利用超長(zhǎng)文本能力建立知識(shí)庫(kù)，打造出客服等特定場(chǎng)景的智能助手。

在前期的開(kāi)發(fā)者邀測(cè)中，擁有阿里、美團(tuán)等多家大廠工作經(jīng)歷的知乎大佬@蘇洋就利用Yi的API搭建出了一個(gè)翻譯器應(yīng)用。

據(jù)作者本人介紹，他是看到GitHub上的一份開(kāi)源的機(jī)器學(xué)習(xí)書(shū)籍之后萌生了翻譯的想法，然后開(kāi)始搭建這個(gè)應(yīng)用的。

而之所以選擇Yi作為承擔(dān)這一工作的大模型，就是看中了它超出的上下文窗口，能夠?qū)⒆髡呙恳徽碌娜亩既拥侥Ｐ屠?，而不用切分章?jié)或做一些遞歸式的章節(jié)摘要等麻煩事。

另一方面，Yi和OpenAI的兼容性，也讓作者直接利用LLM平臺(tái)的OpenAI兼容API模塊，就快速完成了模型的接入。

接入完模型之后就是幾乎可以一鍵完成的模型搭建了，這里需要做的只是點(diǎn)選應(yīng)用的類型，然后起個(gè)名字，并適當(dāng)調(diào)節(jié)一些參數(shù)。

在此基礎(chǔ)之上，作者又用golang對(duì)模型調(diào)用程序進(jìn)行了編譯，進(jìn)一步提升了整個(gè)流程的自動(dòng)化程度。

最終，一個(gè)全自動(dòng)的翻譯工具就大功告成了。

如果不看最后的進(jìn)階部分，利用Yi的API快速構(gòu)建一款A(yù)I應(yīng)用，簡(jiǎn)直不要太簡(jiǎn)單！

而除了這些應(yīng)用上肉眼可見(jiàn)的優(yōu)勢(shì)，Yi系列API在技術(shù)層面的亮點(diǎn)同樣可圈可點(diǎn)。

絲滑切換OpenAI API

在Yi優(yōu)異表現(xiàn)的背后，無(wú)論是API還是模型本身，都必然有強(qiáng)大的技術(shù)作為支撐——在技術(shù)上，Yi有哪些特色？

首先，Yi與OpenAI API完全兼容。

這意味著開(kāi)發(fā)者只需修改少量代碼，就能完成從OpenAI到Y(jié)i的平滑遷移，實(shí)現(xiàn)了替換成本的最小化。

同時(shí)，為了提升API性能，零一萬(wàn)物在API側(cè)進(jìn)行了專門的推理優(yōu)化。不僅推理速度更快，用戶體驗(yàn)的流暢性和響應(yīng)速度也都相應(yīng)提高。

而針對(duì)模型自身的其他亮點(diǎn)，我們充分利用了Yi的長(zhǎng)文本分析能力，從它的技術(shù)報(bào)告中進(jìn)行了提煉。

當(dāng)然，除了專門針對(duì)API做的優(yōu)化之外，基礎(chǔ)模型的能力同樣不可或缺。

為了實(shí)現(xiàn)模型能力的提升，研究團(tuán)隊(duì)從保證訓(xùn)練數(shù)據(jù)質(zhì)量、在tokenization中運(yùn)用獨(dú)特設(shè)計(jì)、微調(diào)階段積累經(jīng)驗(yàn)等多個(gè)角度進(jìn)行了攻關(guān)，增強(qiáng)了模型的優(yōu)勢(shì)并在API段充分發(fā)揮。

比如從訓(xùn)練階段開(kāi)始，研究團(tuán)隊(duì)就對(duì)數(shù)據(jù)進(jìn)行了精心挑選，引入了啟發(fā)式規(guī)則去除低質(zhì)量文本，并利用機(jī)器學(xué)習(xí)方式識(shí)別有害內(nèi)容。

同時(shí)研發(fā)人員還對(duì)訓(xùn)練數(shù)據(jù)中的文本進(jìn)行聚類分析，并實(shí)施嚴(yán)格的去重機(jī)制，最大程度保證訓(xùn)練數(shù)據(jù)的質(zhì)量。

而tokenization階段，同樣體現(xiàn)著研發(fā)人員的獨(dú)到設(shè)計(jì)。

Yi使用字節(jié)對(duì)編碼進(jìn)行分詞和詞匯表的構(gòu)建，減少了詞匯表的大小并提高了編碼效率。

同時(shí)最大程度保留原始符號(hào)，避免變換過(guò)程中造成的信息丟失。

針對(duì)數(shù)字，Yi還采用了拆分成單個(gè)token的方式來(lái)提高模型理解力；甚至對(duì)于特殊和無(wú)法識(shí)別的字符，也有專門的應(yīng)對(duì)策略。

到了微調(diào)環(huán)節(jié)，Yi從技術(shù)報(bào)告總結(jié)出的關(guān)鍵經(jīng)驗(yàn)就更多了。

比如“數(shù)據(jù)質(zhì)量高于數(shù)量”的重要思想，從訓(xùn)練階段開(kāi)始就貫穿始終。

此外還有迭代過(guò)程、標(biāo)簽系統(tǒng)、結(jié)構(gòu)化格式等諸多策略，這里就不再一一贅述了。

食用指南

看到這里，旁友們應(yīng)該對(duì)Yi API的能力已經(jīng)有一定了解了。

那么，Yi大模型API到底該如何食用？

此前，Yi大模型API已經(jīng)在小范圍開(kāi)放內(nèi)測(cè)。

“為了邀請(qǐng)更多的開(kāi)發(fā)者并肩作戰(zhàn)”，今天起，Yi大模型API名額開(kāi)啟了限量開(kāi)放。

而且新用戶還贈(zèng)送60元（千萬(wàn)token）。

誰(shuí)看了不說(shuō)一句真香呢？？！指路這篇文章的結(jié)尾，可獲得申請(qǐng)直通車連接～

開(kāi)放API平臺(tái)后，零一萬(wàn)物下一步會(huì)又什么新動(dòng)作？

零一萬(wàn)物技術(shù)副總裁及模型訓(xùn)練AI Alignment、開(kāi)放平臺(tái)負(fù)責(zé)人俞濤對(duì)此做出了答復(fù)，稱近期將會(huì)為開(kāi)發(fā)者提供更多更強(qiáng)模型和AI開(kāi)發(fā)框架。

未來(lái)計(jì)劃具體圍繞以下三個(gè)方面展開(kāi)：

第一，支持更快的推理速度，顯著降低推理成本。

第二，突破更長(zhǎng)的上下文，目標(biāo)由目前的20萬(wàn)tokens拓展到100萬(wàn)tokens。

第三，基于模型具備的超長(zhǎng)上下文能力，構(gòu)建向量數(shù)據(jù)庫(kù)、RAG、Agent架構(gòu)在內(nèi)的全新開(kāi)發(fā)者AI框架。

看來(lái)，零一萬(wàn)物的下一步棋，就是推理更快、窗口更長(zhǎng)，同時(shí)提供更加豐富和靈活的開(kāi)發(fā)工具，以適應(yīng)不同開(kāi)發(fā)者需求下的多樣化應(yīng)用場(chǎng)景。

具體推出的節(jié)奏，零一萬(wàn)物此次沒(méi)有透露。但是——

三款模型的API，大家可以用起來(lái)了！

直通車：platform.lingyiwanwu.com/