清華朱軍大模型公司又融錢了！已內(nèi)測(cè)數(shù)十億參數(shù)多模態(tài)擴(kuò)散模型，年內(nèi)將推AI工具集

衡宇 2023-08-10 14:16:44 來(lái)源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

大模型創(chuàng)投市場(chǎng)日趨冷靜，但一家清華系大模型創(chuàng)業(yè)公司被曝又拿錢了。

量子位最新獲悉，清華朱軍帶隊(duì)的生數(shù)科技，完成了數(shù)千萬(wàn)元的天使+輪融資。

這一輪融資的目的，是進(jìn)行算法研發(fā)、產(chǎn)品開發(fā)和團(tuán)隊(duì)擴(kuò)充。

量子位注意到，兩個(gè)月時(shí)間，生數(shù)科技已經(jīng)連續(xù)獲得了來(lái)自市場(chǎng)的兩輪投資：

不久前的6月，生數(shù)科技剛剛完成了天使輪投資，投后市場(chǎng)估值1億美金（約7.2億人民幣）。

天使輪時(shí)，股東名單上有螞蟻集團(tuán)、BV百度風(fēng)投。

而這一輪的投資方只有一位，是與字節(jié)有著千絲萬(wàn)縷聯(lián)系的VC錦秋基金——這也是錦秋基金首次曝出對(duì)大模型初創(chuàng)公司出手。

年內(nèi)陸續(xù)推出“AI工具集”

生數(shù)科技成立于今年3月，由螞蟻、BV百度風(fēng)投，以及朱軍第一次創(chuàng)業(yè)時(shí)成立的瑞萊智慧RealAI聯(lián)合孵化而來(lái)。

公司聚焦多模態(tài)層面，致力于打造可控的多模態(tài)通用大模型。

具體包括文本、圖像、3D模型、音視頻等模態(tài)。

多模態(tài)產(chǎn)學(xué)研領(lǐng)域，目前主要攻關(guān)的核心問(wèn)題有兩個(gè)：

一是讓模型能理解和對(duì)齊多模態(tài)的數(shù)據(jù)；二是使模型能生成各種模態(tài)的內(nèi)容。

成立當(dāng)月，生數(shù)科技發(fā)布了9.5億參數(shù)的開源版本多模態(tài)大模型UniDiffuser，底層邏輯是基于Transformer網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)圖文模態(tài)之間的任意跨模態(tài)生成。

最新消息是，以UniDiffuser為基礎(chǔ)，團(tuán)隊(duì)在推進(jìn)更高參數(shù)的產(chǎn)業(yè)級(jí)大模型的自主研發(fā)工作，目前實(shí)現(xiàn)內(nèi)測(cè)的模型版本是百億數(shù)據(jù)、數(shù)十億參數(shù)。

在圖像生成的語(yǔ)義理解準(zhǔn)確度、畫面聯(lián)想豐富度，3D模型的多樣性和精細(xì)度，視頻生成實(shí)現(xiàn)的可控內(nèi)容改寫與風(fēng)格遷移上，均有不錯(cuò)表現(xiàn)。

生數(shù)科技還透露了公司的下一步研究計(jì)劃——

面向圖像創(chuàng)作、3D資產(chǎn)創(chuàng)建等內(nèi)容創(chuàng)作場(chǎng)景打造“AI工具集”，產(chǎn)品將于今年陸續(xù)推出。

首先在圖像創(chuàng)作領(lǐng)域，預(yù)備打造一款個(gè)性化、高易用的圖像創(chuàng)作助手。

通過(guò)簡(jiǎn)單指令，用戶就可以創(chuàng)作高質(zhì)量圖像，并能通過(guò)簡(jiǎn)單交互進(jìn)行精準(zhǔn)的細(xì)節(jié)控制。

這項(xiàng)工作的難點(diǎn)主要涉及底層模型在可控生成方面的技術(shù)突破，以及如何更好地理解用戶在創(chuàng)作和編輯圖像時(shí)的真正意圖。

目前，圖像創(chuàng)作助手已推出內(nèi)測(cè)版平臺(tái)，同時(shí)完成了美學(xué)角度的人工盲測(cè)。

其次，針對(duì)日益增長(zhǎng)的3D內(nèi)容創(chuàng)作需求，生數(shù)正推進(jìn)打造一款“零門檻的3D資產(chǎn)生成工具”。

具體細(xì)節(jié)是基于文本和2D三視圖，自動(dòng)構(gòu)建質(zhì)量和精度表現(xiàn)優(yōu)異的3D資產(chǎn)，目的是讓它可直接融入游戲等工業(yè)管線，大幅提升3D創(chuàng)作效能。

清華朱軍帶隊(duì)

生數(shù)核心研究團(tuán)隊(duì)，主要來(lái)自清華大學(xué)人工智能研究院，大多是朱軍課題組的學(xué)生。該課題組也是國(guó)際上最早研究深度概率生成模型的團(tuán)隊(duì)之一。

領(lǐng)兵沖刺的帶頭人朱軍，IEEE Fellow，現(xiàn)任清華大學(xué)計(jì)算機(jī)系教授。

同時(shí)也是清華人工智能研究院副院長(zhǎng)，清華智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室主任，智源首席科學(xué)家。

△朱軍

求學(xué)期間，他在清華計(jì)算機(jī)系拿下本科和博士學(xué)位，師從中國(guó)科學(xué)院院士、清華計(jì)算機(jī)系教授張鈸。

2011年，在張鈸的邀請(qǐng)下，朱軍回到清華計(jì)算機(jī)系任教。

去年，師徒二人圍繞擴(kuò)散概率模型合作的工作《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》，拿下ICLR 2022杰出論文獎(jiǎng)。

朱軍長(zhǎng)期從事機(jī)器學(xué)習(xí)、貝葉斯方法、深度學(xué)習(xí)、數(shù)據(jù)挖掘等方面的研究，在頂會(huì)ICML、NIPS、IJCAI、AAAI、 JMLR、PAMI等發(fā)表論文100余篇，連續(xù)多年擔(dān)任ICML、NeurIPS領(lǐng)域主席。

（貝葉斯方法是自然語(yǔ)言處理、機(jī)器學(xué)習(xí)、圖像識(shí)別等AI領(lǐng)域的重要基礎(chǔ)。）

2020年，朱軍團(tuán)隊(duì)發(fā)布深度強(qiáng)化學(xué)習(xí)平臺(tái)Tianshou天授。

這是一個(gè)針對(duì)強(qiáng)化學(xué)習(xí)的靈活可靠的基礎(chǔ)設(shè)施，能夠以極簡(jiǎn)代碼極速實(shí)現(xiàn)強(qiáng)化學(xué)習(xí)的諸多算法和功能，在GitHub上攬星6.6k+。

話說(shuō)回來(lái)，生數(shù)科技不是朱軍在科研和產(chǎn)業(yè)之間的第一次嘗試。

他的首次創(chuàng)業(yè)要回溯到2018年。當(dāng)時(shí)，他支持自己的學(xué)生田天創(chuàng)辦了公司瑞萊智慧RealAI，專注提升人工智能的安全性。

并且和張鈸共同擔(dān)任該公司的首席科學(xué)家。

待到生數(shù)科技浮出水面，朱軍的角色仍然是首席科學(xué)家。

擔(dān)任生數(shù)CEO的，是公司聯(lián)合創(chuàng)始人的唐家渝，他同樣畢業(yè)自清華大學(xué)計(jì)算機(jī)系，師從NLP組教授孫茂松。

此前，對(duì)唐家渝外界的主要公開身份是瑞萊智慧的副總裁，先后負(fù)責(zé)公司產(chǎn)品團(tuán)隊(duì)、AI安全產(chǎn)研團(tuán)隊(duì)及業(yè)務(wù)。

而從再往前的簡(jiǎn)歷可以看到，唐家渝曾在騰訊優(yōu)圖實(shí)驗(yàn)室工作。

△唐家渝

唐家渝表示，相比語(yǔ)言大模型，國(guó)內(nèi)外在多模態(tài)大模型方向的研究都處于早期探索階段，“并沒(méi)有形成明顯的代差”。

文生圖方面，生數(shù)已經(jīng)達(dá)到了Stable Diffusion最新版本的基礎(chǔ)模型效果。
預(yù)計(jì)年底，會(huì)對(duì)齊Midjourney的最新版效果。