清華朱軍大模型公司又融錢了！已內(nèi)測數(shù)十億參數(shù)多模態(tài)擴(kuò)散模型，年內(nèi)將推AI工具集

衡宇 2023-08-10 14:16:44 來源：量子位

衡宇 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

大模型創(chuàng)投市場日趨冷靜，但一家清華系大模型創(chuàng)業(yè)公司被曝又拿錢了。

量子位最新獲悉，清華朱軍帶隊的生數(shù)科技，完成了數(shù)千萬元的天使+輪融資。

這一輪融資的目的，是進(jìn)行算法研發(fā)、產(chǎn)品開發(fā)和團(tuán)隊擴(kuò)充。

量子位注意到，兩個月時間，生數(shù)科技已經(jīng)連續(xù)獲得了來自市場的兩輪投資：

不久前的6月，生數(shù)科技剛剛完成了天使輪投資，投后市場估值1億美金（約7.2億人民幣）。

天使輪時，股東名單上有螞蟻集團(tuán)、BV百度風(fēng)投。

而這一輪的投資方只有一位，是與字節(jié)有著千絲萬縷聯(lián)系的VC錦秋基金——這也是錦秋基金首次曝出對大模型初創(chuàng)公司出手。

年內(nèi)陸續(xù)推出“AI工具集”

生數(shù)科技成立于今年3月，由螞蟻、BV百度風(fēng)投，以及朱軍第一次創(chuàng)業(yè)時成立的瑞萊智慧RealAI聯(lián)合孵化而來。

公司聚焦多模態(tài)層面，致力于打造可控的多模態(tài)通用大模型。

具體包括文本、圖像、3D模型、音視頻等模態(tài)。

多模態(tài)產(chǎn)學(xué)研領(lǐng)域，目前主要攻關(guān)的核心問題有兩個：

一是讓模型能理解和對齊多模態(tài)的數(shù)據(jù)；二是使模型能生成各種模態(tài)的內(nèi)容。

成立當(dāng)月，生數(shù)科技發(fā)布了9.5億參數(shù)的開源版本多模態(tài)大模型UniDiffuser，底層邏輯是基于Transformer網(wǎng)絡(luò)架構(gòu)，實現(xiàn)圖文模態(tài)之間的任意跨模態(tài)生成。

最新消息是，以UniDiffuser為基礎(chǔ)，團(tuán)隊在推進(jìn)更高參數(shù)的產(chǎn)業(yè)級大模型的自主研發(fā)工作，目前實現(xiàn)內(nèi)測的模型版本是百億數(shù)據(jù)、數(shù)十億參數(shù)。

在圖像生成的語義理解準(zhǔn)確度、畫面聯(lián)想豐富度，3D模型的多樣性和精細(xì)度，視頻生成實現(xiàn)的可控內(nèi)容改寫與風(fēng)格遷移上，均有不錯表現(xiàn)。

生數(shù)科技還透露了公司的下一步研究計劃——

面向圖像創(chuàng)作、3D資產(chǎn)創(chuàng)建等內(nèi)容創(chuàng)作場景打造“AI工具集”，產(chǎn)品將于今年陸續(xù)推出。

首先在圖像創(chuàng)作領(lǐng)域，預(yù)備打造一款個性化、高易用的圖像創(chuàng)作助手。

通過簡單指令，用戶就可以創(chuàng)作高質(zhì)量圖像，并能通過簡單交互進(jìn)行精準(zhǔn)的細(xì)節(jié)控制。

這項工作的難點主要涉及底層模型在可控生成方面的技術(shù)突破，以及如何更好地理解用戶在創(chuàng)作和編輯圖像時的真正意圖。

目前，圖像創(chuàng)作助手已推出內(nèi)測版平臺，同時完成了美學(xué)角度的人工盲測。

其次，針對日益增長的3D內(nèi)容創(chuàng)作需求，生數(shù)正推進(jìn)打造一款“零門檻的3D資產(chǎn)生成工具”。

具體細(xì)節(jié)是基于文本和2D三視圖，自動構(gòu)建質(zhì)量和精度表現(xiàn)優(yōu)異的3D資產(chǎn)，目的是讓它可直接融入游戲等工業(yè)管線，大幅提升3D創(chuàng)作效能。

清華朱軍帶隊

生數(shù)核心研究團(tuán)隊，主要來自清華大學(xué)人工智能研究院，大多是朱軍課題組的學(xué)生。該課題組也是國際上最早研究深度概率生成模型的團(tuán)隊之一。

領(lǐng)兵沖刺的帶頭人朱軍，IEEE Fellow，現(xiàn)任清華大學(xué)計算機(jī)系教授。

同時也是清華人工智能研究院副院長，清華智能技術(shù)與系統(tǒng)國家重點實驗室主任，智源首席科學(xué)家。

△朱軍

求學(xué)期間，他在清華計算機(jī)系拿下本科和博士學(xué)位，師從中國科學(xué)院院士、清華計算機(jī)系教授張鈸。

2011年，在張鈸的邀請下，朱軍回到清華計算機(jī)系任教。

去年，師徒二人圍繞擴(kuò)散概率模型合作的工作《Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models》，拿下ICLR 2022杰出論文獎。

朱軍長期從事機(jī)器學(xué)習(xí)、貝葉斯方法、深度學(xué)習(xí)、數(shù)據(jù)挖掘等方面的研究，在頂會ICML、NIPS、IJCAI、AAAI、 JMLR、PAMI等發(fā)表論文100余篇，連續(xù)多年擔(dān)任ICML、NeurIPS領(lǐng)域主席。

（貝葉斯方法是自然語言處理、機(jī)器學(xué)習(xí)、圖像識別等AI領(lǐng)域的重要基礎(chǔ)。）

2020年，朱軍團(tuán)隊發(fā)布深度強(qiáng)化學(xué)習(xí)平臺Tianshou天授。

這是一個針對強(qiáng)化學(xué)習(xí)的靈活可靠的基礎(chǔ)設(shè)施，能夠以極簡代碼極速實現(xiàn)強(qiáng)化學(xué)習(xí)的諸多算法和功能，在GitHub上攬星6.6k+。

話說回來，生數(shù)科技不是朱軍在科研和產(chǎn)業(yè)之間的第一次嘗試。

他的首次創(chuàng)業(yè)要回溯到2018年。當(dāng)時，他支持自己的學(xué)生田天創(chuàng)辦了公司瑞萊智慧RealAI，專注提升人工智能的安全性。

并且和張鈸共同擔(dān)任該公司的首席科學(xué)家。

待到生數(shù)科技浮出水面，朱軍的角色仍然是首席科學(xué)家。

擔(dān)任生數(shù)CEO的，是公司聯(lián)合創(chuàng)始人的唐家渝，他同樣畢業(yè)自清華大學(xué)計算機(jī)系，師從NLP組教授孫茂松。

此前，對唐家渝外界的主要公開身份是瑞萊智慧的副總裁，先后負(fù)責(zé)公司產(chǎn)品團(tuán)隊、AI安全產(chǎn)研團(tuán)隊及業(yè)務(wù)。

而從再往前的簡歷可以看到，唐家渝曾在騰訊優(yōu)圖實驗室工作。

△唐家渝

唐家渝表示，相比語言大模型，國內(nèi)外在多模態(tài)大模型方向的研究都處于早期探索階段，“并沒有形成明顯的代差”。

文生圖方面，生數(shù)已經(jīng)達(dá)到了Stable Diffusion最新版本的基礎(chǔ)模型效果。
預(yù)計年底，會對齊Midjourney的最新版效果。