商湯日日新大模型90天大升級！CEO現(xiàn)場整活，主打突破想象力

金磊 發(fā)自 WAIC

量子位 | 公眾號 QbitAI

商湯“日日新”AI大模型，如其名，真的做到了日日新。

這不，從發(fā)布到現(xiàn)在，時隔僅僅3個月，商湯便正式宣布：

商湯日日新（SenseNova）大模型體系全面升級。

那么這個升級版本又有哪些優(yōu)化？

話不多說，直接上結(jié)果。

例如基于日日新的千億參數(shù)語言大模型商量2.0（SenseChat），在三個全球權(quán)威測評基準中的表現(xiàn)，均超越了ChatGPT：

除此之外，基于日日新的其它各大AIGC平臺，這次也一口氣也都來了個大升級：

• 秒畫3.0（SenseMirage）：參數(shù)量提升至70億量級，實現(xiàn)專業(yè)攝影級圖片細節(jié)刻畫。
• 如影2.0（SenseAvatar）：語音和口型流暢度提升30%以上，實現(xiàn)4K高清視頻效果。
• 瓊宇2.0（SenseSpace）：空間重建效率提升20%，渲染性能提升50%。
• 格物2.0（SenseThings）：渲染精度大幅提升，對物品紋理及材質(zhì)的還原達到毫米級精細度。

在現(xiàn)場，商湯CEO徐立也拿著秒畫3.0搞起了花活：

人沒去CVPR 2023現(xiàn)場領(lǐng)獎（商湯斬獲今年最佳論文），那就直接讓秒畫來生成。

不會彈吉他、不會畫畫，沒關(guān)系，繼續(xù)生成：

咱就是說，城會玩兒了。

那么全新升級的日日新，更多產(chǎn)品的具體表現(xiàn)如何？我們繼續(xù)往下看。

不只是超越了ChatGPT這么簡單

1、讓老子和孔子對話

整體來看，商量的模型基礎能力在2.0版本有了大幅的提高，這點我們從上文提到的性能超越ChatGPT便可有直觀感受。

在模型的體系方面，商湯除了推出商量2.0（SenseChat XL）之外，還推出了一個商量S版（SenseChat S），也就是小模型版本。

徐立便在現(xiàn)場展示了用這兩個模型展示了一波“孔子對話老子”的情景：

在語言方面，它新增了一些地區(qū)語言，例如阿拉伯語和粵語等；以及支持簡體中文、繁體中文、英語等多種語言交互。

同樣是這場“孔子對話老子”，粵語版本是這樣的：

同時，商量2.0還突破了大語言模型輸入長度的限制。

例如給它一個指令：將超長的英文文本總結(jié)為中文概要，商量2.0便可立即執(zhí)行這樣復雜的任務。

不僅如此，用戶還可以基于此進一步進行多輪對話：

最后，商量2.0還發(fā)布了一個“外掛”——知識庫掛載：

無需訓練模型，就可以快速融合知識生成；搭配企業(yè)知識庫可以快速解決相關(guān)領(lǐng)域問題。

2、生成攝影級圖像，提示詞可以自動補充了

在文生圖方面，商湯的秒畫升級到了3.0版本，從功能升級的內(nèi)容上來看，主打的就是一個“突破想象力”。

例如在輕量級方面，現(xiàn)在每個人都能通過拖拽的動作，在10分鐘內(nèi)微調(diào)模型，并且定制化個人專屬的生成AI。

我們在上面提到的徐立“搞花活”便是個很好的例子。

在“智能化”方面，根據(jù)提示詞（prompt）來生成AI繪畫作品不會再變得很繁瑣，因為現(xiàn)在就連提示詞都可以自動補充了。

以往我們想讓AI生成一條龍，可能就會輸入“中國龍”、“藍色擺件”、“珠寶風格”，但往往由于提示詞過于簡單，并不能達到特別精細的效果。

而現(xiàn)在，同樣是只輸入這三個短語，秒畫3.0會自動對提示詞做補充，然后生成更為驚艷的作品：

再來感受一下提示詞“陽光下的塑料袋”，在被自動擴充后的效果：

最后在效果方面，秒畫3.0現(xiàn)在生成的圖像，無論是成片水準還是細節(jié)與元素，都能夠達到影視級的效果。

除了單打獨斗的能力之外，當商量2.0和秒畫3.0結(jié)合之后的多模態(tài)大模型，也衍生出了一種新玩法——熱點事件理解。

在對話過程中“喂”它一張圖片或視頻，便可以看圖說話，更加深入且精準的描述素材中的內(nèi)容。

3、延參法師也“來現(xiàn)場”了

數(shù)字人方面的如影2.0也是本次商湯產(chǎn)品大升級的重點。

這不，在現(xiàn)場商湯便展示了延參法師等知名人物的數(shù)字人效果，無論是聲音（口音）亦或是神情，真的可以說是栩栩如生。

還有包括主持人張泉靈、經(jīng)濟學家任澤平、上交大教授季衛(wèi)東等等，堪稱上演了一出“百變大咖秀”。

在語言方面，如影2.0打造的數(shù)字人在英語、日語、西班牙、阿拉伯語等多語種的精準度提升30%以上，而且口型和語音匹配得更加自然。

在生成效果方面，如影2.0支持實現(xiàn)影級4K高清視頻的輸出，可以讓成片更加精良。

如影的升級也同樣帶來了一種新玩法——

現(xiàn)在，用戶可以通過輸入提示詞自動生成與描述匹配的專屬數(shù)字人形象了！

而且還是可以實現(xiàn)數(shù)字人歌唱功能的那種。

這便極大地降低了虛擬網(wǎng)紅、數(shù)字人短片等內(nèi)容生成的門檻。

4、無論1萬平米還是1毫米都能hold住的3D重建

最后在3D重建、數(shù)字孿生領(lǐng)域，商湯同樣帶來了大升級——瓊宇2.0和格物2.0。

先來看下這樣一個恢弘的場景：

如果不說這是瓊宇2.0 3D重建的結(jié)果，或許很多小伙伴都會以為是航拍的視頻了。

據(jù)了解，瓊宇2.0目前已經(jīng)實現(xiàn)了厘米級三維重建精度，室外每1萬平米精度達5厘米，室內(nèi)每1000平米精度達1厘米。

同時，重建效率提升20%，渲染性能提升50%，100平方公里場景的建圖時間僅需38小時即可完成（1200 TFLOPS/秒算力支持）。

除了這種宏觀場景的3D重建之外，在微觀層面上的3D重建能力，隨著格物迭代到2.0版本也有了大幅提升——

對物品紋理及材質(zhì)的還原達到毫米級精細度，能夠帶來更清晰、更真實的產(chǎn)品細節(jié)體驗。

更重要的是，格物2.0還突破了高反光和鏡面物體采集這種老大難的問題，是無需貼紙或標簽，即可精確還原商品的外觀和特征的那種。

不難看出，日日新大模型在步入2.0時代之后，各項AIGC平臺的能力都有了顯著的提升。

那么接下來的一個問題便是：

如何在3個月內(nèi)做到的大升級？

早在三個月前，商湯站在AGC新時代下，圍繞數(shù)據(jù)、算法和算力三要素給出了一個新公式：

計算量（GPU數(shù)量 x 運行時間 x 并行效率 ）= 模型參數(shù)量 x 處理數(shù)據(jù)量。

我們先來看下等式右邊的兩個因素：

模型參數(shù)量要足夠多，才能實現(xiàn)AI智慧的涌現(xiàn)，而這也帶來了對算力的劇增，需要更高的并行效率，才能有效支持大參數(shù)模型訓練。

數(shù)據(jù)方面，高質(zhì)量自然語言數(shù)據(jù)逐漸稀缺，而視覺數(shù)據(jù)相較自然語言在數(shù)量、質(zhì)量、容納信息等方面有多種優(yōu)勢，能夠使得AI更好地理解世界。

二者的深度結(jié)合，便有了等式左邊的計算量；而之于這兩者，商湯有自己的一套“打法”——

大模型+大裝置。

首先便是大模型方面，日日新雖然是商湯于數(shù)月前發(fā)布，但它并非是這一波AIGC熱潮中一蹴而就的產(chǎn)物。

因為早于5年前，商湯便已經(jīng)著手于此，而且在2019年便使用上千張GPU進行單任務訓練，推出了10億參數(shù)規(guī)模的視覺模型，算法效果達到了當時業(yè)界最佳。

在后來的2021年至2022年期間，商湯還訓練并開源了30億參數(shù)的多模態(tài)大模型“書生”。

因此，商湯能夠迅速推出千億參數(shù)大模型并實現(xiàn)版本迭代，可以視為是長期以來各種“小作業(yè)”的匯總而成的“大作業(yè)”。

其次是在大裝置方面，也就是商湯在大算力中的“打法”，它與自身大模型的發(fā)展也有異曲同工之妙——同樣也是早有布局。

在2022年1月，商湯交付使用了首付高達56億元的人工智能計算中心（AIDC），而且是“出道”即成為亞洲最大的AI超算中心之一。

一年前它的算力就已經(jīng)高達了3740 Petaflops，可以輕松應對萬億參數(shù)的大模型；而時隔僅1年，這個數(shù)值便翻了一小番，達到了5000 Petaflops。

這又是什么概念呢？

舉個例子，在如此大裝置的加持之下，它可以以最大4000卡規(guī)模集群進行單任務訓練，并可做到七天以上不間斷的穩(wěn)定訓練。

……

總而言之，有大數(shù)據(jù)、有大算力、有大模型，所以商湯能讓日日新在3個月內(nèi)完成版本迭代也就不難理解了。

但有一說一，這還是“商湯速度”的一隅而已。

大模型的落地也在提速

“商湯速度”的另一面，正是體現(xiàn)在了落地應用上。

如果你認為日日新的全面升級只是一個“提出”和“宣布”的動作，那就大錯特錯了，因為它已經(jīng)是“上崗”了的那種。

例如結(jié)合商量2.0和秒畫3.0的能力，商湯在移動端給客戶帶來了多種交互方面的“解法”。

針對信息獲取的問答交互、生活場景的知識交互、語言和圖像生成的內(nèi)容交互等等，正因為商湯的大模型擁有輕量化版本，所以可以輕松在移動端上部署。

再如瓊宇2.0為濟南馬山鎮(zhèn)區(qū)域開發(fā)、合肥中國視界園區(qū)、上海瑞金醫(yī)院等真實線下場景，打造了相對應的數(shù)字孿生，使得運營效率得到了大幅提升。

商湯還通過大模型能力為電網(wǎng)巡檢帶來長尾故障識別、復雜缺陷判斷等智能解決方案。

而且商湯產(chǎn)品的升級，并非是單打獨斗的那種，而是強強聯(lián)手出奇跡。

例如我們剛才提到的“熱點事件理解”便是其中之一，除此之外，商湯在智能汽車領(lǐng)域的絕影，更是融合了多個“看家本領(lǐng)”。

例如多模態(tài)大模型（多模態(tài)感知）、語言大模型（車艙大腦）、知識融合（專屬記憶模塊）和AIGC大模型（定制數(shù)字人）等等。

也正如徐立在現(xiàn)場所述：

大模型的突破掀起了人工智能的新一輪技術(shù)革命，隨之而來的是產(chǎn)業(yè)需求呈現(xiàn)爆炸式增長，全新的應用場景和應用模式正迅速涌現(xiàn)。

商湯希望通過‘大模型+大裝置’持續(xù)推動AI基礎設施能力的躍進提升，不僅打造通用能力更加強大的基礎模型，也進一步高效融合不同垂直領(lǐng)域的專業(yè)知識，構(gòu)建更懂行業(yè)、更具專長的專業(yè)大模型，從根本上降低大模型的下游應用成本和門檻，讓大模型的產(chǎn)業(yè)價值在千行百業(yè)中綻放。

總而言之，現(xiàn)在的大模型之戰(zhàn)，不僅是拼技術(shù)迭代的速度，更是拼應用和落地的速度。