“高校在大模型領(lǐng)域是不太可能跟企業(yè)競(jìng)爭(zhēng)的” | CCF C3@聯(lián)想

白交 2023-07-02 13:46:45 來源：量子位

高校在大模型（領(lǐng)域）是不太可能跟企業(yè)競(jìng)爭(zhēng)。

多模態(tài)大模型用起來，成本依然會(huì)很高，肯定離不開云。

企業(yè)做視覺大模型，要么是雙目立體視覺，要么是多傳感器融合。

未來，大模型將與元宇宙深度結(jié)合。

在最新CCF C3活動(dòng)來到了聯(lián)想北京總部，諸多產(chǎn)業(yè)專家和高校學(xué)者從多個(gè)視角，談了談邊緣智能計(jì)算的技術(shù)發(fā)展、演進(jìn)趨勢(shì)、以及未來大模型結(jié)合的應(yīng)用前景。

在不改變?cè)獾幕A(chǔ)之上，量子位做了如下整理：

• 英偉達(dá)平臺(tái)是提供給當(dāng)前時(shí)代的畢加索和達(dá)芬奇的。
• 邊緣計(jì)算是聯(lián)想整個(gè)車聯(lián)網(wǎng)技術(shù)的一個(gè)核心，剩下兩個(gè)核心分別是5G通信和AI計(jì)算技術(shù)。
• 高校在很多前沿技術(shù)領(lǐng)域，比如大模型，是不太可能跟大企業(yè)去競(jìng)爭(zhēng)的。
• 某種程度上，邊緣AI小樣本學(xué)習(xí)技術(shù)是目前缺陷檢測(cè)的現(xiàn)階段終結(jié)者。
• 2027年邊緣智能市場(chǎng)將達(dá)到400億美元規(guī)模。
• 具身智能被視為下一波人工智能浪潮，它指的是能夠理解、推理并與物理世界互動(dòng)的智能系統(tǒng)。

邊緣智能計(jì)算的機(jī)遇和挑戰(zhàn)

來自中科院計(jì)算所研究員、博導(dǎo)蔣樹強(qiáng)、北京師范大學(xué)人工智能學(xué)院黃華教授、北京郵電大學(xué)人工智能學(xué)院教授何召鋒、 英偉達(dá)亞太區(qū)開發(fā)者發(fā)展總監(jiān)李銘，以及聯(lián)想首席研究員、聯(lián)想研究院人工智能實(shí)驗(yàn)室計(jì)算機(jī)視覺總監(jiān)師忠超，聯(lián)想云網(wǎng)融合事業(yè)部車聯(lián)網(wǎng)業(yè)務(wù)負(fù)責(zé)人李虓，高級(jí)工程師、聯(lián)想研究院人工智能實(shí)驗(yàn)室聯(lián)想大腦研發(fā)總監(jiān)虞文明，分別從產(chǎn)、學(xué)、研三個(gè)維度，談?wù)劗?dāng)前邊緣智能計(jì)算的機(jī)遇與挑戰(zhàn)，以及大模型在邊緣側(cè)有怎樣的應(yīng)用前景。

聯(lián)想車聯(lián)網(wǎng)技術(shù)有三個(gè)核心

李躍華（本次活動(dòng)主持人、聯(lián)想集團(tuán)校企合作高級(jí)經(jīng)理）：首先問李銘老師，英偉達(dá)作為AI領(lǐng)域不容忽視的玩家，開發(fā)者如何利用英偉達(dá)產(chǎn)品，快速進(jìn)行邊緣視覺方案的開發(fā)和迭代？

李銘：大家關(guān)注比較少的，英偉達(dá)真正強(qiáng)的地方是在于軟件的部分，讓開發(fā)者們可以快速上手，開發(fā)出來最合適、最高效的產(chǎn)品出來。

比如視覺部分，三四年前就在社區(qū)以及開發(fā)者當(dāng)中推廣各種SDK。對(duì)于特定場(chǎng)景有訓(xùn)練數(shù)據(jù)，利用TAO訓(xùn)練出相應(yīng)算法，再用DeepStream快速部署不同的邊緣設(shè)備。

李躍華：國(guó)內(nèi)開發(fā)者社區(qū)發(fā)展情況是怎樣的？英偉達(dá)賦能開發(fā)者上面有哪些經(jīng)驗(yàn)可以分享？

李銘：這幾年開發(fā)者社區(qū)成長(zhǎng)非?？欤?strong>目前為止國(guó)內(nèi)開發(fā)者基本在85萬左右，今明年可能會(huì)更多。

第一點(diǎn)，產(chǎn)學(xué)研融合，平臺(tái)最重要就是將開發(fā)者、使用者以及研究者等各方智慧匯聚，大家一起協(xié)作起來最終生成新的產(chǎn)品。

第二點(diǎn)就是平臺(tái)開放和開源。老黃有句話叫做，英偉達(dá)平臺(tái)是提供給當(dāng)前時(shí)代的畢加索和達(dá)芬奇的。

第三點(diǎn)英偉達(dá)有個(gè)策略叫做treat as Developer。除了商務(wù)目的外，有個(gè)非常重要的評(píng)價(jià)指標(biāo)就是想法是否有創(chuàng)新性。如果有，相應(yīng)技術(shù)力量會(huì)投入很多。

李躍華：第二個(gè)問題是車聯(lián)網(wǎng)業(yè)務(wù)負(fù)責(zé)人李虓，智慧交通上，邊緣視覺應(yīng)用有哪些產(chǎn)品和服務(wù)交付給大家？

李虓：聯(lián)想車聯(lián)網(wǎng)解決方案，是基于聯(lián)想新IT技術(shù)架構(gòu)，也就是一個(gè)標(biāo)準(zhǔn)的端邊云網(wǎng)智架構(gòu)。邊緣計(jì)算是車聯(lián)網(wǎng)領(lǐng)域中非常重要、甚至不可或缺的組成部分，與此同時(shí)也提出了很多很高的要求。得益于聯(lián)想研究院 AI lab，我們做了一些相關(guān)產(chǎn)品。

就說路側(cè)的計(jì)算單元，利用AI視覺檢測(cè)能力，在芯片和基礎(chǔ)設(shè)施上做了視頻融合感知算法。它可以利用各種傳感器的數(shù)據(jù)融合計(jì)算，輸出結(jié)構(gòu)化數(shù)據(jù)，甚至都無需上云。

現(xiàn)在可以做到識(shí)別時(shí)延低于50毫秒，而有些傳感器本身識(shí)別就要達(dá)到100毫秒的時(shí)延。再結(jié)合5G、V2X傳輸技術(shù)，將整個(gè)時(shí)延控制在很低的水平，能夠在交通這種多要素、動(dòng)態(tài)的復(fù)雜條件下，為自動(dòng)駕駛或輔助駕駛提供相應(yīng)的決策依據(jù)。

我們?nèi)盗挟a(chǎn)品不僅提供路口級(jí)的，還有街區(qū)級(jí)的，能夠?yàn)閱诬囍悄芴峁┥系垡暯堑陌踩员Ｕ稀?/p>

再一個(gè)數(shù)字孿生，在車聯(lián)網(wǎng)領(lǐng)域有兩級(jí)，第一級(jí)是區(qū)域級(jí)，第二級(jí)是路口級(jí)，也叫做全息路口，對(duì)將來整個(gè)交通治理有促進(jìn)作用。

邊緣計(jì)算是聯(lián)想整個(gè)車聯(lián)網(wǎng)技術(shù)的一個(gè)核心，剩下兩個(gè)核心分別是5G通信和AI計(jì)算技術(shù)。

高校在大模型領(lǐng)域是不太可能跟企業(yè)競(jìng)爭(zhēng)的

李躍華：感謝以上帶來的產(chǎn)業(yè)界思考，再來了解下學(xué)界的情況。首先問下黃華老師，第一個(gè)是在邊緣視覺智能相關(guān)方向，近期有哪些科研動(dòng)態(tài)？

黃華：這幾年端相關(guān)研究做的都是low-level的事情，也就是成像增強(qiáng)。如果采集的數(shù)據(jù)質(zhì)量不夠好，那對(duì)后面理解會(huì)造成很大影響。

比如像非智能紅外成像，工藝不成熟非均勻噪聲很大，通常方法要通過加擋板來做非均勻校正。現(xiàn)在我們做的是無擋板校正，通過算法來去除。還有暗光下彩色成像的問題，用RGPW比較強(qiáng)的光照去恢復(fù)彩色信息，去年春季在華為產(chǎn)品上落地。

此外，如何在方向性多變的情況下去快速檢測(cè)目標(biāo)也是我們研究項(xiàng)目之一。

李躍華：蔣老師研究的領(lǐng)域同樣與邊緣視覺智能相關(guān)，您看到有哪些趨勢(shì)和動(dòng)態(tài)？同時(shí)知道蔣老師一個(gè)研究方案叫食品計(jì)算，大家都比較好奇跟邊緣視覺有哪些可以融合交互的地方？

蔣樹強(qiáng)：我們食品計(jì)算是將邊緣側(cè)采集到的食品數(shù)據(jù)，包括圖像，然后識(shí)別它的類別、成分、重量及營(yíng)養(yǎng)。當(dāng)然，還有一些更深層次、看不到信息，比如營(yíng)養(yǎng)素、分子物質(zhì)等。

現(xiàn)在問題是檢測(cè)它的模型實(shí)際上是比較大的，需要在云上訓(xùn)。

這過程中一個(gè)體會(huì)是實(shí)現(xiàn)邊緣計(jì)算，需要做很多適配性工作，這塊其實(shí)是很重要很難的。第二個(gè)方面，模型是不斷變化的，隨著數(shù)據(jù)采集傳到云端，去更新模型的能力。

這也意味著模型可能很大，但更新的參數(shù)實(shí)際上很少，從而實(shí)現(xiàn)好的效果。

視覺只是食品計(jì)算其中一方面，還要用更多技術(shù)，同時(shí)也需要像各行各業(yè)，特別是食品學(xué)、營(yíng)養(yǎng)學(xué)、醫(yī)學(xué)同行來合作。

李躍華：何老師是產(chǎn)學(xué)研的資深人士，之前在企業(yè)做技術(shù)高管，后來去大學(xué)當(dāng)教授。那么在產(chǎn)學(xué)研融合/合作方面，推動(dòng)技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展方面有哪些建議給到大家。

何召峰：首先是長(zhǎng)期穩(wěn)定的產(chǎn)學(xué)研合作，不管是企業(yè)還是高校都非常有幫助。但達(dá)成這種合作關(guān)系很難，在產(chǎn)業(yè)端我有這幾個(gè)方面的建議。

第一個(gè)是雙方認(rèn)清自己的定位，現(xiàn)在企業(yè)實(shí)際上是創(chuàng)新的主體，高校也要認(rèn)清這個(gè)地位變化。很多前沿技術(shù)領(lǐng)域，比如大模型，是不太可能跟大企業(yè)去競(jìng)爭(zhēng)的。因此雙方應(yīng)結(jié)合各自優(yōu)勢(shì)、圍繞產(chǎn)業(yè)痛點(diǎn)去針對(duì)性合作。

第二、企業(yè)也可以在人才培養(yǎng)上做些探索。

第三、有組織、有體系的產(chǎn)業(yè)合作。

李躍華：邊緣計(jì)算領(lǐng)域相關(guān)工作的動(dòng)態(tài)，以及有哪些未來趨勢(shì)？

何召峰：我一直在做的生物識(shí)別，尤其是虹膜識(shí)別，有二十幾年的深耕。現(xiàn)在比較關(guān)注邊緣設(shè)備的隱私安全以及關(guān)注借助大模型技術(shù)在邊緣側(cè)場(chǎng)景得到應(yīng)用。

邊緣AI小樣本學(xué)習(xí)技術(shù)是目前階段缺陷檢測(cè)的終結(jié)者

李躍華：那我們看了產(chǎn)業(yè)界、學(xué)術(shù)界，再來了解研發(fā)團(tuán)隊(duì)的情況，聯(lián)想邊緣視覺解決方案有哪些特點(diǎn)？以及有哪些領(lǐng)先性？

師忠超：聯(lián)想的新IT技術(shù)架構(gòu)是”端邊云網(wǎng)智”，在我們實(shí)際工作中會(huì)涉及到很多邊緣和端側(cè)的應(yīng)用場(chǎng)景，如PC、平板、手機(jī)以及車聯(lián)網(wǎng)等。

首先，我們應(yīng)以適配設(shè)備性能為導(dǎo)向去進(jìn)行算法優(yōu)化。一方面，我們可以實(shí)現(xiàn)算法模型的硬件自適應(yīng)優(yōu)化，讓算法通過感知終端硬件的方式來提高性能。另一方面，我們也可以設(shè)計(jì)更為高效的網(wǎng)絡(luò)架構(gòu)，以實(shí)現(xiàn)不同場(chǎng)景下更高的性能表現(xiàn)。

其次，我們需要探究半監(jiān)督學(xué)習(xí)、自監(jiān)督學(xué)習(xí)以及知識(shí)驅(qū)動(dòng)這些方向。盡管現(xiàn)今很多工作都是基于數(shù)據(jù)驅(qū)動(dòng)的，但實(shí)際場(chǎng)景中卻缺乏大量的帶標(biāo)注數(shù)據(jù)。此時(shí)，我們需要在知識(shí)驅(qū)動(dòng)的策略下，通過少量帶標(biāo)注的數(shù)據(jù)即可實(shí)現(xiàn)較好的泛化性能。

最后，我們應(yīng)在端邊云網(wǎng)智的戰(zhàn)略框架下確保所有算法模型都能夠在不同的應(yīng)用場(chǎng)景和運(yùn)營(yíng)環(huán)境下實(shí)現(xiàn)同樣的性能表現(xiàn)，從而推動(dòng)這一領(lǐng)域的發(fā)展，實(shí)現(xiàn)讓模型通達(dá)天下的愿景。

李躍華：端邊云融合其實(shí)是大勢(shì)所趨，最后一個(gè)問題，僅在邊緣端是如何實(shí)現(xiàn)模型的快速部署？

虞文明：聯(lián)想的邊緣AI，是指在邊緣側(cè)既有訓(xùn)練又推理的能力。它與傳統(tǒng)的云側(cè)AI有很大不同，云側(cè)AI目前通常是在云側(cè)訓(xùn)練，在邊側(cè)推理。很多情況下，在工廠里的邊緣AI應(yīng)用，是沒有很豐富的、多樣化的產(chǎn)品樣本的，這些都不利于進(jìn)行模型的訓(xùn)練，比如缺陷檢測(cè)這一場(chǎng)景，工廠里面會(huì)有很多正常的好樣本，但是異常樣本的積累通常會(huì)花幾個(gè)月甚至半年的時(shí)間。

目前聯(lián)想實(shí)現(xiàn)了小樣本技術(shù)的顛覆性算法突破，將邊緣AI小樣本技術(shù)產(chǎn)品化了，并且落地在自己的工廠和外部客戶。

首先我們有1個(gè)非常好的預(yù)訓(xùn)練模型，可以在邊緣側(cè)基于好品來快速建模，這樣就能快速進(jìn)行模型的構(gòu)建冷啟動(dòng)。在實(shí)際進(jìn)行模型推理的時(shí)候，當(dāng)出現(xiàn)被檢測(cè)出來的異常樣本，再通過人為干預(yù)，進(jìn)行深層主義的提取，將異常樣本特征與原模型進(jìn)行融合，從而實(shí)現(xiàn)本地更新。這樣，就不需要回到云端去，訓(xùn)練與推理自學(xué)習(xí)都可以發(fā)生在邊緣側(cè)。

某種程度上講，Edge AI的小樣本學(xué)習(xí)技術(shù)是目前缺陷檢測(cè)的終結(jié)者。它變革了工業(yè)界對(duì)缺陷檢測(cè)傳統(tǒng)的思維方法，能夠解決一系列邊緣長(zhǎng)尾算法問題。

多模態(tài)大模型用起來肯定離不開云

李躍華：大模型將會(huì)如何影響邊緣視覺智能未來的發(fā)展道路？

李銘：落地的第一個(gè)點(diǎn)，就是少樣本或者零樣本。國(guó)內(nèi)大模型視覺方面跑的非?？欤蟼€(gè)月聯(lián)系到家電廠商，現(xiàn)在就已在邊緣側(cè)部署應(yīng)用。

第二個(gè)點(diǎn)，大模型在多sensor fusion未來有非常廣闊的空間，過去在多傳感器融合面對(duì)著置信度、信任哪個(gè)數(shù)據(jù)源、知識(shí)沖突等挑戰(zhàn)?，F(xiàn)在大模型解決不僅是感知問題，還能還有將各種測(cè)溫、測(cè)距等數(shù)據(jù)融合在一起。像晶圓場(chǎng)景上已經(jīng)在做前期的一個(gè)測(cè)試。

另外從個(gè)人角度看，未來大模型肯定與元宇宙關(guān)系密不可分，一旦能將現(xiàn)場(chǎng)各種數(shù)據(jù)結(jié)構(gòu)化并理解它，其實(shí)很容易構(gòu)建起真實(shí)空間與虛擬空間之間的橋梁。

短期是ViT這類模型準(zhǔn)確率提升，第二步是多傳感器的融合，未來則是與元宇宙深度的結(jié)合。

黃華：今后企業(yè)做視覺大模型，要么是雙目立體視覺，要么多傳感器融合。

圖像實(shí)際上是將三維立體空間投影到二維，丟了一維信息去理解它是非常困難的。

如果單純用二維信息去訓(xùn)練，數(shù)據(jù)非常大也很難取得很好效果（當(dāng)然不排除專用領(lǐng)域），運(yùn)用到通用任務(wù)訓(xùn)練，是有很大弊端的。所以只有多傳感器融合，或最起碼雙目立體視覺才可能將這些事情做好。

當(dāng)然用起來之后，多模態(tài)大模型成本依然會(huì)很高。它很難像NLP那樣，處理一維信息，解空間比較??；而視覺領(lǐng)域是解空間太大，因此要用起來肯定離不開云，除非能在端上提供非常厲害的計(jì)算設(shè)備。

蔣樹強(qiáng)：大模型現(xiàn)在都很關(guān)注，但我覺得視覺跟語言差別很大的。從過去到現(xiàn)在人類所產(chǎn)生、所記錄下來的語言，其實(shí)是個(gè)相對(duì)確定的事情，數(shù)據(jù)量也相對(duì)有限。

GPT大概算了下，差不多2000萬本紅樓夢(mèng)文字量。但如果一旦到視覺，這個(gè)空間數(shù)據(jù)量就大了去。根本不是一個(gè)量級(jí)。

這可能是將來真正要解決的問題，它的數(shù)據(jù)量可能會(huì)非常大，而且它與文字的關(guān)聯(lián)難度也會(huì)非常高。

什么事情都有可能發(fā)生，當(dāng)前思維慣性產(chǎn)生的結(jié)果不一定就能解決大模型的難題。

何召峰：我自己關(guān)注兩方面的內(nèi)容。

一塊是怎么基于大模型來加強(qiáng)我們感知認(rèn)知的能力，包括通信傳輸數(shù)據(jù)，那有了大模型，是否有可能只傳感興趣的、所需要的。

另一塊就是多模態(tài)大模型，大模型如何將感覺認(rèn)知的能力最終落實(shí)到各種決策任務(wù)。

2027邊緣智能市場(chǎng)將達(dá)400億美元規(guī)模

除此之外，聯(lián)想集團(tuán)副總裁、聯(lián)想研究院人工智能實(shí)驗(yàn)室負(fù)責(zé)人范建平博士在活動(dòng)上分享了《面向視覺的邊緣智能》主題報(bào)告。

他首先表示，非常看好邊緣智能的發(fā)展前景，2027年全球邊緣智能市場(chǎng)將達(dá)到400多億美元的規(guī)模。

此外他還介紹了邊緣智能的一些關(guān)鍵技術(shù)，以及邊緣視覺智能的一些應(yīng)用場(chǎng)景和案例，包括廠區(qū)的智能安全監(jiān)測(cè)、智能制造中的缺陷檢測(cè)、智能零售中的多場(chǎng)景應(yīng)用等。

中國(guó)科學(xué)院計(jì)算技術(shù)研究所研究員、博導(dǎo)蔣樹強(qiáng)也作了題為《具身智能中的視覺導(dǎo)航技術(shù)研究》的分享。

具身智能被視為下一波人工智能浪潮，它指的是能夠理解、推理并與物理世界互動(dòng)的智能系統(tǒng)，比如智能機(jī)器人。

蔣老師介紹了具身智能的研究背景、研究現(xiàn)狀，具身智能和邊緣計(jì)算技術(shù)的結(jié)合，在視覺導(dǎo)航方面的研究進(jìn)展和應(yīng)用，以及具身智能技術(shù)未來的發(fā)展趨勢(shì)。

本次活動(dòng)上，還有CCF-聯(lián)想藍(lán)?？蒲谢?/strong>的發(fā)布。