北大畢業(yè)的山區(qū)小學(xué)校長，給清華老朋友派了一個(gè)緊急任務(wù)

金磊 夢(mèng)晨 發(fā)自 凹非寺

量子位 報(bào)道 | 公眾號(hào) QbitAI

北大智能科學(xué)系畢業(yè)之后，喬丹做了好幾年程序員。

然后他選擇讓人生駛?cè)肓硪粭l軌道。

今年9月，喬丹來到四川大涼山支教，成為美姑縣采紅村曉明愛心小學(xué)的校長。

美姑縣山高谷深，曾經(jīng)是大涼山里最閉塞的縣。

經(jīng)過數(shù)年的脫貧攻堅(jiān)，這里通路通網(wǎng)，吃穿基本不愁，學(xué)校的硬件設(shè)施也都不錯(cuò)，但孩子們對(duì)大山之外的認(rèn)知仍然有限。

如何利用自己所長，開拓孩子們的視野，啟發(fā)他們對(duì)科技的興趣？喬丹覺得最好能讓他們親眼見一見科技產(chǎn)品。

不久前，喬丹給老朋友任星打了一通電話。任星今年剛從清華博士畢業(yè)，現(xiàn)在是華為云的研究員。

喬丹想邀請(qǐng)他來給愛心小學(xué)的71個(gè)孩子上一堂科技課。

經(jīng)過一段時(shí)間籌備，這次讓孩子們期待已久的科技課堂，終于在12月下旬到來。

任星和同事們帶來精心準(zhǔn)備的生動(dòng)課程內(nèi)容，比如AI技術(shù)如何用于保護(hù)雨林和大熊貓。

也帶來許多新奇有趣的科技產(chǎn)品，包括VR眼鏡、機(jī)器狗，還有能和孩子們互動(dòng)的數(shù)字人“云笙”。

還有一件特殊的新年禮物。

緊急任務(wù)

美姑縣冬季長達(dá)135天，山上風(fēng)大，晝夜溫差也大。

盡管當(dāng)?shù)匾鸦緦?shí)現(xiàn)不愁吃不愁穿，但孩子們長得快，正處于活潑好動(dòng)的年紀(jì)，很需要新的能御寒的冬衣。

這個(gè)看似簡單的需求，卻是一個(gè)不小的挑戰(zhàn)。

一方面，這件冬衣需要適應(yīng)山區(qū)孩子的需求。需要保暖防風(fēng)、耐磨耐臟，還要內(nèi)外兩層設(shè)計(jì)并容易穿脫以應(yīng)對(duì)晝夜溫差。

另一方面，這樣一套冬衣，傳統(tǒng)上僅設(shè)計(jì)打樣就大致需要3周，在這個(gè)流程下，根本來不及在新年前，把生產(chǎn)好的冬衣送到孩子們手上。

不過科技公司就有科技的辦法，能讓一項(xiàng)看似無解的緊急任務(wù)峰回路轉(zhuǎn)。

此次冬衣設(shè)計(jì)方案，由AI與服裝設(shè)計(jì)師聯(lián)手完成，整個(gè)過程僅用了不到一周。

主設(shè)計(jì)師是來自廣東時(shí)諦智能的劉曉茜，她帶來了時(shí)諦智能的全鏈路數(shù)字化解決方案。

AI能力則來自華為云的盤古大模型。

更具體一點(diǎn)，是盤古系列中的多模態(tài)大模型。

模態(tài)，指的是文字、圖像、視頻等不同的信息表現(xiàn)形式。

多模態(tài)則是把不同類型數(shù)據(jù)結(jié)合起來，比如一張圖像搭配上一段文字組成一對(duì)讓AI去學(xué)習(xí)。

像這樣的圖文對(duì)，盤古多模態(tài)大模型學(xué)了10億組，理解了圖像與文字之間的聯(lián)系，獲得“以文生圖”的能力。

在此基礎(chǔ)上繼續(xù)學(xué)習(xí)十萬級(jí)時(shí)尚產(chǎn)業(yè)數(shù)據(jù)，得到更具體的根據(jù)描述生成服飾圖片能力。

△華為云盤古多模態(tài)大模型服飾生成示意圖，僅為文章配圖，內(nèi)容不做商用

在企劃階段，以往服裝設(shè)計(jì)師會(huì)花大量時(shí)間在搜集資料、看參考上。

像是哪些顏色和圖案正在流行？又有哪些面料符合項(xiàng)目需要？

根據(jù)調(diào)研結(jié)果，設(shè)計(jì)師收集素材的時(shí)間往往占整個(gè)制作周期的70%以上，真正花在設(shè)計(jì)上的時(shí)間僅為30%。

現(xiàn)在有了AI以文生圖能力的幫助，設(shè)計(jì)師只需輸入關(guān)鍵詞就得到盤古多模態(tài)大模型生成的大量服飾圖片作參考，而且這些款式都是獨(dú)一無二的。

這就讓設(shè)計(jì)師能夠根據(jù)推薦結(jié)果快速積累靈感，節(jié)約大量時(shí)間。

盤古多模態(tài)大模型還針對(duì)時(shí)尚行業(yè)需求做了降低顯存占用、提高推理速度等一系列優(yōu)化。

當(dāng)前在華為云提供的V100單卡上可實(shí)現(xiàn)分鐘級(jí)推理，一次批量呈現(xiàn)128張服飾圖片。

讓設(shè)計(jì)師有了思路就能快速看到結(jié)果，避免重復(fù)消耗時(shí)間和精力，讓靈感不被打斷。

從AI的推薦中挑選出合適的款式后，設(shè)計(jì)師們爭(zhēng)取了大量時(shí)間，得以快速進(jìn)入更細(xì)致的二次創(chuàng)作階段。

考慮到大涼山晝夜溫差大、孩子們好動(dòng)、長得快等因素，劉曉茜一方面將目光聚焦在了方便穿脫的兩件式設(shè)計(jì)。

另一方面決定采用耐磨耐臟、防風(fēng)防水的外層材質(zhì)。這與盤古大模型推理生成的“派克服”款式不謀而合。

劉曉茜和其他設(shè)計(jì)師們根據(jù)盤古大模型批量提供的“派克服”參考版式，快速繪制出服裝線稿。

隨后將線稿和具有彝族特色的圖案，如象征吉祥、美麗、幸福的馬櫻花紋，羊角紋，窗格紋等，導(dǎo)入時(shí)諦智能AI服裝設(shè)計(jì)系統(tǒng)，在線對(duì)其進(jìn)行材料、顏色、圖案的搭配。

有了華為云提供的數(shù)據(jù)和云端算力，加上時(shí)諦智能的實(shí)時(shí)渲染技術(shù)，方案效果可以用真實(shí)3D渲染呈現(xiàn)。

修改也同樣方便，時(shí)諦智能的在線協(xié)同設(shè)計(jì)平臺(tái)支持云端及時(shí)修改，省去了反復(fù)打樣的步驟，將設(shè)計(jì)周期從三周縮短到一周以內(nèi)。

一套適合大涼山孩子的新年冬衣方案，就此快速面世。

除了縮短設(shè)計(jì)流程這個(gè)量變，AI和云技術(shù)也給服裝設(shè)計(jì)行業(yè)帶來質(zhì)變。

多模態(tài)大模型可以依據(jù)大數(shù)據(jù)分析流行趨勢(shì)，推薦流行的顏色、圖案等元素，幫助設(shè)計(jì)師洞察消費(fèi)需求。

具體這次冬衣項(xiàng)目設(shè)計(jì)中，盤古多模態(tài)大模型在短時(shí)間內(nèi)向時(shí)諦智能設(shè)計(jì)師提供了兩三百個(gè)方案，包括羽絨服、派克服等。

設(shè)計(jì)師只需從中選擇最好的再作進(jìn)一步精細(xì)調(diào)整，這對(duì)最終成品的質(zhì)量也是一種提升。

在設(shè)計(jì)完成后的生產(chǎn)階段，時(shí)諦智能利用其在時(shí)尚產(chǎn)業(yè)豐富的供應(yīng)鏈資源儲(chǔ)備，進(jìn)行了服裝的快速生產(chǎn)、二次加工。

在設(shè)計(jì)過程中得到的渲染結(jié)果圖等數(shù)字資產(chǎn)也能直接用于制作宣傳物料。

這樣看來，華為云與時(shí)諦智能聯(lián)手真正要做的，其實(shí)是用技術(shù)幫助傳統(tǒng)服裝產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型。

而遠(yuǎn)在大涼山的孩子們，在種種機(jī)緣巧合下成了第一批見證這一轉(zhuǎn)型成果的人。

接下來，不妨再看看故事的另一面。

從技術(shù)角度深入了解一下，是什么支撐著這一切成為現(xiàn)實(shí)。

單卡就能用的大模型

華為云盤古多模態(tài)大模型，是華為云盤古系列大模型之一。

此外還包括NLP大模型、CV大模型和科學(xué)計(jì)算大模型。

它的開發(fā)模式與BERT這樣主流的大模型相匹配，采用的是一種“預(yù)訓(xùn)練+下游微調(diào)”的方法。

而之所以采用這種模式，是因?yàn)樗囊淮髢?yōu)點(diǎn)就是極具泛化能力。

通俗一點(diǎn)來說，就是可以做到“觸類旁通”、“舉一反三”。

華為云盤古大模型在訓(xùn)練自己的時(shí)候，也算是個(gè)“狠人”，用的是億級(jí)圖文對(duì)。

在這種參數(shù)規(guī)模的預(yù)訓(xùn)練之下，華為云盤古多模態(tài)大模型便有了較強(qiáng)的通用、泛化能力。

而在下游微調(diào)階段，針對(duì)此次案例，它基于此再使用10萬級(jí)的時(shí)尚產(chǎn)業(yè)數(shù)據(jù)做微調(diào)。

這樣AI就理解了服裝設(shè)計(jì)領(lǐng)域上更具體的知識(shí)。

比如，“羊毛精紡”對(duì)應(yīng)哪種面料，“西裝”對(duì)應(yīng)哪種衣服，甚至“女士西裝”都有哪些版型。

再把這些不同維度的知識(shí)組合在一起，多模態(tài)大模型就有了“以文生圖”的核心能力。

雖然這種“兩步走”的方法看起來比較簡單，不過單是在預(yù)訓(xùn)練過程中，面對(duì)億級(jí)別的參數(shù)量，效率便成為了一個(gè)老大難的問題。

對(duì)此，華為云盤古多模態(tài)大模型有自己的妙招：

左手CANN算子，右手MindSpore框架。

CANN是華為推出的異構(gòu)計(jì)算架構(gòu)，2018年推出1.0版本至今，已經(jīng)迭代到了3.0版本。

目前它不僅可以在推理、訓(xùn)練場(chǎng)景中使用，還能夠?qū)崿F(xiàn)“端邊云協(xié)同”。

這就意味著不必在不同的終端，再去開發(fā)不同的算子，大大提高了效率。

例如基于CANN，就能讓ResNet-50模型的訓(xùn)練時(shí)間降低到28s。

MindSpore則是華為于2019年推出的全場(chǎng)景AI計(jì)算框架，其中的一大特色，就是具有全自動(dòng)混合并行方案。

而華為云盤古大模型，基于這兩大“法寶”之外，還融合了三種并行技術(shù)：模型并行、數(shù)據(jù)并行和流水線并行。

并且在算法層面上，華為云盤古多模態(tài)大模型還運(yùn)用了漸進(jìn)式可微分網(wǎng)絡(luò)架構(gòu)搜索、動(dòng)態(tài)權(quán)重軟標(biāo)簽生成等技術(shù)。

如此一套“組合拳”下來，即便是面對(duì)億級(jí)海量參數(shù)，也能夠大幅提高模型預(yù)訓(xùn)練的效率。

那么這個(gè)效率提高到了什么程度呢？

舉個(gè)例子。

以往面對(duì)億級(jí)的數(shù)據(jù)量，如果只用單節(jié)點(diǎn)8卡V100來訓(xùn)練，那么所消耗的時(shí)間就得按年來計(jì)算了。

而在華為云盤古多模態(tài)大模型這邊，訓(xùn)練速度已經(jīng)降至天的單位！

當(dāng)然，“預(yù)訓(xùn)練速度快”只是華為云盤古大多模態(tài)模型的優(yōu)勢(shì)之一，它另外一個(gè)強(qiáng)項(xiàng)，就是擅于處理數(shù)據(jù)量少、小樣本的問題。

關(guān)于這點(diǎn)的能力，已經(jīng)在一些全球范圍內(nèi)公開的任務(wù)中有所體現(xiàn)。

例如在COCO以文搜圖的零樣本任務(wù)中，盤古多模態(tài)大模型已經(jīng)超過業(yè)界標(biāo)桿算法CLIP、ALIGN等，達(dá)到業(yè)界最佳精度。

華為云盤古多模態(tài)大模型的第三個(gè)特點(diǎn)，便是把“作坊式”的工作流程轉(zhuǎn)變?yōu)椤肮S模式”。

簡單來說，就是不需要開發(fā)者參與太多頻繁的手動(dòng)工作：從零開始、獨(dú)立調(diào)優(yōu)、艱難迭代、推倒重來……

而是將傳統(tǒng)的這些流程變得智能化和自動(dòng)化，例如華為云盤古多模態(tài)大模型便提供了云服務(wù)化的AI開發(fā)工作流。

這就可以讓下游用戶，在模型準(zhǔn)備到超參調(diào)優(yōu)等環(huán)節(jié)中，只需要少量的樣本數(shù)據(jù)，以及對(duì)模型提出性能要求就可以了。

而且不僅是訓(xùn)練速度快，在后續(xù)的推理過程，其效率也是極高。

例如在服裝設(shè)計(jì)這個(gè)案例中，當(dāng)前盤古多模態(tài)時(shí)尚大模型利用Attention Cache等技術(shù)加快推理速度，在華為云提供的單卡V100支持下，可以支撐分鐘級(jí)推理速度。

……

以上便是華為云盤古多模態(tài)大模型，能夠做到“節(jié)省70%時(shí)間，三天出數(shù)百方案”背后的原因了。

不僅如此，目前華為云還把這樣的能力，更確切來說是接口，已經(jīng)開放給了多家時(shí)尚設(shè)計(jì)公司調(diào)用。

但它要做的事情，還遠(yuǎn)不止于此。

盤古多模態(tài)大模型，還能帶來些什么？

從信息處理的歷程來看，多模態(tài)信息融合已然成為發(fā)展的必然趨勢(shì)。

而華為云要做的，就是用“大模型”的方式，讓這種進(jìn)程加速度。

換言之，就是要將生活中普遍存在的信息元素（圖像、聲音、文字、味道、觸感等），糅合到一起來處理。

并且還需得用高效的方式，對(duì)事物進(jìn)行理解、思考和推理，以此來實(shí)現(xiàn)更高級(jí)的智能應(yīng)用。

而這種方式，也被廣泛認(rèn)為是從限定領(lǐng)域的弱人工智能邁向通用人工智能路徑的探索。

以這次在服裝時(shí)尚行業(yè)的應(yīng)用為例，正如剛才所述，華為云通過盤古多模態(tài)大模型的技術(shù)，加上時(shí)諦智能的全鏈路數(shù)字化解決方案，讓設(shè)計(jì)這件事從傳統(tǒng)的30天，一下子躍進(jìn)到一周內(nèi)。

在幫助提高效率的同時(shí)，還讓設(shè)計(jì)師能夠把更多的精力，投入在對(duì)服裝設(shè)計(jì)的二次創(chuàng)作上。

但這只是華為云盤古多模態(tài)大模型“出道”目標(biāo)的一隅，它目光所聚焦的是將這種能力拓展到更多的行業(yè)。

正如盤古研發(fā)團(tuán)隊(duì)所述：

將繼續(xù)對(duì)盤古多模態(tài)大模型進(jìn)行迭代演進(jìn)，持續(xù)開發(fā)上游通用能力。

讓盤古多模態(tài)大模型，演化成諸多盤古行業(yè)多模態(tài)大模型，從而加速盤古系列預(yù)訓(xùn)練大模型的上天?（通用能力打造）與入地?（行業(yè)落地）步伐。

而從更宏觀的角度來看，華為云所做的事情，主旋律在于“改變”。

具體而言，就是通過科技、AI的力量，來改變?nèi)藗兊纳?、生產(chǎn)方式。

這不，大涼山彝族的小朋友們便率先體驗(yàn)到了科技帶來的改變和溫暖。

而華為云盤古多模態(tài)大模型，也是這個(gè)主旋律中的一角。

那么華為云在接下來，又將會(huì)如何體現(xiàn)科技力量的溫度呢？

值得拭目以待了。