關(guān)于AI你最關(guān)心什么？技術(shù)專家團(tuán)親自答（含往期真人純享版）

白交 2024-08-16 13:21:21 來源：量子位

允中 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

2022年底，OpenAI的大模型ChatGPT正式問世，并在2023年引領(lǐng)全球“大模型熱。

谷歌、微軟在內(nèi)全球科技巨頭相繼推出各自的人工智能大模型，中國企業(yè)也掀起了“百模大戰(zhàn)”，國產(chǎn)大模型頻頻亮相、加速迭代。大模型的快速發(fā)展助力產(chǎn)業(yè)創(chuàng)新升級，大模型商業(yè)化現(xiàn)狀如何，新入局的企業(yè)，如何選擇大模型賽道？

2024年是端側(cè)智能的爆發(fā)元年嗎？模型訓(xùn)練和推理又有什么新的技術(shù)進(jìn)展？

為了幫助大家更好了解AI技術(shù)發(fā)展動態(tài)，為用戶提供解決實際問題的思路和方法，阿里云特別推出的首檔AI領(lǐng)域問答欄目——【AI問愛答】。每期欄目都由阿里云的AI專家答疑團(tuán)針對網(wǎng)友提出的各類關(guān)于AI的問題做解答，任何關(guān)于AI產(chǎn)品使用，大模型應(yīng)用落地等問題，均可以向他們提問。

截至目前已有5位AI專家做客欄目，累計回答了40個問題，涵蓋了從大模型商業(yè)化落地挑戰(zhàn)，端側(cè)智能的現(xiàn)狀，模型訓(xùn)練和模型推理的技術(shù)路線，快速上手智能編碼等多個方面。

接下來，如果你對開源大模型的最新技術(shù)進(jìn)展、視頻生成上的具體問題、數(shù)字人技術(shù)落地、GPU算力等有問題，我們邀請了…

薄列峰——阿里巴巴通義實驗室應(yīng)用視覺實驗室負(fù)責(zé)人

阿里巴巴通義實驗室應(yīng)用視覺團(tuán)隊負(fù)責(zé)人 ，曾任亞馬遜首席科學(xué)家，華盛頓大學(xué)計算機(jī)科學(xué)與工程學(xué)院合聘教授。研究范圍覆蓋機(jī)器學(xué)習(xí)，深度學(xué)習(xí)，計算機(jī)視覺，自然語言處理，語音等多個領(lǐng)域。

周文猛——阿里巴巴通義實驗室研發(fā)總監(jiān)

ModelScope魔搭開源社區(qū)和DashScope靈積模型服務(wù)平臺模型技術(shù)負(fù)責(zé)人，意在打造簡單易用的sdk和api接口，方便開發(fā)者進(jìn)行大模型定制部署、應(yīng)用搭建。曾負(fù)責(zé)阿里云機(jī)器學(xué)習(xí)平臺PAI上算法框架， 支持搜索推薦等核心業(yè)務(wù)，服務(wù)多個BU核心業(yè)務(wù)，在多個比賽榜單取得前三的成績，在EMNLP、CVPR、IJCAI多篇論文。

更有神秘嘉賓屆時揭曉，您有什么問題希望專家團(tuán)解答？歡迎來提問！

如何參與？

1、訪問欄目官網(wǎng)“開始提問”；
2、關(guān)注阿里云云棲號獲取欄目最新動態(tài)；
3、也可以直接評論區(qū)留言提問

我們將通過郵件聯(lián)系提問者送出好禮，同時被欄目組選中回答的問題提出者還將獲得額外驚喜！

前期內(nèi)容節(jié)選

Q：傳統(tǒng)企業(yè)和新入局的企業(yè)，如何選擇大模型賽道？
A：怎么樣在一個水漲船高的階段，做好那艘船，而不是要做好那座山，因為水漲高了之后可能山會被淹沒，所以怎么樣用好模型可能是最重要的事情，這是企業(yè)和新入局的玩家要重點思考的。一是做好業(yè)務(wù)的梳理，做好知識的封裝，用Agent去體現(xiàn)。還需要清楚業(yè)務(wù)的應(yīng)用場景到底是實時鏈路還是離線鏈路，這會影響到模型的選擇和Agent的搭建。

Q：如何保持AIGC內(nèi)容的原創(chuàng)性、個性化，避免千篇一律的產(chǎn)出?
A：電商目前應(yīng)用到的大模型可能主要是在兩個方向。一個是偏語言模型的使用，如對商品做打標(biāo)，做評論的提取等等。另外就是生成內(nèi)容后直接通過渠道分發(fā)，比如以富媒體方式發(fā)出。用AIGC生成內(nèi)容上，最重要一件事情其實就是精度。其實所有的內(nèi)容你希望它不要變的就不要去變，你希望它變的盡可能變化足夠大，可控式生成是我們在努力的一個方向。

Q: AI生成視頻有哪些技術(shù)難點呢？有哪些商業(yè)化可能性？
A：視頻生成我覺得可以分成兩種，一種是類似于文生視頻，基于語義去生成視頻，還有一種是對視頻內(nèi)容做編輯。我們觀察到今天對于視頻編輯的需求特別大，尤其是以人的身體面部表情的編輯為最主要的一種嘗試方向?；谌说闹w的動作驅(qū)動一張圖片，還有一個是針對人臉，驅(qū)動他的整個面部表情，甚至包括上半身的手勢，我覺得第二條技術(shù)路線對于視頻編輯控制方向有非常大的商業(yè)化可能性。所以這塊我們會做的多一些，我相信可以跟文生視頻結(jié)合在一起。

Q:目前大模型落地到端上最大的挑戰(zhàn)是哪些？
A:目前端上的模型落地，面臨的一個非常大的挑戰(zhàn)點是在于面臨著像性能，資源、功耗多方面的一個平衡。不管手機(jī)也好，PC也好，甚至車也好，算力受限，內(nèi)存有限，對精度的要求不比云上要低，場景也復(fù)雜，選用大尺寸的模型，內(nèi)存和推理速度沒辦法滿足，選用小尺寸模型，整個效果會變得比較差?，F(xiàn)在所謂的小尺寸模型,本質(zhì)上來講還是一個很大的一個模型。它的資源占用、推理性能都面臨非常大的瓶頸。

Q:目前模型推理，最新的技術(shù)方向是怎樣的，有哪些突破點？
A:模型部署和推理性能挑戰(zhàn)的來源當(dāng)然首先是模型規(guī)模了。模型規(guī)模和上下文的規(guī)模還在持續(xù)增長，并且遠(yuǎn)遠(yuǎn)高于硬件算力、顯存寬大的增長速度的，所以這對于模型部署的權(quán)重，上下文壓縮，計算加速，基于分布式架構(gòu)的可擴(kuò)展性，都提出了非常高的要求。今天大語言模型通常具備非常全面的理解推理和生成能力，甚至同一個模型可以在很多場景中解決不同領(lǐng)域的問題。對于模型部署和推理計算來說，多樣的場景就會帶來很多樣的性能需求和計算特性，就需要模型推理引擎和模型部署平臺具備非常全面的能力。

Q:模型訓(xùn)練需要昂貴的成本支撐，那么在訓(xùn)練或微調(diào)過程中，如何提升訓(xùn)練性能，以節(jié)約訓(xùn)練成本？
A:首先要確定優(yōu)化的目標(biāo)，一般來說優(yōu)化的目標(biāo)就是訓(xùn)練一批token的總時間，具體的指標(biāo)上就是token/s。
token/s具體到硬件上，其實就是對硬件資源的有效的利用率，也就是我們常說的指標(biāo)MFU。計算量確定了，怎么樣去做這個優(yōu)化呢？要根據(jù)各個硬件單元的吞吐來理論預(yù)估模型訓(xùn)練的瓶頸，以及性能優(yōu)化的空間，具體可以從計算、通信和顯存三個大方向進(jìn)行入手。

在計算上，可以首先把計算的算子大約劃分為訪存密集型的算子和計算密集型算子。訪存密集型算子的計算時間是跟訪存時間相關(guān)的，那可以從訪存的量和訪存的帶寬來理論預(yù)估這個算子的執(zhí)行時間。計算密集型算子的計算時間是它的算力峰值和計算量來做計算時間的預(yù)估，可以對比實際的執(zhí)行時間來評估各個算子的占比和優(yōu)化空間。
在顯存上，要根據(jù)模型的結(jié)構(gòu)以及它中間的activation大小，來理論預(yù)估這個模型所占用的顯存大小，并且要結(jié)合所使用的分布式策略、offloading策略以及其他顯存優(yōu)化策略。

在通信上，需要結(jié)合分布式策略所對應(yīng)的算子，它的理論通信帶寬是不一樣的。它在機(jī)內(nèi)和機(jī)間的執(zhí)行速度，也要根據(jù)機(jī)內(nèi)和機(jī)間帶寬來進(jìn)行理論預(yù)估。在這樣預(yù)估通信時間之后，就可以根據(jù)這個計算時間、計算的算子和通信的算子之間的依賴關(guān)系，來預(yù)估一下這個算子之間是否能夠overlap起來。如果沒有掩蓋好的話，我們要預(yù)估一下通信沒有被掩蓋部分的占比，這能夠幫助我們?nèi)ジ纳品植际讲呗浴?/p>

有了這些瓶頸點定位、優(yōu)化空間，以及評估數(shù)據(jù)后，我們就可以從具體的瓶頸點入手。

Q: AI程序員是什么樣的產(chǎn)品形態(tài)？跟通義靈碼的關(guān)系是什么？
A:人機(jī)交互的模式分為三個階段，第一個階段是人機(jī)配合，以人為主，機(jī)器為輔，我們把它叫做Copilot模式；接下來會進(jìn)入到Agent模式，由單個 Agent自主完成一個小任務(wù)，比如寫一個測試用例；最后是多Agent協(xié)同模式，可以完成非常復(fù)雜的一件事。
AI程序員是基于多Agent協(xié)同架構(gòu)下產(chǎn)生的產(chǎn)品，人機(jī)交互模式已經(jīng)發(fā)生了質(zhì)變，變成了機(jī)器為主，人為輔。人在這個過程中更多是提出需求，及時對AI 程序的運行做糾偏，以及去校驗它最終生成的結(jié)果，編程的生產(chǎn)力會有大幅度的提升，發(fā)生質(zhì)變。通義靈碼更多是第一個階段，就是Copilot的模式，真正到了 Multi-Agent 或者機(jī)器為主時，產(chǎn)品形態(tài)一定是AI程序員。

Q:市面上智能編碼工具非常多，開發(fā)者選擇時有什么標(biāo)準(zhǔn)嗎？
A:從我們觀察來看，程序員首先對代碼助手IDE插件的第一要求就是準(zhǔn)，采納率一定得高；第二個是代碼生成要足夠的快，不能太卡頓；三是能否跟企業(yè)內(nèi)部的規(guī)范或個人開發(fā)習(xí)慣進(jìn)行結(jié)合；最后還需考慮安全性。

Q:代碼的RAG知識庫是什么功能？應(yīng)該怎么管理才能提升代碼編寫的準(zhǔn)確性？
A:檢索增強(qiáng)是我們最近針對企業(yè)版推出的重要功能。這里面包括兩種，第一個是代碼補(bǔ)全的 RAG，主要是在代碼續(xù)寫時進(jìn)行輔助，它可以模仿我們原來寫好的業(yè)務(wù)邏輯去生成，或者說按照原來的自研組件庫或者資源框架的方式去進(jìn)行服務(wù)生成，或者按照原來的API調(diào)用范式去生成。

在編寫代碼的時候，它自動去企業(yè)的知識庫召回了相似的代碼。第二種是企業(yè)的知識問答，可以將企業(yè)里面研發(fā)文檔，或者API定義的文檔上傳，只需要通過#team docs，就可以讓大模型去針對問題去實時到企業(yè)知識庫去進(jìn)行查找，聯(lián)合生成。

Q:如何通過智能編碼助手輔助開發(fā)人員進(jìn)行代碼走讀，快速了解代碼？
A:大量開發(fā)者是通過代碼解釋功能，快速了解整個代碼的含義。除了簡單的代碼解釋，圈選代碼就可以完成。另外還可以通過@workspace功能，讓大模型對整個庫進(jìn)行走讀，然后給出相應(yīng)的解釋，我們可以讓它定位到某個文件，甚至某個類或者是某個目錄，讓它去進(jìn)行走讀，來幫助我們快速了解。