大語(yǔ)言模型距離可以獨(dú)立完成一個(gè)中小規(guī)模的軟件項(xiàng)目開(kāi)發(fā)還有一段路要走。

目前，DevBench的論文已經(jīng)發(fā)布在預(yù)印平臺(tái)arXiv，相關(guān)代碼和數(shù)據(jù)開(kāi)源在GitHub上。（鏈接見(jiàn)文末）

DevBench 有哪些任務(wù)？

△?圖為DevBench框架概覽

傳統(tǒng)的編程基準(zhǔn)測(cè)試往往關(guān)注代碼生成的某個(gè)單一方面，無(wú)法全面反映現(xiàn)實(shí)世界編程任務(wù)的復(fù)雜性。

DevBench的出現(xiàn)，打破了這一局限，它通過(guò)一系列精心設(shè)計(jì)的任務(wù)，模擬軟件開(kāi)發(fā)的各個(gè)階段，從而提供了一個(gè)全面評(píng)估LLM能力的平臺(tái)。

DevBench圍繞五個(gè)關(guān)鍵任務(wù)構(gòu)建，每個(gè)任務(wù)都關(guān)注軟件開(kāi)發(fā)生命周期的一個(gè)關(guān)鍵階段，模塊化的設(shè)計(jì)允許對(duì)每個(gè)任務(wù)進(jìn)行獨(dú)立的測(cè)試和評(píng)估。

軟件設(shè)計(jì)：利用產(chǎn)品需求文檔PRD創(chuàng)建UML圖和架構(gòu)設(shè)計(jì)，展示類、屬性、關(guān)系，以及軟件的結(jié)構(gòu)布局。該任務(wù)參考MT-Bench，采用LLM-as-a-Judge的評(píng)測(cè)方式。評(píng)測(cè)主要依據(jù)兩個(gè)主要指標(biāo)：軟件設(shè)計(jì)一般原則（如高內(nèi)聚低耦合等）和忠實(shí)度（faithfulness）。

環(huán)境設(shè)置：根據(jù)提供的需求文檔，生成初始化開(kāi)發(fā)環(huán)境所需的依賴文件。在評(píng)測(cè)過(guò)程中，該依賴文件將在給定的基礎(chǔ)隔離環(huán)境（docker container）內(nèi)通過(guò)基準(zhǔn)指令進(jìn)行依賴環(huán)境搭建。隨后在這個(gè)模型搭建的依賴環(huán)境中，該任務(wù)通過(guò)執(zhí)行代碼倉(cāng)的基準(zhǔn)示例使用代碼（example usage），評(píng)估執(zhí)行基準(zhǔn)代碼的成功率。

代碼實(shí)現(xiàn)：依據(jù)需求文檔和架構(gòu)設(shè)計(jì)，模型需要完成整個(gè)代碼庫(kù)的代碼文件生成。DevBench開(kāi)發(fā)了一個(gè)自動(dòng)化測(cè)試框架，并針對(duì)所使用的具體編程語(yǔ)言進(jìn)行了定制，集成了Python的PyTest、C++的GTest、Java的JUnit和JavaScript的Jest。該任務(wù)評(píng)估模型生成代碼庫(kù)在基準(zhǔn)環(huán)境中執(zhí)行基準(zhǔn)集成測(cè)試和單元測(cè)試的通過(guò)率。

集成測(cè)試：模型根據(jù)需求，生成集成測(cè)試代碼，驗(yàn)證代碼庫(kù)的對(duì)外接口功能。該任務(wù)在基準(zhǔn)實(shí)現(xiàn)代碼上運(yùn)行生成的集成測(cè)試，并報(bào)告測(cè)試的通過(guò)率。

單元測(cè)試：模型根據(jù)需求，生成單元測(cè)試代碼。同樣，該任務(wù)在基準(zhǔn)實(shí)現(xiàn)代碼上運(yùn)行生成的單元測(cè)試。除了通過(guò)率指標(biāo)外，該任務(wù)還引入了語(yǔ)句覆蓋率評(píng)價(jià)指標(biāo)，對(duì)測(cè)試全面性的進(jìn)行定量評(píng)估。

DevBench 包含哪些數(shù)據(jù)？

DevBench數(shù)據(jù)準(zhǔn)備過(guò)程包括三個(gè)階段：倉(cāng)庫(kù)準(zhǔn)備、代碼清理和文檔準(zhǔn)備。

• 在準(zhǔn)備階段，研究人員從GitHub中選擇高質(zhì)量的倉(cāng)庫(kù)，確保它們的復(fù)雜性可管理。
• 在代碼清理階段，標(biāo)注人員驗(yàn)證代碼的功能性，對(duì)其進(jìn)行精煉，并補(bǔ)充和運(yùn)行測(cè)試以確保質(zhì)量。
• 文檔準(zhǔn)備階段涉及為倉(cāng)庫(kù)創(chuàng)建需求文檔、 UML圖和架構(gòu)設(shè)計(jì)。

最終，DevBench的數(shù)據(jù)集包含4個(gè)編程語(yǔ)言，多個(gè)領(lǐng)域，共22個(gè)代碼庫(kù)。這些代碼倉(cāng)庫(kù)的復(fù)雜性和所使用編程范式的多樣性為語(yǔ)言模型設(shè)置了巨大的挑戰(zhàn)。

幾個(gè)有趣的例子：

TextCNN

大模型能完整地寫(xiě)一個(gè)TextCNN做文本二分類的模型嗎？能夠自己把數(shù)據(jù)集從HF拉下來(lái)，把訓(xùn)練跑起來(lái)是基本要求。還需模型按照文檔的需求定制超參數(shù)、記錄log、存儲(chǔ)checkpoint、同時(shí)保證實(shí)驗(yàn)可復(fù)現(xiàn)性。

（https://github.com/open-compass/DevBench/tree/main/benchmark_data/python/TextCNN）

Registration & Login

前端項(xiàng)目往往依賴較多的組件庫(kù)和前端框架，模型是否能夠在可能出現(xiàn)版本沖突的前端項(xiàng)目中應(yīng)對(duì)自如？

（https://github.com/open-compass/DevBench/tree/main/benchmark_data/javascript/login-registration）

People Management

模型對(duì)SQLite數(shù)據(jù)庫(kù)的創(chuàng)建和管理掌握的怎么樣？除了基本的增刪改查操作，模型能否將校園人員信息和關(guān)系數(shù)據(jù)庫(kù)的管理和操作封裝成易用的命令行工具？

（https://github.com/open-compass/DevBench/tree/main/benchmark_data/cpp/people_management）

Actor Relationship Game

“六度分隔理論”在影視圈的猜想驗(yàn)證？模型需要從TMDB API獲取數(shù)據(jù)，并構(gòu)建流行演員們之間通過(guò)合作電影進(jìn)行連接的人際連系網(wǎng)。

(https://github.com/open-compass/DevBench/tree/main/benchmark_data/java/Actor_relationship_game)

ArXiv digest

ArXiv論文檢索小工具也被輕松拿捏了？ArXiv的API并不支持“篩選最近N天的論文”的功能，但卻可以“按發(fā)表時(shí)間排序”，模型能夠以此開(kāi)發(fā)一個(gè)好用的論文查找工具嗎？

(https://github.com/open-compass/DevBench/tree/main/benchmark_data/python/ArXiv_digest)

實(shí)驗(yàn)發(fā)現(xiàn)

研究團(tuán)隊(duì)利用DevBench對(duì)當(dāng)前流行的LLMs，包括GPT-4-Turbo進(jìn)行了全面測(cè)試。結(jié)果顯示，盡管這些模型在簡(jiǎn)單的編程任務(wù)中表現(xiàn)出色，但在面對(duì)復(fù)雜的、真實(shí)世界的軟件開(kāi)發(fā)挑戰(zhàn)時(shí)，它們?nèi)匀挥龅搅酥卮罄щy。特別是在處理復(fù)雜的代碼結(jié)構(gòu)和邏輯時(shí)，模型的性能還有待提高。

DevBench不僅揭示了現(xiàn)有LLMs在軟件開(kāi)發(fā)中的局限性，也為未來(lái)模型的改進(jìn)提供了寶貴的洞見(jiàn)。通過(guò)這一基準(zhǔn)測(cè)試，研究人員可以更好地理解 LLMs的強(qiáng)項(xiàng)和弱點(diǎn)，從而有針對(duì)性地優(yōu)化它們，推動(dòng)AI在軟件工程領(lǐng)域的進(jìn)一步發(fā)展。

此外，DevBench 框架的開(kāi)放性和可擴(kuò)展性意味著它可以持續(xù)適配不同的編程語(yǔ)言和開(kāi)發(fā)場(chǎng)景。DevBench 還在發(fā)展過(guò)程中，非常歡迎社區(qū)的朋友參與共建。

Devin 在 SWE-Bench 上一路領(lǐng)先，它的優(yōu)異表現(xiàn)可以擴(kuò)展到其他評(píng)測(cè)場(chǎng)景嗎？隨著 AI 軟件開(kāi)發(fā)能力的持續(xù)發(fā)展，這場(chǎng)碼農(nóng)和 AI 的較量讓人倍感期待。

還有OpenCompass大模型評(píng)測(cè)體系

DevBench現(xiàn)已加入OpenCompass司南大模型能力評(píng)測(cè)體系，OpenCompass是上海人工智能實(shí)驗(yàn)室研發(fā)推出的面向大語(yǔ)言模型、多模態(tài)大模型等各類模型的一站式評(píng)測(cè)平臺(tái)。

OpenCompass具有可復(fù)現(xiàn)、全面的能力維度、豐富的模型支持、分布式高效評(píng)測(cè)、多樣化評(píng)測(cè)范式以及靈活化拓展等特點(diǎn)?；诟哔|(zhì)量、多層次的能力體系和工具鏈，OpenCompass 創(chuàng)新了多項(xiàng)能力評(píng)測(cè)方法，支持各類高質(zhì)量的中英文雙語(yǔ)評(píng)測(cè)基準(zhǔn)，涵蓋語(yǔ)言與理解、常識(shí)與邏輯推理、數(shù)學(xué)計(jì)算與應(yīng)用、多編程語(yǔ)言代碼能力、智能體、創(chuàng)作與對(duì)話等多個(gè)方面，能夠?qū)崿F(xiàn)對(duì)大模型真實(shí)能力的全面診斷。DevBench更是拓寬了 OpenCompass 在智能體領(lǐng)域的評(píng)測(cè)能力。

DevBench論文：https://arxiv.org/abs/2403.08604
GitHub：https://github.com/open-compass/devBench/
OpenCompass https://github.com/open-compass/opencompass