o1規(guī)劃能力首測(cè)！已超越語(yǔ)言模型范疇，preview終于贏mini一回

白交 2024-09-28 13:40:16 來(lái)源：量子位

克小西 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

o1-preview終于贏過(guò)了mini一次！

亞利桑那州立大學(xué)的最新研究表明，o1-preview在規(guī)劃任務(wù)上，表現(xiàn)顯著優(yōu)于o1-mini。

相比于傳統(tǒng)模型的優(yōu)勢(shì)更是碾壓級(jí)別，在超難任務(wù)上的準(zhǔn)確率比Llama3.1-405B高了11倍。

要知道之前，OpenAI自己人也發(fā)了一張圖，顯示preview論性能比不過(guò)滿血版，論經(jīng)濟(jì)性又不如mini，處于一個(gè)十分尷尬的地位。

作者在推文中表示，盡管存在可保證性和成本問(wèn)題，但僅針對(duì)CoT而言，o1已經(jīng)超越了大模型的“近似檢索”性質(zhì)，提升到了“近似推理”層次。

并且在論文中，o1全程被稱作LRM（Large Reasoning Model，大型推理模型），而非一般大型語(yǔ)言模型的LLM。

o1團(tuán)隊(duì)的核心成員Noam Brown也轉(zhuǎn)發(fā)了這項(xiàng)研究，順便給o1-preview打了個(gè)call。

還有網(wǎng)友翻出了隔壁Meta的LeCun半個(gè)多月前的推文，當(dāng)時(shí)LeCun說(shuō)大模型沒(méi)有規(guī)劃能力，結(jié)果現(xiàn)在OpenAI就帶著o1來(lái)踢館了。

用“搭積木”測(cè)試大模型

為了評(píng)估o1系列模型的規(guī)劃能力，作者使用了PlanBench評(píng)估基準(zhǔn)。

該基準(zhǔn)的提出者中也正好包含了本文三名作者中的兩名——共同一作Karthik Valmeekam，以及他的導(dǎo)師Subbarao Kambhampati。

PlanBench專門為評(píng)估大模型規(guī)劃能力而設(shè)計(jì)，任務(wù)類型涵蓋了計(jì)劃生成、成本最優(yōu)規(guī)劃、計(jì)劃驗(yàn)證等。

具體到這個(gè)實(shí)驗(yàn)，作者使用了其中來(lái)自于國(guó)際規(guī)劃競(jìng)賽（IPC）的Blocksworld和其變體。

此類問(wèn)題涉及在桌子上堆疊積木塊，目標(biāo)是從一個(gè)初始狀態(tài)，重新排列到目標(biāo)配置。

木塊用不同的顏色標(biāo)識(shí)，一次只能移動(dòng)一個(gè)積木塊，且只能移動(dòng)每一堆中頂部的積木塊，被拿起的積木塊也只能放在頂部或直接放在桌子上。

變體Mystery Blocksworld則是在Blockworlds的基礎(chǔ)上加入混淆機(jī)制，用一些毫不相干的詞語(yǔ)來(lái)代替操作中的動(dòng)作。

在此基礎(chǔ)之上，還有更為復(fù)雜的全隨機(jī)變體，指令進(jìn)一步從其他英文單詞變成了無(wú)意義的字符串。

在o1之前，Blockworlds上的SOTA模型是Llama3.1-405B，成績(jī)?yōu)檫_(dá)到 62.6%，而在Mystery Blockworlds上，沒(méi)有任何模型的成績(jī)能超過(guò)5%。

o1-preview超強(qiáng)規(guī)劃

o1這邊的測(cè)試結(jié)果顯示，preview相比mini，成績(jī)優(yōu)勢(shì)十分明顯。

在Blockworlds任務(wù)上，preview版準(zhǔn)確率達(dá)98%，而mini只有56.6%，表現(xiàn)還不如llama。

當(dāng)然加入了混淆之后，mini相比于llama也顯示出了一些優(yōu)勢(shì)——

在零樣本配置下，preview版的準(zhǔn)確率超過(guò)了一半，比llama的4.3%高出了11倍多；mini版也達(dá)到了19.1%，比llama高3.4倍。

最后在全隨機(jī)版本下，o1-preview還能擁有37.3%的準(zhǔn)確率。

以上結(jié)果顯示出了o1系列模型，特別是o1-preview的超強(qiáng)規(guī)劃能力，但是不足之處也十分明顯。

一是隨著規(guī)劃長(zhǎng)度的增加，模型的性能也會(huì)迅速下降，即使對(duì)于未混淆的Blockworlds來(lái)說(shuō)也同樣如此。

另外，Blockworlds系列問(wèn)題并非全部可解，作者發(fā)現(xiàn)o1在識(shí)別不可解問(wèn)題上的準(zhǔn)確率依然存在不足。

對(duì)于未混淆版本準(zhǔn)確率只有27%，但沒(méi)有誤判為不可解的情況；對(duì)于全隨機(jī)版本則只有16%，另外還有11.5%的概率將可解問(wèn)題誤判為不可解。

甚至作者還發(fā)現(xiàn)，o1有時(shí)也會(huì)狡辯，提出令人信服的合理理由，讓人們相信其錯(cuò)誤答案。

在模型本身的性能之外，成本和時(shí)間消耗也是一個(gè)重要考量，相比于傳統(tǒng)大模型，o1-mini的成本相比GPT4-Turbo直接翻番，preview更是高出了數(shù)量級(jí)。

那么，如果你是開發(fā)者，會(huì)愿意為了o1的高性能付出更多的成本嗎？歡迎評(píng)論區(qū)交流。

論文地址：
https://arxiv.org/abs/2409.13373
參考鏈接：
https://x.com/rao2z/status/1838245261950509170