剛剛，OpenAI開源2個(gè)推理模型：筆記本/手機(jī)就能跑，性能接近o4-mini

金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

沒能等到GPT-5，但OpenAI在深夜卻很突然地open了一下——

開源兩個(gè)推理模型：gpt-oss-120b和gpt-oss-20b。

要知道，上一次OpenAI開源模型還是6年前，也就是2019年的GPT-2。

而這次的名字也是非常的直接，gpt-oss，即Open Source Series，意思就是“開源系列”。

它們的亮點(diǎn)如下：

• gpt-oss-120b：1170億參數(shù)（MoE架構(gòu)，激活參數(shù)約51億），可在單張80GB GPU上運(yùn)行，性能接近閉源的o4-mini。
• gpt-oss-20b：210億參數(shù)（Moe架構(gòu)，激活參數(shù)約36億），可在16GB內(nèi)存的消費(fèi)級(jí)設(shè)備上運(yùn)行，性能接近o3-mini。

并且它倆均采用Apache 2.0許可證，允許商用無(wú)需付費(fèi)或授權(quán)。

從性能角度來看，gpt-oss已經(jīng)達(dá)到了開源模型里推理性能的第一梯隊(duì)，但在代碼生成和復(fù)雜推理任務(wù)中仍略遜于閉源模型（如GPT-o3和o4-mini）。

在模型發(fā)布的第一時(shí)間，Sam Altman在自己的社交平臺(tái)上也道出了這倆模型的“價(jià)值”：

可以在本地筆記本（20b的可以在手機(jī)上）運(yùn)行；耗資數(shù)十億美元的研究成果。

并且蘇媽（Lisa Su）也是幾乎同時(shí)出來為Altman站臺(tái)，表示“很榮幸成為第0天的合作伙伴”。

不過有意思的是，在官方HuggingFace介紹中，提及的卻是英偉達(dá)的H100……

先看效果

在開源動(dòng)作一個(gè)小時(shí)后，OpenAI官方還放出了一個(gè)實(shí)測(cè)效果的視頻。

這次講解的人員，分別是在OpenAI負(fù)責(zé)開發(fā)者體驗(yàn)的Dom和Zhaohan：

他倆是在一臺(tái)120G的Macbook Pro上進(jìn)行的測(cè)試，借助Ollama在本地運(yùn)行120B的gpt-oss（搭了2塊H100）。

二人先小試牛刀，測(cè)試了一下gpt-oss在思維鏈中調(diào)用工具的能力，即搜索+Python解釋器。

他們?cè)陂_啟Browser Tool和Python Tool后，在本地提問：

舊金山天氣如何？

可以看到，本地的gpt-oss-120b穩(wěn)穩(wěn)地輸出了正確的結(jié)果。

在第二個(gè)測(cè)試?yán)又?，他們?個(gè)非常大的數(shù)字相乘。

在這個(gè)過程中，可以看到gpt-oss一次又一次地調(diào)用Python工具，雖然中間有出錯(cuò)的情況，但最終給到了正確的答案。

接下來，二人把網(wǎng)直接斷掉，在本地搞了一個(gè)射擊類的小游戲：

同樣是在斷網(wǎng)的情況下，他倆又經(jīng)過一番操作，將游戲中的圖標(biāo)變成了草莓的樣式：

整體來看，實(shí)測(cè)的體感還是比較絲滑的，并且生成速度達(dá)到了40-50 tokens/s。

完整體驗(yàn)視頻如下：

視頻地址：https://mp.weixin.qq.com/s/bIaUXw9XWR2Sb4dy4i37_Q

再看性能

除了實(shí)測(cè)效果之外，OpenAI也一道發(fā)布了gpt-oss相關(guān)的技術(shù)博客。

整體來看，這兩個(gè)模型在工具使用、少樣本函數(shù)調(diào)用、鏈?zhǔn)剿伎纪评恚ㄈ鏣au-Bench智能評(píng)估套件的結(jié)果所示）以及HealthBench上表現(xiàn)強(qiáng)勁，甚至超越了包括OpenAI o1和GPT?4o在內(nèi)的專有模型。

預(yù)訓(xùn)練與模型架構(gòu)

gpt-oss模型使用的OpenAI最先進(jìn)的預(yù)訓(xùn)練和后訓(xùn)練技術(shù)進(jìn)行訓(xùn)練，特別關(guān)注推理、效率和在廣泛部署環(huán)境中的實(shí)際可用性。

雖然OpenAI已經(jīng)公開了包括Whisper和CLIP在內(nèi)的其他模型，但gpt-oss模型是自GPT?2以來的第一個(gè)開放權(quán)重語(yǔ)言模型。

每個(gè)模型都是一個(gè)Transformer，利用專家混合（MoE）來減少處理輸入所需的活躍參數(shù)數(shù)量。

gpt-oss-120b每個(gè)token激活5.1B個(gè)參數(shù)，而gpt-oss-20b激活3.6B個(gè)參數(shù)。這些模型分別具有117b和21b的總參數(shù)。

這些模型使用類似GPT?3的交替密集和局部帶狀稀疏注意力模式。

為了提高推理和內(nèi)存效率，模型還使用分組多查詢注意力，組大小為8。團(tuán)隊(duì)使用旋轉(zhuǎn)位置嵌入（RoPE）進(jìn)行位置編碼，并原生支持最長(zhǎng)128k的上下文長(zhǎng)度。

團(tuán)隊(duì)在主要由英語(yǔ)文本組成的數(shù)據(jù)集上訓(xùn)練這些模型，重點(diǎn)關(guān)注STEM領(lǐng)域、編程和通用知識(shí)。

OpenAI使用一個(gè)超集（superset）分詞器對(duì)數(shù)據(jù)進(jìn)行分詞，該分詞器基于OpenAI o4-mini和GPT?4o使用的分詞器：o200k_harmony，今天也將開源這一分詞器。

后訓(xùn)練階段

這些模型采用與o4-mini相似的流程進(jìn)行了后訓(xùn)練，包括有監(jiān)督微調(diào)階段和高算力的強(qiáng)化學(xué)習(xí)階段。

OpenAI的目標(biāo)是使模型符合OpenAI 模型規(guī)范的要求，并在生成答案之前學(xué)會(huì)使用鏈?zhǔn)剿季S（CoT）和工具調(diào)用。

在后訓(xùn)練過程中，團(tuán)隊(duì)采用了與OpenAI最先進(jìn)專有推理模型相同的技術(shù)，使這些模型展現(xiàn)出了卓越的能力。

與API中OpenAI o系列推理模型類似，這兩個(gè)開源權(quán)重模型支持三種推理強(qiáng)度——低、中、高——在延遲與性能之間實(shí)現(xiàn)權(quán)衡。

開發(fā)者可以通過系統(tǒng)提示語(yǔ)中的一句話，輕松設(shè)定所需的推理強(qiáng)度。

評(píng)估結(jié)果

團(tuán)隊(duì)對(duì)gpt-oss-120b和gpt-oss-20b進(jìn)行了標(biāo)準(zhǔn)學(xué)術(shù)基準(zhǔn)測(cè)試評(píng)估，衡量它們?cè)诰幊?、?jìng)賽數(shù)學(xué)、健康問答和Agent工具使用等方面的能力，并與OpenAI的其他推理模型（包括 o3、o3-mini 和 o4-mini）進(jìn)行了對(duì)比。

在競(jìng)賽編程（Codeforces）、通用問題解決（MMLU和HLE）以及工具調(diào)用（TauBench）方面，gpt-oss-120b的表現(xiàn)優(yōu)于OpenAI的o3-mini，并達(dá)到或超過了o4-mini的水平。

在健康相關(guān)問答（HealthBench）和競(jìng)賽數(shù)學(xué)（AIME 2024 與 2025）上，gpt-oss-120b的表現(xiàn)甚至超越了o4-mini。

盡管體積較小，gpt-oss-20b在同樣的評(píng)估中也達(dá)到了或超過了OpenAI o3-mini的水平，尤其在競(jìng)賽數(shù)學(xué)和健康問答方面表現(xiàn)更加出色。

思維鏈

OpenAI最近的研究表明，在模型的鏈?zhǔn)剿季S（CoT）未經(jīng)過直接監(jiān)督對(duì)齊訓(xùn)練的前提下，監(jiān)測(cè)其推理過程的CoT有助于識(shí)別不當(dāng)行為。

遵循自發(fā)布OpenAI o1-preview以來的一貫原則，團(tuán)隊(duì)在gpt-oss模型上并未對(duì)CoT進(jìn)行任何形式的直接監(jiān)督。

OpenAI認(rèn)為，這一點(diǎn)對(duì)于監(jiān)測(cè)模型的不當(dāng)行為、欺騙行為及濫用情況至關(guān)重要。

團(tuán)隊(duì)希望，通過發(fā)布一個(gè)未經(jīng)過監(jiān)督對(duì)齊的開源模型，能夠?yàn)殚_發(fā)者和研究人員提供機(jī)會(huì)，自主研究并實(shí)現(xiàn)各自的 CoT 監(jiān)測(cè)機(jī)制。

開發(fā)者不應(yīng)在其應(yīng)用中將模型的鏈?zhǔn)剿季S內(nèi)容直接展示給用戶。

因?yàn)檫@些內(nèi)容可能包含虛構(gòu)或有害信息，其中的語(yǔ)言可能不符合OpenAI的安全標(biāo)準(zhǔn)，甚至可能泄露模型被明確指示不得在最終輸出中包含的信息。

OpenAI為什么要開源？

在技術(shù)博客的最后，OpenAI也對(duì)今天開源的動(dòng)作，做出了解釋。

在OpenAI看來，gpt-oss-120b和gpt-oss-20b的發(fā)布，是開源權(quán)重模型向前邁出的重要一步。

以其體量，這兩款模型在推理能力和安全性方面都實(shí)現(xiàn)了實(shí)質(zhì)性提升。

開源模型是對(duì)OpenAI托管模型的重要補(bǔ)充，為開發(fā)者提供了更豐富的工具選項(xiàng)，加速前沿研究，推動(dòng)創(chuàng)新，并支持更安全、透明的AI開發(fā)，適用于更廣泛的使用場(chǎng)景。

這些開源模型還降低了新興市場(chǎng)、資源受限行業(yè)以及中小型組織進(jìn)入AI的門檻——這些組織可能缺乏采用專有模型所需的預(yù)算或靈活性。

如今，全球更多人可以借助這些強(qiáng)大、易獲取的工具進(jìn)行建設(shè)、創(chuàng)新，并為自己和他人創(chuàng)造新的機(jī)會(huì)。開放獲取這些在美國(guó)開發(fā)的高能力模型，有助于推動(dòng)AI發(fā)展走向更加民主化。

一個(gè)健康的開源模型生態(tài)，是實(shí)現(xiàn)AI普及并惠及全人類的重要維度之一。

One More Thing：

雖然但是……網(wǎng)友們最最最最關(guān)心的似乎還是——

GPT-5呢？？？？

技術(shù)博客地址：
https://openai.com/index/introducing-gpt-oss/

HuggingFace地址：
https://huggingface.co/openai/gpt-oss-120b

GtiHub地址：
https://github.com/openai/gpt-oss