剛剛，OpenAI開源2個推理模型：筆記本/手機就能跑，性能接近o4-mini

金磊 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

沒能等到GPT-5，但OpenAI在深夜卻很突然地open了一下——

開源兩個推理模型：gpt-oss-120b和gpt-oss-20b。

要知道，上一次OpenAI開源模型還是6年前，也就是2019年的GPT-2。

而這次的名字也是非常的直接，gpt-oss，即Open Source Series，意思就是“開源系列”。

它們的亮點如下：

• gpt-oss-120b：1170億參數(shù)（MoE架構(gòu)，激活參數(shù)約51億），可在單張80GB GPU上運行，性能接近閉源的o4-mini。
• gpt-oss-20b：210億參數(shù)（Moe架構(gòu)，激活參數(shù)約36億），可在16GB內(nèi)存的消費級設(shè)備上運行，性能接近o3-mini。

并且它倆均采用Apache 2.0許可證，允許商用無需付費或授權(quán)。

從性能角度來看，gpt-oss已經(jīng)達到了開源模型里推理性能的第一梯隊，但在代碼生成和復(fù)雜推理任務(wù)中仍略遜于閉源模型（如GPT-o3和o4-mini）。

在模型發(fā)布的第一時間，Sam Altman在自己的社交平臺上也道出了這倆模型的“價值”：

可以在本地筆記本（20b的可以在手機上）運行；耗資數(shù)十億美元的研究成果。

并且蘇媽（Lisa Su）也是幾乎同時出來為Altman站臺，表示“很榮幸成為第0天的合作伙伴”。

不過有意思的是，在官方HuggingFace介紹中，提及的卻是英偉達的H100……

先看效果

在開源動作一個小時后，OpenAI官方還放出了一個實測效果的視頻。

這次講解的人員，分別是在OpenAI負責(zé)開發(fā)者體驗的Dom和Zhaohan：

他倆是在一臺120G的Macbook Pro上進行的測試，借助Ollama在本地運行120B的gpt-oss（搭了2塊H100）。

二人先小試牛刀，測試了一下gpt-oss在思維鏈中調(diào)用工具的能力，即搜索+Python解釋器。

他們在開啟Browser Tool和Python Tool后，在本地提問：

舊金山天氣如何？

可以看到，本地的gpt-oss-120b穩(wěn)穩(wěn)地輸出了正確的結(jié)果。

在第二個測試例子中，他們讓2個非常大的數(shù)字相乘。

在這個過程中，可以看到gpt-oss一次又一次地調(diào)用Python工具，雖然中間有出錯的情況，但最終給到了正確的答案。

接下來，二人把網(wǎng)直接斷掉，在本地搞了一個射擊類的小游戲：

同樣是在斷網(wǎng)的情況下，他倆又經(jīng)過一番操作，將游戲中的圖標(biāo)變成了草莓的樣式：

整體來看，實測的體感還是比較絲滑的，并且生成速度達到了40-50 tokens/s。

完整體驗視頻如下：

視頻地址：https://mp.weixin.qq.com/s/bIaUXw9XWR2Sb4dy4i37_Q

再看性能

除了實測效果之外，OpenAI也一道發(fā)布了gpt-oss相關(guān)的技術(shù)博客。

整體來看，這兩個模型在工具使用、少樣本函數(shù)調(diào)用、鏈?zhǔn)剿伎纪评恚ㄈ鏣au-Bench智能評估套件的結(jié)果所示）以及HealthBench上表現(xiàn)強勁，甚至超越了包括OpenAI o1和GPT?4o在內(nèi)的專有模型。

預(yù)訓(xùn)練與模型架構(gòu)

gpt-oss模型使用的OpenAI最先進的預(yù)訓(xùn)練和后訓(xùn)練技術(shù)進行訓(xùn)練，特別關(guān)注推理、效率和在廣泛部署環(huán)境中的實際可用性。

雖然OpenAI已經(jīng)公開了包括Whisper和CLIP在內(nèi)的其他模型，但gpt-oss模型是自GPT?2以來的第一個開放權(quán)重語言模型。

每個模型都是一個Transformer，利用專家混合（MoE）來減少處理輸入所需的活躍參數(shù)數(shù)量。

gpt-oss-120b每個token激活5.1B個參數(shù)，而gpt-oss-20b激活3.6B個參數(shù)。這些模型分別具有117b和21b的總參數(shù)。

這些模型使用類似GPT?3的交替密集和局部帶狀稀疏注意力模式。

為了提高推理和內(nèi)存效率，模型還使用分組多查詢注意力，組大小為8。團隊使用旋轉(zhuǎn)位置嵌入（RoPE）進行位置編碼，并原生支持最長128k的上下文長度。

團隊在主要由英語文本組成的數(shù)據(jù)集上訓(xùn)練這些模型，重點關(guān)注STEM領(lǐng)域、編程和通用知識。

OpenAI使用一個超集（superset）分詞器對數(shù)據(jù)進行分詞，該分詞器基于OpenAI o4-mini和GPT?4o使用的分詞器：o200k_harmony，今天也將開源這一分詞器。

后訓(xùn)練階段

這些模型采用與o4-mini相似的流程進行了后訓(xùn)練，包括有監(jiān)督微調(diào)階段和高算力的強化學(xué)習(xí)階段。

OpenAI的目標(biāo)是使模型符合OpenAI 模型規(guī)范的要求，并在生成答案之前學(xué)會使用鏈?zhǔn)剿季S（CoT）和工具調(diào)用。

在后訓(xùn)練過程中，團隊采用了與OpenAI最先進專有推理模型相同的技術(shù)，使這些模型展現(xiàn)出了卓越的能力。

與API中OpenAI o系列推理模型類似，這兩個開源權(quán)重模型支持三種推理強度——低、中、高——在延遲與性能之間實現(xiàn)權(quán)衡。

開發(fā)者可以通過系統(tǒng)提示語中的一句話，輕松設(shè)定所需的推理強度。

評估結(jié)果

團隊對gpt-oss-120b和gpt-oss-20b進行了標(biāo)準(zhǔn)學(xué)術(shù)基準(zhǔn)測試評估，衡量它們在編程、競賽數(shù)學(xué)、健康問答和Agent工具使用等方面的能力，并與OpenAI的其他推理模型（包括 o3、o3-mini 和 o4-mini）進行了對比。

在競賽編程（Codeforces）、通用問題解決（MMLU和HLE）以及工具調(diào)用（TauBench）方面，gpt-oss-120b的表現(xiàn)優(yōu)于OpenAI的o3-mini，并達到或超過了o4-mini的水平。

在健康相關(guān)問答（HealthBench）和競賽數(shù)學(xué)（AIME 2024 與 2025）上，gpt-oss-120b的表現(xiàn)甚至超越了o4-mini。

盡管體積較小，gpt-oss-20b在同樣的評估中也達到了或超過了OpenAI o3-mini的水平，尤其在競賽數(shù)學(xué)和健康問答方面表現(xiàn)更加出色。

思維鏈

OpenAI最近的研究表明，在模型的鏈?zhǔn)剿季S（CoT）未經(jīng)過直接監(jiān)督對齊訓(xùn)練的前提下，監(jiān)測其推理過程的CoT有助于識別不當(dāng)行為。

遵循自發(fā)布OpenAI o1-preview以來的一貫原則，團隊在gpt-oss模型上并未對CoT進行任何形式的直接監(jiān)督。

OpenAI認為，這一點對于監(jiān)測模型的不當(dāng)行為、欺騙行為及濫用情況至關(guān)重要。

團隊希望，通過發(fā)布一個未經(jīng)過監(jiān)督對齊的開源模型，能夠為開發(fā)者和研究人員提供機會，自主研究并實現(xiàn)各自的 CoT 監(jiān)測機制。

開發(fā)者不應(yīng)在其應(yīng)用中將模型的鏈?zhǔn)剿季S內(nèi)容直接展示給用戶。

因為這些內(nèi)容可能包含虛構(gòu)或有害信息，其中的語言可能不符合OpenAI的安全標(biāo)準(zhǔn)，甚至可能泄露模型被明確指示不得在最終輸出中包含的信息。

OpenAI為什么要開源？

在技術(shù)博客的最后，OpenAI也對今天開源的動作，做出了解釋。

在OpenAI看來，gpt-oss-120b和gpt-oss-20b的發(fā)布，是開源權(quán)重模型向前邁出的重要一步。

以其體量，這兩款模型在推理能力和安全性方面都實現(xiàn)了實質(zhì)性提升。

開源模型是對OpenAI托管模型的重要補充，為開發(fā)者提供了更豐富的工具選項，加速前沿研究，推動創(chuàng)新，并支持更安全、透明的AI開發(fā)，適用于更廣泛的使用場景。

這些開源模型還降低了新興市場、資源受限行業(yè)以及中小型組織進入AI的門檻——這些組織可能缺乏采用專有模型所需的預(yù)算或靈活性。

如今，全球更多人可以借助這些強大、易獲取的工具進行建設(shè)、創(chuàng)新，并為自己和他人創(chuàng)造新的機會。開放獲取這些在美國開發(fā)的高能力模型，有助于推動AI發(fā)展走向更加民主化。

一個健康的開源模型生態(tài)，是實現(xiàn)AI普及并惠及全人類的重要維度之一。

One More Thing：

雖然但是……網(wǎng)友們最最最最關(guān)心的似乎還是——

GPT-5呢？？？？

技術(shù)博客地址：
https://openai.com/index/introducing-gpt-oss/

HuggingFace地址：
https://huggingface.co/openai/gpt-oss-120b

GtiHub地址：
https://github.com/openai/gpt-oss