谷歌版小鋼炮開源！0.27B大模型，4個注意力頭，專為終端而生

時令 2025-08-15 15:32:31 來源：量子位

時令 發(fā)自 凹非寺

量子位 | 公眾號 QbitAI

谷歌開源Gemma 3 270M閃亮登場！

只需幾分鐘即可完成微調(diào)，指令遵循和文本結(jié)構(gòu)化能力更是驚艷，性能超越Qwen 2.5同級模型。

發(fā)布當(dāng)天，網(wǎng)友也懵了：以為是270B，結(jié)果居然才0.27B。

此模型小巧又高效，可以直接在瀏覽器里本地運行，不用聯(lián)網(wǎng)，也能生成有創(chuàng)意的內(nèi)容，比如睡前故事。

不僅如此，還有人使用這款迷你模型構(gòu)建了自己的OCR應(yīng)用程序。上傳一張圖片或PDF文件，即可用LLM即時將其轉(zhuǎn)換為結(jié)構(gòu)化的Markdown格式。

值得一提的是，新模型只有4個注意力頭，比Qwen 3 0.6B少12個，真是切實符合其輕量化的定位。

下面讓我們一起看看這款迷你Gemma 3到底有哪些亮點？

Gemma 3 270M核心功能

就像你不會用大錘來掛相框，同樣的原則也適用于利用人工智能。

Gemma 3 270M充分體現(xiàn)了這種“為工作選擇合適工具” 的理念。

作為一款基礎(chǔ)模型，它開箱即可精準遵循指令，而微調(diào)能徹底釋放其真正實力。

經(jīng)過專門優(yōu)化，它在文本分類、數(shù)據(jù)提取等任務(wù)中，都能做到準確、快速且成本可控。

簡單總結(jié)，新模型的核心功能可概括為以下4部分：

緊湊且高效的架構(gòu)

這款新模型共包含2.7億參數(shù)，其中1.7億為嵌入層參數(shù)（由于龐大的詞匯量），另外1億為Transformer模塊參數(shù)。

憑借25.6萬token的龐大詞匯量，該模型能夠處理特定及罕見詞匯，因此成為特定領(lǐng)域和語言中進一步微調(diào)的理想模型。

極致的能源效率

不僅如此，該模型的參數(shù)規(guī)模在終端運行毫無壓力。

內(nèi)部測試表明，在Pixel 9 Pro手機（SoC芯片）上運行INT4量化版時，25輪對話僅消耗0.75%電量，堪稱能效最高的Gemma模型。

指令遵循

此次發(fā)布包含一個經(jīng)過指令微調(diào)的模型及對應(yīng)的預(yù)訓(xùn)練檢查點，開箱即可精準遵循常規(guī)指令。

可用于生產(chǎn)的量化支持

此模型提供經(jīng)過量化感知訓(xùn)練（QAT）的檢查點，能讓模型以INT4精度運行，且性能損耗微乎其微——這一點對于在資源受限設(shè)備上部署而言至關(guān)重要。

何時選擇迷你版Gemma 3

輕量化模型的強大威力在現(xiàn)實應(yīng)用中已經(jīng)得到了充分體現(xiàn)。

一個典型案例是2025年7月Adaptive ML與SK Telecom的合作，面對復(fù)雜的多語言內(nèi)容審核挑戰(zhàn)，他們選擇了專門化策略：沒有使用龐大的通用模型，而是對Gemma 3 4B模型進行了針對性微調(diào)。

結(jié)果令人驚艷，經(jīng)過微調(diào)的專用Gemma模型不僅達到了目標(biāo)任務(wù)的要求，甚至在特定任務(wù)上超越了許多體量更大的專有模型。

Gemma 3 270M旨在讓開發(fā)者進一步采用這種方法，為明確界定的任務(wù)釋放更高的效率。

那么，什么時候適合選擇這款迷你版Gemma 3呢？

1、批量處理專業(yè)任務(wù)：此模型尤其適合處理情感分析、實體提取、查詢路由、非結(jié)構(gòu)化文本轉(zhuǎn)結(jié)構(gòu)化、創(chuàng)意寫作及合規(guī)性檢查等。

2、嚴格控制響應(yīng)時間和成本：它能大幅降低甚至消除生產(chǎn)環(huán)境中的推理成本，同時為用戶提供更快速的響應(yīng)。

經(jīng)過微調(diào)的270M模型可運行于輕量、低成本的基礎(chǔ)設(shè)施，甚至能直接部署在終端設(shè)備上。

3、快速迭代和部署：Gemma 3 270M的小模型規(guī)模能夠?qū)崿F(xiàn)快速的微調(diào)實驗，幫助你在數(shù)小時而非數(shù)天內(nèi)找到適合你用例的完美配置。

4、確保用戶隱私?：該模型可以完全在設(shè)備上運行，而無需將數(shù)據(jù)發(fā)送到云端。

5、多任務(wù)專業(yè)部署：這款迷你模型能幫你在預(yù)算范圍內(nèi)，構(gòu)建并部署多個定制模型，并且每個模型都針對特定任務(wù)進行了專業(yè)訓(xùn)練。

下面想要快速上手Gemma 3 270M？超簡單四步走起。

首先，你可以從Hugging Face、Ollama、Kaggle、LM Studio或Docker獲取該模型。

接著用Vertex AI、llama.cpp、Gemma.cpp、LiteRT、Keras和MLX等工具進行測試。

然后使用Hugging Face、UnSloth或JAX等工具進行個性化微調(diào)。

最后，你可以將定制好的模型一鍵部署到本地環(huán)境或谷歌Cloud Run等任何環(huán)境。

參考鏈接：
[1]https://x.com/rasbt/status/1956130338431713307
[2]https://x.com/osanseviero/status/1956024223773663291
[3]https://developers.googleblog.com/en/introducing-gemma-3-270m/