谷歌版小鋼炮開源！0.27B大模型，4個(gè)注意力頭，專為終端而生

時(shí)令 2025-08-15 15:32:31 來(lái)源：量子位

時(shí)令 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

谷歌開源Gemma 3 270M閃亮登場(chǎng)！

只需幾分鐘即可完成微調(diào)，指令遵循和文本結(jié)構(gòu)化能力更是驚艷，性能超越Qwen 2.5同級(jí)模型。

發(fā)布當(dāng)天，網(wǎng)友也懵了：以為是270B，結(jié)果居然才0.27B。

此模型小巧又高效，可以直接在瀏覽器里本地運(yùn)行，不用聯(lián)網(wǎng)，也能生成有創(chuàng)意的內(nèi)容，比如睡前故事。

不僅如此，還有人使用這款迷你模型構(gòu)建了自己的OCR應(yīng)用程序。上傳一張圖片或PDF文件，即可用LLM即時(shí)將其轉(zhuǎn)換為結(jié)構(gòu)化的Markdown格式。

值得一提的是，新模型只有4個(gè)注意力頭，比Qwen 3 0.6B少12個(gè)，真是切實(shí)符合其輕量化的定位。

下面讓我們一起看看這款迷你Gemma 3到底有哪些亮點(diǎn)？

Gemma 3 270M核心功能

就像你不會(huì)用大錘來(lái)掛相框，同樣的原則也適用于利用人工智能。

Gemma 3 270M充分體現(xiàn)了這種“為工作選擇合適工具” 的理念。

作為一款基礎(chǔ)模型，它開箱即可精準(zhǔn)遵循指令，而微調(diào)能徹底釋放其真正實(shí)力。

經(jīng)過(guò)專門優(yōu)化，它在文本分類、數(shù)據(jù)提取等任務(wù)中，都能做到準(zhǔn)確、快速且成本可控。

簡(jiǎn)單總結(jié)，新模型的核心功能可概括為以下4部分：

緊湊且高效的架構(gòu)

這款新模型共包含2.7億參數(shù)，其中1.7億為嵌入層參數(shù)（由于龐大的詞匯量），另外1億為Transformer模塊參數(shù)。

憑借25.6萬(wàn)token的龐大詞匯量，該模型能夠處理特定及罕見詞匯，因此成為特定領(lǐng)域和語(yǔ)言中進(jìn)一步微調(diào)的理想模型。

極致的能源效率

不僅如此，該模型的參數(shù)規(guī)模在終端運(yùn)行毫無(wú)壓力。

內(nèi)部測(cè)試表明，在Pixel 9 Pro手機(jī)（SoC芯片）上運(yùn)行INT4量化版時(shí)，25輪對(duì)話僅消耗0.75%電量，堪稱能效最高的Gemma模型。

指令遵循

此次發(fā)布包含一個(gè)經(jīng)過(guò)指令微調(diào)的模型及對(duì)應(yīng)的預(yù)訓(xùn)練檢查點(diǎn)，開箱即可精準(zhǔn)遵循常規(guī)指令。

可用于生產(chǎn)的量化支持

此模型提供經(jīng)過(guò)量化感知訓(xùn)練（QAT）的檢查點(diǎn)，能讓模型以INT4精度運(yùn)行，且性能損耗微乎其微——這一點(diǎn)對(duì)于在資源受限設(shè)備上部署而言至關(guān)重要。

何時(shí)選擇迷你版Gemma 3

輕量化模型的強(qiáng)大威力在現(xiàn)實(shí)應(yīng)用中已經(jīng)得到了充分體現(xiàn)。

一個(gè)典型案例是2025年7月Adaptive ML與SK Telecom的合作，面對(duì)復(fù)雜的多語(yǔ)言內(nèi)容審核挑戰(zhàn)，他們選擇了專門化策略：沒(méi)有使用龐大的通用模型，而是對(duì)Gemma 3 4B模型進(jìn)行了針對(duì)性微調(diào)。

結(jié)果令人驚艷，經(jīng)過(guò)微調(diào)的專用Gemma模型不僅達(dá)到了目標(biāo)任務(wù)的要求，甚至在特定任務(wù)上超越了許多體量更大的專有模型。

Gemma 3 270M旨在讓開發(fā)者進(jìn)一步采用這種方法，為明確界定的任務(wù)釋放更高的效率。

那么，什么時(shí)候適合選擇這款迷你版Gemma 3呢？

1、批量處理專業(yè)任務(wù)：此模型尤其適合處理情感分析、實(shí)體提取、查詢路由、非結(jié)構(gòu)化文本轉(zhuǎn)結(jié)構(gòu)化、創(chuàng)意寫作及合規(guī)性檢查等。

2、嚴(yán)格控制響應(yīng)時(shí)間和成本：它能大幅降低甚至消除生產(chǎn)環(huán)境中的推理成本，同時(shí)為用戶提供更快速的響應(yīng)。

經(jīng)過(guò)微調(diào)的270M模型可運(yùn)行于輕量、低成本的基礎(chǔ)設(shè)施，甚至能直接部署在終端設(shè)備上。

3、快速迭代和部署：Gemma 3 270M的小模型規(guī)模能夠?qū)崿F(xiàn)快速的微調(diào)實(shí)驗(yàn)，幫助你在數(shù)小時(shí)而非數(shù)天內(nèi)找到適合你用例的完美配置。

4、確保用戶隱私?：該模型可以完全在設(shè)備上運(yùn)行，而無(wú)需將數(shù)據(jù)發(fā)送到云端。

5、多任務(wù)專業(yè)部署：這款迷你模型能幫你在預(yù)算范圍內(nèi)，構(gòu)建并部署多個(gè)定制模型，并且每個(gè)模型都針對(duì)特定任務(wù)進(jìn)行了專業(yè)訓(xùn)練。

下面想要快速上手Gemma 3 270M？超簡(jiǎn)單四步走起。

首先，你可以從Hugging Face、Ollama、Kaggle、LM Studio或Docker獲取該模型。

接著用Vertex AI、llama.cpp、Gemma.cpp、LiteRT、Keras和MLX等工具進(jìn)行測(cè)試。

然后使用Hugging Face、UnSloth或JAX等工具進(jìn)行個(gè)性化微調(diào)。

最后，你可以將定制好的模型一鍵部署到本地環(huán)境或谷歌Cloud Run等任何環(huán)境。

參考鏈接：
[1]https://x.com/rasbt/status/1956130338431713307
[2]https://x.com/osanseviero/status/1956024223773663291
[3]https://developers.googleblog.com/en/introducing-gemma-3-270m/