谷歌開源系模型第二代免費(fèi)開放！27B媲美Llama3 70B，單H100或TPU主機(jī)可跑
還有更輕的9B版本
西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
谷歌開源模型Gemma 2開放了！
雖然前段時間Google I/O大會上，Gemma 2開源的消息就已經(jīng)被放出，但谷歌還留了個小驚喜——
除27B模型外，還有一個更輕的9B版本。
DeepMind創(chuàng)始人哈薩比斯表示，27B參數(shù)規(guī)模下，Gemma 2提供了同類模型最強(qiáng)性能，甚至還能與其兩倍大的模型競爭。
目前Gemma 2已入駐大模型競技場（LMSYS Chatbot Arena），Gemma 2 27B排名與Llama3 70B相當(dāng)：
而Gemma 2 9B的排名甚至比肩Qwen 2 72B：
該結(jié)果也讓網(wǎng)友紛紛表示難以置信。
此外，VentureBeat表示，兩種Gemma 2版本還不夠，谷歌很快還將發(fā)布2.6B參數(shù)模型。
能打兩倍大的模型
Gemma是谷歌的開源模型系列，采用Gemini同款技術(shù)架構(gòu)，主打開源、輕量級、免費(fèi)可商用。
今年二月份，Gemma系列正式上線第一代，共有2B和7B兩個版本，筆記本可跑，性能全面超越當(dāng)時的開源標(biāo)桿Llama 2。
和羊駝家族一樣，基于Gemma也有了很多變種，如CodeGemma、RecurrentGemma、PaliGemma等。
對于第二代Gemma 2，谷歌表示相比于Gemma，性能更高、推理效率更高，單個NVIDIA H100或TPU主機(jī)上可跑。
上下文長度方面，Gemma 2為8192 Tokens。
性能方面，Gemma 2與Llama 3、Grok-1基準(zhǔn)測試結(jié)果對比如下：
Gemma 2 9B得分全面超越Llama 3 8B，Gemma 2 27B模型表現(xiàn)接近Llama 3 70B，且超越Grok-1和Qwen 1.5 32B：
與Mistral和Gemma 1的比較結(jié)果如下：
除此外，Gemma 2安全性相比前代也有顯著提升：
技術(shù)報告中也有Gemma 2的更多信息。
基于Transformer解碼器架構(gòu)，與Gemma 1不同之處在于，Gemma 2每隔一層交替使用局部滑動窗口注意力和全局注意力機(jī)制，引入了分組查詢注意力（GQA）以提高推理速度，相比Gemma 1也使用了更深的網(wǎng)絡(luò)結(jié)構(gòu)。
Gemma 2關(guān)鍵模型參數(shù)如下：
網(wǎng)友實測
目前，用戶還可在Hugging Chat上與Gemma 27B聊天。
有網(wǎng)友上手測試了一番：
不過似乎是出Bug了，讓Gemma 27B講個故事，它愣是沒剎住車，回復(fù)巨長。
我們也上手體驗了一下，可能是有什么Bug……
這邊還有網(wǎng)友使用蘋果的MLX框架也在本地部署上了：
谷歌表示，從下個月開始，Google Cloud用戶也可在Vertex AI上部署和管理Gemma 2。
One More Thing
谷歌剛剛官宣Gemma 2開放，國產(chǎn)大模型就來踢館了。
智譜AI放出1個月前發(fā)布的開源模型GLM-4-9B的得分，和Gemma 2的對比是這樣嬸兒的：
HuggingFace：https://huggingface.co/chat/models/google/gemma-2-27b-it
參考鏈接：
[1]https://x.com/GoogleDeepMind/status/1806373224889954449
[2]https://x.com/demishassabis/status/1806417177496473966
[3]https://venturebeat.com/ai/googles-gemma-2-series-launches-with-not-one-but-two-lightweight-model-options-a-9b-and-27b/
[4]https://chat.lmsys.org/?leaderboard
[5]https://x.com/lmsysorg/status/1806369224895647757
相關(guān)閱讀
GPT-4搞科研登Nature！布洛芬配方輕松拿捏，諾獎得主提出的復(fù)雜反應(yīng)也能完成
網(wǎng)友：更多博士失業(yè)了
.png)
